Инжиниринг Данных

25 March 2025 16:42

Очень интересный выпуск подкаста «Деньги любят техно» о Data Science и AI с Константином Воронцовым — стоит смотреть всем, кто хочет развиваться в сфере AI.

Константин Воронцов — доктор физико-математических наук, профессор РАН, МГУ, заведующий лабораторией «Машинное обучение и семантический анализ» Института Искусственного интеллекта МГУ. Под его руководством множество молодых специалистов построили свою карьеру в науке, часть из них выбрали развитие в компаниях и работают в самых известных бигтехах. Как раз о выборе направления карьерного пути, важности фундаментального образования и необходимости широкого кругозора рассказал в подкасте Константин Вячеславович. Ну и конечно, об ИИ — понимании его сути, его роли, его будущего. Ведущий подкаста Денис Суржко задал очень правильные, глубокие вопросы, приправил разговор китайскими мудростями и угостил гостя чаем.

Интересно смотреть, но есть и аудиоверсия для тех, кто любит слушать.

Инжиниринг Данных

20 March 2025 22:32

Очень рекомендуют видео - Stanford CS229 I Machine Learning I Building Large Language Models (LLMs)

00:10 Building Large Language Models overview
02:21 Focus on data evaluation and systems in industry over architecture
06:25 Auto regressive language models predict the next word in a sentence.
08:26 Tokenizing text is crucial for language models
12:38 Training a large language model involves using a large corpus of text.
14:49 Tokenization process considerations
18:40 Tokenization improvement in GPT 4 for code understanding
20:31 Perplexity measures model hesitation between tokens
24:18 Comparing outputs and model prompting
26:15 Evaluation of language models can yield different results
30:15 Challenges in training large language models
32:06 Challenges in building large language models
35:57 Collecting real-world data is crucial for large language models
37:53 Challenges in building large language models
41:38 Scaling laws predict performance improvement with more data and larger models
43:33 Relationship between data, parameters, and compute
47:21 Importance of scaling laws in model performance
49:12 Quality of data matters more than architecture and losses in scaling laws
52:54 Inference for large language models is very expensive
54:54 Training large language models is costly
59:12 Post training aligns language models for AI assistant use
1:01:05 Supervised fine-tuning for large language models
1:04:50 Leveraging large language models for data generation and synthesis
1:06:49 Balancing data generation and human input for effective learning
1:10:23 Limitations of human abilities in generating large language models
1:12:12 Training language models to maximize human preference instead of cloning human behaviors.
1:16:06 Training reward model using softmax logits for human preferences.
1:18:02 Modeling optimization and challenges in large language models (LLMs)
1:21:49 Reinforcement learning models and potential benefits
1:23:44 Challenges with using humans for data annotation
1:27:21 LLMs are cost-effective and have better agreement with humans than humans themselves
1:29:12 Perplexity is not calibrated for large language models
1:33:00 Variance in performance of GPT-4 based on prompt specificity
1:34:51 Pre-training data plays a vital role in model initialization
1:38:32 Utilize GPUs efficiently with matrix multiplication
1:40:21 Utilizing 16 bits for faster training in deep learning
1:44:08 Building Large Language Models from scratch

Инжиниринг Данных

18 March 2025 05:35

Недавно проходил собес на VP Analytics&Data Engineering в Американскую большую компанию, вот это тема, никто вас не спрашивает про leetcode, алгоритмы и другие вещи. Вы сразу общаетесь с С-level, спрашиваете их про планы компании, про impact решения, размер команды и тп, в общем то, что надо🤑

Инжиниринг Данных

16 March 2025 18:42

И есть еще одна статья - «Техно-фашизм приходит в Америку» из The New Yorker

1. Слияние технологий и государственной власти: В статье обсуждается объединение лидеров Кремниевой долины, таких как Илон Маск, с правительством США, что напоминает исторические примеры техно-фашизма, где технократы занимают влиятельные позиции в государстве.​

2. Инициатива DOGE: Илон Маск возглавляет программу «Digital Operations Governance and Efficiency» (DOGE), направленную на использование искусственного интеллекта для оптимизации государственных функций, что приводит к значительным сокращениям и деперсонализации бюрократической структуры.​

3. Исторические параллели: Автор проводит аналогии с предыдущими случаями, когда американские корпорации сотрудничали с государством, например, «Фордизм» Генри Форда и сотрудничество IBM с нацистской Германией, подчеркивая текущую тенденцию глубокого проникновения лидеров Кремниевой долины в государственные процессы.

4. Идеология техно-акселерационизма: Отмечается, что такие фигуры, как Илон Маск, стремятся быстро разрушить существующие структуры для создания технократического общества, что вызывает опасения относительно возможного ослабления демократических норм и усиления авторитарных тенденций.​

Интересно как сложится, будет ли у Америки новый CEO-Monarch вместо призидента, или люди себе надумали.

Наверно сейчас хорошее время покупать акции Теслы, пока они 50% down, даже если это был пузырь, то он еще отрастет за следующие несколько лет?

Инжиниринг Данных

15 March 2025 22:43

Сейчас с помощью AI хороший инженер может стать в пять раз продуктивнее, даже просто экономя время на написании YAML-файлов, создании прототипов, поиске ошибок, быстром погружении в незнакомые стеки и изучении новых языков программирования.

Я и сам вижу в этом множество преимуществ. Но есть нюанс. У меня и других опытных инженеров за плечами годы практики: мы самостоятельно изучали исходный код, искали примеры на StackOverflow, проходили десятки уроков и туториалов, набивали шишки, погружаясь в основы. И именно благодаря этому багажу сейчас мы можем эффективно использовать AI и становиться продуктивнее.

А что делать новичкам? Если они будут погружаться в основы таким же долгим и трудоёмким способом, то на короткой дистанции они окажутся непродуктивными и не будут оправдывать ожиданий работодателей.

Поэтому начинающие специалисты всё чаще обращаются к ChatGPT и аналогам, быстро находя готовые решения, но не понимая при этом их сути. В долгосрочной перспективе это лишает их возможности стать действительно хорошими инженерами. То есть, опытные инженеры станут еще лучше и востребованной, а новичкам будет еще сложной пробиться.

Получается парадокс: с одной стороны, нам говорят (и даже продают идею), что AI заменит нас, а с другой — именно AI нередко лишает нас возможности самостоятельно думать, разбираться и глубоко понимать предметную область.

Какие у вас мысли поводу молодежи и “войти в айти”?

Инжиниринг Данных

14 March 2025 02:26

Такая интересная история приключилась, сейчас расскажу:)

В LinkedIn мне написала Ксения, и скинула ссылка на недавний подкаст с Евгением, который в 40 лет выучился на дата инженера.

В небольшом подкасте он рассказал про свой путь и как учился, как искал первую работу https://careerselfmade.mave.digital/ep-7

Базу Женя подчерпнул на datalearn, а дальше уже стал самостоятельно углубляться, как результат полная переквалификация без платных курсов. Но как вы понимаете нужен фокус и мотивации.

Так классно слышать про полезные скилы, например отдельно нарабатываем прохождения собеседований, чтобы просто ходить по собеседования и валить их, чтобы понимать куда расти и где пробелы. Или про технических или бизнес инженеров. В общем очень познавательно и полезно.

С Евгением мы последний раз общались где-то год назад, он как раз поделился своими успехами. Уверен у него теперь еще круче! Валютная удаленка 💯

Ссылка на канал Ксюши /channel/HRqueenBCN

Инжиниринг Данных

12 March 2025 05:15

Оказывается, Макс тоже вышел на новую работу, и они вместе с Юрой отписались в дискорде, с чем я их и поздравляю!

Это полностью их заслуга. Хорошую работу с хорошей зарплатой быстро не найти, нужно пройти через сотни откликов, множество собеседований и тестовых заданий, отказов, которые выявляют пробелы в знаниях, которые нужно закрыть.

В результате прокачки, получается не просто закрыть пробелы и выйти на работу, но и начать контрибутить (приносить пользу) с 1го дня работы и сразу понятно куда дальше расти.

У ребят 100% валютная удаленка🍾

Инжиниринг Данных

09 March 2025 21:01

Практически каждый проект в инжиниринге данных начинается с package manager (пакетный менеджер), как правило для Python.

С одной стороны у всех цель одна, а с другой стороны “кто в лес, кто по дрова”.

Мне попались 3 хорошие статьи от Dagster на эту тему (про сам Dagster там нет), в которых хорошо рассказывают как это работает и как сделать удобно и красиво.

Python Packages: a Primer for Data People (part 1 of 2)
Python Packages: a Primer for Data People (part 2 of 2)
Best Practices in Structuring Python Projects

Вообще там 11 частей, в каждом посте будут ссылки на все части, например есть и другие полезные:
High-performance Python for Data Engineering
Write-Audit-Publish in data pipelines
Breaking Packages in Python
CI/CD and Data Pipeline Automation (with Git)
Factory Patterns in Python
Type Hinting in Python
Environment Variables in Python

Если вы еще на “вы” со всеми этими менеджерами, зависимостями или не очень понимаете, что творится у вас на работе в репозитории, то будет полезно ознакомиться.

Инжиниринг Данных

06 March 2025 18:15

Мне понравилась картинка, очень хорошо отражает все изменения в стартапах.

Для трендов данные и их интеграция играют очень важную роль.

Вместо того, чтобы думать - AI нас заменит, лучше думать про то, как бы нам принести пользу, какие пробелы в знаниях у нас есть и как их заполнить.


Вот несколько ресурсов:

Introduction to Generative AI with Snowflake

Generative AI Fundamentals (Databricks)
Guide: Build gen AI apps (Databricks)

Hugging Face - AI Course

Weights & Biases - Gen AI, Agents, LLMs courses

Anthropic courses
Antropic Cookbook

Cursor AI trainings

Deeplearning AI courses

Полезные Видео:

Deep Dive into LLMs like ChatGPT by
Andrej Karpathy

How I use LLMs by Andrej Karpathy

Building Agents with Model Context Protocol - Full Workshop with Mahesh Murag of Anthropic

Задача не стать AI или МL инженером, а разобраться в терминологии и use cases, и найти точки соприкосновения.

Инжиниринг Данных

04 March 2025 02:31

Claude 3.7, Cursor AI, vibe coding - все это супер, но даже я уже стал попадать в ситуации, когда Cursor начинает шерстить мое репо, менять разные файлы и предлагать изменения по всему проекту. А потом иди ищи, где и чего он наменял, засранец!🦯

Поэтому лучше не разрешать AI менять ваш код, а лишь рассматривать варианты решения и при необходимости копировать.

На картинке кусочек кода Amplitude, вот вам для справки:

Amplitude — это одна из самых популярных платформ продуктовой аналитики, которая помогает компаниям анализировать поведение пользователей внутри цифровых продуктов (мобильных приложений, веб-сайтов, SaaS-платформ и т. д.).

Почему Amplitude так популярен?
1. Глубокий анализ пользовательского поведения
• Позволяет анализировать воронки (funnel analysis), retention (удержание пользователей), потоки пользователей (user flows) и другие важные метрики без необходимости писать SQL.
• Можно отслеживать ключевые продуктовые метрики, такие как активация, конверсия, отток пользователей и влияние различных фич на поведение пользователей.
2. Простота интеграции
• Поддерживает SDK для мобильных (iOS, Android) и веб-приложений.
• Интегрируется с другими инструментами (Google Analytics, Mixpanel, Snowflake, Segment, BigQuery, dbt и т. д.).
3. Мощный сегментный анализ
• Можно легко строить группы пользователей (cohorts) по разным признакам, например, по поведению, географии, источнику трафика и др.
4. Без SQL для аналитиков и продактов
• Доступен удобный UI для построения отчетов без написания кода, что делает инструмент удобным для продакт-менеджеров, маркетологов и аналитиков.
5. Гибкость и масштабируемость
• Хорошо работает с большими объемами данных.
• Позволяет экспортировать сырые данные в Snowflake, BigQuery, S3 и работать с ними на уровне Data Warehouse.
6. A/B тестирование и причинно-следственный анализ
• Amplitude Experiment позволяет проводить эксперименты и анализировать их влияние на поведение пользователей.
7. Облачное хранение и обработка данных
• Все данные хранятся в облаке, а обработка запросов проходит быстро за счет оптимизированной инфраструктуры.
8. Активно используется крупными компаниями
• Клиенты Amplitude: Atlassian, PayPal, Shopify, Twitter, Ford, HubSpot и др.
• Компании используют его для принятия решений, основанных на данных, и улучшения пользовательского опыта.

Чем отличается от других инструментов?
• По сравнению с Google Analytics, Amplitude более ориентирован на анализ поведения пользователей, а не просто на трафик.
• В отличие от Mixpanel, Amplitude предоставляет более мощные возможности по работе с сырыми данными и интеграции с хранилищами данных.

Он такой хороший и классный (по словам продукт менеджеров), что они готовы в него загрузить все данные их хранилища данных (дублировать) и забыть дорогу в BI. 😡

В РФ какой инструмент для этого используется?

Инжиниринг Данных

03 March 2025 09:17

Дата с Димой | Новости из мира BigTech | Эпизод 2

💡 В этом эпизоде обсуждаем свежие новости из мира BigTech, карьерные инсайты, новые технологии, оптимизацию данных, а также влиятельные стартапы и инвестиции.

Некоторые из тем:

🔹 Notion вместо Google Slides для презентации выпуска и обмена кодом 📋
🔹 Databricks, Snowflake, DBT 🚀
🔹 AI, Open Source и рынок труда – увольнения, вакансии и новые возможности 🤖💼
🔹 Почему быть кринжовым полезно для карьеры? 😂
🔹 Опыт vs софт-скилы 🧠💬
🔹 Бенчмаркинг TPC-C 📊
🔹 Liquid Partitioning в Databricks 🏗️
🔹 Snowflake и оптимизация затрат 💰☁️
🔹 Стриминг в Spark и его реальные кейсы 📡🔥
🔹 Госорганизации и дата-центры – как западный BigTech работает с государством 🏛️🔐
🔹 Metabase, BI-аналитика и скорость обновлений 📈⌛
🔹 Интеграция OpenAI в Snowflake 🤯
🔹 DBT и Slack – проблемы интеграции и поиск решений 🤷‍♂️
🔹 Data Contracts – зачем они нужны инженерам данных? 📜
🔹 Blue Green Deployment в инжиниринге данных 🟢🔵
🔹 IBM + DataStax – новое объединение гигантов 🏢
🔹 Квантовые компьютеры от Microsoft ⚛️
🔹 Amazon Alexa и агенты – будущее голосового управления 🎙️
🔹 AI для миграции старых технологий 📼➡️🚀
🔹 Поиск работы, вакансии и эквити 💼💵
🔹 LLM и их ограничения – правда о нейросетях 🤖⚠️
🔹 Greenage – новый Open Source проект вместо Greenplum 🌱

Timecode я тоже добавил, ну как добавил:
1) Яндекс браузер умеет давать Summary и временем и описанием
2) Chatgpt пишет timecode для YouTube, и заодно много bullet points

Отличная альтернатива ручного труда.

PS ссылка на rutube

PPS некоторые из ссылок

1. https://assets.amazon.science/24/3b/04b31ef64c83acf98fe3fdca9107/why-tpc-is-not-enough-an-analysis-of-the-amazon-redshift-fleet.pdf
2. https://select.dev/posts/snowflake-dynamic-tables
3. https://dataengineeringcentral.substack.com/p/lord-have-mercy-apache-xtable
4. https://medium.com/glassdoor-engineering/data-quality-at-petabyte-scale-building-trust-in-the-data-lifecycle-7052361307a4
5. https://vutr.substack.com/p/8-minutes-to-understand-presto
6. https://wherobots.com/apache-iceberg-and-parquet-now-support-geo/
7. https://clickhouse.com/blog/climbing-the-iceberg-with-clickhouse
8. https://www.ibm.com/new/announcements/ibm-to-acquire-datastax-helping-clients-bring-the-power-of-unstructured-data-to-enterprise-ai-applications
9. https://www.anthropic.com/news/claude-3-7-sonnet
10. https://newsletter.pragmaticengineer.com/p/software-engineering-job-openings
11. https://www.reddit.com/r/leetcode/comments/1isriaz/how_i_cheated_my_way_into_faang_interviews_and/
12. https://huggingface.co/learn
13. https://www.sqlnoir.com/
14. https://www.notion.so
15. https://slavlotski.com/all/kniga-osnovy-inzhenerii-dannyh-glava-2-zhiznenny-cikl-data-inzhe/

Инжиниринг Данных

02 March 2025 05:09

Немного уличной магии в ленту! Хороших выходных!🙌

А то все пишут про LLM, AI, агентов и ботов, а у меня вот про магию уличную!

Инжиниринг Данных

27 February 2025 00:08

Когда я работал в Amazon Alexa в 2018–2020 годах, Alexa казалась очень инновационным продуктом в области AI, хотя внутри использовали ML, а точнее NLP (Natural Language Processing). Я был частью исследовательской команды, и в офисе в Кембридже (MA) царила крутая атмосфера. Офис находился напротив кампуса MIT, а буквально через дорогу был Гарвардский университет.

Там же я познакомился с ребятами из Москвы, которые учились на MBA. Я даже всерьез подумывал взять саббатикал на пару лет, переехать с семьёй в Бостон (город красивый, с историей), но в итоге ушел в Microsoft Xbox. А вместо MBA мне подарили книгу The Personal MBA, где говорилось, что MBA, кроме нетворкинга, даёт мало преимуществ. А если это MBA какого-нибудь второсортного университета, то вообще беда.

Возвращаясь к Alexa (в какой-то момент у меня их было пять, и все друзья на Новый год тоже получали Alexa) — после появления ChatGPT она на его фоне выглядела просто таймером с голосовым управлением.

Летом появилась новость про интеграцию Alexa с Claude, но как-то незаметно. Да и два моих последних устройства не блистали в навыках коммуникации.

А вот в последнем демо Amazon представил Alexa+, которая доступна подписчикам Amazon Prime и поддерживает Claude и Amazon Nova.

В общем, наконец-то случилось то, чего я так ждал: Alexa поумнела и теперь может днями напролёт общаться с Yandex Алисой про политику без нашего участия. 😝

Статьи для контекста:
- Introducing Amazon Nova, our new generation of foundation models
- How Amazon rebuilt Alexa with generative AI

PS На картинке Alexa Show 21.

Инжиниринг Данных

25 February 2025 23:33

Заметил, интересную особенность, если вы работаете в компании, которая делает аксессуары для собак, что вы часть “стаи” (pack), если работаете в компании, которая делает облачное решения для фермеров, то вы часть “стада крупнорогатого скота” (herd). Были и другие примеры, я просто забыл.

Это я не придумал, это из wiki, компаний, где мне приходилось бывать. А вы часть чего?

Инжиниринг Данных

23 February 2025 07:01

SQL Cheatsheet:

- SQL Basics Cheat Sheet
- SQL for Data Analysis Cheat Sheet
- SQL Window Functions Cheat Sheet
- SQL JOIN Cheat Sheet

Вот если вы не знаете SQL или только начинаете учить, попробуйте просто выучить наизусть несколько примеров, и будет полегче

Инжиниринг Данных

21 March 2025 17:41

Недавно наткнулся на классный материал про Growth Engineering — направление, которое активно развивается в крупных компаниях вроде Meta, Airbnb и Dropbox.

Кто такой Growth Engineer🚀? По сути — инженер, который пишет код не просто ради фич, а для прямого увеличения прибыли компании. Его основная задача — запускать эксперименты и проверять гипотезы: например, как изменения интерфейса, уведомлений или даже формата подписки могут повлиять на конверсию и удержание пользователей.

Growth Engineers мыслят не категориями «как это построить идеально», а «как быстро проверить идею и понять, принесет ли это деньги». Они не боятся двигаться быстро, иногда даже обходя долгосрочные решения и тесты, лишь бы понять, есть ли смысл вкладывать ресурсы в проект.

Направление появилось в Facebook в 2007 году благодаря Чамату Палихапитии (сейчас ведет подкаст allin">All-In про экономику, tech, стартапы), который предложил формировать отдельную команду для быстрого роста бизнеса через эксперименты.

Звучит здорово, и, честно говоря, в чём-то это даже ближе к реальному бизнесу и стартап-культуре, чем стандартная продуктовая разработка с её долгими циклами.

А вы сталкивались с Growth Engineering в работе?

Инжиниринг Данных

19 March 2025 07:15

В 7 утра я обычно работаю в living room пока все спят, а потом уже иду в офис смотреть на прохожих в окно👆

Чем меньше вещей вокруг тем продуктивней работа.

Инжиниринг Данных

17 March 2025 16:10

🔎 За какими дэшами следят в Amazon?

С Димой (@rockyourdata) написали статью про Amazon Weekly Business Review. Идея в том, чтобы смотреть несколько основных метрик сразу на одном листе понедельно, помесячно, а также MTD, QTD, YTD (период от начала месяца/квартала/года до текущей даты).

Дима проработал в Амазоне больше 5 лет и для меня эта схема с WBR была новая. Очень интересно посмотреть, как крупные компании следят за метриками. Ну а я подробно расписала, как собрать такой мини-wbr дэшборд в Tableau (прям шаг за шагом супер детально и доступно для скачивания).

Инжиниринг Данных

16 March 2025 18:42

Во время выборов президента Америки можно было заметить как американские миллиардеры поддерживает Трампа. Сейчас команда Трампа наводит шороху везде, рынки теряют деньги, люди жгут и портят Теслы (в комментах скину фотку, что вчера видел у салона тесла), все бузят на Маска и множество других событий 🍿

Попалась интересная статья, которая смотри на все события с другого ракурса - «Демократия закончилась: наступление корпоративной монархии»

Основные тезисы:

1. Три основные группы с разными, но опасными целями:
- Project 2025: Реализация ультраправой, авторитарной политики. Включает запрет абортов, преследование ЛГБТ и транс-людей, отрицание климатических изменений и постоянную «культурную войну».
- Христианские реконструкционисты: Стремятся превратить США в христианскую теократию, переписав Конституцию на основе Библии.
- Технократы во главе с Маском, Тилем и Джей Ди Вэнсом: Продвигают идею корпоративной монархии, где демократия будет заменена корпоративным управлением под руководством «CEO-монарха».

2. Связь Питера Тиля, Илона Маска и JD Вэнса:
- Маск и Тиль вместе основали PayPal, откуда выросла мощная группа «PayPal Mafia», оказавшая огромное влияние на Кремниевую долину.
- Тиль, миллиардер и влиятельный технократ, профинансировал карьеру JD Вэнса, сделав его сначала сенатором, затем кандидатом в вице-президенты США.

3. Кёртис Ярвин и «Тёмное Просвещение» (Dark Enlightenment):
- Ярвин выступает за ликвидацию демократии и создание авторитарного государства в виде корпорации. Демократические процедуры считаются неэффективными и ненужными.
- Он предлагает упростить управление страной через корпоративный подход, заявляя, что Америке нужно избавиться от «диктаторофобии».

4. Идеология технократической корпоративной монархии:
- Миллиардеры Кремниевой долины считают демократию помехой и стремятся захватить власть, сократив роль государства и переведя управление в руки частных корпораций.
- Стратегия, названная Ярвиным «RAGE» (Retire All Government Employees), предусматривает массовые увольнения госслужащих, парализующие правительство, после чего корпорации займут их место.

5. Роль Илона Маска и JD Вэнса в текущих событиях:
- Маск уже активно реализует эту стратегию через инициативы вроде DOGE, что выглядит хаотично, но на деле тщательно спланировано.
- JD Вэнс внезапно стал ключевой политической фигурой благодаря усилиям Тиля и Ярвина, чтобы облегчить продвижение технократической повестки на высоком политическом уровне.

6. Роль Трампа:
- Дональд Трамп описан как пешка в этой игре, стареющий лидер, чьё хаотичное президентство является удобным фоном для реализации реальной техно-фашистской повестки.

Автор статьи делает вывод, что видимый хаос в американской политике — это осознанная и целенаправленная попытка группы технократов, таких как Маск, Тиль и Вэнс, создать корпоративную монархию на месте современной демократии США.

Инжиниринг Данных

14 March 2025 23:42

Ребята не принебрегайтей GitHub! Пусть у вас будет такой же зелененький календарь в профайле, как в этой душевой!

PS Git сложен: легко всё про@бать, и нереально понять как исправить. Документация Git - это финиш: чтобы найти решение, тебе заранее надо знать название фишки, которая вернет всё на место.

Поэтому вам в помощь - @баный Git!!!

Инжиниринг Данных

13 March 2025 07:59

🏆 Авито — лучший работодатель для аналитиков!

По данным нового исследования NEWHR, Авито занял 1 место среди самых привлекательных компаний для аналитиков!

📊 В исследовании приняли участие 1293 аналитика разных уровней — от Junior-специалистов до руководителей.
Более 35% респондентов выбрали Авито как лучшего работодателя. Помимо этого, 69% специалистов отметили рост зарплат в 2024 году, а 46% стали более лояльны к текущему работодателю.

🚀 В Авито все решения принимаются с опорой на данные, поэтому аналитики есть в каждой продуктовой и бизнес-команде. Чтобы пользователи продолжали выбирать Авито, наши аналитики:

➡️ каждый день собирают 8 млрд новых событий и тестируют гипотезы,

➡️ создают системы метрик, аналитические фреймворки и математические модели,

➡️ проводят статистические исследования,

➡️ изучают поведение пользователей и находят причины в его изменениях,

➡️ настраивают отчетность,

➡️ выступают на конференциях, проводят митапы, пишут статьи на Хабре и многое другое.

С результатами исследования NEWHR можно ознакомиться по ссылке.

Инжиниринг Данных

12 March 2025 02:23

Все работает как часы! Если конечно хватает мотивации довести дело до конца, Юрий молодец дожал и нашел работу🚀

Инжиниринг Данных

07 March 2025 18:22

Антропик утверждает, что в 2026 появятся модели, которые

— превосходят Нобелевских лауреатов в большинстве областей
— умеют пользоваться всеми человеческими интерфейсами
— могут работать и думать неделями
— могут взаимодействовать с реальными миром через роботов.

Самое смешное, что в мире есть еще люди, которые считают что это не гарантированно и «авось пронесет».

Я не вижу ни одного сценария (технического, политического, бизнесового), в котором этого бы не произошло в течении 2 лет. Nothing stops this train.

Другой вопрос: как подготовиться и что делать дальше, особенно с такими штуками как координация людей (экономика, финансы, право, политика)? Есть любопытные идеи.

Инжиниринг Данных

05 March 2025 05:34

Весь Linkedin пестрит 2мя темами, 1ая это про Трампа и какой он красавчик, а вот вторая тема про три уровня компаний, так называемая The Trimodal Nature of Tech Compensation.

То есть все компании можно разделить на 3 уровня по уровню компенсации в США, Европе, Индии. (Да и во всем мире)

Идея простая:
1) есть обычные компании, которые платят мало - tier 1. Получается там лучше вообще не работать 🤷
2) есть BigTech, который платит много (за счет стоков и бонусов) - tier 2
3) А есть еще топчик компании, кто платит как tier 1 + tier 2 вместе взятые, это у нас tier 3.

Мне это было всегда очевидно, я всегда избегал компании tier 1, и конечно мечтал бы работать в tier 3, но и в tier 2 неплохо.

Ссылка https://newsletter.pragmaticengineer.com/p/trimodal


Как бы вы распределили компании по слоям в РФ?

PS это отличная возможность хайпануть и использовать уже имеющие данные от getmatch и замутить такой же график для отечественных компаний ;)

Инжиниринг Данных

03 March 2025 16:46

Rutube жжет, может новую фичу тестируют 🙈 (рандомный канал под видео)

Инжиниринг Данных

02 March 2025 22:27

👌

Инжиниринг Данных

27 February 2025 20:13

Наконец-то на product hunt появилось что-то дельное - IsMyCEOaFraud.com

Хотели ли вы когда-нибудь узнать, является ли кто-то на LinkedIn мошенником? Теперь вы можете это сделать.

Отправьте профиль LinkedIn, и всего за несколько секунд мы разберём аккаунт и скажем, насколько вероятно, что его владелец занимается мошенничеством — по шкале от 0 до 10 SBF.

Берете ссылку вашего CEO или коллегу, и проверяете его!

Вообще согласно статистики 87% стартапов это scam и fraud! 😝 Ну только не спрашивайте fact checking!!!👨‍🦯

Надо мне мой музей писем CEO про увольнения добавить на Product hunt https://www.layoffmemos.com/

Инжиниринг Данных

26 February 2025 04:18

Хорошая книжка 2020 года про технический рекрутинг - The Holloway Guide to Technical Recruiting and Hiring: Align your team to avoid expensive hiring mistakes.

Узнайте, как лучшие команды нанимают инженеров-программистов и заполняют технические вакансии.

Руководство Holloway по техническому найму и рекрутингу — это авторитетное руководство по эффективному развитию команд разработчиков программного обеспечения, написанное для менеджеров по найму, рекрутеров, интервьюеров и кандидатов. В печатное издание включён пожизненный доступ к цифровой версии с дополнительными функциями и будущими обновлениями на Holloway.com.

Наём сотрудников считается одним из самых больших препятствий для роста компании, согласно мнению большинства CEO. Менеджеры по найму, рекрутеры и интервьюеры сталкиваются с множеством вопросов: как находить кандидатов, как проводить справедливые и эффективные собеседования, и, в конечном счёте, как убедить подходящих специалистов принять предложение. Однако этот процесс часто оказывается затратным, сложным и стрессовым — как для нанимающих, так и для кандидатов.

Этот справочник станет незаменимым источником знаний для всех, кто заинтересован в создании сильных команд разработчиков. В нём собран опыт и знания ведущих специалистов — от старших инженеров и рекрутеров до предпринимателей и менеджеров по найму, которые строили команды как в стартапах, так и в крупных инженерных организациях с тысячами сотрудников.

Главный автор книги, Оззи Осман, ранее возглавлял команды по разработке продуктов в Quora, работал в Google, а также создал и продал собственный стартап. Среди других авторов — Адитья Агарвал, бывший CTO Dropbox; Дженнифер Ким, бывший руководитель отдела диверсификации в Lever; опытные рекрутеры и основатели стартапов Хосе Гуардрадо (основатель Build Talent, бывший сотрудник Y Combinator) и Алин Лернер (CEO Interviewing.io), а также более десятка других экспертов.

Процесс найма можно организовать так, чтобы он приносил пользу компаниям, сотрудникам и каждому кандидату. С правильной стратегией и практикой команды и кандидаты смогут пройти через этот непростой процесс с уверенностью и пониманием.

Спросите у своего работодателя, может ли он компенсировать покупку этой книги — это одно из самых выгодных вложений в развитие вашей команды.

Книгу я нашел по имени автора Оззи Осман, который создал новую компанию - Monarh Money, у продукта очень много положительных отзывов.

Компания Monarch Money предоставляет современную платформу для управления личными финансами. С её помощью пользователи могут объединить все свои финансовые счета в одном месте, что позволяет отслеживать расходы, оптимизировать бюджет, анализировать инвестиции и планировать финансовые цели. Платформа поддерживает синхронизацию с более чем 13 000 финансовых учреждений, обеспечивая актуальность данных.

Пользователи могут настраивать свои финансовые планы, совместно управлять бюджетом с партнёром и получать персонализированные рекомендации. Monarch Money предлагает мобильное приложение и веб-версию, обеспечивая доступность и удобство использования. Услуга предоставляется по подписке, с возможностью бесплатного пробного периода.


Мне даже присылали приглашение, чтобы я смог лучше трекать личные финансы, но дальше установки аппа не прошел.

Инжиниринг Данных

24 February 2025 23:16

Сегодня был новый релиз Claude - Claude 3.7 Sonnet and Claude Code, фокус у них на написание кода, поэтому использования плагинов для VSCode или Cursor AI явно получит буст.

И заодно термин в копилку - vibe coding - это такой кодинг на чиле. Только это уже не просто “писать код” в расслабленной и уютной атмосфере под любимую музыку, а писать код вместе LLMкой.

Всем вайбовой и продуктивной недели!

Инжиниринг Данных

22 February 2025 06:30

А вот и рутьюб! Как я же мог родненького забыть и не загрузить туда 🙌