Инжиниринг Данных

22 November 2025 20:48

Я уже писал про инструмент Agor, который позволяет управлять несколькими агентами одновременно без участия человека. Пока еще сыроват, но это реально выглядит как будущее разработки ПО и скоро инструменты будут разбивать ваш запрос на подзадачи и каждый агент будет играть свою роль. Вы уже можете сами протестировать подход https://agor.live/guide/spawned-subsessions#example-cross-agent-code-review

Update: В свежем обновлении курсора добавили Agent Review - Agent Review runs Cursor Agent in a specialized mode focused on catching bugs in your diffs. This tool analyzes proposed changes line-by-line and flags issues before you merge.

Инжиниринг Данных

21 November 2025 23:13

Недавно появился новый тренд. Точнее он появился давно, но о нем стали говорить лидеры AI - дата центр в космосе.

Уже одна компания Star Cloud (backed by Nvidia и Sam Altman) запустила свой первый спутник с GPU, есть и другие игроки на рынке, кто делает bet на космические дата центры, так как на земле не хватит энергии для AI.

Примеры из новостей и игроки:
- Starcloud-1 satellite reaches space, with Nvidia H100 GPU now operating in orbit
- Интервью CEO Starcloud
- Exploring a space-based, scalable AI infrastructure system design от Google Research
- How I told a CEO his data centre was obsolete.
- Jeff Bezos Creates A.I. Start-Up Where He Will Be Co-Chief Executive
- Elon Musk is making it clear that the only path to the kind of energy AI will need is space.

Построить дата центр в космосе звучит нереально. Но также говорили про многочасовые ракеты, спутниковый интернет и многое другое.

Как вы думаете, какие уникальные кейсы могут быть в космосе с использованием вычислительных мощностей и GPU?

Например есть известная компания Varda, которая был backed by Питер Тиль. Это компания решает уникальные проблемы - забирает материалы на земле и дальше работает с ними в космосе, так как в космосе состав материала изменяется и его можно дальше изучать, на земле такое просто не возможно.

Инжиниринг Данных

21 November 2025 04:19

Сейчас LinkedIn заполнен 3мя типами контента:

1) все рассказывают про Toon, какой замечательный дата формат, и как он экономит токены. Но все, кто про него пишет, его даже не использовали. Я вот тоже написал здесь и тоже не использовал.

2) Несмотря на то, что Nvidia опубликовала свои доходы в + и все выдухнули - пузырь еще не дозрел, но сегодня весь рынок красный. Знающие люди делаются инсайдами.

3) Если контент на русском, то часто народ жалуется на рекрутеров, рекрутеры жалуются на соискателей и обязательно с приложением скринов переписки. И еще будут посты о том, как кто-то кому-то помог найти работу. И чтобы вы подумали? Скриншоты и пруфы приложены🍪🍪

А что вам там попадется?

Инжиниринг Данных

20 November 2025 15:01

VK RecSys Challenge: проверьте свой алгоритм в деле!

В самом разгаре ежегодное соревнование по разработке рекомендательных систем от VK — RecSys Challenge 2025. Участникам предстоит решить одну из самых сложных проблем в мире рекомендаций: задачу холодного старта.

Суть соревнования — построить модель, которая предскажет, кому из пользователей понравится новый клип, даже если его ещё никто не видел.

Что ждёт участников:
• Реальные данные — датасет VK-LSVD с 40 млрд взаимодействий и 20 млн коротких видео
• Можно участвовать соло или в команде до 4 человек
• Техническая свобода — до 5 сабмитов в день, возможность экспериментировать
• Общий призовой фонд — 2 500 000 рублей

Приглашают студентов, исследователей, ML-инженеров — всех, кто хочет испытать свои силы на реальных данных и создать алгоритм, который работает в условиях, максимально приближенных к контентной жизни.

Регистрация открыта до 15 декабря. Успейте подать заявку, скачать датасет и начать эксперименты!

👉 Подробности и регистрация на сайте

Инжиниринг Данных

20 November 2025 02:44

https://github.com/mfontanini/presenterm

Наконец можно и презентации делать в Markdown

Инжиниринг Данных

19 November 2025 04:28

Полезная статья - What It Really Takes to Move From Senior to Staff Data Engineer. Staff в РФ не очень распространено. Я знаю Т-Банк активно развивает это направление. Но по факту team lead это тот же staff инженер. Я работал как Staff DE 3 года и прочитал базовые книжки про Staff Engineer, их всего 2: The Staff Engineer's Path и Staff Engineer.

Как обычно перевод и summary от AI. Сегодня это Raycast и Antropic API key. В последнее время я решил заморочиться на всякие горячие клавиши и спустя больше чем 10 лет прошел с touchpad на мышку Logi MX Master 3s. Надоело флексить с тачпадом и теперь у меня мышка с множество горячих клавиш и одна из них как раз AI чат. У Logi даже есть утилитка для chatGpt, чтобы редактировать свои сообщению в нужный стиль.


Эта статья — интервью с Брайаном Фемиано, staff data engineer в Apple, о том, что реально нужно для перехода с уровня Senior до Staff Data Engineer.

Основные темы:
1. Карьерный путь
• Брайан занимается data engineering почти 20 лет, 9 из них на уровне staff
• Ключевой момент карьеры: когда он взял на себя организацию работы (JIRA, документация, разблокировка коллег, коммуникация со стейкхолдерами)


2. Разница между Senior и Staff
Это не резкий переход, а постепенное развитие:
• Senior может оставаться в зоне комфорта и хорошо выполнять задачи
• Staff развивает некодинговые навыки, которые делают других разработчиков лучше:
▪ Создание диаграмм систем и runbook'ов для on-call
▪ Хорошие отношения с продуктовыми командами
▪ Понимание влияния изменений на другие команды
• Staff приходится чаще переключаться между контекстами в течение дня


3. Заблуждения о Staff титуле
❌ Что вам НЕ нужно:
• Быть самым талантливым разработчиком в команде
• Вписываться в "архетипы" как классы в RPG
• Прыгать между работами для получения титула


4. Главные блокеры для перехода в Staff
• Плохая коммуникация или агрессивность
• Негибкость, неспособность видеть большую картину
• Чрезмерная фокусировка на инструментах/языках
• Не строить системы для долгосрочного здоровья и качества


5. Сигналы, которые нужно показывать
• Менеджеры и коллеги знают, что вы мыслите холистически о системах
• Оформляете мысли в диаграммы и хорошо принимаете фидбек
• Поддерживаете команду во время кризисов
• Делаете себя незаменимым, но НЕ через силосное знание или постоянный героизм


6. Технический дизайн и системное мышление
Процесс проектирования:
• Сразу рисуйте диаграммы
• Что уже существует и может помочь?
• Довольны ли мы этими системами или это шанс рефакторить?
• Какой минимальный набор новых возможностей нужен?
• Можем ли использовать существующие библиотеки?
• Есть ли узкие места при росте нагрузки?
• Нужно ли постоянное ручное внимание или это автоматизировано?
Что делегировать:
• Лиды не должны быть на критическом пути
• Если берете слишком много — задерживаете проект и лишаете команду роста
• Доверяйте важные области команде
• Помогайте избежать перегрузки
Пример простого решения:
В Pandora хотели уведомлять артистов о добавлении песен в плейлисты. Вместо real-time email (много компромиссов), после обсуждения с продуктом поняли, что артистам не нужен real-time. Построили минимальный набор компонентов для батчевой отправки. Работает до сих пор.


7. Коллаборация и коммуникация
С менеджментом:
• Будьте лаконичны и своевременны
С продуктом:
• Задавайте вопросы, делайте заметки
• Повторяйте их слова своими словами
С инженерами:
• Давайте детали и ясность
• Повторяйте много раз при необходимости
• Проявляйте терпение
Создание комфортной среды:
• Будьте дружелюбны и не осуждайте
• Приоритизируйте помощь для разблокировки
• Давайте кредит коллегам за их идеи
Design docs:
• Начните с 3-5 предложений: что строим и какая бизнес-польза
• Укажите всех вовлеченных
• Фокус на диаграммах, показывающих как части соединяются
• Важна не красота, а легкость понимания

Инжиниринг Данных

18 November 2025 08:59

Welcome Time | Москва | 23 ноября

Яндекс организует очное мероприятие для специалистов в области аналитики и дата-сайентистов в своей штаб-квартире. Участники смогут познакомиться с особенностями работы команд аналитики в масштабном ecom-проекте.

Что вас ждёт на встрече:
💬 открытый диалог с экспертами Яндекса — задавайте любые вопросы;
💬 разбор реальных кейсов из практики Яндекса;
💬 погружение в мир e‑com аналитики: от товарной базы до продуктовой аналитики в Поиске;
💬 диагностика навыков, которую, при успешном прохождении, на 2 года засчитают как техническую секцию.

👉 Чтобы попасть на встречу, заполните форму по ссылке. Подробности о мероприятии на сайте.

Аналитика — это не только цифры, но и люди, которые ими живут. Приходите пообщаться и обменяться опытом.

Инжиниринг Данных

17 November 2025 19:49

Компании поняли, что давать всем безлимитный доступ к AI помощникам может быть очень дорого и начали вводить квоту - 100$ в месяц на инженера. Я сам видел примеры таких ограничений Cursor и Claude Code.

Недавно видел кейс, когда в месяц был лимит 35к$ на команду. В итоге лимит исчерпали и CI не смог отработать и заблочил merge для всех, пришлось руками менять правила.

Поэтому картинка в тему:)

Инжиниринг Данных

17 November 2025 08:59

Где найти актуальную информацию о соцсетях бесплатно? Мы давно задавались этим вопросом и, кажется, нашли ответ!

Компания FlyByMetrics занимается исследованиями и аналитикой русскоязычного сегмента соцсетей. У ребят своя база данных по 1 000 000 блогов на 7 платформах. По любому блогеру, каналу или сообществу вам могут выгрузить нужные показатели под заказ. А в своем канале FBM API Insights делятся полезными исследованиями бесплатно.

Аналитика от FlyByMetrics будет полезна каждому, кто работает в диджитал и хочет знать о наиболее актуальных трендах первым.

Подписывайтесь! ↖️

Инжиниринг Данных

16 November 2025 17:00

Всегда интересно следить за кругами Громова, в них можно найти инструменты, которые используют компании в РФ, в данном случае про ETL.

«Круги Громова» представили новое исследование российского рынка ETL 2025

Как компании сегодня решают задачу импортозамещения в области интеграции данных? Какие отечественные ETL-решения уже готовы заменить западные продукты — и даже превзойти их?

В новом исследовании «ETL Круг Громова 2025»:
🔹 Сравнение российских ETL-платформ с Apache Airflow и NiFi.
🔹 Подробный анализ функциональности и производительности отечественных решений, включая Modus ETL, Dat. ax, Loginom, PolyAnalyst, DATAREON Platform, Luxms Data Boring и другие.
🔹 Ключевые тренды 2025 года: ELT, Reverse ETL, CDC, Streaming, ZeroETL, AI-автоматизация.
🔹 Более 200 критериев оценки ETL-решений для корпоративного сектора — от архитектуры и безопасности до поддержки 1С и отечественных облаков.
🔹 Результаты выполнения вендорами тестового задания по загрузке 40 млн строк данных.

Инжиниринг Данных

15 November 2025 00:20

Всех с пятницей или уже субботой!? Если вы думаете deploy or not deploy, то вот вам ссылка в помощь https://shouldideploy.today

Инжиниринг Данных

14 November 2025 00:50

Отличный кейс из белого дома в США про сломанный пайплайн и утраченных продакшн данных - “Permanently impaired”: Trump administration won’t release economic data for October.

Администрация Трампа отказалась публиковать экономические данные за октябрь (инфляция, безработица), ссылаясь на 40-дневный shutdown правительства, который помешал собрать статистику.
Критики обвиняют в сокрытии: частные данные показывают потерю 150,000+ рабочих мест (худший октябрь за 20 лет), а Белый дом называет данные "навсегда утраченными", что беспрецедентно для США.

Берегите ваши данные🤗

Инжиниринг Данных

13 November 2025 16:54

AI&ML в деле на AI DevTools Conf 🤓

4 декабря команда Cloud.ru проводит практическую конференцию — AI DevTools Conf. 

В программе доклады о создании AI-агентов, защите AI-систем и работе с DevOps-агентом.

А тех, кто посетит конференцию офлайн ждут воркшопы, где вы научитесь:
😶‍🌫️внедрять AI-инструменты в процесс разработки

😶‍🌫️оценивать LLM-агентов

😶‍🌫️тестировать безопасность AI

😶‍🌫️и не только
Места на офлайн-участие ограничены.

Успейте зарегистрироваться

Инжиниринг Данных

07 November 2025 22:26

А вот пример ответочки от инженеров, кого уволили! Надо бороться с капитализмом🤠

Инжиниринг Данных

06 November 2025 23:45

Отличной пост - DuckLake: Why Early-Stage Startups Should Stop Cosplaying as Netflix

Идея заключается в том, что многие команды и компании строят iceberg lake house на максималках. Неважно, какой объем данных, какие требования. Сразу создают серьезную архитектуру с Kafka, распределенными вычислениями, каталогами и кластерами.

В данной статье ссылаются на ducklake как простое и дешевое решение для вашего Iceberg Lakehouse.

Обязательно надо будет попробовать.

Инжиниринг Данных

22 November 2025 06:05

Вот это я понимаю народные цены. Ваше капучино дороже стоит, чем час с реальным дата инженером.

Источник TopMate, где инженеры из Индии учат других инженеров за еду доллары.

Инжиниринг Данных

21 November 2025 18:31

dltHub - инструмент для интеграции данных (open source). Он не очень популярный, но про него всегда отзываются хорошо. Был бы там еще коннектор к 1С, было бы совсем замечательно.

Они выпустили классный курс - Deploy dlt pipelines, в котором показывают как пользоваться dlt с Airflow, Prefect, Dagster, Modal, Kestra (инструменты оркестрами)

Так же есть и базовые курсы:
dlt Fundamentals
dlt Advanced
Freecodecamp: Data Engineering with Python and AI

Кто-нибудь использовал в продакшн?

Инжиниринг Данных

20 November 2025 20:21

Snowflake уже настоящая unified платформа с возможностью грузить данные из API.

Так и fivetran не нужен будет. И еще в Snwoflake можно хостить бесплатно dbt core и создавать крутые Python Apps на Streamlit (BI). ML и AI там тоже есть.

Инжиниринг Данных

20 November 2025 08:59

Яндекс — место, где наука и бизнес работают вместе. Мы превращаем исследования и аналитические данные в реальные продукты для миллионов пользователей.

Сейчас мы ищем сильных аналитиков — с опытом на Python от 3 лет. Участвуйте в Weekend Offer, чтобы пройти все собеседования и получить офер всего за 2 дня.

Как всё устроено:
• Подайте заявку до 3 декабря.
• Пройдите технические секции 6 декабря.
• Познакомьтесь с командами и получите офер 7 декабря.

На сайте собрали все подробности — читайте по ссылке и регистрируйтесь: https://yandex.ru/project/events/wo-analytics-1225

Инжиниринг Данных

19 November 2025 04:28

8. Будущее data engineering
• Роли будут требовать знания языков за пределами Java/Scala/Python/SQL
• Компании понимают, что проблемы не в объеме, а в governance и качестве данных
• Эволюция open table форматов
• GenAI не заменит junior-ов — младшие инженеры лучше работают с ИИ и учат seniors

Ключевая мысль:
Staff engineer имеет "outsized impact" (непропорционально большое влияние). У всех одинаковое количество часов, и все кодят с примерно одинаковой скоростью. На определенном уровне важнее становится ЧТО вы кодите, а не скорость:
• Находить проекты, двигающие бизнес вперед
• Помогать бизнесу убирать неопределенность
• Предотвращать выбор решений, которые будут стоить миллионы и потребуют миграции через 18 месяцев

Мне очень понравились рекомендации, и я полностью с ними согласен. Очень четко сказано, что важно быть гибким и мягким. С этим сложно, если у вас низкий порог терпимости к глупости коллег и не хватает терпения на бюрократию. Но, к сожалению, уже давно факт, что в корпоративной культуре любят не умных/быстрых, а удобных и послушных. Надо быть такой нянькой-душкой и медленно, но верно продавливать свою позицию и заручаться поддержкой коллег.

То есть при желании можно вырасти до уровня Staff, но вам придется переступить через свое эго.

И тут еще возникает одна загвоздка — финансовое вознаграждение. Давайте посчитаем на примере канадского рынка. Staff data engineer — зарплата $250k в год. При этом вам все будут говорить: "Ну ты же Staff, ты должен и то, и это" — и надо тащить. Ведь обычно позиция Staff встречается в больших организациях со сложной оргструктурой, и там за 5 минут уже ничего не накодить. Любое изменение — это боль и множество встреч и согласований, очень часто без common sense. Иными словами, ожидания высокие, а работу сложно измерить в строчках кода, метриках или еще чем-то. И обычно расти после Staff особо некуда, скорее всего это в people manager, но туда можно и сразу перейти без Staff.

А вот возьмите Senior DE. Вилка $160-180k в год. Как правило, скоуп понятен — берешь и делаешь. И еще остается много времени на личные проекты или внешние проекты, где вы можете заработать еще столько же — $160-180k в год. Поэтому вот не все так однозначно.

Но если вы Staff в FAANG, то там кроме базы у вас появляется жирный бонус, и чем выше грейд, тем выше бонус. И сама организация достаточно большая, чтобы был хороший impact. Поэтому у всех есть выбор — зарабатывать деньги или отправиться в корпоративное приключение в поисках карьерной лестницы.

Инжиниринг Данных

18 November 2025 18:52

Интересная статья - LLMs: The Illusion of Thinking, в которой рассказываю про LLM и насколько это далеко от реального искусственного интеллекта. Некоммерческие лидеры мнений тоже про это говорили.

LLMs: The Illusion of Thinking — краткое резюме
1 LLM создают иллюзию мышления, но не обладают пониманием, сознанием или намерением.
2 Они предсказывают слова по статистике, а не рассуждают логически.
3 Галлюцинации и уверенная ложь — системная проблема всех моделей.
4 На сложных задачах (пример: Tower of Hanoi) модели полностью ломаются, даже если знают алгоритм.
5 Chain-of-Thought не является реальным мышлением — часто рассуждения неверные, но ответ случайно правильный.
6 LLM путают факты и смешивают источники (пример: объединение двух разных авторов).
7 В программировании LLM часто создают “циклы безумия”, когда исправления снова вводят ошибки.
8 Бенчмарки, которыми хвастаются создатели моделей, сильно завышены и некорректны.
9 В образовании растёт проблема массового списывания, ценность дипломов падает.
10 LLM — полезны как ассистенты, но должны применяться только с внимательным контролем человека и не являются AGI.

Возможно и правда GenAI в текущей реализации нас не заменит, но очень помогает делать свою работу лучше. А как вам кажется?

Инжиниринг Данных

18 November 2025 04:46

Нашел классную имплементацию учебных материалов по Data Engineering и других смежных специальностей.

Мне понравилась механика сайта и как сгруппированы задания. Единственный минус это сам контент, точнее отсутствие контекста.

Если я посмотрю дорожную карту для дата инженера, то найду там все как полагается - git, bash, cli, python, MPP базы данных, облака и тп. Но нет контекста, зачем и почему. А как реально работают инженеры данных, где 20%, которые дадут 80% результата. То есть работу мы не найдем, если пройдем курсы и порешаем задачки.

У меня в Surfalytics все наоборот, где фокус только на результат и контекст через конкретные измеряемые действия, но пока что нет такой красивой обложки, все на словах в полу-ручном режиме.

За сайт, дизайн и механику - 5. За возможность стать дата инженером (или любая другая специализация) - 2.

https://prepare.sh/interviews/data-engineering

Инжиниринг Данных

17 November 2025 14:00

Приглашаем в канал AI Inside

Канал для тех, кто смотрит на искусственный интеллект не как на хайп, а как на рабочий инструмент. Здесь нет абстрактных теорий — только прикладные решения.

Что вас ждет:
✔️ Технологии: расскажем, как ИИ решает реальные бизнес-задачи — от автоматизации до аналитики.
✔️ Кейсы: покажем успешные примеры внедрения и использования ИИ-инструментов.
✔️ Экспертиза: объясним сложные технологии простым языком с фокусом на практическую пользу.

Наша цель — дать конкретные идеи и инсайты, которые можно применить уже сегодня.

Присоединяйтесь к сообществу практиков!

Инжиниринг Данных

17 November 2025 03:25

Еще одна бесплатная книга от O’Reilly - Understanding ETL Data Pipelines for Modern Data Architectures.

Как раз в тему к прошлому посту о ETL✋

Инжиниринг Данных

15 November 2025 22:27

В статье 5 Things in Data Engineering That Have Changed In The Last 10 Years автор поделился как поменялась индустрия (западная) за последние 10 лет.

1) Компании хотят только сеньоров
Команды сильно сократились, и бизнес требует быстрых результатов → поэтому нанимают в основном опытных инженеров + AI-копилоты усилили продуктивность сеньоров. Джуниорам сложнее входить.

Это произошло в последние 2-3 года. Никому не нужны малыши без опыта. Все хотят опытных людей, чтобы пришли и сразу решали конкретные задачи. В больших компаниях еще сохранилась возможность пройти стажировку и прийти сразу с универа. Но надо, чтобы универ был топчик. Все кто ходят на курсы - мимо. Поэтому мой подход прийти seniorом без опыта выглядит особенно привлекательно в текущих реалиях. Улучшений в будущем для данной ситуации не видно. Специалисты и эксперты в ИТ появляются как грибы. Доступность образования и реклама успешных айтишников в Дубаях и на Патриках делает свое дело. 🚶‍♀️ Все хотят хорошую зарплату и удаленную работу, но места на всех не хватит.😞

2) Cloud стал дефолтом
Раньше облако было опцией, сейчас — стандарт. Все мигрируют: Snowflake, BigQuery, Databricks. Почти никто не строит аналитику он-прем.

Полностью согласен. Я могу открыть любую вакансию в Северной Америке, Южной Америке, Европе, Австралии и тп, и там будет облако и MPP облачное хранилище с вероятностью 95%. Хотя недавно познакомился с инженером, кто пришел к нам из Comcast. Он рассказал, что у них был свой дата центр и он ставил Kafka на bare metal. Ну красавчик, только получает в несколько раз меньше. 🏆

3) Перестали писать кастомные пайплайны
10 лет назад везде были самописные ETL на cron/SSIS/python скриптах. Сейчас сразу используют готовые инструменты: Airflow, dbt, EventBridge, Coalesce, etc. Нужно быстрее приносить ценность, а не строить платформу с нуля.

Доступность инструментов low-code/no-code очень сильно упрощают работу. Можно фокусироваться на бизнес проблемах и ценностях, а не трабалшуить legacy/technical debt код. Хотя уже с развитием AI IDE уже все превращается в no-code/low code. Главное базу знать и понимать основу и свою ценность для бизнеса.

4) SQL победил
Споры между SQL vs что-то ещё закончились — SQL стал универсальным стандартом. Job-market требует SQL практически везде. dbt усилил этот тренд.

Если ваш продукт не поддерживает SQL, то у вас плохой продукт. SQL наше все. Хотя некоторые аналитики обожают Pandas, и пишут что-то в своих ноутбуках. А потом инженерам нужно все это разгребать.🙅‍♂️

5) AI изменил рабочие процессы
AI ускоряет работу, но создаёт риск «движения вместо прогресса»: люди меньше понимают код, больше копипастят из LLM. Выигрывают те, кто умеет совмещать AI + инженерное мышление.

100% все поменялось. Я общаюсь со многими командами и вижу, что люди на самом деле не очень сильно используют все возможности. Большинство не любят перемен и не умеют учиться быстро и эффективно. Когда говорят, что AI заменит людей, чаще всего имеют в виду тех, кто не хочет или не умеет учиться. Сейчас настоящий FOMO в AI и очень важно смотреть куда дует ветер и стараться использовать в работе AI и собирать полезные use cases для вашей индустрии и вашей специализации.

Самое главное, что произошло за 10 лет, то это обесценивание денег, повышение налогов, снижение покупательной способности, отмена job security, и отсутствие стабильности. 🤟

Инжиниринг Данных

14 November 2025 18:22

В Сетке, соцсети для нетворкинга от hh ru, появились несколько интересных вакансий для специалистов в продуктовой и data-аналитике. Сервис удобный, аккуратный и даёт возможность писать нанимающим напрямую — без лишних формальностей.
Вот три позиции, которые могут быть особенно полезны подписчикам канала:

1️⃣ Тимлид продуктовой аналитики в Lamoda
https://set.ki/post/PNJKv9m
Отличный вариант для тех, кто хочет развивать продуктовую аналитику в большом e-commerce и брать на себя лидерские задачи.

2️⃣ Аналитик-разработчик в команду конкурентной AI-аналитики Яндекса
https://set.ki/post/5Y3BJYg
Подойдёт тем, кому интересны задачи на стыке AI, больших данных и исследовательской аналитики.

3️⃣ Business Intelligence Head
https://set.ki/post/7PmA9nj
Роль для опытных BI-лидов, которым интересно выстраивать стратегию аналитики на уровне компании.
Если кто-то как раз присматривает новое направление или хочет попробовать силы в сильных продуктовых командах, эти вакансии точно стоят внимания.

Инжиниринг Данных

13 November 2025 22:26

Случай из технического собеседования, где у меня была второстепенная роль.

Собеседование рассчитано на 90 минут. 3 SQL и 3 Python упражнения.

Из заметок во время собеседования:

Коллега: оставляет комментарии, что кандидат не знает чего-то
Я: давай закончим собес и отпусти кандидата (уже 15 минут идет собеседование)
Коллега: мы должны до конца….
Я: ок (пойду пост в телегу напишу)

И тут возникает вопрос? Ну зачем мучать кандидата, зачем тратить своем время? Возможно коллега переживает за репутацию компании и хочет, чтобы все было по правилам. Но по факту, он тратит свое, мое и кандидата время. Да еще кандидат узнает о провале только спустя пару дней.

Жалко что common sense часто не работает.

А как вы делаете? Обрубаете сразу или терпите сидите до конца?

Инжиниринг Данных

08 November 2025 21:43

Я еще не рассказывал про интересный опыт работы в большой Fortune 500 компании - Okta, целых 3 года. Большая американская компания, которая фокусируется на digital identity. Сама компания состоит из 2х больший компаний - Okta и Auth0. Это два разных продукта.

Okta предоставляет workforce portal (аналог SSO), то есть портал для корпоративных сотрудников, чтобы логиниться во всевозможные сервисы - почта, календарь, бизнес приложения и тп. Такая же идея как Microsoft Active Directory, но свой продукт. Интересно есть ли в РФ такой аналог?

Auth0 это продукт для разработчиков - форма аутентификации и авторизации. Например, вы создаете новое приложение и вам нужно как-то добавить возможность логина, сброса паролей, MFA и тп, чтобы было безопасно и масштабируемо. Вот Auth0 это абсолютный лидер в этом направлении. Каждый раз когда вы логинитесь в ChatGPT, Ikea, Starbucks - вы используете Auth0 (Okta). Сейчас даже тестирую для Surfalytics, там есть бесплатный tier.

Okta купила Auth0 в 2022 за 6.5 миллиардов. Это именно тот пример, когда большая компания покупает лидера индустрии и убивает все хорошее что в нем есть. Именно культурно. Основании компании были из Аргентины и вайб там было что-надо. Сами основатели были из Microsoft AD команды. Поэтому каждое поглощение в индустрии не проходит не заметно для сотрудников и клиентов. Да и стоимость акции Окта с 2022 года так никогда и не отправилась.

У меня было много интересных проектов связанных с Auth0, интеграцией между Okta и Auth0, создание customer facing решений, специфичные решения для OpenAI (особенно связанных с Rate Limit), коллаборация с ML/AI командами. Даже приходилось менять код самого продукта Auth0, чтобы собирать дополнительные события.

Из смешного - это именно та компания, которая на меня наехала, когда я опубликовал танцующего Трампа в корпоративный слак и пришлось удалить, несмотря на то, что у них много государственных контрактов=)

Я добавил архитектурный слайд, на котором видно множество сервисов, которые пишут данные в Snowflake. В Okta вообще 3-4 инстанса Snowflake и 1 Databricks.

Инжиниринг Данных

07 November 2025 17:42

Интересная заметка про PIP (Performance Improvement Plan) от человека, кто знает в них толк. Рассказывает механику.

Лично я прошел 2 PIP за все время, у меня немного другой взгляд на PIP и на работу, поэтому для меня PIP обычно как EPIC (проект) в Jira. И как говорит автор - в нынешних условиях сокращений в компаниях PIP всё чаще превращается не в инструмент развития, а в формальность — элемент корпоративного театра.

Горькая правда: сегодня я снова получил письмо с просьбой «помочь пройти PIP» (план по улучшению эффективности). Такие письма разбивают мне сердце, потому что шанс на успех почти нулевой.

В то же самое время один из топ-менеджеров, с которым я работаю, рассказал, что последнюю волну сокращений они провели просто ускорив увольнение сотрудников, находящихся на PIP, — вместо того чтобы ждать окончания плана, их просто сократили.
Бесперспективность ситуации очевидна.

Один человек отчаянно пытается доказать, что он хороший сотрудник и может восстановить карьеру.
Другому выдали квоту на увольнения, и, конечно, логично начать с тех, у кого уже есть документированные проблемы с эффективностью.
Легко обвинить среднего менеджера, но давай заглянем в голову руководителя группы, когда речь идёт о PIP:

1. К тому моменту, когда непосредственный руководитель решает оформить PIP, он уже давно разочарован и пытался помочь сотруднику сам.
Менеджеры знают, что запуск PIP — это тяжёлый, неприятный разговор, который испортит отношения. Поэтому до этого они обычно пробуют всё возможное: дают обратную связь, помогают, стараются добиться изменений.
«Это последний шанс. Ничего больше не сработало. Может, это поможет, а если нет — хотя бы HR одобрит увольнение».
Вот почему пройти PIP так сложно — менеджер обычно уже сдался. Конечно, есть исключения, но чаще всего PIP — это негативный шаг, к которому прибегают в последний момент.

2. В некоторых компаниях у менеджеров, HR и вышестоящего руководителя есть квота на «нежалеемые увольнения» — показатель, сколько сотрудников с низкой эффективностью нужно вывести из компании.
На практике это означает: если признать, что человек на PIP заслуживает остаться, нужно найти кого-то другого на его место в этой «квоте».
В такой нулевой сумме сотрудник на PIP должен не просто улучшить результаты, а настолько, чтобы менеджеру захотелось пожертвовать кем-то другим.

3. Для вышестоящего руководителя (skip-level) этот сотрудник часто почти незнаком.
Допустим, сотрудник приходит и говорит: «Я хороший работник, я хочу остаться. Я давно здесь и хочу продолжать приносить пользу».
Руководитель думает: «Если я поверю этому сотруднику, я противоречу своему менеджеру и признаю, что у него проблемы в управлении. Тогда мне самому придётся разбираться и, возможно, попасть под критику. А если я просто доверюсь менеджеру — он наймёт нового человека, и жизнь пойдёт дальше».

Инжиниринг Данных

06 November 2025 16:37

Data Dojo | Москва | 27 ноября

Это мероприятие Яндекса для сообщества ML-специалистов с обсуждением трендов, прикладных кейсов и разбором реальных задач из соревнований.

Зачем участвовать:
💬 послушать выступления экспертов
💬 разобрать задачи вместе с сообществом
💬 узнать, как попасть на стажировку и начать карьеру ML’щика в Яндексе
💬 завести новые знакомства и зажечь на afterparty

👉 Заполняй форму до 16 ноября.

Data-самураи действуют поодиночке, но учатся вместе. Присоединяйся.