Инжиниринг Данных

08 November 2025 21:43

Я еще не рассказывал про интересный опыт работы в большой Fortune 500 компании - Okta, целых 3 года. Большая американская компания, которая фокусируется на digital identity. Сама компания состоит из 2х больший компаний - Okta и Auth0. Это два разных продукта.

Okta предоставляет workforce portal (аналог SSO), то есть портал для корпоративных сотрудников, чтобы логиниться во всевозможные сервисы - почта, календарь, бизнес приложения и тп. Такая же идея как Microsoft Active Directory, но свой продукт. Интересно есть ли в РФ такой аналог?

Auth0 это продукт для разработчиков - форма аутентификации и авторизации. Например, вы создаете новое приложение и вам нужно как-то добавить возможность логина, сброса паролей, MFA и тп, чтобы было безопасно и масштабируемо. Вот Auth0 это абсолютный лидер в этом направлении. Каждый раз когда вы логинитесь в ChatGPT, Ikea, Starbucks - вы используете Auth0 (Okta). Сейчас даже тестирую для Surfalytics, там есть бесплатный tier.

Okta купила Auth0 в 2022 за 6.5 миллиардов. Это именно тот пример, когда большая компания покупает лидера индустрии и убивает все хорошее что в нем есть. Именно культурно. Основании компании были из Аргентины и вайб там было что-надо. Сами основатели были из Microsoft AD команды. Поэтому каждое поглощение в индустрии не проходит не заметно для сотрудников и клиентов. Да и стоимость акции Окта с 2022 года так никогда и не отправилась.

У меня было много интересных проектов связанных с Auth0, интеграцией между Okta и Auth0, создание customer facing решений, специфичные решения для OpenAI (особенно связанных с Rate Limit), коллаборация с ML/AI командами. Даже приходилось менять код самого продукта Auth0, чтобы собирать дополнительные события.

Из смешного - это именно та компания, которая на меня наехала, когда я опубликовал танцующего Трампа в корпоративный слак и пришлось удалить, несмотря на то, что у них много государственных контрактов=)

Я добавил архитектурный слайд, на котором видно множество сервисов, которые пишут данные в Snowflake. В Okta вообще 3-4 инстанса Snowflake и 1 Databricks.

Инжиниринг Данных

07 November 2025 17:42

Интересная заметка про PIP (Performance Improvement Plan) от человека, кто знает в них толк. Рассказывает механику.

Лично я прошел 2 PIP за все время, у меня немного другой взгляд на PIP и на работу, поэтому для меня PIP обычно как EPIC (проект) в Jira. И как говорит автор - в нынешних условиях сокращений в компаниях PIP всё чаще превращается не в инструмент развития, а в формальность — элемент корпоративного театра.

Горькая правда: сегодня я снова получил письмо с просьбой «помочь пройти PIP» (план по улучшению эффективности). Такие письма разбивают мне сердце, потому что шанс на успех почти нулевой.

В то же самое время один из топ-менеджеров, с которым я работаю, рассказал, что последнюю волну сокращений они провели просто ускорив увольнение сотрудников, находящихся на PIP, — вместо того чтобы ждать окончания плана, их просто сократили.
Бесперспективность ситуации очевидна.

Один человек отчаянно пытается доказать, что он хороший сотрудник и может восстановить карьеру.
Другому выдали квоту на увольнения, и, конечно, логично начать с тех, у кого уже есть документированные проблемы с эффективностью.
Легко обвинить среднего менеджера, но давай заглянем в голову руководителя группы, когда речь идёт о PIP:

1. К тому моменту, когда непосредственный руководитель решает оформить PIP, он уже давно разочарован и пытался помочь сотруднику сам.
Менеджеры знают, что запуск PIP — это тяжёлый, неприятный разговор, который испортит отношения. Поэтому до этого они обычно пробуют всё возможное: дают обратную связь, помогают, стараются добиться изменений.
«Это последний шанс. Ничего больше не сработало. Может, это поможет, а если нет — хотя бы HR одобрит увольнение».
Вот почему пройти PIP так сложно — менеджер обычно уже сдался. Конечно, есть исключения, но чаще всего PIP — это негативный шаг, к которому прибегают в последний момент.

2. В некоторых компаниях у менеджеров, HR и вышестоящего руководителя есть квота на «нежалеемые увольнения» — показатель, сколько сотрудников с низкой эффективностью нужно вывести из компании.
На практике это означает: если признать, что человек на PIP заслуживает остаться, нужно найти кого-то другого на его место в этой «квоте».
В такой нулевой сумме сотрудник на PIP должен не просто улучшить результаты, а настолько, чтобы менеджеру захотелось пожертвовать кем-то другим.

3. Для вышестоящего руководителя (skip-level) этот сотрудник часто почти незнаком.
Допустим, сотрудник приходит и говорит: «Я хороший работник, я хочу остаться. Я давно здесь и хочу продолжать приносить пользу».
Руководитель думает: «Если я поверю этому сотруднику, я противоречу своему менеджеру и признаю, что у него проблемы в управлении. Тогда мне самому придётся разбираться и, возможно, попасть под критику. А если я просто доверюсь менеджеру — он наймёт нового человека, и жизнь пойдёт дальше».

Инжиниринг Данных

06 November 2025 16:37

Data Dojo | Москва | 27 ноября

Это мероприятие Яндекса для сообщества ML-специалистов с обсуждением трендов, прикладных кейсов и разбором реальных задач из соревнований.

Зачем участвовать:
💬 послушать выступления экспертов
💬 разобрать задачи вместе с сообществом
💬 узнать, как попасть на стажировку и начать карьеру ML’щика в Яндексе
💬 завести новые знакомства и зажечь на afterparty

👉 Заполняй форму до 16 ноября.

Data-самураи действуют поодиночке, но учатся вместе. Присоединяйся.

Инжиниринг Данных

06 November 2025 02:44

Сегодня у меня было первое собеседование с AI ботом 🤖

Идея была такая - как хобби устроиться junior AI инженером, чтобы сразу на деле все учить. Я нашел вакансию, сделал резюме и отправил. Мне сразу предложили пройти AI собеседование.

Нужно было расшарить экран, включить видео и слушать как бот читает вопросы.

Вопросы были про Fast API, прям теория-теория, что мне даже было скучно читать ответы из Gemini. Далее было про AWS и GPU, было уже поинтересней. И в конце задачка по Python.

Компания предлагает сервис AI рекрутера. Можете тоже пройти AI собес 🔴

AI рекрутеры ищут fake кандидатов, и потом одни боты общаются с другими.

Инжиниринг Данных

05 November 2025 07:05

Создатель SuperSet/Preset BI написал сегодня про свой новый продукт - agor

Представь себе Figma, но для AI-помощников по программированию.
Это система нового поколения для оркестрации (координации) AI-агентов, помогающих писать код. Многопользовательский пространственный слой, который объединяет Claude Code, Codex, Gemini и любые другие «агентные» инструменты кодинга в единую рабочую среду.

Коротко (TL;DR):
Agor — это многопользовательское пространственное полотно, где можно координировать несколько AI-помощников по кодингу, выполняющих параллельные задачи. Оно поддерживает рабочие деревья, связанные с GitHub, автоматизированные «зоны рабочих процессов» и изолированные тестовые среды — всё это работает одновременно.

Инжиниринг Данных

03 November 2025 19:55

Отличная идея как заполнить пробелы в резюме:)

Инжиниринг Данных

31 October 2025 21:13

Чуваки классно сделали маркетинг. Теперь их любят упоминать рядом с новостями про увольнения.

Вот кратко про компанию Artisan (США):
Что делает:
Artisan разрабатывает платформу автоматизации исходящего B2B-продаж с помощью ИИ-сотрудников (они называют их “Artisans”).

Платформа позволяет создавать целевые кампании, находить потенциальных клиентов, собирать сигналы намерения (intent data), автоматически запускать серии сообщений по e-mail и LinkedIn, отслеживать посетителей сайта.

Цель — убрать рутинные задачи (исследование, отправка, напоминания) и освободить людей для «большой работы».

Инжиниринг Данных

30 October 2025 15:45

МТС True Tech Champ — зрелищный шоу-чемпионат с ИИ-спецэффектами!

21 ноября МТС объединяет ИТ-конференцию и ИТ-чемпионат на одной площадке. Тебя ждет настоящий фестиваль технологий. Более 250 ИТ-талантов со всей России сразятся в лайв-кодинге и программировании роботов на скоростное прохождение лабиринтов со спецэффектами.

Между наблюдением за заездами и поединками ты сможешь:

▫️ послушать конференцию с международными спикерами в области ИИ;
▫️ поучаствовать в воркшопах и юмористических батлах в ИТ-качалке;
▫️ испытать себя в кодерских челленджах и других айтивностях;
▫️ перезагрузить карьеру в HR-Хабе вместе с командой МТС.

День завершится ярким афтепати со звездными хедлайнерами.

👉🏻 Участие бесплатно, количество мест ограничено. Успей зарегистрироваться

Инжиниринг Данных

29 October 2025 19:20

Я подписан на вакансии от GetMatch уже довольно давно. Интересно следить за рынком.

Самую большую зарплату я видел на дата инженера в Сбербанк за 750т в в месяц.

Второе место получает Алиса и 680т в год.

Кстати вчера с коллегами из Америки обсуждали вопрос про DW и DWH - как правильно? Я узнал у ChatGPT, оказывается:

Используй DW, когда пишешь на английском или готовишь официальную документацию, особенно если аудитория — международная.

Используй DWH, если работаешь в команде или регионе (например, в России, Восточной Европе или Германии), где принято именно такое обозначение.

Так что если работаете за границей, (не) ударьте лицом в грязь, используйте правильную терминологию.

PS Сервис GetMatch и их бот просто 🟢.

PPS Кто нибудь учился в Сколково MBA? Или какой самый топ MBA в РФ (ради хорошего нетворкинга)

Инжиниринг Данных

29 October 2025 03:19

Вернемся к нашим “баранам”. Мы все знаем Apache Kafka. Стандартное решение по стримингу.

Redpanda — это event-streaming платформа, аналог Apache Kafka, но с другой архитектурой (C++ вместо Java, без ZooKeeper, без JVM).
Продукт хочет заменить Kafka, обеспечив совместимость с Kafka API и клиентами, но при этом дать в 5–10 раз меньше latency и в разы проще эксплуатацию.

Я использовал Red Panda Community Edition когда мы строили решение для API трейдинга в AlpacaMarkets на GCP и k8s. Red Panda не open-source, она source available. Проблем в эксплуатации не было. Но и объемы были не очень большие.

Компания уже единорог и они решили двигаться в сторону платформы, поэтому купили Oxla - Redpanda acquires Oxla, a distributed SQL Engine, launches new Agentic Data Plane for governing AI Agents for enterprise data. То есть теперь у них будет свой SQL движок и они могут уже давать Stream/Batch на входе и трансформацию данных. (data in motion and at rest)

Red Panda Docker Image.

Инжиниринг Данных

28 October 2025 20:50

Амазон сократил 30т человек, среди них много инженеров и менеджеров.

При этом финансовые показатели очень хорошие.

Цитаты с reddit:

Amazon treats workers like shit. It doesn't matter if you're a highly educated developer or just a delivery driver. You're basically just a sacrificable pawn.

I would happily be sacrificed if it means more share holder value generated. If billionaires get richer then it will eventually trickle down to me. Ronald Reagan said so and he was the POTUS and no POTUS has ever lied before

Layoffs will continue until morale improves. Thank you for your attention on the matter.

compensate for overhiring during the peak demand of the pandemic
My dudes it is Q4 2025. How much longer is this excuse going to hold water?

This period of economic history will be explained as the moment when companies profitability became completely detached from employees job security. You have companies making record profits and yet laying off employees without thinking twice. Profitable and growing companies used to share their fortune with their workforce, it has now dramatically changed.

Инжиниринг Данных

28 October 2025 01:33

Два мужичка обсуждаю, что они создали успешные компании и работали в среднем 50 часов в неделю. Никаких вам 996.

С другой стороны работа должна приносить удовольствие. Если вам по кайфу 12-14 часов в день работать, и вас прёт, то почему бы и нет. Хотя такой режим вас убивает в прямом и переносном смысле.

А можно работать 4-6 часов в день, а остальное время тратить на обучение, развитие, спорт и любимые занятия.

Правда вас вряд ли возьмут в YC или другой инкубатор, и вряд ли вам дадут seed раунд.

У кого какой режим?

Инжиниринг Данных

27 October 2025 11:02

AIJ Deep Dive: специальный очный трек для AI-профи в рамках международной конференции AI Journey!

Среда для профессионального роста, общение с экспертами мировой AI-индустрии и другими AI-профи — всё это ждёт вас на треке AIJ Deep Dive. В программе — только главные аспекты работы с AI:

Это событие точно нельзя пропустить

1️⃣19 ноября — день Науки: проведём глубокий анализ IT-решений, прорывных научных исследований, R&D-разработок и передовых методик.

2️⃣ 20 ноября — день Бизнеса: разберём успешные кейсы внедрения, оценим эффективность и практические результаты.
На треке вас ждут выступления ведущих экспертов в AI, постер-сессия, специальные форматы для нетворкинга и выставка R’n’D решений. Это уникальная возможность обсудить сложные вопросы с теми, кто действительно понимает ваши вызовы.

Где? Офис Сбера, Кутузовский проспект, д. 32, к. 1 (Е)
Когда? 19–20 ноября 2025 года

По ссылке — форма регистрации на очное участие. Присоединяйтесь к профессиональному AI-сообществу!

Инжиниринг Данных

26 October 2025 18:57

Инновации создают новые возможности и новые профессии😎

Инжиниринг Данных

25 October 2025 00:34

В статье Exploring the Evolving File Format Landscape in AI Era: Parquet, Lance, Nimble and Vortex And What It Means for Apache Iceberg рассказывают про файловые форматы.

Мы привыкли к классическим форматам - Parquet, Avro, ORC, которые долгое время были стандартом для аналитики (batch-запросов, DWH, Data Lake, Lake House).

Они оптимизированы под:
- последовательное чтение больших объёмов данных
- компрессию и экономию места
- традиционную оффлайн-аналитику

Но они плохо подходят под:
- AI/ML, где нужно быстро извлекать отдельные строки или фичи
- векторные данные (embeddings)
- real-time-обновления и работу на GPU

А вот и сами новые форматы:

💻Lance: быстрый доступ к данным для векторных и мультимодальных задач — embeddings, LLM-RAG, vector search.

Особенности:
- Нет row-groups, доступ к строкам O(1);
- Adaptive encoding для разных типов данных;
- Встроенные векторные индексы (HNSW, IVF_PQ);
- Поддержка версионирования (git-like snapshots).

Преимущество: до 2000× быстрее Parquet при случайных чтениях.

Минус: пока не поддерживается BI-инструментами.

https://lancedb.github.io/lance/


💻Nimble: ускорение декодирования данных при обучении ML-моделей.

Проблема Parquet: сложные кодировки (dictionary/run-length) и компрессия замедляют загрузку данных в GPU-потоки.

Решение Nimble:
- Простая и предсказуемая структура памяти;
- Минимум переменной длины кодировок;
- Оптимизация под батчи и потоки данных для PyTorch/TensorFlow.

Эффект: ускорение чтения/декодирования в 2–3 раза по сравнению с Parquet.
Минус: увеличивается размер файлов, зато быстрее обучение.

https://github.com/facebookincubator/nimble

💻Vortex: real-time-доступ и обновления без тяжёлых абстракций.

Проблема: Parquet и ORC не поддерживают частые апдейты/удаления — данные нужно “патчить” через Iceberg/Delta.

Решение:
- Индекс-ориентированные файлы с лёгкой метаданной структурой;
- Быстрый доступ к отдельным строкам или диапазонам;
- Гибкие схемы и низкая задержка при изменениях.

Применение:
- real-time аналитика;
- Event-driven системы;
- Динамичные агентные ИИ-приложения.

https://vortex.dev

Форматы пока не очень популярны, но они показывают высокую эффективность. Осталось подождать и посмотреть, кто возьмет лидерство и как пройдет адоптация в индустрии. А то Parquet уже совсем борода.

Некоторые статьи по теме
Nimble and Lance: The Parquet Killers
Hacker News Thread - Nimble: A new columnar file format by Meta
Reddit Thread - Vortex: A new file format that extends parquet and is apparently 10x faster
Lance: The Columnar Data Format Transforming Machine Learning Workflows

Инжиниринг Данных

07 November 2025 22:26

А вот пример ответочки от инженеров, кого уволили! Надо бороться с капитализмом🤠

Инжиниринг Данных

06 November 2025 23:45

Отличной пост - DuckLake: Why Early-Stage Startups Should Stop Cosplaying as Netflix

Идея заключается в том, что многие команды и компании строят iceberg lake house на максималках. Неважно, какой объем данных, какие требования. Сразу создают серьезную архитектуру с Kafka, распределенными вычислениями, каталогами и кластерами.

В данной статье ссылаются на ducklake как простое и дешевое решение для вашего Iceberg Lakehouse.

Обязательно надо будет попробовать.

Инжиниринг Данных

06 November 2025 08:59

Первый Data Sapience Data Day: дата, программа, регистрация

Data Sapience объявляет о проведении первой масштабной конференции, посвященной работе с большими данными, Data Sapience Data Day, которая состоится 18 ноября 2025 года. Мероприятие объединит ведущих экспертов IT-отрасли и руководителей крупнейших компаний.

В программе конференции:

Панельная дискуссия с участием CDO лидирующих организаций будет посвящена ключевым темам современного дата-рынка:
▫️перспективам развития дата-ландшафта;
▫️влиянию искусственного интеллекта на управление данными;
▫️оценке готовности рынка (технологии/решения/компетенции);
▫️вопросам миграции в публичные облака.

Клиенты выступят с докладами и расскажут о кейсах внедрения и эксплуатации решений Data Sapience. Среди спикеров — представители Альфа-Банка, ОТП Банка, Россельхозбанка и других крупных организаций.

Технологические презентации познакомят участников с возможностями Lakehouse-платформы данных Data Ocean и платформы управления данными Data Ocean Governance.

В мероприятии примут участие специалисты Т-Банка, Газпромбанка, Сбербанк Страхования, Адастры и других ведущих игроков рынка.

▶️ ПОДРОБНАЯ ПРОГРАММА И РЕГИСТРАЦИЯ ◀️
Участие в конференции бесплатное. Регистрация обязательна и проходит модерацию в соответствии с закрытым форматом мероприятия.

Рекламодатель: ООО «Дата Сапиенс», ИНН 9701181979, ОГРН 1217700358083, Юр. адрес: 105064, Российская Федерация, г. Москва, ВН.ТЕР.Г. Муниципальный округ Басманный, Пер Нижний Сусальный, д. 5, стр. 19, этаж/пом. А1/ХI, ком. 12,13
erid: CQH36pWzJpq2KQtHrgMFXy92zBCDiSr4BgsGADo27vsqwQ

Инжиниринг Данных

05 November 2025 19:49

Если вам вдруг надоел Apache Iceberg, то у вас есть возможность использовать Hudi.

Источник: https://www.onehouse.ai/whitepaper/apache-hudi-the-definitive-guide

Apache Hudi (Hadoop Upserts Deletes and Incrementals) — это формат хранения данных и фреймворк для управления большими наборами данных в дата-озёрах (Data Lake). Он добавляет поверх “сырых” файловых форматов (Parquet, ORC и т. д.) уровень управления записями — позволяет обновлять, удалять и инкрементально читать данные, как в базе данных, но с производительностью и масштабируемостью дата-озера.

Инжиниринг Данных

04 November 2025 17:36

Наконец-то сделали нормальный гайд про то, как сделать ИИ агента на Python - Как сделать бота с индивидуальным характером на основе ИИ

Без всяких там премудростей и терминологий. ИИ идет в народ. Клик клик жмак жмак и готово! Подойдет, даже если вы не пользовались VSCode и Python.


Да, вы сможете сделать себе лоли фурри альтушку (максимально осуждаю), которая будет слушать лор вархаммера, и никто не будет знать о ваших извращениях.

Инжиниринг Данных

31 October 2025 23:36

Если вы не знали, то Индия это не про дешевый outsource, а world class tech talent!

Databricks дает добро. Возможно будут увольнения в North America/Europe перед IPO, чтобы заменить на недорогой world class tech talent.

Про глобализацию tech компаний и их планы по открытию офисов в индии мы уже знакомы.

Инжиниринг Данных

31 October 2025 07:59

avito.tech.conf, первая конфа от AvitoTech для менеджеров и лидов — как это было? ☄️

Проверьте сами! Смотрите видео выше и обязательно переходите на плейлист с записями докладов:

📺 Youtube
🔵 VK Видео

Почему важно послушать доклады, если не успели подключиться онлайн или прийти офлайн? Во время конференции участники успели обсудить огромный спектр важных в индустрии тем: от внедрения в разработку и управления AI и LLM до барьеров, которые мешают инженерам вырасти в менеджера.

И, на секундочку, ивент от ребят собрал 1000+ лидов, менеджеров и C-level. А в онлайне к трансляции подключилось 10 000+ человек. Можете поздравить коллег и открывайте плейлист 💻

Инжиниринг Данных

30 October 2025 01:41

Онлайн Analytics Open Source conference https://osacon.io/about/ 4-5 Ноября.

А еще будет PyData в Сиэтле 7-9 ноября офлайн https://pydata.org/seattle2025, хочу на нее попасть и отдохнуть от работы поковырять AI на их воркшопах.

Инжиниринг Данных

29 October 2025 18:33

Red Panda дарит вам книгу Fundamentals of Data Engineering

Инжиниринг Данных

28 October 2025 22:27

Вчера закончил слушать книгу “Homo Deus (Человек Божественный) - Краткая история будущего”, автора Юваля Ноя Харари. Книга была издана 2015-2016 года и многое о чем говорит автор, как будто уже происходит сейчас. Особенно посли новостей про mass layoffs.

В книге автор рассмотрел возможные направления человечества когда голод, болезни и войны уже не главная проблема человечества. Один из тезисов был про датаизм (dataism), то есть данные становятся центром мира. Алгоритмы и ИИ могут лучше, чем человек, принимать решения. Автор пишет, что будущее будет принадлежать системам, которые умеют обрабатывать и использовать информацию, а не людям с «душой» или «сознанием».

И еще была интересная теория про развитие неравенства между элитами и “остальными”.

Немного summary от бездушной машины:

⚙️ От социального неравенства — к биологическому кастовому обществу
Если в XX веке разделение шло по уровню доходов или образованию, то в XXI оно может стать непреодолимым:
бедные просто не смогут конкурировать с «улучшенными» в скорости мышления, памяти, выносливости;
даже рынок труда изменится — «обычные» люди будут ненужны, заменены ИИ и роботами.

🧠 Новая элита управляет не только экономикой, но и алгоритмами
Харари отмечает, что в будущем власть будет у тех, кто контролирует данные и алгоритмы.
Это не просто богатые — это владельцы информации (Google, Amazon, Meta, правительства).
Они смогут предсказывать и управлять поведением масс, формируя желания и решения людей.

⚖️ Главная опасность — "бесполезный класс"
Он вводит понятие "useless class" — людей, которых не нужно ни экономике, ни армии, ни политике.
Они не смогут найти работу, потому что ИИ будет эффективнее.
Их участие в обществе будет сведено к потреблению и цифровым развлечениям.

«Проблема будущего — не эксплуатация, а бесполезность миллионов людей.»

Инжиниринг Данных

28 October 2025 17:24

Регистрация на Yandex Cup 2025 закроется 29 октября

Восьмой международный чемпионат по программированию с призовым фондом 12 млн рублей пройдет в Стамбуле. Попробовать свои силы в чемпионате смогут опытные программисты со всего мира и юниоры из России.

Для участников доступно 6 направлений: аналитика, фронтенд, бэкенд, мобильная разработка, машинное обучение и спортивное программирование. Последние два международные, их можно будет проходить на русском и английском языках.

До 29 октября открыта регистрация и пробный тур, где можно познакомиться с платформой и решить задачи прошлых лет. 2 ноября состоится квалификация по большинству направлений, а квал по машинному обучению продлится до 5 ноября.

Очный финал состоится в Стамбуле. Его концепция будет вдохновлена объединением традиций турецкого крафта и IT: участники смогут почувствовать себя мастерами кода.

Торопитесь : зарегистрироваться на чемпионат можно на сайте.

Инжиниринг Данных

27 October 2025 22:27

Хвалят курс CS336: Language Modeling from Scratch от Стенфорда.

Языковые модели (language models) — это основа современных приложений обработки естественного языка (NLP) и открывают новую парадигму, в которой одна универсальная система может решать широкий спектр задач.

По мере развития искусственного интеллекта (AI), машинного обучения (ML) и NLP, глубокое понимание языковых моделей становится необходимым для учёных и инженеров.
Этот курс предназначен для того, чтобы дать студентам всестороннее понимание языковых моделей, проведя их через весь процесс разработки собственной модели. По аналогии с курсами по операционным системам, где студенты создают ОС с нуля, в этом курсе обучающиеся шаг за шагом изучат все этапы создания языковой модели — от сбора и очистки данных для предобучения до построения трансформер-модели, обучения, оценки и подготовки к развёртыванию.

Инжиниринг Данных

27 October 2025 06:57

Как говорит мой знакомый - полный раз$еб. Хорошо зашел пост про типы файлов. А вот в телеге его не оценили.

LinkedIn для меня похож на боулинг, шар (пост) рандомно запускаешь и смотришь на результат, авось Strike. Если хотя бы 100 лайков, то уже раз$еб.

А вот мой пост про AWS Outage не зашел и никто даже не извинился за задержку🤷‍♂️

Инжиниринг Данных

26 October 2025 06:44

Если вы технический лидер, то вам обязательно нужно ознакомиться с книгами Ларсона.

Вот его 4ая книга:

Книга “Crafting Engineering Strategy: How Thoughtful Decisions Solve Complex Problems” Уилла Ларсона — это практическое руководство о том, как инженерным лидерам принимать осознанные стратегические решения в сложных технических и организационных условиях.

💡 Основная идея
Многие инженеры думают, что у их компании нет инженерной стратегии. Но чаще всего стратегия есть — просто она не работает или не осознана. Ларсон показывает, как превратить хаотичные решения в системный процесс: понять, где организация находится, куда движется и как выстроить шаги, чтобы дойти до цели.

📘 О чём книга
Как создавать и формулировать инженерную стратегию — не просто набор инициатив, а чёткий путь с приоритетами и критериями успеха.
Как диагностировать проблемы в инфраструктуре, архитектуре и процессах команды.
Как принимать крупные технические решения: миграции систем, отказ от устаревших API, развитие платформ и внутренних инструментов.
Как сочетать техническое мышление с управленческим — стратегия не только про код, но и про коммуникацию, доверие и культуру.
Как внедрять стратегию: от презентации и buy-in команды до операционного исполнения и обратной связи.

🧭 Для кого
Для старших инженеров, тимлидов, архитекторов и руководителей, которые хотят не просто "чинить баги", а направлять развитие систем и команд.

🧩 Примеры
Автор опирается на опыт из Stripe, Uber и Calm, где он работал, и показывает реальные кейсы:
как выбрать момент для переработки монолита,
как управлять техническим долгом без потери скорости,
как вводить новые стандарты и процессы, чтобы они не умерли через месяц.

Если коротко:
Это книга о том, как инженерам думать стратегически и влиять на направление компании через осознанные решения, а не через “пожарное” тушение проблем.

Инжиниринг Данных

24 October 2025 17:44

🎙Новый выпуск подкаста «Потом доделаю» — о том, как устроена аналитика в Яндексе.
Гость — Роман Халкечев, руководитель аналитики Яндекс Поиска и Рекламы, человек, управляющий командой из 400 аналитиков.

👉 Слушать выпуск на Яндекс.Музыке

🧠 О чём подкаст:
Как технологии меняют повседневность, почему данные становятся основой решений и какую роль играют аналитики, когда нужно не просто “считать цифры”, а влиять на стратегию продукта.

💡 Кому будет полезно:
— тем, кто работает с продуктами, ML или данными и хочет понять, *как принимаются решения в компаниях вроде Яндекса*;
— руководителям, которые ищут баланс между цифрами и интуицией;
— тем, кто только задумывается о переходе в аналитику и хочет услышать профессию «изнутри».

🎯 Разбираем в подкасте:
• как аналитика может идти вразрез с бизнес-решением — и что тогда делать;
• как руководить сотнями аналитиков и не потерять фокус;
• откуда Яндекс берёт данные и как работает с «нестандартным поведением пользователей»;
• как нейросети меняют подход к аналитике;
• что ждёт профессию аналитика в ближайшие 5–10 лет.

⚙️ Почему стоит послушать:
Это редкий взгляд изнутри на то, как строится аналитика в большом продукте: от A/B-тестов до внедрения решений в реальные фичи.
Разговор помогает понять, как принимать решения на основе данных в условиях неопределённости и как аналитика, продукт и инженерия работают вместе.