Первый раз увидел вакансию Analytics Engineer. Обычно всегда Data Engineer.

Ключевое тут - это dbt. Но как видно в компании еще есть Trino, Iceberg. В целом для отечественного рынка очень хороший стек!

Обычно разделение идет на дата инженера и дата аналитика. Что уже давно не отражает суть.

Сейчас все вакансии инженерные (vibe coding?). Просто дата инженер еще может создавать инфраструктуру для аналитического решения, а аналитик инженер строить витрины.

Главный скилл для аналитик инженера - это понимание бизнеса и общение с бизнес заказчиками. То есть вам надо построить дашборд и вам не нужно ждать пока дата инженеры соберут витрину, они могут сами сделать витрину и job для ее обновления. Роль дата инженера будет создать фреймворк для этого.

Альтернатива такому стеку (как в вакансии) будет Hadoop (HDFS, Spark, Hive) и сверху Clickhouse или Greenplum (а может быть Greenplum будет вместо Hadoop сразу).

Скорей всего компаний в РФ, которые могут себе позволить создать классное и современное решение с нуля нет. У всех свой Франкенштейн legacy, который нужно поддерживать и параллельно добавлять всякие современные улучшения.

Я возможно всей картины не вижу, поправьте меня и расскажите как на самом деле дела обстоят.

Читать полностью…

Знаете кому AI не помогает?

Всем кто раньше топил за low/no code. Ведь там все завязано у вендора на кликанье мышкой в приятном интерфейсе.

Особенно разные BI инструменты или ETL инструменты. Сейчас можно быстрей сделать dashboard в Streamlit или Plotly, чем такой же в Tableau или Sigma BI.

Я не имею ввиду произведение искусства в Tableau. Я про обычные полезные дашбордики с bar/line charts или быстрые ad-hoc визуализации.

Даже в Looker нет удобной интеграции и нужно либо копировать руками LookML или в VSCode менять код без возможности валидации.

У меня есть пример одного инструмента, кто отлично смог встроить AI в свой процесс - это Matillion ETL. Это такой low-code инструмент, у которого всегда были проблемы с интеграцией в Git. Они добавили бота, который может теперь строить pipelines по промпту.

Зато есть у вас все аналитическое решение как код, то AI может посмотреть во все слои трансформации и подсказать, где ошибка или где можно улучшить.

Таким образом, у нас теперь любое репо превращается в low-code.

Читать полностью…

Из всего многообразия новых AI штук, моя любимая это MCP для тестирования данных и поиска ошибок.

Читать полностью…

Я писал уже свой подход про ARR как личный суммарный заработок. Как и другой любой пост он 50/50, кому-то откликнулось, а для кого-то 🔴.

На выходных у меня была стратегическая сессия с @YanaTimokhina, где 3 часа проговаривали, что работает, а что нет. Попытались спланировать цели на 5 и 15 лет. И как-то после нее стало легче.

Реально есть польза от высказаться и поразмышлять вслух, а если у человека есть в этом опыт, он быстро уловит суть и поможем переосмыслить многие вещи.

Одно из первых решений было убрать токсичность, для меня это свалить с одного из проектов, который приносит 250k (только база) CAD $ ARR. По канадским меркам это много, и самое главное там не сложно делать работу, но токсичная среда сжирает весь ресурс и не остается сил на себя и креативность. Поэтому, сегодня я написал, что мой последний день с ними 31 декабря и сразу стало легче.

Другой инсайт был, что я не знаю сколько я зарабатываю, и сколько мы тратим. Поэтому идея работать много не очень эффективна, ведь я не знаю сколько достаточно и для чего, а страх не до заработать на долгой перспективе будет иметь негативные последствия.

Один из главных инсайтов 2025 год, что высокая зарплата и много ответственности это не всегда самый важный критерий, иногда можно позволить себе сделать перерыв, чтобы поработать и поучиться в свое удовольствие.

Да и вообще, все же мы знаем, что у нас марафон, а не спринт.

Читать полностью…

Действительно ли облака и managed/serverless это хорошо?

Плюсы очевидны:
- быcтрый старт
- меньше зависимостей
- легко найти инженеров


Минусы
- нет гибкости
- нет удобного дебага
- vendor lock
- цена не прозрачна и будет расти

Вот и получается, либо платим за инженеров, либо вендору.

Читать полностью…

Я явно недооценил Excel, оказывается есть чемпионат по Excel


Чемпионат Microsoft Excel (Microsoft Excel World Championship, MEWC) — это киберспортивное соревнование, где участники решают необычные игровые задачи в Microsoft Excel.

В отличие от традиционных финансовых соревнований, здесь нет финансового моделирования — только Excel и логическое мышление.

Участники соревнуются в скорости и точности решения сложных головоломок, используя формулы, функции и любые инструменты Excel (включая VBA, Power Query, динамические массивы, лямбда-функции).

Формат соревнований:
• Участники получают кейсы с несколькими уровнями сложности (обычно 5-7 уровней)
• Задачи основаны на игровых сценариях — например, World of Warcraft, Scrabble, детективные истории, ролевые игры
• Каждый раунд длится 30 минут с системой выбывания: каждые 5-7,5 минут участник с наименьшим количеством очков выбывает
• Есть бонусные вопросы, которые может получить только первый решивший их участник

Структура турнира:
Чемпионат включает онлайн-отборочные раунды (9 ежемесячных баттлов, квалификационный раунд на 150 участников), плей-офф (256 участников) и финал вживую в Лас-Вегасе в HyperX Arena. Призовой фонд превышает $60,000.

Читать полностью…

Новые возможности для администрирования Apache Ignite

СберТех приглашает на вебинар, где представит обновления в Platform V Grid Center.

Основной темой станет демонстрация ИИ-агента, который помогает администрировать кластеры через диалог.

Спикер — лидер продукта Илья Степанов — покажет, как агент взаимодействует на естественном языке, анонсирует выход гибких пользовательских дашбордов и расскажет про улучшения в интерфейсе и функциональности контроля.

Platform V Grid Center предназначен для работы как с Apache Ignite, так и с коммерческой версией от СберТеха — Platform V DataGrid.

Присоединяйтесь, чтобы узнать о новых инструментах для оптимизации вашей работы. Регистрация по ссылке.

Читать полностью…

Приглашаем на ЮMoneyDay — бесплатную онлайн-конференцию про финтех и IT 🔥

На протяжении двух дней будем общаться с разработчиками, инженерами, тестировщиками, продактами, дизайнерами и другими специалистами из ЮMoney. Они расскажут про свой опыт работы в большом финансовом продукте, поделятся лайфхаками и секретами.

Будут доклады по 16 направлениям:

🟣 Будущее финтеха
🟣 Бэкенд
🟣 Фронтенд
🟣 Тестирование
🟣 Python
🟣 Менеджмент проектов
🟣 Менеджмент продуктов
🟣 Системный анализ
🟣 SQL
🟣 UX
🟣 ИИ
🟣 Архитектура IT-решений
🟣 Внутренние системы
🟣 Мобильная разработка
🟣 Инфраструктура
🟣 О компании

Встречаемся онлайн 5 и 6 декабря в 11:00 мск. Чтобы участвовать, зарегистрируйтесь на сайте конференции ✅

Читать полностью…

⏬ Привет, это Yandex for Analytics

Предлагаем размяться и проверить свои навыки. Ответы есть, но подглядывать во время решения — неспортивно ⬇️

🔵 Задача 1. Вспоминаем теорию вероятностей
🔵 Задача 2. Теорема Байеса
🔵 Задача 3. Базовая база теории игр
🔵 Задача 4. Тренируем SQL
🔵 Задача 5. Честная математическая статистика
🔵 Задача 6. Что-то на бизнесовом

💠 Скоро вернёмся с новыми задачами. А пока делитесь своими решениями в комментариях!

Подписывайтесь:
💬 @Yandex4Analytics

Читать полностью…

Я тут писал, что вот надо собирать свой AI сервер, но планы поменялись.

На MacBook поставил Vmware, Windows 11 ARM и Worms Worlds Party Remastered. 🎮

Читать полностью…

Нейроаналитик в DataLens теперь тянет большие данные.

ИИ-помощник от Yandex B2B Tech научился обрабатывать сразу весь дашборд, искать закономерности и выдавать выводы за секунды. В Яндекс Go его уже используют команды Такси, Доставки и Шерингов — агент анализирует данные по 58 млн пользователей и помогает ловить сезонные скачки спроса и отклонения в метриках.

Технический директор платформы Yandex Cloud говорит, что следующий шаг — проактивный мониторинг, когда системы будут не ждать вопросов, а сами искать аномалии и предлагать решения.

Читать полностью…

Сегодня решил прогуляться в центр, чтобы сходить на настоящее собеседование. Я не знал, что за компания, и что они делают, но так как я был в офисе на собеседовании последний раз в 2016 году, решил воспользоваться возможностью.

Оказалась огромная инвест контора, которая внедряет Databricks и Fabric. Еще оказалось, что у них hybrid. Фотки из путешествия прикладываю. Кофе и булочки не предложили, вообще даже не постарались продать себя😫

Фотки офиса это местный Microsoft, зашел к ним на кофе по старой памяти. У инвест конторы офис попроще через дорогу.

Вывод? Все эти on-site собеседования бесполезное занятие и ни на что не влияет.

Читать полностью…

Интегрировать AI в аналитику. Мигрировать данные без потерь. Масштабировать на тысячи пользователей.

Три задачи, с которыми сталкивается каждая команда. Yandex DataLens Festival — про то, как их решать. Неделя глубокого погружения в аналитику — с 8 по 16 декабря, онлайн и бесплатно.

Разберут то, что реально пригодится в работе: от AI-инструментов DataLens до современных подходов к аналитике. Формат без воды: практические гайды и прямой эфир с командой продукта. Плюс конкурсные задания с призами.

Бонус: офлайн-афтепати в Москве для тех, кто хочет отвлечься от экрана и пообщаться вживую.

Зарегистрироваться на мероприятие

Читать полностью…

Что-то в Москве зарплаты упали?! То были по 450-500, а теперь стали по 200-250, как же так?

Читать полностью…

Я решил не терять время зря и изучать GenerativeAI для задач дата-инжиниринга и начал с прикладного курса от Databricks. У них есть целая специализация с примерами и лабораторными работами. После них вы сможете лучше понимать задачи, связанные с embeddings, Vector DB, RAG, LLM deployment/serving и т.п. Конечно, это всё привязано к Databricks, и многие модели идут прямо из коробки.

Получается, AI очень сильно завязан на инжиниринг данных. Вам также нужно собирать данные, парсить и хранить их. Писать к ним запросы, думать о масштабировании и безопасности. Пока каждый вендор разрабатывает свою версию реальности, но со временем всё устаканится и будет более понятно.

Вчера уже видел курс от индуса про LLM для Data Engineering. На собеседованиях уже могут поинтересоваться, а как у вас дела с Cursor, Claude Code, MCP и делали ли вы AI-решения.

Можно брать любой курс/специализацию от большого вендора + пару книг O’Reilly и это будет отличное начало.

Скоро pet проекты будут вместо dbt+Postgres, VectorDB+LLMs

PS Нашел репозиторий с примерами https://github.com/Weixin97/GenAI-with-LLM/tree/main

Читать полностью…

MWS Cloud запустил сервис GPU on-premises.

Что это такое? Компания будет устанавливать серверы с GPU необходимые для обучения и инференса искусственного интеллекта в периметре предприятий.

Посмотрел, как это работает:
• Специалисты помогают компании определить нужную ей конфигурацию серверов с GPU - можно взять готовую: доступно 7 видов карт и более 20 готовых конфигураций, можно собрать индивидуально под себя
• Серверы разворачивают на площадке компании или дата-центре MWS Cloud. Кстати, их можно и купить, и арендовать
• Установка и поддержка на всех этапах - на MWS Cloud

Полезная история для компаний, которым требуется развертывание вычислительных мощностей с графическими усилителями в закрытом контуре.

Читать полностью…

Как у вас дела с Kubernetes?

Kubernetes (K8s) — это система для автоматического управления контейнерами с приложениями. Представь её как "дирижёра оркестра" для твоих программ.

С ним можно построить любое решение - сам продукт, сервис или аналитическое решение в облаке или on-premise.

Очевидно использовать managed версию в AWS/Azure/GCP легче, чем разворачивать все с нуля на своем железе.

Для DevOps k8s это один из главных скилов. Эксперты без работы не останутся, особенно если нет альтернативы в виде публичного облака.

Claude мне выдал альтернативы:

Легковесные альтернативы
- Docker Swarm - встроенная оркестрация Docker, проще в настройке и использовании
- K3s - облегченная версия Kubernetes от Rancher (до 40 МБ), идеальна для edge-устройств и IoT
- MicroK8s - минималистичный Kubernetes от Canonical, быстрая установка одной командой
- Nomad (HashiCorp) - простая оркестрация для контейнеров, VM и standalone приложений

Платформы как сервис (PaaS)
- Docker Compose - для локальной разработки и простых развертываний
- Heroku - классический PaaS, минимум настроек
- Fly.io - современная платформа с глобальным распределением
- Railway - простой деплой с автоматической настройкой

Специализированные решения
- Apache Mesos (с Marathon/DC/OS) - для крупномасштабных кластеров
- Rancher - управление несколькими кластерами и оркестраторами
- OpenShift - корпоративная платформа на базе Kubernetes с дополнительными функциями
- Portainer - упрощенное управление Docker и Kubernetes через веб-интерфейс

В моем опыте мне два раза приходилось с ним работать:
1) В FinTech стартапе использовали k8s на GCP (managed), на нем жили Airflow, Metabase, Open Metadata, dbt, Trino, Red Panda и все Python программы, которые поднимались в контейнерах через Airflow.

2) В большом Enterprise, использовали k8s на AWS, для самого продукта (multi tenant), и локальная разработка так же велась на k8s.

Для себя я решил ограничиться сервисами контейнеров:
- AWS ECS/Fargate
- Azure Container Instances
- Google Cloud Run

Вам приходиться работать с k8s?

Читать полностью…

Знаете, что такое “смена работы N+1”?

Это достаточно надежный и популярный способ менять работу в Северной Америке.

Сейчас расскажу.

Вы работаете на работе А. И вы решили найти новую работу - Б.

Что делают любители? Прощаются с коллегами на работе А и выходят на работу Б. Только потом может оказаться, что работа Б это не так и весело, и хуже, чем работа А. Но вам уже надо разгребать работу Б следующие 12-18 месяцев, как минимум. Как говорится стерпится-слюбится.

А что делают профессионалы? Оно думают о завершении работы А, чтобы начать работу Б. Но работа Б это риск, поэтому они решаются на trial период на работе Б, продолжая работать на работе А. Таким образом у вас есть возможность попробовать Б и при необходимости отказаться от нее и остаться на А, или наоборот, уйти с А, и остаться на Б.

Такой overlap позволяет безопасно менять работу. Очень популярный метод, надо как-нибудь попробовать, если будет удаленка.

Читать полностью…

S3 самый популярный элемент современного технологического мира. И это не обязательно AWS S3, ведь можно создать blob storage on-premise.

В статье How Amazon S3 Works кратко описываю системный дизайн S3. Для масштабирования с высокой производительностью не нужно дорогое оборудование — достаточно умной архитектуры и правильных алгоритмов. Amazon использует недорогие HDD-диски, но компенсирует их ограничения через параллелизм, умную организацию данных и эффективную репликацию.

Альтернативы:

🔄Крупные облачные провайдеры
Google Cloud Storage — хорошо работает с другими сервисами Google (BigQuery, ML), несколько классов хранения, понятные тарифы, от $0.020/GB в месяц.
Azure Blob Storage — от Microsoft, три уровня хранения (горячий, холодный, архив), отлично интегрируется с Office 365 и Azure, от $0.018/GB в месяц.
IBM Cloud Object Storage — для крупных компаний, автоматически оптимизирует затраты, работает с Watson AI, подходит для банков и медицины.

🔄Бюджетные варианты без платы за скачивание
Cloudflare R2 — бесплатная отдача данных (egress), быстрая доставка через CDN Cloudflare, хранение $0.015/GB в месяц.
Wasabi — один тариф $6.99/TB в месяц, нет платы за скачивание и API-запросы, все данные доступны мгновенно.
Backblaze B2 — очень дешево $6/TB в месяц, бесплатное скачивание до 3x от объема хранения, полностью бесплатно с Cloudflare CDN.

🔄Для разработчиков
DigitalOcean Spaces — простой и понятный, $5/месяц за 250GB + 1TB трафика, встроенная CDN, легко настроить.
iDrive e2 — до 80% дешевле S3 ($0.005/GB в месяц), нет платы за трафик, простой интерфейс.
Hetzner Object Storage — европейский провайдер, $0.00713/GB в месяц, очень дешевое скачивание ($0.00143/GB), соответствует GDPR.

🔄Другие варианты
Oracle Cloud — 10GB бесплатно навсегда, архив от $0.0026/GB в месяц.
Telnyx Storage — быстрый, низкие задержки, бесплатное скачивание, до 100 бакетов бесплатно.
Storj — децентрализованное хранилище на блокчейне, данные распределены по тысячам серверов, повышенная безопасность.

🔄Альтернативы on-premise
MinIO — самый популярный open-source, полностью совместим с S3, очень быстрый (до 183 GB/s), хорошо работает с Kubernetes и ML.
Ceph — мощная система для больших компаний, поддерживает объекты, блоки и файлы, масштабируется до петабайтов, но сложная в настройке.
OpenIO — быстрый, для AI/ML и big data, совместим с S3, можно комбинировать с облаком.
Cloudian HyperStore — коммерческое решение, совместимо с S3, полный контроль над данными, поддержка 24/7, для банков и госструктур.
SeaweedFS — легкий и быстрый, написан на Go, хорошо работает с миллиардами маленьких файлов (фото, документы).
Rook — упрощает работу с Ceph в Kubernetes, автоматическое масштабирование и восстановление.
GlusterFS — объединяет обычные серверы в одно хранилище, проще чем Ceph, поддержка от Red Hat.
LocalStack — эмулирует 90+ сервисов AWS на вашем компьютере, можно разрабатывать и тестировать без затрат и подключения к интернету.

Из всего списка я работал с классикой Google Cloud Storage, AWS S3, Azure Storage и использовал LocalStack для CI pipelines. Часто попадалась информация про MiniO S3 и Cloudflare R2 или Hetzner.

Читать полностью…

Могу поделиться финансовой мудростью — когда захотите купить последний iPhone или другую дорогую (относительно дорогую) вещь, которую вот прямо необходимо иметь, попробуйте сделать это на прибыль или дивиденды от инвестиций.

То есть на языке книги «Богатый папа, бедный папа», которую, как по мне, должны добавить в школьную программу и вообще учить детей финансовой грамотности, а то получается, в школах растят потребителей.

Вам нужно сначала создать актив, который будет приносить вам прибыль, и на эту прибыль можно купить iPhone. В идеале тут можно говорить про дорогую машину, но надо начинать с чего-то маленького. Я вот вроде бы знал про такой life hack, но не воспользовался им, когда был молодым — возможно, у вас это получится лучше.

Звучит легко, но вот очень сложное сделать.

Читать полностью…

AI Code Assistant вошел плотненько в мой быт. У меня Cursor. Так же я работал с Cline плагином в VSCode, которому я скормил Claude Code API ключ и там же я попробовал Claude плагин, который подключает Claude Code.

В Linkedin я провел опрос, и Claude Code явно популярнее, чем Cursor. И я считаю, что эти два инструмента лучшие на рынке. По опросу в Телеграмм стало понятно, что AI Code Assistant не такие популярные. Главная проблема это цена инструмента и работодатели не хотят оплачивать и людям приходится изобретать.

Чтобы вам стать максимально эффективным вам нужно использовать IDE + AI. Самый простой вариант VSCode + Cline или что-то подобное. Так же все хвалили Kilo Code.

Самое классное, что такой подход работает не только для кода, а для всего. Считайте, что у вашего AI теперь есть buffer, где можно сохранять результат в markdown файлы или создавать их самому, чтобы всегда был контекст. Одно время я так сохранял Slack переписки и вел лог всего в markdown.

Теперь несколько примеров из недавнего опыта.

Недавно была встреча с Product Manager из Silicon Valley, он показал как он завайбкодил целое решение:
- Данные забирает из Survicate API (сервис опросов, многие ответы free text)
- Парсит ответы с AI и классифицирует их
- Построил целое веб приложение с графиками и кнопками

И это сделал чувак, кто совсем не технарь, получилось очень достойно. То есть теперь любой может кодить и создавать продукты. А дальше уже можно привлечь инженеров и доработать решения, чтобы положить в прод.

Лично я сделал достаточно много с AI, что было бы просто нереально успеть сделать за такой короткий срок:
1. Был Airflow, который жил в Docker на AWS EC2. Использовали Astro Run Time. Было очень неудобно. Я решил все смигрировать на Managed AWS Airflow. И AI помог мне конвертировать DAGs и улучшить их и внедрить мои идеи. Как результат пофиксил много legacy багов и улучшил производительность в 4 раза для OLTP источников.
2. AWS и Snowflake закинул в Terraform, и это позволяет быстро вносить изменения.
3. У них еще было 3 проекта в dbt cloud, там был полный хаус, я начал все консолидировать в новом проекте с использованием medallion architecture. Благодаря MCP, я могу тестировать изменения и фиксить, если где-то глюки.
4. Так же поработал плотненькое с Subscription based бизнес для hardware, и все что было сделано в dbt поверх данных Stripe - black box. Я полностью пересобрал модель данных для subscription revenue, смог создать несколько вариаций моделей, задокументировать все в markdown и так же через MCP сравнивать и фиксить модели на уровне конкретных клиентов.
5. Написал несколько документов на изменения связанные с тем как собираются и хранятся данные.
6. Проанализировал 3000 ноутбуков в Hex, чтобы понять какие из них используют сырые данные и как часто используются. Использовал BigQuery System Tables и MCP, чтобы создавать запросы, HEX API, чтобы выгружать данные, и DuckDB, чтобы локально все анализировать. А дальше написал несколько документов, но уже с Gemini. В gemini теперь можно и презентации создавать.

Было еще множество мелких вещей. Все эти задачи, я бы смог решить и без AI, просто делал бы их намного дольше и уж никак не параллельно. А так хватило время на посмотреть Один Дома 1 и 2, запустить Worms Worlds Party, и поиграть в новый сезон Fortnite. И даже на учебу по курсу Databricks Generative AI. И самое главное не пропускать тренировки, у меня на них высокий приоритет - 2 раза бокс, 2 раза джиу джитсу, 2 раза бассейн в неделю.

Жалко AI за меня не ходит на митинги, а то может быть по 5 в день в перемешку с собеседованиями.

Сейчас точно золотое время high performance инженеров, так как если у нас есть фундаментальные знания, то с помощью AI можно решить задачу. При этом большинство коллег, даже технических не шибко пользуются всеми возможностями, а предпочитают топорный способ - copy paste в ChatGPT. Или вообще не понимают, зачем это и как использовать в работе. Возможности и правда безграничные.

Думаю так долго не будет продолжаться, но пока прям четкий vibe📈

Читать полностью…

Отличный пост, который прям смотрит в суть.

Я его перевел для вас с AI. Выглядит немного топорно, но суть понятна:

Ваш руководитель по данным получает зарплату $400К и неограниченный бюджет на инфраструктуру.

Ваш операционный руководитель получает $180К, потому что "их работа более тактическая."

Угадайте, какой отдел всё ещё не может ответить на базовые вопросы?

Представьте этот сценарий:
Команда данных только что получила $3,8М
на Snowflake, Databricks и новые пайплайны.

Одобрения получены.

Консультанты наняты, и все празднуют победу.

Операционный отдел спрашивает, почему растёт отток клиентов и падает маржинальность.

"Нам нужно запустить запросы. Вернёмся к этому в следующем квартале."

Компании тратят миллионы на инфраструктуру данных.
Но CEO не может получить прямой ответ:
Какие клиенты прибыльны?
"Сложно. Данные разбросаны по системам."

Сколько нам стоит отток клиентов?

"Нам нужно объединить несколько источников."
Мы вообще зарабатываем деньги?

"Это требует продвинутой аналитики."

Тем временем бизнес истекает кровью.

Но большинство компаний нанимают команды данных
как будто они нанимают облачных архитекторов.

"Обязательно знание распределённых систем."

"Опыт работы с ETL-фреймворками предпочтителен."

"Глубокий опыт в MLOps будет плюсом."

Тем временем руководители спрашивают:
• Почему упала выручка в прошлом квартале?
• Что вызывает скачок оттока клиентов?
• Какие сегменты умирают?
• Какое изменение продукта сломало активацию?

А ваша команда данных оптимизирует производительность запросов.

Компании, которые выигрывают с данными,
относятся к ним так, как они есть на самом деле.

Слой ответов.

Их лидеры аналитики:
• Построили операционную отчётность, которая управляет решениями
• Перевели метрики в бизнес-действия
• Возглавили кросс-функциональные расследования
• Предоставили причинно-следственные объяснения, а не дашборды

Потому что они понимают настоящее описание работы:
Превратить миллиарды точек данных
в одно предложение, на основе которого CEO может действовать.

А не "построить идеальный дашборд."

Данные владеют 100 процентами видимости компании.

Но большинство команд предоставляют ноль бизнес-аналитики.

Так почему ваш руководитель данных владеет королевством инструментов,
в то время как никто в компании не может объяснить, почему изменилась выручка?
Потому что вы всё ещё думаете о данных
как об инфраструктуре.

Вместо того, чтобы думать о них как об инсайтах.
Ваш CEO смотрит на стек за $3,8М, который он не может использовать.
Кто в комнате объясняет причинно-следственные связи?

Тот, кто может нарисовать диаграмму ETL-пайплайна?
Или слой ответов, который может сказать CEO,
почему клиенты уходят и что исправить в понедельник?
Рынок не вознаграждает за ваш технологический стек.
Он вознаграждает за вашу способность понимать свой бизнес.

Ваш слой ответов — это ваш движок интеллекта.

Укомплектуйте его соответственно.


То есть строить и внедрять новые shiny tools мы можем на easy.

А вот реально использовать их и помогать бизнесу - это уже другое.

Так реально получается, что Excel более мощный инструмент в умелых руках, чем Snowflake, Databricks и Modern Data Stack.

PS Но как ни крути, лучше конечно внедрять и строить, чем ломать голову, почему churn rate такой, какой есть, почему клиенты покидают подписку и возвращают продукты.

Тратить время и силы на R&D всегда веселее и приятнее, чем на скучные insights, которые помогают бизнесу расти.

Настоящее искусство - это совместить технологии и ценность для бизнеса, когда понятно - что мы делаем, зачем и с помощью каких инструментов.

Читать полностью…

Хотите себе долларов (грязная зелёная бумажка (с)) напечатать? Дети мне показали сайт, где можно визуализировать вашу зарплату в долларах. Если много получаете, то может и голова закружиться!

https://neal.fun/printing-money/

PS Вроде надо зарплату визуализировать, чтобы большая была. Возможно это тренажер высоких заработков🤑

На самом сайте https://neal.fun/ много веселых штук позалипать!

Читать полностью…

«Мы поняли, что мы как Тринити и Морфеус. Нам нужен был Нео». Как ночной портье за 3 месяца разобрался в инжиниринге данных

Смотрите подкаст «Криптонит говорит» о дата-инженерах! В нём эксперты обсуждают:
🔹достигла ли пика профессия дата-инженера;
🔹какой стек нужно знать дата-инженерам;
🔹какие намечаются тренды отрасли.

📺 YouTube
📺 Rutube
💙 VK видео
💬 Подкаст в телеграме
🎵 Яндекс.Музыка

Смотрите и подписывайтесь на подкаст «Криптонит говорит» — обсуждаем айти, искусственный интеллект, языки программирования и криптографию.

Реклама АО НПК «Криптонит» ИНН 9701115253 Erid: 2VtzqwCgYzD

Читать полностью…

Голая статистика - Чарльз Уилан
(Naked Statistics - Charles Wheelan)

Сегодня хочу поделиться мини рецензией об этой замечательной книге.
Заодно ответить на вечный вопрос: может ли книга про статистику быть живой, понятной и не вызывать флэшбеки с пары по матстату.

На сайте самого Уилана про него написано коротко и нагло:
Author. Professor. Speaker. Political Reformer.

Автро явно не из тех, кто открывал статистику только ради сдачи экзамена. И это чувствуется с первых страниц. Я, как человек, который уже много лет живёт в аналитике, BI и моделях, я довольно скептически отношусь к «популярным» книгам по статистике - но тут история другая:

«Голая статистика» - это, пожалуй, одна из лучших книг по статистике, которые я читал.

А читал я их уже немало - от классики до совсем академического кирпича.

О чём книга (и почему это не скучно)
• Корреляция
• Основы теории вероятностей
• Центральная предельная теорема (ЦПТ)
• Опросы общественного мнения
• Регрессионный анализ

На обложке вообще написано:
«Самая интересная книга о самой скучной науке»

И вот тут Уилан делает магию:
он реально разжёвывает статистику так, что и новичку ок, и человеку с опытом есть что подчеркнуть и переосмыслить.

При этом он объясняет сложные вещи на живых примерах:
загадка Монти Холла, Perry Preschool Study, марафон любителей сосисок, супружеская жизнь Ким Кардашьян (да, и она послужила статистике), исследования Americans Changing Lives и многое другое.

Центральная предельная теорема по-человечески

Отдельный кайф книги - блок про выборки, опросы и ЦПТ.

Вот как сам Уилан описывает ЦПТ:
«Центральная предельная теорема, значение которой для статистики соизмеримо со значением Леброна Джеймса для профессионального баскетбола».

Если перевести на практический язык:
если у нас есть правильно сформированная выборка, то наблюдаемые на ней характеристики с высокой вероятностью отражают свойства всей генеральной совокупности.

Несколько цитат, которые показались особенно точными

«Опираясь на статистику, легко врать, но без статистики очень трудно выяснить истину». - Андрейс Дункельс

«Вы не можете управлять тем, что не в состоянии измерить. Помимо этого, то, что вы измеряете, действительно является тем, чем вы пытаетесь управлять».

«Какой бы соблазнительной ни была элегантность и точность вероятностных моделей, они не заменят нам здравого размышления о сути и цели выполняемых вычислений».

И мой любимый образ 🔥:

«Когда увеличивается размер неправильно сформированной выборки, высота мусорной кучи также увеличивается, а вонь от неё становится сильнее».

«Голая статистика» трезво напоминает:
📍 Статистика и анализ данных - это мощный инструмент, чтобы лучше понимать реальность, а не подгонять её под наши фантазии.
📍 Любая модель - всего лишь приближение мира, а не откровение.
📍 Аналитик всегда должен быть не только «человеком формул», но и человеком здравого смысла.

Как я люблю говорить:

мало быть data-driven, важно оставаться data-informed

Как эта книга помогла лично мне

В далёком уже 2019-м я учился на Data Science в Нетологии. Одна из тем была Центральная предельная теорема. Формулы были красивые, преподаватели старались, домашки летели одна за другой - но абсолютно не было понятно, как эту теорему вообще применять в реальной аналитике и зачем она нужна, кроме как для галочки на экзамене.

И вот спустя время попадает мне в руки «Голая статистика».
И Уилан, как настоящий профессор-волшебник, берёт и на примере марафона любителей сосисок(!) объясняет ЦПТ так, что наконец-то становится ясно:
• как она работает
• почему она настолько фундаментальна
• и в каких реальных задачах она решает половину аналитических головоломок.

Так что да - эта книга не только хороша сама по себе,
она ещё и сильно закрывает пробелы, которые другие источники часто оставляют открытыми.

Читать полностью…

Закончил слушать книгу - Empire of AI, автора Карен Хао. Книга рассказывает историю создания OpenAI и переход компании от non-profit к PROFIT. Книга интересная и слушал ее с удовольствием.

Основные темы в книге by AI:

Центральный аргумент Хао заключается в том, что индустрия ИИ воспроизводит модель колониальных империй XIX века. Она выделяет четыре ключевых паттерна:
• Захват ресурсов — присвоение данных из интернета, а также природных ресурсов (вода, энергия) для работы дата-центров
• Эксплуатация труда — использование низкооплачиваемого «призрачного труда» работников в Кении, Венесуэле и других странах Глобального Юга, которые «чистят» данные и модерируют контент, часто получая меньше доллара в день
• Монополизация знаний — концентрация ведущих ИИ-исследователей внутри корпораций
• “Цивилизаторская миссия” — риторика о «благе для всего человечества», которая оправдывает любые действия

Критика Сэма Альтмана как лидера
По мнению Хао, Альтман — манипулятивный и амбициозный лидер, который:
• Не может чётко определить, что такое AGI, но использует эту концепцию для привлечения инвесторов и талантов
• Превратил OpenAI из некоммерческой организации с миссией безопасности в «прибыльную чёрную дыру», поддерживаемую миллиардами Microsoft
• Умело манипулирует разными аудиториями — перед Сенатом говорит об экзистенциальных рисках ИИ, отвлекая внимание от реального ущерба
• Как пишет Шошана Зубофф в рецензии: «Альтман — хитрый молодой человек с непомерными амбициями, осуждённый мир на цифровое насилие подхода к ИИ, который может существовать только пожирая всю информацию мира»

Как ИИ «возвращает рабство»
Хао документирует систему, которую критики сравнивают с современным цифровым рабством:
• Работники в странах Глобального Юга (Кения, Латинская Америка, Восточная Азия) выполняют психологически травмирующую работу по разметке данных и модерации контента
• Оплата составляет менее доллара в день — при том, что руководители и инвесторы AI-компаний зарабатывают миллиарды
• Это классическая колониальная схема: ресурсы и труд бедных стран используются для обогащения небольшой группы технологической элиты
• OpenAI определяет AGI как технологию, «превосходящую людей в наиболее экономически ценной работе» — то есть сама цель создания таких технологий направлена на подавление возможностей работников требовать права

Книгу сравнивают с «The Anarchy» Уильяма Далримпла о Британской Ост-Индской компании — ещё одной корпоративной империи, превратившейся в политическую силу.

Получается ethical AI там и близко нет, точнее это вряд ли существует. И в погоне за лидерством и могуществом компании ни перед чем ни остановяться.

Читать полностью…

Сегодня CEO стартапа записал видеообращение с поздравлением thanksgiving и был очень exciting показать приложение с координатами четвероногих клиентов, которое я сделал в Streamlit для фана. Я уже почти два года общаюсь с фаундерами и они полностью сделали bootstrap на свои деньги (friends and family) и вышли на уровень revenue 100млн в год.

Читать полностью…

Ну что я вчера говорил про AI Data Engineer? Вот уже вакансии появляются.

Брюки превращаются…брюки превращаются…

У меня уже появляется потребность собрать свой мини AI сервер с двумя GPU картами. Кто-нибудь собирал такой? Я пока знаю одного человека, кто для нас всегда делает вебинары про fancy инструменты sqlMesh, duckdb и тп (Рома привет!)

Читать полностью…

Слышали уже об Evolution AI Factory?

На прошлой неделе провайдер Cloud.ru анонсировал коммерческий запуск единой среды для полного цикла работы с GenAI: от прототипа до продакшена.​

Что внутри:
😶‍🌫️20+ готовых LLM по OpenAI‑совместимому API

😶‍🌫️быстрый инференс своих и HF‑моделей

😶‍🌫️RAG по вашим данным и LoRA‑дообучение

😶‍🌫️облачные ноутбуки (JupyterLab / VS Code Server / ComfyUI / n8n)

😶‍🌫️конструктор AI‑агентов для мультиагентных сценариев
Все это на российских серверах, с гарантированным SLA, поддержкой 24/7 и доступными ценами.

Если ищете, где подружить данные, LLM и агентов без «зоопарка» сервисов, советуем присмотреться.

Узнать подробности можно тут

Читать полностью…

Хорошая статья - 3 levels of writing. Напоминает нам о важности использовать свой мозг.

…
Во-первых, ИИ останется с нами надолго. Мы должны использовать ИИ очень осознанно. Не меняйте свой долгосрочный рост на краткосрочную продуктивность.

В мире, где все заняты тем, что используют ИИ для всей своей работе, будьте тем, кто использует мозг.

Так же, как и мышцы, тренировка мозга требует целенаправленной практики.
ИИ может помочь с исследованиями, корректировкой тона и проверкой ваших предположений.

Но не заблуждайтесь, есть большая ценность в том, чтобы делать вещи "вручную" ради себя самого. Вы можете выбрать ходьбу пешком, даже если у в
ас есть машина. Это занимает больше времени, но долгосрочная польза для здоровья того стоит.

Кремниевый мозг раз за разом показывал, что может превзойти углеродный мозг: Deep Blue, AlphaGo, Watson и многие другие, которые появятся, поскольку массивные инвестиции в ИИ обязательно принесут результаты.

Но это неважно. Это не соревнование.
В эпоху массово производимого, персонализированного и "глубоко подделанного" синтетического контента вам понадобится ваш мозг в отличной форме.

Забудьте об отличной форме.
Просто поддерживайте его в текущей форме, и вы будете самым умным: 😂

❌️ Результат работы ИИ часто ленивый, низкого качества и лишён опыта и мнения. Вы можете настроить промпт, чтобы придать ему больше характера, но это просто подделка следующего уровня.

✅️ Так же, как мышцы, мозг становится сильнее с тренировкой и использованием. Самая непосредственная опасность ИИ не в том, чтобы забрать наши рабочие места, а в том, чтобы сделать нас глупыми!

✅️ Отключайте автопилот, чтобы заставить себя думать. Поднимайтесь по лестнице, когда можете.

✅️ Используйте традиционные поисковые системы, чтобы находить ответы на проблемы и решения других людей, потому что это расширяет ваш разум и знакомит вас с более широким спектром идей, чем LLM будет кормить вас с ложечки.

✅️ Читайте книги, блоги и т.д., чтобы узнать, как другие решали проблемы, вместо того чтобы полагаться на ИИ, который пережёвывает коллективную мудрость для генерации красиво выглядящих решений.

✅️ И самое важное, пожалуйста, пожалуйста, пожалуйста, не выдавайте результат работы ИИ за свою работу. Это не только обманчиво и нечестно, но те, кто обладает критическим мышлением и не "припарковал свой мозг", видят это насквозь.

Вы можете думать, что действуете умно, используя ИИ для эффективности, но 1) товар массового производства — это не преимущество, 2) то, что вы делаете со своим мозгом, эквивалентно потреблению ультра-обработанной пищи!

По иронии судьбы, по мере повышения качества результатов работы ИИ, способность критически мыслить и связываться с человеческой стороной решения проблем становится ещё более важной.

В битве между машинами и людьми всегда принимайте сторону людей. Люди следуют за людьми, покупают у людей и строят глубокие отношения с людьми. Всегда будут анекдотичные исключения (как японка, которая недавно вышла замуж за свой ИИ), но я ставлю против того, что такое поведение станет массовым.

ИИ — отличный инструмент. Он помогает быстрее достигать результатов. Он генерирует массивный синтетический результат за долю времени, которое требуется для органического производства.

Но когда дело доходит до итога, ему нужна система ценностей. А ценности создаются людьми. ИИ можно обучить генерировать ценности, но ИИ — это не мы: его вычислительная мощность не ограничена черепом, у него нет тела с нашими потребностями и желаниями.
…

Читать полностью…