Инжиниринг Данных

05 July 2025 07:28

Ну прям clickbait заголовок - The 10x “overemployed” engineer у прагматичного инженера. Индус устроился в 22 стартапа Y Combinator. Вот это уровень. Это вам не 2-3 работы, где вам надо пахать 24/7, это уже ноль справа как у Гребенюка😂 Уже можно кино снимать по этому сценарию.

Тут конечно исключение, нужен был AI инженер. Я думаю он просто в какой-то момент потерял интерес и пустил все на самотек, такой quite quitting на максималках.

А сколько таких Сохамов трудится, огого!

Одно время я подумывал, что нужно делать AI стартап, чтобы экпозить всех over-employed в больших корпоратах, ну как экпозить, собрать денег с VC, продать идею в BigTech, нанять в команду 10х инженеров, натренировать на них модель по данным активностям онлайн/оффлайн и готово. Я думаю уже кто-то стрижет капусту на этом🤑

Инжиниринг Данных

04 July 2025 21:25

Как построить data-driven культуру, а не просто BI, в который никто не заходит?

🟣В прошлом посте я писала:
данные ≠ актив, если вы с ними ничего не делаете.

Но чтобы начали делать, нужна не просто BI-система.
Нужна культура.
И как и всё важное в бизнесе, она начинается с головы.

Я вообще выросла в аналитической среде.
Когда я начинала карьеру в консалтинге, ни Big Data, ни ChatGPT ещё не было,
но мышление
«данные → вывод → решение»
у нас тренировали так, как будто от этого зависела судьба миллионов (и иногда — правда зависела).

🟣Этот майндсет остался со мной до сих пор.
И я вижу: чем дальше, тем чаще компании говорят, что они аналитичные,
но при этом продолжают принимать решения на летучках в духе «ну по ощущениям».

А BI-системы — просто красивые панели, на которые никто не заходит.

Вот 5 элементов, которые реально помогают построить культуру решений на данных.

1️⃣ Всё начинается с фаундера и C-Level:
Если CEO говорит «я чувствую, что надо пушить эту фичу» и не дает задачу проверить гипотезу — всё, приехали.

Команда будет делать то же самое.

Data-driven культура начинается с того, что лидер принимает решения на данных.
✸ Он задаёт вопросы.
✸ Просит цифры.
✸ Не ведёт обсуждения в стиле «мне кажется».

2️⃣ Без инструментария — ничего не взлетит:
Не надо думать, что культура вырастет на энтузиазме.
Если у людей нет доступных и понятных дешбордов —
никакая data-driven культура не сложится.

Метрики должны быть:
✸ Привязаны к бизнес-целям
✸ Регулярно обновляемы
✸ С возможностью копать вглубь, а не просто «доход-расход»

Иначе всё закончится в Excel на 17 вкладок у одного аналитика.

3️⃣ Люди должны понимать, что их перформанс считают по данным:
Не метафорически, а буквально.

✸ Если в компании бонус зависит от бизнес-результатов —
значит, сотрудник должен видеть свои метрики.
✸ Если продуктовая команда оценивается по росту retention — она должна уметь его мерить, а не угадывать.

Когда оценка и рост человека связаны с метриками —
у него появляется привычка на них смотреть.

4️⃣ Нормализуйте «сначала смотрим → потом решаем»:
Я обожаю команды, в которых принято начинать обсуждение с цифр.
Прямо нормализовать это:

✸ Хотите запустить фичу? Где данные?
✸ Хочешь отключить воронку? Что на неё влияет?
✸ Думаешь, надо пушить что-то в маркетинге? Где проверка гипотез?

Это становится привычкой.
А привычка → поведение → культура.

5️⃣ Культуру нужно растить через обучение:
Если вы строите команду посильнее или у вас уже есть масштаб, то работа с данными = отдельная компетенция.

🟣 Что можно делать:
✸ Обучение по интерпретации ключевых метрик
✸ Мини-тренинги по юнитке, ретеншну, воронкам
✸ Кейсы «что сказали данные и к чему это привело»
✸ Отправлять на курсы или собирать внутренний чек-лист

Если компания маленькая — то хотя бы:
✸ Привычка делиться аналитикой
✸ 1 инсайт недели в чат
✸ Простые дешборды для всей команды

🟣 Пример
Плохой сценарий:
✸ «У нас упала конверсия с лендинга!!!»
✸«Паника!!!»

Хороший:
✸ «Конверсия упала, но трафик вырос в 2 раза, потому что залили TikTok с нерелевантной аудиторией. А CTR по email — остался стабильным».

Это и есть мышление на данных.
Контекст, динамика, гипотеза, вывод.

В итоге, data-driven культура — это про то, чтобы каждый в команде реально начал думать через данные, а не через «мне кажется» или «ну, так всегда делали».
Чтобы цифры стали не страшным отчётом, а привычкой — первым делом смотреть на них, задавать вопросы и искать ответы.

А как часто вы в команде обращаетесь к данным и стараетесь ли вы формировать привычку в команде? Пишите в комментариях 🚀.

#Data_driven

Инжиниринг Данных

03 July 2025 21:13

Летом у меня было собеседование в Zapier, я сделал скриншот с их оргструкторой. Я уже откликнулся в конце процесса, поэтому быстро получил отказ.

В качестве платформы данных они используют Databricks. На картинке видно структуры дата комманд.

Согласно Гуглу у них около 1000 сотрудников.

Инжиниринг Данных

28 June 2025 23:31

В статье I Don’t Want My Career to DIE (So should I consider myself a Data Intelligence Engineer)? автор рассуждает про важную тему - будущее профессии инженера данных.

Очевидно, что AI меняет подход к работе, но есть много НО. По умолчанию GenAI повышает продуктивность (генерация кода, документации и тп), но он несет в себе риски, так как уже много раз было новости про косяки в безопасности, про утечку персональных данных и пароли в открытом доступе.

Изначально мы все радовались (радуемся) vibe coding, но часто под этим подразумевается бездумная генерация кода по принципу %як-%як и продакшн. Поэтому автор предлагает другой термин - "Augmented coding” - то есть используем GenAI только как помощника, при этом инженер отвечает за безопасность, устойчивость и качество решений.

Другой concern (проблема) у автора, что бездумная генерация кода убивает развитие навыков и приводит к некачественным системам.

Таким образом появляется новый термин Data Intelligence Engineer (AI-Augmented Data Engineer), это дата инженер, который владеет AI инструментами, понимает System Design, архитектуру и безопасность, знает и умеет, как культивировать культуру качества в дата командах.

В целом для традиционного road map для дата инженера теперь нужно дорисовать еще одну ветку про GenAI.

Инжиниринг Данных

27 June 2025 18:10

Вот исправленный и грамматически выверенный вариант текста, с сохранением неформального и живого стиля:

😇


Попалась моя старая запись из Amazon, на которой был слайд про сообщества. Думаю, это примерно 2017 год.

Amazon - одна из лучших компаний, где мне доводилось работать. Там было много сообществ, и они реально работали.

Я сам руководил тремя из них:

BI Tech Talks - я унаследовал это сообщество от другого инженера, который стал SDM-менеджером. В нём было больше 90 BI/DE-команд со всего мира. Я старался проводить вебинары, на которых команды делились опытом, а иногда приглашал титулованных спикеров из LinkedIn. Amazon открывал все двери.

Subsidiary BI Collaboration - сообщество, в которое входили IMDb, Whole Foods (я помогал им с онбордингом в дата-инфраструктуру Amazon после поглощения — у них была Teradata), Amazon Robotics, AbeBooks, Zappos и т.д. Все очень крутые компании со своей уникальной культурой. Я несколько раз выступал на Subsidiary Summits.

Amazon Tableau User Group - тоже досталась мне от крутого чувака из Amazon (до сих пор с ним на связи). Когда я уходил, у нас было уже 2500+ пользователей. Я часто приглашал Tableau Zen Masters делать онлайн-доклады для нас.

Заметьте, в 2016-2017 году в ходу было слово BI. Data Engineering и Analytics практически не использовались в обиходе.

Сумарно меня знало больше 7т человек в Амазон, все кто работал с данными, что давало мне нереальное преимущество по смене команд внутри Амазона. Даже когда перешел в Майкрософт, меня там уже знали, некоторые инженеры.

Я попытался сделать тоже самое в Майкрософт, но это оказалось совершенно не рабочим вариантом. Майкрософт вообще очень плохо функционирует в плане сообществ и взаимодействия с другими командами, если вы не работаете над одним проектом.

Инжиниринг Данных

26 June 2025 08:01

Сегодня в 11:00! Прямой эфир конференции VK Cloud Conf 2025

Подключайтесь к просмотру конференции. Вас ждут актуальные облачные технологии, новые продукты, исследования рынка и практические кейсы.

Расписание

11:00 – 13:30 — доклады о ключевых продуктовых релизах VK Cloud, а также отчет по большому исследованию рынка облачных сервисов России.

Смотреть трансляцию

13:30 – 14:30 — перерыв.

14:30 – 16:30 — два потока докладов: «Инфраструктура и разработка» и «Данные». Выбирайте самые интересные для себя доклады.

Смотреть поток «Инфраструктура и разработка»

Смотреть поток «Данные»

16:30 – 17:30 — перерыв.

17:30 – 19:30 — технологический трек от экспертов с докладами о решении конкретных рабочих кейсов.

Смотреть трансляцию технологического трека

Смотрите доклады в течение всего дня, а если что-то пропустите, возвращайтесь к просмотру по ссылкам выше.

Инжиниринг Данных

25 June 2025 07:59

Наконец-то норм курсы по BI от MicroStrategy:

🇷🇺 Bitcoin 102: Corporate Adoption and the Bitcoin Standard

🇷🇺 Bitcoin 103: Financial Fluency for Bitcoin

🇷🇺 Bitcoin 104: Bitcoin in the Corporate Treasury and the Strategy Story

💰

Инжиниринг Данных

24 June 2025 18:55

Фан факт: я поступил в 2 вуза из топ-3 в этом списке, но учиться пошел в другие места.

Физтех всегда был для меня первым из всех технических вузов, а вот Иннополис удивил

Инжиниринг Данных

23 June 2025 08:59

Высшее на новом уровне: онлайн-магистратура от Яндекса и НИЯУ МИФИ. Здесь фундаментальные знания и практика для карьерного роста, а ещё — учёба, которую можно совмещать с работой и жизнью.

IT‑специальность с экспертизой Яндекса + диплом магистра гособразца = новая ступень в карьере. Приёмная кампания уже идёт!

Все подробности — на дне открытых дверей:
— Разбор совместной программы с НИЯУ МИФИ.
— Всё о формате прикладной онлайн-магистратуры: что взяли от классического высшего, а что добавили из опыта специалистов Яндекса.
— Общение с экспертами из вуза и ответы на вопросы.
— Всё про поступление: сроки, экзамены, документы, оплата и образовательный кредит.

▷ Ждём вас 26 июня в 19:00 мск.

→ Зарегистрироваться на встречу

Инжиниринг Данных

21 June 2025 18:32

Всем привет! В следующий четверг 26 июня мы проведем очередной онлайн-митап по lakehouse технологиям. В программе два доклада:

Trino в Авито спустя два года: от движка к аналитической экосистеме, Дмитрий Рейман, Авито
Как Авито построил lakehouse-платформу на основе Trino, которая обрабатывает до 1 ПБ данных в день и обслуживает 300 пользователей

CedrusData Catalog — Современный каталог для lakehouse-платформ, Владимир Озеров, Кверифай Лабс
Архитектура и возможности CedrusData Catalog — бесплатного каталога Iceberg для российского рынка. Ролевая модель доступа, обслуживание таблиц Iceberg, time-travel, ускорение аналитических запросов.

Регистрация: https://cedrusdata.timepad.ru/event/3426242/

Инжиниринг Данных

19 June 2025 05:47

Игра симулятор про CDO, попробуйте, получилось прикольно https://www.whoisthebestcdo.com

Инжиниринг Данных

16 June 2025 01:32

Всем привет, в продолжение data&drinks 🌎, давай встретимся:
- 27 или 28 июня в Чикаго
- 20 или 21 августа в Денвере

Если вы из этих городов пишите в комментах или в личку!

Инжиниринг Данных

11 June 2025 18:27

📖 SLOW PRODUCTIVITY: THE LOST ART OF ACCOMPLISHMENT WITHOUT BURNOUT (2024)
Cal Newport

#лучшее
#безперевода

✏️ О КНИГЕ
Кэл Ньюпорт написал очень актуальную и своевременную книгу с тремя принципами «медленной продуктивности». Это и интересное чтение с примерами и размышлениями о природе продуктивности и умственной работы в современном мире, и конкретные рекомендации по достижению результатов в ваших проектах (ведь, как известно, «быстро — это медленно без перерывов»).

Он предлагает фокусироваться на качестве, а не количестве, и ограничивать число проектов в работе. Число часов в сутках ограничено, и с ростом числа проектов накладные временные расходы будут съедать всё больше времени, которое пригодилось бы для основной работы. С увеличением нагрузки они могут вырасти до точки, когда обслуживание работы будет требовать столько времени, что вы не будете успевать закрывать задачи — новые будут появляться быстрее.

🔥ФИШКИ КНИГИ
— Простые правила медленной продуктивности из трёх пунктов
— В списке лучших книг 2024 года по версии редакторов Amazon
— Лучшая книга года по версии The Economist и Independent

👨‍💻 КТО АВТОР
Кэл Ньюпорт — преподаватель, писатель, 42 года:

— Профессор факультета информатики Джорджтаунского университета, специализируется на теории распределённых вычислительных систем и цифровой этике
— Один из лучших авторов издания New York Times
— Регулярно пишет для широкой аудитории статьи о том, как пересекаются технологии и культура, и выступает на Национальном общественном радио
— Сторонник цифрового минимализма, никогда не заводил соцсетей, но ведёт блог Study Hacks с 2007 года, который читают более 2 000 000 человек в год в стремлении жить и глубоко работать в мире, который всё больше отвлекается
— C 2022 года Кэл запустил новый портал TheDeepLife.com, на котором размещается весь контент: все прошлые эпизоды популярного подкаста и обширная библиотека оригинальных видеоматериалов, которые доступны в том числе на YouTube

📌 ЦИТАТЫ ИЗ КНИГИ
Медленная продуктивность базируется на трёх принципах:
1. Делайте меньше дел
2. Работайте в естественном темпе
3. Сосредоточьтесь на качестве

Длительные рабочие отрезки, которые не создают мгновенных результатов, могут вызывать тревожность — куда проще проверять почту или ходить со встречи на встречу, чем сесть и много часов думать над новой стратегией.

Псевдо-продуктивность — использование видимой деятельности для оценки действительно продуктивных полезных усилий. Появление электронной почты и корпоративных мессенджеров позволили создавать видимость дела с минимальными усилиями и привели к тому, что средний работник больше времени говорит о работе, чем работает.

Если вы решите делать четыре отчёта параллельно вместо одного, «накладные расходы» времени будут занимать половину рабочего дня, если не больше. В конечном итоге, делать меньше — это путь к тому, чтобы получать результаты быстрее.

Моя рекомендация проста: работайте над одним проектом каждый день. Я не имею в виду, что этот проект будет вашей единственной работой за день. У вас точно будут письма, встречи. Но если мы говорим о ключевых, важных задачах, сфокусируйтесь на движении к одной цели в рамках дня.

Люди не очень хороши в оценке времени, необходимого на выполнение умственных задач.

Простое правило: уменьшать список задач на день, который вы запланировали, на 25-50%. Мы очень оптимистичны в такого рода оценках.
(Автор этого обзора, кстати, примерно в два раза переоценил время, необходимое на его написание — хотя читал эту и многие другие книги по теме😊)

📖 ВЫХОДНЫЕ ДАННЫЕ
Slow Productivity: The Lost Art of Accomplishment Without Burnout
Portfolio, 5 марта 2024
256 стр.

Перевод названия:
Медленная продуктивность: утраченное искусство достижения целей без выгорания

Саммари на русском от Smart Reading


Автор: Ренат Шагабутдинов

📚 CEO Readz. Книги для первых лиц

Инжиниринг Данных

08 June 2025 18:16

🚀 Yandex Cloud запустил сертификацию по DataLens.

DataLens — это BI-инструмент, с которым можно быстро собрать дашборд и не тратить часы на настройку. Часто используется в продакшене: отлично подходит для оперативной проверки гипотез или подготовки витрин «на посмотреть» для бизнеса. Из коробки доступны графики, фильтры, датасеты, подключение к источникам — всё визуализируется с минимальными усилиями.

Сертификация — это не просто формальность, а способ систематизировать знания и убедиться, что инструмент освоен на практике. Доступны подготовительные материалы, бесплатный курс и примеры заданий — всё собрано на одной странице. Уровень — junior+, но для тех, кто регулярно работает с BI и аналитикой, не составит труда.

🎯 До конца лета стоимость — 2 500₽ вместо 5 000₽.
🎓 После прохождения — официальный статус certified, который добавляет веса в резюме и уверенности в себе.

Рекомендуется тем, кто уже работает с DataLens или только планирует внедрение.

Инжиниринг Данных

05 June 2025 08:59

Ищете работу на международном рынке?

Тогда канал Connectable Jobs будет полезен для вас. Ребята собирают вакансии в международных стартапах с русскоязычными фаундерами, делятся важной информацией про команды и инвестиции, а также прямыми контактами HR для удобного отклика.

Вот несколько актуальных вакансий таких компаниях:
— Head of Data в Manychat
— Data Engineer в Constructor
— Lead of Engineering в Appodeal

Еще у Connectable Jobs есть отдельный канал для разработчиков и инженеров, где публикуются вакансии только в этой области.

Подписывайтесь и развивайте карьеру в будущем единороге 🚀

Инжиниринг Данных

05 July 2025 00:00

Список чтения на летние каникулы

В прошлый раз Ваш покорный слуга публиковал «список для чтения» на зимние каникулы, сегодня продолжаем эту нерегулярную рубрику, тем более что «морганы» опубликовали «официальный список для чтения на 2025», так что это можно уже считать трендом.

Летнее уточнение: на эти каникулы у нас в меню не только финансы, но ещё и другое всякое полезное, до чего не доходили руки ранее. Традиционное предупреждение: это неприятный список, и в нём нет книг типа «Как клеить тёлочек для идиотов» или «Большое бабло для чайников», ну и прочего шлака из серии «богатеть — это просто».

Про «как инвестировать и не сойти с ума». Взаимодействие с финансовыми рынками (в любой форме, включая инвестиции и трейдинг) обычно вскрывает в человеке все его глюки, тараканов, недостатки и пороки. А потом рынок этим компроматом пользуется вовсю, чтобы довести юзверя до депрессии, алкоголизма, лудомании, выхода в окно или (по)читания какого-нибудь «Кристалла Прироста». Не надо так, надо работать над собой:

1. Бретт Стинбарджер: «Психология трейдинга». Книга не про трейдинг, а про психику под нагрузкой, от человека, который реально работал с хедж-фондами, шоуменами и профессиональными спортсменами. Невероятно полезная штука для супруга/супруги того, кто в семье инвестирует (если трейдит, работает в шоубизе или в реальном бизнесе — тем более): может реально спасти (и проапгрейдить) брак хотя бы за счёт создания «мостика понимания» и вдумчивой эмпатии к тому, кого риск и стресс долбит по мозгам и психике.
2. Питер Линч: «Метод Питера Линча». Мой подход не очень пересекается с подходом Линча, но Линч — это отличное лекарство от обывательского ступора при попытке начать думать об инвестициях. Много здравого смысла + много «хаков» = польза, правда, для российской реальности придётся допиливать напильником, но это часть фана.

После публикации «Учебника Корпоративной Скотины», спрашивают, где ещё можно учиться продажам (своего времени, талантов, товаров, услуг), кроме как на курсах впаривания пылесосов или у Чалдини:
3. Alex Hormozi: "$100M Offers" - больше подойдёт для бизнесменов, но каждый, кто продаёт свой труд или время — в той же лодке, просто не все это понимают. Это справочник методов продажи чего угодно и кому угодно.
4. Кирилл "Гуру" Стрельников -> Если вам нужно (а вам НУЖНО) продать время, труд, товар, услугу или даже себя любимого в любом качестве, то для этого потребуются слова на экране, на бумаге или в личном общении. Это по сути энциклопедия большого личного опыта складывания слов в нужные комбинации, от рекламы для Хайнекен или Рено и до заказов со Старой площади.

После подкаста с ув. Асафьевым поступило некоторое количество вопросов от ув. айтишников, по поводу «а как тогда жить-то и думать-то?». Рефы для вас:
5. Энни Дьюк: «Принцип ставок». Очень многие «технари» (но не только они) болеют «шахматным» (детерминированно-алгоритмичным) мышлением, которое гарантирует (вот прямо гарантирует) проблемы в личных отношениях, карьере и на финансовых рынках. Жизнь (и люди, из которых жизнь состоит) — это НЕ шахматы, это намного ближе к покеру — игре несправедливой, нелинейной, слегка рэндомной, неоднозначной и трудно поддающейся «лобовой» оптимизации. Книга — база «покерного» мышления применительно к жизни.
6. Антон Волков: «Точка сборки» -> Гейм-дизайнер, миллиардер, венчурный инвестор, который может «на айтишном» объяснить, почему «методичкоголвость» — это не айс для жизни. Почти гарантировано, что по любой стереотипной теме из жизни корпоративного кодера там что-нибудь есть (обидное, но практичное). Многим, имхо, стоит прочитать про «Самоизгнание из внутреннего «села» и Департамент Доказательств а дальше уже как пойдёт.

Приятного чтения.

Инжиниринг Данных

04 July 2025 17:47

Если у вы используете GitHub, то вы можете добавить Copilot, и он будет писать свой PR description и рассказывать какие файлы поменялись.

Так же можно использовать copilot, чтобы он за вас писал описание PR

Есть и другие способы интегрировать LLMs в ваш code review процесс. Можно использовать свой бот, можно использовать готовые решения от AWS, Anthropic и тд.

При желании можно даже разрешить агентам редактировать код за вас, но тогда уже не найти концов. Такое мы в проде нигде не используем.

Как у вас проходит code review?

Инжиниринг Данных

29 June 2025 21:56

В последнем выпуске подкаста All-In подняли интересную тему связанную с обучением. Как известно в США самое дорогое (и возможно престижное) образование. Оно дорогое не только для иностранных студентов, но и для местных. У университетов есть рейтинг, чем круче университет, тем дороже. Вроде бы все логично.

Но что происходит последние годы?

Цитата из подкаста:

«Потому что обещание, которое мы дали в Америке — это Американская мечта: если ты поступишь в колледж, ты выпустишься, будешь зарабатывать, у тебя будет стабильность, ты сможешь купить дом.»

Я думаю сейчас это относится не только к образованию в США, но и во всем мире. Известный факт, что большинство выпускников в США выпускаются с огромным долгом, так называемый студенческий кредит. У меня много коллег все еще его выплачивают.

«Люди могли поступить в университет, и выпуститься с долгом в 200–300 тысяч долларов, а потом никогда не получить работу. Этот парень никогда не имел настоящей работы. И это правда для 32 миллионов молодых американцев.»

«У всех у них так называемый “отрицательный капитал”. У них есть долги, и они никогда не смогут выбраться из этого круга.»

Получается, что в большинстве случаев высшее образование вам ничего не гарантирует, кроме огромных долгов. А есть еще программы переквалификации, магистратуры, MBA - все это стоит очень дорого.

Например, ко мне на Surfalytics иногда залетают ребята с топового канадского MBA, но у них совершенно нет скилов для поиска работы, да и скилов, чтобы эту работу делать. Они потратили огромный капитал на образование, жилье, и на выходе у них есть строчка в резюме и профессиональная портретная фотка, которую всем делает в университете. Им обязательно проведут курсы по составлению резюме и поиску работу. Обычно это делают люди, которые сами никогда работу не искали.

Таким образом получается, что высшее образование необходимо, оно дорогое, но совершенно ничего не гарантируют. В каждый конкретный момент, есть рабочие варианты, например, сейчас студенты Computer Science еще могут рассчитывать на стажировку в BigTech компаниях и последующее трудоустройство. А как будет через 5-10 лет?

Инжиниринг Данных

28 June 2025 20:50

В Чикагском Культорном центре, есть зал - Preston Bradley Hall с куполом из витражей Tiffany - крупнейшим в мире стеклянным куполом ручной работы.

Под куполом цитата:

Books are the legacies that a great genius leaves to mankind, which are delivered down from generation to generation as presents to posterity.”

«Книги — это наследие, которое великий гений оставляет человечеству и которое передаётся из поколения в поколение как дар потомкам.»

Несмотря на обилие контента, видео, аудио, книги все еще являются самым лучшим способом, чтобы делиться информацией, учиться, ну и оставлять дар потомкам.

Инжиниринг Данных

26 June 2025 23:18

Я выбирал курсы на лето для детей 10+ лет связанные с CS и AI.

Самый лучший вариант будет курс CS50 от Harvard на английском https://www.edx.org/cs50, там есть несколько курсов и все они хорошие, включая Python и AI.

Сегодня увидел в канале Минцифры пост про бесплатные курсы для школьников, обязательно воспользуйтесь!

Так же сегодня увидел цитату основателя антропика (claude) о том, что в 2026 году мы можем увидеть компанию единорог, в которой всего один основатель, а все остальное завязано на AI.

Хочу летом поближе детей познакомить с концептом vibe-coding и надеюсь они смогут закодить, что-нибудь прикольное. Думать абстракциями и давать инструкции (prompts) вместо написания кода намного веселей.

Что еще есть для детей по теме?

Инжиниринг Данных

25 June 2025 18:29

Свежий квадрант Gartner по BI системам. Как видите MicroStrategy все еще в нем, но уже Strategy, несмотря на их увлечение bitcoin.

Microsoft абсолютный лидер с Power BI и Fabric.

Следом Tableau и Looker, как проверенные временем надежные BI инструменты.

Sigma BI замыкает список с конца, мне очень нравится инструмент, но мы платим 50k $ в год только platform fee в одном стартапе👹 (быть в таком уважаемом квадранте не бесплатное удовольствие для вендора)

Не хватает тут Metabase и Superset, а зря.

Помню как раньше тут был отечественный Прогноз… кстати как он поживает?

Инжиниринг Данных

24 June 2025 23:02

Вот это я понимаю чувак курсы по SQL Server и dba рекламирует на фоне своего Porsche с hello kitty, мужик красавчик, я бы купил. А то у нас люкс только у бизнес коучей, рэперах и в телеграмм розыгрышах.

Инжиниринг Данных

24 June 2025 05:03

Tableau Lego и невозможные визуализации.

В BI и датавиз пространстве большинство пользователей работают со стандартными визуализациями. Естественно, в любом инструменте визуализации данных есть свои ограничения - они и определяют сложность визуализаций. Эксперты могут посмотреть на любую работу и примерно рассказать как она сделана. В периметре Tableau существуют "невозможные визуализации" - такие, которые мало кто может повторить без мануала, и до их создания построение считалось невозможным. Обычно на скриншот с такой визуализацией говорят что "это сделано не в Табло".

Сегодня расскажу о своей визуализации Tableau Lego. Ей 5 лет, она стала классикой в своём сегменте, но не каждый Tableau эксперт понимает как она построена. Я консультировал несколько инженеров и сейлзов внутри компании Tableau по принципам её построения. То есть, инженеры, создающие продукт, хотели понять на что способен продукт, и что можно ещё создать. И внутри компании создают 3D проекты чтобы расширить понимание возможностей продукта.

Сама визуализация "Tableau Lego" - это эмулятор конструктора, где можно по шагам эмулировать сборку лего домика, а также смотреть на него под разными углами. Всё работает на чистой математике, без внешних модулей.

Когда-то для меня 3D в Tableau казалось космосом. Но надо было разобраться и добавить что-то своё. Месяца на 4 погружался в 3D, принципы, что было сделано и что можно сделать. Сверхсложного ничего нет - просто нужно время. Из своего - добавил работу с OBJ файлами - это сильно изменило картинку. До этого 3D модели описывались форматом стереолитографии, и полигоны делились на треугольники. С моим подходом можно работать с любым числом вершин в полигоне.

Самое сложное - создать датасет, остальное - дело техники. Визуализация - это набор полигонов с заданными координатами вершин и формулы проекции на плоскость плюс алгоритм сортировки полигонов. Максимально подробно всё описал в статье "3D модели в Tableau". Её до сих пор читают и делают 3D. Мы даже конкурс один раз проводили на индийском TUG с призами.

Мне нравится концепция Лего, когда из базовых кубиков создаёшь примитивные конструкции, а и из примитивных конструкций создаёшь сложные сооружения. Как в жизни.

После создания таких визуализаций мне посчасливилось сотрудничать с людьми из Pixar, они создавали ещё первую "Историю игрушек". Про это рассказывал в одном из постов.

Зачем всё это? В русскоязычном пространстве такой вопрос возникает часто, а в англоязычном - нет. В англоязычном комьюнити просят статьи, вебинары и объяснения. Мне просто интересно делать то, что считают невозможным. Это классно, когда ты ограничен инструментом (нет циклов, скриптов и т.п.), и приходится придумывать вычисления для реализации идеи.
В СНГ такие вещи никому не нужны, и это печально. А в англоязычном пространстве всегда ищут что-то необычное и тех кто это делает. В твиттере (благодаря таким работам) на мой профиль подписаны CEO Salesforce, CEO Tableau, CTO Twitter/Facebook (сейчас - Sierra AI) - это люди, определяющие куда пойдёт мировое IT. И им это надо.

Инжиниринг Данных

21 June 2025 22:02

Оказывается есть еще очень много компаний, которые используют Microsoft Reporting Service (SSRS).

SSRS (SQL Server Reporting Services) был создан Microsoft и впервые представлен как часть SQL Server 2000 в 2004 году (в составе SQL Server 2000 Reporting Services add-on, релиз - январь 2004). Основная цель - дать пользователям SQL Server инструмент для создания отчётов, который интегрируется с экосистемой Microsoft и конкурирует с Crystal Reports (в то время популярным решением).

И вот, на конференции sqlBits в июне Microsoft объявил о завершении поддержки SSRS. В новом SQL Server будет уже Power BI Report Server (PBIRS), который будет работать с ключом лицензии SSRS.

Но обещана поддержка до 2033 года. В любом случае, если вы используете софт в РФ, поддержка вам и не нужна.

С legacy-софтом я вижу только одну проблему - это, прежде всего, проблема специалистов. Быть экспертом в устаревших системах сужает карьерные возможности. Несмотря на то, что SSRS и другие решения всё ещё отлично работают, вам, как высококлассному специалисту, делать там особо нечего. Зато для бизнеса это отличный вариант: надёжный софт, проверенный десятилетием, легко найти специалистов, и платить им много не нужно.

Инжиниринг Данных

21 June 2025 01:17

VC заинвестировали больше 73 лярдов в AI стартапы в 2025, и теперь кошечки прыгают в олимпийский бассейн как настоящие.

https://youtube.com/shorts/Z_hSnPzztpA

Инжиниринг Данных

18 June 2025 02:13

Labubu и Vibe Coding

Недавно дочка загорелась монстриками Labubu. Это такие брелоки - стоят недорого, но достать их почти невозможно. Кто-то вешает их на дорогие сумки, кто-то кринжует по-другому.

Дочка захотела Labubu. Окей, подумал я, всего-то $30. Нашёл сайт, где их продают - https://www.popmart.com/ca, и понял, что там какие-то дропы: ограниченное количество игрушек.

Была надпись: старт продаж в 18:30. Я поставил будильник на 18:25. Зашёл на сайт и начал кликать. Сайт дико тормозил, и уже в 18:30 все игрушки были зарезервированы.

«Так значит?» - подумал я. У меня же есть Cursor. Сейчас как на вайбе закодю - мало не покажется.

Поставил себе задачу для плагина:
- Зайти на сайт
- Ровно в 18:30 нажать Shake the Box и добавить в корзину (ADD TO CART)

Решил начать с Google Chrome плагина. Я ведь уже купил один за $7 - не работает. Cursor быстро накатал мне плагин, который умел:
- запускаться по времени,
- добавлять в корзину,
- обновлять страницу,
- показывать логи.

Даже работал на простых товарах. Дети бегали в восторге и кричали: «Папа, хакер!»

Но с Labuba — это реальный high-load. Я решил масштабировать вкладки, и в итоге всё зависло. MacBook Pro с 32 GB оперативки пришлось перезагружать вручную — hard reset🪦

Спросил у ChatGPT, какие есть варианты на Python с headless-браузером.

Стал фигачить: сначала на Playwright, потом на Selenium. Нужно было логиниться, качать cookies. В итоге потратил часов восемь на всё это. Оно вроде как работало, но было сыровато и оставалось еще много недоделок.

Было очень интересно, настоящий deep work и поток. Но, увы, другие дела-то не делаются…

На следующий день, пока я собирался на новый заход, жена прислала фото с коробками Labubu. Нашла магазинчик, где они были в наличии. Так что… вы поняли, кто тут настоящий хакер.

Когда дочка принесла их в школу — был дикий ажиотаж. Ни у кого нет, а у неё аж три.

А у вас есть Labubu?

Инжиниринг Данных

11 June 2025 23:45

В прошлом году мы сделали небольшой surf camp в Тофино, на бергу тихого океана.

В этом году мы тоже решили сделать небольшой camp: 30 июня по 3 июля.

Присоединяйтесь:)

Инжиниринг Данных

10 June 2025 05:08

Недавно увидел хорошие термины про тип работы - deep work vs shallow work.

Deep work - глубокое погружение в работу, которое позволяет сосредоточиться на проблеме, изучить необходимые технологии и процессы. Обычно такая работа требует как минимум несколько часов без отвлечений, и по окончании процесса вы получаете удовлетворение. От такой напряжённой работы вы не так устаете и не выгораете.

Shallow work, напротив, - это работа урывками, когда часто меняется контекст между задачами и проектами.

Даже хорошо спланированную работу в формате deep work можно легко превратить в shallow work. Достаточно начать реагировать на сообщения в мессенджере от коллег, менеджеров, друзей. Или участвовать в частых митингах.

Вот и получается: вроде день прошёл, а результата ноль.

Мне лично помогает несложное кольцо действий:
1. составить список 2–3 важных дел на день
2. не переключаться на новое дело, пока не закончу первое
3. блоки deep work в календаре, которые отменяют все встречи - они у меня стоят на год вперёд

Так же можно запланировать дела на неделю, добавив в них личные дела. Свой календарь я не разделяю на личный и рабочий.

Лично для вас будет эффективнее и приятнее выполнить от начала до конца одно важное дело, чем ответить всем подряд в мессенджерах, сходить на несколько митингов и при этом задержаться на работе на несколько часов - всё равно без результатов.

Инжиниринг Данных

08 June 2025 02:54

Всем хороших выходных! Для меня бутылочка сидра в компании жены лучшая награда за 6 рабочих дней:)

PS в пятницу записал для Surfalytics первый эпизод mock Data Engineering System Design interview, использовали Azure cloud.

PPS интересный факт, стаканы из IKEA, но made in Russia😊

Инжиниринг Данных

05 June 2025 00:42

Data-driven культура часто выглядит как BI инструмент(ы) с метриками и дашбордами + хранилище данных (хотя уже модно делать Data Lakeuse на 500ТБ 🤔).

В идеале культура, основанная на данных, должна включать три ключевых элемента — так называемый 3P framework:

- People - вовлечённые сотрудники и поддержка со стороны руководства.
- Platform - удобные и доступные инструменты (BI-системы, дашборды, ноутбуки, хранилища и т. п.).
- Process - процессы, которые помогают извлекать инсайты и превращать их в действия, с акцентом на качество данных, метрики и бизнес-приоритеты.

В такой культуре важно позволять людям экспериментировать с данными, поощрять стремление к обучению и развитию, задавать бизнес-вопросы, формулировать гипотезы и проверять их.
Способность находить закономерности в данных, предлагать улучшения и отслеживать их влияние на бизнес — одна из ключевых ценностей data-led подхода.

Несколько практик, которые помогают достичь такого уровня зрелости:
🎮 Проведение хакатонов и вовлечение бизнес-пользователей в работу с данными.
🙂 Отправка аналитиков и инженеров "в поля", чтобы на практике понять, как устроен бизнес, как генерируются данные и как аналитические решения влияют на процессы.
⚡️Временная интеграция аналитиков и инженеров в бизнес-команды для более глубокого погружения в задачи и контекст.


Вообще парадокс, в маленькой компании или стартапе достаточно завести эксельку и вести учет нескольких показателей и вы уже data-driven. А вот в большой корпарации у вас может быть 10 хранилищ, 5 озер, 7 BI, и армия аналитиков и инженеров, и вы нифига не data-driven🤣