Инжиниринг Данных

08 Jul 2025 18:36

Как можно писать про Инжиниринг Данных и не инвестировать в отечественные компании?! Сегодня я купил 1000 акций Аренадата.

Ради эксперимента, я хочу закинуть млн рублей на различный акции Российский компаний через Т-банк приложение. Правда почему-то 50% хочется вложить в Яндекс.

Кто куда инвестирует?

Инжиниринг Данных

08 Jul 2025 00:37

Провели с женой несколько дней без детей в Чикаго, красивый город с настоящей американской архитектурой и богатой историей. Даже встретился с одним подписчиком, который уже 15 лет живет в Чикаго и мы выпили Мичиганского сидра и сравнили Канаду и США в плане жизни и работы.

Музыка Робби Вильямс потому что мы посмотрели классный фильм про него - Быть Лучше.

Инжиниринг Данных

06 Jul 2025 17:02

Это странное слово ДЖУН

Я никогда особенно не задумывался, в какой момент на ИТ рынке появилась эта странная градация на джунов, мидлов и синьоров, но вот сейчас тут и там натыкаешься на вселенский вой и заламывание виртуальных рук: джунов перестают брать на работу.

Причины называются разные и все они разной степени фантазийности. Особенно доставляет сваливать все на ИИ (хотя сейчас все на него сваливают). Но нигде не звучит гипотеза, что процесс был изначально предопределен без всякого ИИ и что ситуация развивается вполне гармонично.

Причина, как мне представляется, проста – в какой-то момент на рынке разработчиков возник дефицит рабочих рук и компании начали нанимать, грубо говоря, кого попало. А еще точнее – от безысходности брать учеников и доучивать их за свой счет.

Так было в моем, еще советском детстве, когда на каждой промышленной проходной требовались токари и фрезеровщики, а про инженеров часто вообще не было ни строчки. Потому что рабочих не хватало, а инженерами (о деятельности которых одних анекдотов было почти как про Чапаева и Петьку) были все укомплектованы под завязку.

Как следствие – заводы и фабрики набирали учеников слесаря или токаря, чтобы учить его, пришедшего с улицы, за свой счет (допускаю, что иногда на зарплату больше инженерной), а вот учеников инженера никто не звал.

С программистами происходило приблизительно так же. С массовым сумасшествием в виде срочных курсов подготовки «кого хочешь, но шо б в ИТ». А уж HR-ы постарались придать всему этому некий лоск (согласитесь, что стрёмно как-то заявлять о том, что занимаюсь наймом ученика программиста, а вот джун – уже звучит гордо и солидно. Не говоря уже о самих учениках).

А потом спрос начал падать (масса объективных факторов) и вдруг оказалось, что ученики уже не требуются. Ну и крупные компании, конечно, сумели худо бедно выстроить системы подготовки нормальных инженеров и разработчиков под себя (как раньше при заводах и фабриках были просто собственные ПТУ и техникумы) и перестали брыть тех, кто ничего толком не умеет + еще и не знает предметной области.

И это хорошо.

Потому как профессии в ИТ это ж не только про опыт. Это еще и про талант. Про склонность. Просто про способность. Пусть будет деление на сильных, нормальных и непригодных (иди доучивайся до нормальности), а не вот это все.

Я когда то тоже получал диплом программиста в ВУЗе, где преподавание программирования было на высоком уровне. Мой факультет (курс 50 человек), например, например, заканчивали и Сергей, и Борис Нуралиевы. И свои пятерки по этим профильным специальностям я имел. И даже был готов связать свою судьбу с программированием... Но ровно до того момента, когда я столкнулся с настоящими программистами. По таланту и призванию.

И мне быстро стало ясно, что для меня это вообще недостижимый космос. И это не был вопрос времени, «когда я научусь так же». Было понятно, что не научусь никогда, потому как мы с ними просто в разных плоскостях, в разных измерениях и разных лигах. И буду я, в лучшем случае, не очень счастливым программистом-ремесленником.

А сейчас на улице окажутся толпы неприкаянных, поверивших в то, что «спрос на ИТ будет всегда» и будут всячески оправдывать свой неправильный выбор массой глупостей. А журналисты будут эти глупости транслировать. А курсы переподготовки для получения новой «манны небесной» выкатят убедительные доказательства новых профессий будущего.

Я бы, как футбольный болельщик, конечно же, предложил бы им переключиться с ИТ на обучение футболу. Вы каждого первого болельщика или футбольного функционера спросите и он вам расскажет, как драматически не хватает хороших российских игроков в нашем футболе. С цифрами и диаграммами.

И дел то всего... Правила простые. Зарплаты огромные. Бегать быстро. Мячик пинать поточнее. Вы что, во дворе в футбол не играли? Просто немного прокачаться на курсах надо. Полугодовых.

В общем жалко джунов. Они, похоже, единственные обманутые в этой истории.

Инжиниринг Данных

05 Jul 2025 00:00

Список чтения на летние каникулы

В прошлый раз Ваш покорный слуга публиковал «список для чтения» на зимние каникулы, сегодня продолжаем эту нерегулярную рубрику, тем более что «морганы» опубликовали «официальный список для чтения на 2025», так что это можно уже считать трендом.

Летнее уточнение: на эти каникулы у нас в меню не только финансы, но ещё и другое всякое полезное, до чего не доходили руки ранее. Традиционное предупреждение: это неприятный список, и в нём нет книг типа «Как клеить тёлочек для идиотов» или «Большое бабло для чайников», ну и прочего шлака из серии «богатеть — это просто».

Про «как инвестировать и не сойти с ума». Взаимодействие с финансовыми рынками (в любой форме, включая инвестиции и трейдинг) обычно вскрывает в человеке все его глюки, тараканов, недостатки и пороки. А потом рынок этим компроматом пользуется вовсю, чтобы довести юзверя до депрессии, алкоголизма, лудомании, выхода в окно или (по)читания какого-нибудь «Кристалла Прироста». Не надо так, надо работать над собой:

1. Бретт Стинбарджер: «Психология трейдинга». Книга не про трейдинг, а про психику под нагрузкой, от человека, который реально работал с хедж-фондами, шоуменами и профессиональными спортсменами. Невероятно полезная штука для супруга/супруги того, кто в семье инвестирует (если трейдит, работает в шоубизе или в реальном бизнесе — тем более): может реально спасти (и проапгрейдить) брак хотя бы за счёт создания «мостика понимания» и вдумчивой эмпатии к тому, кого риск и стресс долбит по мозгам и психике.
2. Питер Линч: «Метод Питера Линча». Мой подход не очень пересекается с подходом Линча, но Линч — это отличное лекарство от обывательского ступора при попытке начать думать об инвестициях. Много здравого смысла + много «хаков» = польза, правда, для российской реальности придётся допиливать напильником, но это часть фана.

После публикации «Учебника Корпоративной Скотины», спрашивают, где ещё можно учиться продажам (своего времени, талантов, товаров, услуг), кроме как на курсах впаривания пылесосов или у Чалдини:
3. Alex Hormozi: "$100M Offers" - больше подойдёт для бизнесменов, но каждый, кто продаёт свой труд или время — в той же лодке, просто не все это понимают. Это справочник методов продажи чего угодно и кому угодно.
4. Кирилл "Гуру" Стрельников -> Если вам нужно (а вам НУЖНО) продать время, труд, товар, услугу или даже себя любимого в любом качестве, то для этого потребуются слова на экране, на бумаге или в личном общении. Это по сути энциклопедия большого личного опыта складывания слов в нужные комбинации, от рекламы для Хайнекен или Рено и до заказов со Старой площади.

После подкаста с ув. Асафьевым поступило некоторое количество вопросов от ув. айтишников, по поводу «а как тогда жить-то и думать-то?». Рефы для вас:
5. Энни Дьюк: «Принцип ставок». Очень многие «технари» (но не только они) болеют «шахматным» (детерминированно-алгоритмичным) мышлением, которое гарантирует (вот прямо гарантирует) проблемы в личных отношениях, карьере и на финансовых рынках. Жизнь (и люди, из которых жизнь состоит) — это НЕ шахматы, это намного ближе к покеру — игре несправедливой, нелинейной, слегка рэндомной, неоднозначной и трудно поддающейся «лобовой» оптимизации. Книга — база «покерного» мышления применительно к жизни.
6. Антон Волков: «Точка сборки» -> Гейм-дизайнер, миллиардер, венчурный инвестор, который может «на айтишном» объяснить, почему «методичкоголвость» — это не айс для жизни. Почти гарантировано, что по любой стереотипной теме из жизни корпоративного кодера там что-нибудь есть (обидное, но практичное). Многим, имхо, стоит прочитать про «Самоизгнание из внутреннего «села» и Департамент Доказательств а дальше уже как пойдёт.

Приятного чтения.

Инжиниринг Данных

04 Jul 2025 17:47

Если у вы используете GitHub, то вы можете добавить Copilot, и он будет писать свой PR description и рассказывать какие файлы поменялись.

Так же можно использовать copilot, чтобы он за вас писал описание PR

Есть и другие способы интегрировать LLMs в ваш code review процесс. Можно использовать свой бот, можно использовать готовые решения от AWS, Anthropic и тд.

При желании можно даже разрешить агентам редактировать код за вас, но тогда уже не найти концов. Такое мы в проде нигде не используем.

Как у вас проходит code review?

Инжиниринг Данных

29 Jun 2025 21:56

В последнем выпуске подкаста All-In подняли интересную тему связанную с обучением. Как известно в США самое дорогое (и возможно престижное) образование. Оно дорогое не только для иностранных студентов, но и для местных. У университетов есть рейтинг, чем круче университет, тем дороже. Вроде бы все логично.

Но что происходит последние годы?

Цитата из подкаста:

«Потому что обещание, которое мы дали в Америке — это Американская мечта: если ты поступишь в колледж, ты выпустишься, будешь зарабатывать, у тебя будет стабильность, ты сможешь купить дом.»

Я думаю сейчас это относится не только к образованию в США, но и во всем мире. Известный факт, что большинство выпускников в США выпускаются с огромным долгом, так называемый студенческий кредит. У меня много коллег все еще его выплачивают.

«Люди могли поступить в университет, и выпуститься с долгом в 200–300 тысяч долларов, а потом никогда не получить работу. Этот парень никогда не имел настоящей работы. И это правда для 32 миллионов молодых американцев.»

«У всех у них так называемый “отрицательный капитал”. У них есть долги, и они никогда не смогут выбраться из этого круга.»

Получается, что в большинстве случаев высшее образование вам ничего не гарантирует, кроме огромных долгов. А есть еще программы переквалификации, магистратуры, MBA - все это стоит очень дорого.

Например, ко мне на Surfalytics иногда залетают ребята с топового канадского MBA, но у них совершенно нет скилов для поиска работы, да и скилов, чтобы эту работу делать. Они потратили огромный капитал на образование, жилье, и на выходе у них есть строчка в резюме и профессиональная портретная фотка, которую всем делает в университете. Им обязательно проведут курсы по составлению резюме и поиску работу. Обычно это делают люди, которые сами никогда работу не искали.

Таким образом получается, что высшее образование необходимо, оно дорогое, но совершенно ничего не гарантируют. В каждый конкретный момент, есть рабочие варианты, например, сейчас студенты Computer Science еще могут рассчитывать на стажировку в BigTech компаниях и последующее трудоустройство. А как будет через 5-10 лет?

Инжиниринг Данных

28 Jun 2025 20:50

В Чикагском Культорном центре, есть зал - Preston Bradley Hall с куполом из витражей Tiffany - крупнейшим в мире стеклянным куполом ручной работы.

Под куполом цитата:

Books are the legacies that a great genius leaves to mankind, which are delivered down from generation to generation as presents to posterity.”

«Книги — это наследие, которое великий гений оставляет человечеству и которое передаётся из поколения в поколение как дар потомкам.»

Несмотря на обилие контента, видео, аудио, книги все еще являются самым лучшим способом, чтобы делиться информацией, учиться, ну и оставлять дар потомкам.

Инжиниринг Данных

26 Jun 2025 23:18

Я выбирал курсы на лето для детей 10+ лет связанные с CS и AI.

Самый лучший вариант будет курс CS50 от Harvard на английском https://www.edx.org/cs50, там есть несколько курсов и все они хорошие, включая Python и AI.

Сегодня увидел в канале Минцифры пост про бесплатные курсы для школьников, обязательно воспользуйтесь!

Так же сегодня увидел цитату основателя антропика (claude) о том, что в 2026 году мы можем увидеть компанию единорог, в которой всего один основатель, а все остальное завязано на AI.

Хочу летом поближе детей познакомить с концептом vibe-coding и надеюсь они смогут закодить, что-нибудь прикольное. Думать абстракциями и давать инструкции (prompts) вместо написания кода намного веселей.

Что еще есть для детей по теме?

Инжиниринг Данных

25 Jun 2025 18:29

Свежий квадрант Gartner по BI системам. Как видите MicroStrategy все еще в нем, но уже Strategy, несмотря на их увлечение bitcoin.

Microsoft абсолютный лидер с Power BI и Fabric.

Следом Tableau и Looker, как проверенные временем надежные BI инструменты.

Sigma BI замыкает список с конца, мне очень нравится инструмент, но мы платим 50k $ в год только platform fee в одном стартапе👹 (быть в таком уважаемом квадранте не бесплатное удовольствие для вендора)

Не хватает тут Metabase и Superset, а зря.

Помню как раньше тут был отечественный Прогноз… кстати как он поживает?

Инжиниринг Данных

24 Jun 2025 23:02

Вот это я понимаю чувак курсы по SQL Server и dba рекламирует на фоне своего Porsche с hello kitty, мужик красавчик, я бы купил. А то у нас люкс только у бизнес коучей, рэперах и в телеграмм розыгрышах.

Инжиниринг Данных

24 Jun 2025 05:03

Tableau Lego и невозможные визуализации.

В BI и датавиз пространстве большинство пользователей работают со стандартными визуализациями. Естественно, в любом инструменте визуализации данных есть свои ограничения - они и определяют сложность визуализаций. Эксперты могут посмотреть на любую работу и примерно рассказать как она сделана. В периметре Tableau существуют "невозможные визуализации" - такие, которые мало кто может повторить без мануала, и до их создания построение считалось невозможным. Обычно на скриншот с такой визуализацией говорят что "это сделано не в Табло".

Сегодня расскажу о своей визуализации Tableau Lego. Ей 5 лет, она стала классикой в своём сегменте, но не каждый Tableau эксперт понимает как она построена. Я консультировал несколько инженеров и сейлзов внутри компании Tableau по принципам её построения. То есть, инженеры, создающие продукт, хотели понять на что способен продукт, и что можно ещё создать. И внутри компании создают 3D проекты чтобы расширить понимание возможностей продукта.

Сама визуализация "Tableau Lego" - это эмулятор конструктора, где можно по шагам эмулировать сборку лего домика, а также смотреть на него под разными углами. Всё работает на чистой математике, без внешних модулей.

Когда-то для меня 3D в Tableau казалось космосом. Но надо было разобраться и добавить что-то своё. Месяца на 4 погружался в 3D, принципы, что было сделано и что можно сделать. Сверхсложного ничего нет - просто нужно время. Из своего - добавил работу с OBJ файлами - это сильно изменило картинку. До этого 3D модели описывались форматом стереолитографии, и полигоны делились на треугольники. С моим подходом можно работать с любым числом вершин в полигоне.

Самое сложное - создать датасет, остальное - дело техники. Визуализация - это набор полигонов с заданными координатами вершин и формулы проекции на плоскость плюс алгоритм сортировки полигонов. Максимально подробно всё описал в статье "3D модели в Tableau". Её до сих пор читают и делают 3D. Мы даже конкурс один раз проводили на индийском TUG с призами.

Мне нравится концепция Лего, когда из базовых кубиков создаёшь примитивные конструкции, а и из примитивных конструкций создаёшь сложные сооружения. Как в жизни.

После создания таких визуализаций мне посчасливилось сотрудничать с людьми из Pixar, они создавали ещё первую "Историю игрушек". Про это рассказывал в одном из постов.

Зачем всё это? В русскоязычном пространстве такой вопрос возникает часто, а в англоязычном - нет. В англоязычном комьюнити просят статьи, вебинары и объяснения. Мне просто интересно делать то, что считают невозможным. Это классно, когда ты ограничен инструментом (нет циклов, скриптов и т.п.), и приходится придумывать вычисления для реализации идеи.
В СНГ такие вещи никому не нужны, и это печально. А в англоязычном пространстве всегда ищут что-то необычное и тех кто это делает. В твиттере (благодаря таким работам) на мой профиль подписаны CEO Salesforce, CEO Tableau, CTO Twitter/Facebook (сейчас - Sierra AI) - это люди, определяющие куда пойдёт мировое IT. И им это надо.

Инжиниринг Данных

21 Jun 2025 22:02

Оказывается есть еще очень много компаний, которые используют Microsoft Reporting Service (SSRS).

SSRS (SQL Server Reporting Services) был создан Microsoft и впервые представлен как часть SQL Server 2000 в 2004 году (в составе SQL Server 2000 Reporting Services add-on, релиз - январь 2004). Основная цель - дать пользователям SQL Server инструмент для создания отчётов, который интегрируется с экосистемой Microsoft и конкурирует с Crystal Reports (в то время популярным решением).

И вот, на конференции sqlBits в июне Microsoft объявил о завершении поддержки SSRS. В новом SQL Server будет уже Power BI Report Server (PBIRS), который будет работать с ключом лицензии SSRS.

Но обещана поддержка до 2033 года. В любом случае, если вы используете софт в РФ, поддержка вам и не нужна.

С legacy-софтом я вижу только одну проблему - это, прежде всего, проблема специалистов. Быть экспертом в устаревших системах сужает карьерные возможности. Несмотря на то, что SSRS и другие решения всё ещё отлично работают, вам, как высококлассному специалисту, делать там особо нечего. Зато для бизнеса это отличный вариант: надёжный софт, проверенный десятилетием, легко найти специалистов, и платить им много не нужно.

Инжиниринг Данных

21 Jun 2025 01:17

VC заинвестировали больше 73 лярдов в AI стартапы в 2025, и теперь кошечки прыгают в олимпийский бассейн как настоящие.

https://youtube.com/shorts/Z_hSnPzztpA

Инжиниринг Данных

18 Jun 2025 02:13

Labubu и Vibe Coding

Недавно дочка загорелась монстриками Labubu. Это такие брелоки - стоят недорого, но достать их почти невозможно. Кто-то вешает их на дорогие сумки, кто-то кринжует по-другому.

Дочка захотела Labubu. Окей, подумал я, всего-то $30. Нашёл сайт, где их продают - https://www.popmart.com/ca, и понял, что там какие-то дропы: ограниченное количество игрушек.

Была надпись: старт продаж в 18:30. Я поставил будильник на 18:25. Зашёл на сайт и начал кликать. Сайт дико тормозил, и уже в 18:30 все игрушки были зарезервированы.

«Так значит?» - подумал я. У меня же есть Cursor. Сейчас как на вайбе закодю - мало не покажется.

Поставил себе задачу для плагина:
- Зайти на сайт
- Ровно в 18:30 нажать Shake the Box и добавить в корзину (ADD TO CART)

Решил начать с Google Chrome плагина. Я ведь уже купил один за $7 - не работает. Cursor быстро накатал мне плагин, который умел:
- запускаться по времени,
- добавлять в корзину,
- обновлять страницу,
- показывать логи.

Даже работал на простых товарах. Дети бегали в восторге и кричали: «Папа, хакер!»

Но с Labuba — это реальный high-load. Я решил масштабировать вкладки, и в итоге всё зависло. MacBook Pro с 32 GB оперативки пришлось перезагружать вручную — hard reset🪦

Спросил у ChatGPT, какие есть варианты на Python с headless-браузером.

Стал фигачить: сначала на Playwright, потом на Selenium. Нужно было логиниться, качать cookies. В итоге потратил часов восемь на всё это. Оно вроде как работало, но было сыровато и оставалось еще много недоделок.

Было очень интересно, настоящий deep work и поток. Но, увы, другие дела-то не делаются…

На следующий день, пока я собирался на новый заход, жена прислала фото с коробками Labubu. Нашла магазинчик, где они были в наличии. Так что… вы поняли, кто тут настоящий хакер.

Когда дочка принесла их в школу — был дикий ажиотаж. Ни у кого нет, а у неё аж три.

А у вас есть Labubu?

Инжиниринг Данных

11 Jun 2025 23:45

В прошлом году мы сделали небольшой surf camp в Тофино, на бергу тихого океана.

В этом году мы тоже решили сделать небольшой camp: 30 июня по 3 июля.

Присоединяйтесь:)

Инжиниринг Данных

08 Jul 2025 05:44

Bill Inmon написал у себя в LinkedIn откуда появился термин Хранилище Данных, а ChatGPT перевел:)

“Много лет назад я работал в консалтинговой компании под названием AMS. Я был у них консультантом и почти всё время проводил в разъездах.

В то время я выполнял проекты по заказу AMS для таких компаний, как Aetna Life and Casualty, Shell Canada и PacTel Cellular. Я проводил неделю в одном месте, затем следующую неделю — в другом. Я консультировал их по вопросам архитектуры данных.

У этих компаний были совершенно разные виды бизнеса. Почти ничего общего не было ни в том, чем они занимались, ни в том, как вели свою деятельность.

Что меня поразило — это то, что архитектура их корпоративных систем была абсолютно одинаковой. Можно было закрыть глаза в Хартфорде, штат Коннектикут, и представить себе архитектуру в Калгари, Канада, или в округе Ориндж, и она выглядела бы точно так же. Меня озадачило то, что архитектура не зависела от самого бизнеса.

Однажды я находился на встрече в Shell Canada. В комнате были Гэри Уорхолм, Донна Корриган, Херман Попго и я. Мы обсуждали архитектуру данных Shell Canada. Мы пытались найти слово, которое бы описывало то, что мы видим.

Я не помню, кто сказал это первым. Возможно, это был я. Возможно, кто-то другой. Я действительно не знаю. Но — как по волшебству — прозвучали слова «хранилище данных» (data warehouse). Они просто вырвались у кого-то с языка.

Эти слова казались отличным описанием того, с чем мы имели дело. И мы начали называть их архитектуру «хранилищем данных».

И с этого скромного и простого начала в Калгари, Канада, термин «хранилище данных» вскоре стал распространяться по стране, а затем и по всему миру.”

Кстати Бил живет в Денвере, я там буду в середине августа, ни у кого нет его адреса взять автограф?:) Я еще тут решил взять автограф у самого Джек Ма. У меня товарищ из Гонконга работает на него инвест банкиром в Ванкувере. Товарищ собирается уходить в свой бизнес и полетит к Джеку попрощаться, а я его упрашиваю попросить подписать книгу:)

У кого еще можно взять автограф?!

Инжиниринг Данных

07 Jul 2025 18:27

Читерство ради галочки — уже и тут

Кажется, читерят сейчас вообще везде: кто-то резюме раздувает, кто-то с нейросетью по вечерам собесы тренит. Ну ок.

Вот и в тестах на IT-навыки от hh тоже начали. Хотя, казалось бы, просто самопроверка: хочешь — проходишь, смотришь, где норм, а где просадки. А по факту? Ставят расширения, прогоняют вопросы через GPT, зовут друзей пройти за себя.

Всё ради красивой галочки… А потом на собесе выясняется, что без подсказок никак. И что тогда? Ходить с репутацией "На словах ты Лев Толстой, а на деле…" 🤡

Если хочется понять, где ты сейчас по скиллам, то почему бы и не попробовать сдать самому? А если галочка важнее понимания своих скиллов, не удивляйтесь, когда на собесе будет нечем крыть.

Инжиниринг Данных

05 Jul 2025 07:28

Ну прям clickbait заголовок - The 10x “overemployed” engineer у прагматичного инженера. Индус устроился в 22 стартапа Y Combinator. Вот это уровень. Это вам не 2-3 работы, где вам надо пахать 24/7, это уже ноль справа как у Гребенюка😂 Уже можно кино снимать по этому сценарию.

Тут конечно исключение, нужен был AI инженер. Я думаю он просто в какой-то момент потерял интерес и пустил все на самотек, такой quite quitting на максималках.

А сколько таких Сохамов трудится, огого!

Одно время я подумывал, что нужно делать AI стартап, чтобы экпозить всех over-employed в больших корпоратах, ну как экпозить, собрать денег с VC, продать идею в BigTech, нанять в команду 10х инженеров, натренировать на них модель по данным активностям онлайн/оффлайн и готово. Я думаю уже кто-то стрижет капусту на этом🤑

Инжиниринг Данных

04 Jul 2025 21:25

Как построить data-driven культуру, а не просто BI, в который никто не заходит?

🟣В прошлом посте я писала:
данные ≠ актив, если вы с ними ничего не делаете.

Но чтобы начали делать, нужна не просто BI-система.
Нужна культура.
И как и всё важное в бизнесе, она начинается с головы.

Я вообще выросла в аналитической среде.
Когда я начинала карьеру в консалтинге, ни Big Data, ни ChatGPT ещё не было,
но мышление
«данные → вывод → решение»
у нас тренировали так, как будто от этого зависела судьба миллионов (и иногда — правда зависела).

🟣Этот майндсет остался со мной до сих пор.
И я вижу: чем дальше, тем чаще компании говорят, что они аналитичные,
но при этом продолжают принимать решения на летучках в духе «ну по ощущениям».

А BI-системы — просто красивые панели, на которые никто не заходит.

Вот 5 элементов, которые реально помогают построить культуру решений на данных.

1️⃣ Всё начинается с фаундера и C-Level:
Если CEO говорит «я чувствую, что надо пушить эту фичу» и не дает задачу проверить гипотезу — всё, приехали.

Команда будет делать то же самое.

Data-driven культура начинается с того, что лидер принимает решения на данных.
✸ Он задаёт вопросы.
✸ Просит цифры.
✸ Не ведёт обсуждения в стиле «мне кажется».

2️⃣ Без инструментария — ничего не взлетит:
Не надо думать, что культура вырастет на энтузиазме.
Если у людей нет доступных и понятных дешбордов —
никакая data-driven культура не сложится.

Метрики должны быть:
✸ Привязаны к бизнес-целям
✸ Регулярно обновляемы
✸ С возможностью копать вглубь, а не просто «доход-расход»

Иначе всё закончится в Excel на 17 вкладок у одного аналитика.

3️⃣ Люди должны понимать, что их перформанс считают по данным:
Не метафорически, а буквально.

✸ Если в компании бонус зависит от бизнес-результатов —
значит, сотрудник должен видеть свои метрики.
✸ Если продуктовая команда оценивается по росту retention — она должна уметь его мерить, а не угадывать.

Когда оценка и рост человека связаны с метриками —
у него появляется привычка на них смотреть.

4️⃣ Нормализуйте «сначала смотрим → потом решаем»:
Я обожаю команды, в которых принято начинать обсуждение с цифр.
Прямо нормализовать это:

✸ Хотите запустить фичу? Где данные?
✸ Хочешь отключить воронку? Что на неё влияет?
✸ Думаешь, надо пушить что-то в маркетинге? Где проверка гипотез?

Это становится привычкой.
А привычка → поведение → культура.

5️⃣ Культуру нужно растить через обучение:
Если вы строите команду посильнее или у вас уже есть масштаб, то работа с данными = отдельная компетенция.

🟣 Что можно делать:
✸ Обучение по интерпретации ключевых метрик
✸ Мини-тренинги по юнитке, ретеншну, воронкам
✸ Кейсы «что сказали данные и к чему это привело»
✸ Отправлять на курсы или собирать внутренний чек-лист

Если компания маленькая — то хотя бы:
✸ Привычка делиться аналитикой
✸ 1 инсайт недели в чат
✸ Простые дешборды для всей команды

🟣 Пример
Плохой сценарий:
✸ «У нас упала конверсия с лендинга!!!»
✸«Паника!!!»

Хороший:
✸ «Конверсия упала, но трафик вырос в 2 раза, потому что залили TikTok с нерелевантной аудиторией. А CTR по email — остался стабильным».

Это и есть мышление на данных.
Контекст, динамика, гипотеза, вывод.

В итоге, data-driven культура — это про то, чтобы каждый в команде реально начал думать через данные, а не через «мне кажется» или «ну, так всегда делали».
Чтобы цифры стали не страшным отчётом, а привычкой — первым делом смотреть на них, задавать вопросы и искать ответы.

А как часто вы в команде обращаетесь к данным и стараетесь ли вы формировать привычку в команде? Пишите в комментариях 🚀.

#Data_driven

Инжиниринг Данных

03 Jul 2025 21:13

Летом у меня было собеседование в Zapier, я сделал скриншот с их оргструкторой. Я уже откликнулся в конце процесса, поэтому быстро получил отказ.

В качестве платформы данных они используют Databricks. На картинке видно структуры дата комманд.

Согласно Гуглу у них около 1000 сотрудников.

Инжиниринг Данных

28 Jun 2025 23:31

В статье I Don’t Want My Career to DIE (So should I consider myself a Data Intelligence Engineer)? автор рассуждает про важную тему - будущее профессии инженера данных.

Очевидно, что AI меняет подход к работе, но есть много НО. По умолчанию GenAI повышает продуктивность (генерация кода, документации и тп), но он несет в себе риски, так как уже много раз было новости про косяки в безопасности, про утечку персональных данных и пароли в открытом доступе.

Изначально мы все радовались (радуемся) vibe coding, но часто под этим подразумевается бездумная генерация кода по принципу %як-%як и продакшн. Поэтому автор предлагает другой термин - "Augmented coding” - то есть используем GenAI только как помощника, при этом инженер отвечает за безопасность, устойчивость и качество решений.

Другой concern (проблема) у автора, что бездумная генерация кода убивает развитие навыков и приводит к некачественным системам.

Таким образом появляется новый термин Data Intelligence Engineer (AI-Augmented Data Engineer), это дата инженер, который владеет AI инструментами, понимает System Design, архитектуру и безопасность, знает и умеет, как культивировать культуру качества в дата командах.

В целом для традиционного road map для дата инженера теперь нужно дорисовать еще одну ветку про GenAI.

Инжиниринг Данных

27 Jun 2025 18:10

Вот исправленный и грамматически выверенный вариант текста, с сохранением неформального и живого стиля:

😇


Попалась моя старая запись из Amazon, на которой был слайд про сообщества. Думаю, это примерно 2017 год.

Amazon - одна из лучших компаний, где мне доводилось работать. Там было много сообществ, и они реально работали.

Я сам руководил тремя из них:

BI Tech Talks - я унаследовал это сообщество от другого инженера, который стал SDM-менеджером. В нём было больше 90 BI/DE-команд со всего мира. Я старался проводить вебинары, на которых команды делились опытом, а иногда приглашал титулованных спикеров из LinkedIn. Amazon открывал все двери.

Subsidiary BI Collaboration - сообщество, в которое входили IMDb, Whole Foods (я помогал им с онбордингом в дата-инфраструктуру Amazon после поглощения — у них была Teradata), Amazon Robotics, AbeBooks, Zappos и т.д. Все очень крутые компании со своей уникальной культурой. Я несколько раз выступал на Subsidiary Summits.

Amazon Tableau User Group - тоже досталась мне от крутого чувака из Amazon (до сих пор с ним на связи). Когда я уходил, у нас было уже 2500+ пользователей. Я часто приглашал Tableau Zen Masters делать онлайн-доклады для нас.

Заметьте, в 2016-2017 году в ходу было слово BI. Data Engineering и Analytics практически не использовались в обиходе.

Сумарно меня знало больше 7т человек в Амазон, все кто работал с данными, что давало мне нереальное преимущество по смене команд внутри Амазона. Даже когда перешел в Майкрософт, меня там уже знали, некоторые инженеры.

Я попытался сделать тоже самое в Майкрософт, но это оказалось совершенно не рабочим вариантом. Майкрософт вообще очень плохо функционирует в плане сообществ и взаимодействия с другими командами, если вы не работаете над одним проектом.

Инжиниринг Данных

26 Jun 2025 08:01

Сегодня в 11:00! Прямой эфир конференции VK Cloud Conf 2025

Подключайтесь к просмотру конференции. Вас ждут актуальные облачные технологии, новые продукты, исследования рынка и практические кейсы.

Расписание

11:00 – 13:30 — доклады о ключевых продуктовых релизах VK Cloud, а также отчет по большому исследованию рынка облачных сервисов России.

Смотреть трансляцию

13:30 – 14:30 — перерыв.

14:30 – 16:30 — два потока докладов: «Инфраструктура и разработка» и «Данные». Выбирайте самые интересные для себя доклады.

Смотреть поток «Инфраструктура и разработка»

Смотреть поток «Данные»

16:30 – 17:30 — перерыв.

17:30 – 19:30 — технологический трек от экспертов с докладами о решении конкретных рабочих кейсов.

Смотреть трансляцию технологического трека

Смотрите доклады в течение всего дня, а если что-то пропустите, возвращайтесь к просмотру по ссылкам выше.

Инжиниринг Данных

25 Jun 2025 07:59

Наконец-то норм курсы по BI от MicroStrategy:

🇷🇺 Bitcoin 102: Corporate Adoption and the Bitcoin Standard

🇷🇺 Bitcoin 103: Financial Fluency for Bitcoin

🇷🇺 Bitcoin 104: Bitcoin in the Corporate Treasury and the Strategy Story

💰

Инжиниринг Данных

24 Jun 2025 18:55

Фан факт: я поступил в 2 вуза из топ-3 в этом списке, но учиться пошел в другие места.

Физтех всегда был для меня первым из всех технических вузов, а вот Иннополис удивил

Инжиниринг Данных

23 Jun 2025 08:59

Высшее на новом уровне: онлайн-магистратура от Яндекса и НИЯУ МИФИ. Здесь фундаментальные знания и практика для карьерного роста, а ещё — учёба, которую можно совмещать с работой и жизнью.

IT‑специальность с экспертизой Яндекса + диплом магистра гособразца = новая ступень в карьере. Приёмная кампания уже идёт!

Все подробности — на дне открытых дверей:
— Разбор совместной программы с НИЯУ МИФИ.
— Всё о формате прикладной онлайн-магистратуры: что взяли от классического высшего, а что добавили из опыта специалистов Яндекса.
— Общение с экспертами из вуза и ответы на вопросы.
— Всё про поступление: сроки, экзамены, документы, оплата и образовательный кредит.

▷ Ждём вас 26 июня в 19:00 мск.

→ Зарегистрироваться на встречу

Инжиниринг Данных

21 Jun 2025 18:32

Всем привет! В следующий четверг 26 июня мы проведем очередной онлайн-митап по lakehouse технологиям. В программе два доклада:

Trino в Авито спустя два года: от движка к аналитической экосистеме, Дмитрий Рейман, Авито
Как Авито построил lakehouse-платформу на основе Trino, которая обрабатывает до 1 ПБ данных в день и обслуживает 300 пользователей

CedrusData Catalog — Современный каталог для lakehouse-платформ, Владимир Озеров, Кверифай Лабс
Архитектура и возможности CedrusData Catalog — бесплатного каталога Iceberg для российского рынка. Ролевая модель доступа, обслуживание таблиц Iceberg, time-travel, ускорение аналитических запросов.

Регистрация: https://cedrusdata.timepad.ru/event/3426242/

Инжиниринг Данных

19 Jun 2025 05:47

Игра симулятор про CDO, попробуйте, получилось прикольно https://www.whoisthebestcdo.com

Инжиниринг Данных

16 Jun 2025 01:32

Всем привет, в продолжение data&drinks 🌎, давай встретимся:
- 27 или 28 июня в Чикаго
- 20 или 21 августа в Денвере

Если вы из этих городов пишите в комментах или в личку!

Инжиниринг Данных

11 Jun 2025 18:27

📖 SLOW PRODUCTIVITY: THE LOST ART OF ACCOMPLISHMENT WITHOUT BURNOUT (2024)
Cal Newport

#лучшее
#безперевода

✏️ О КНИГЕ
Кэл Ньюпорт написал очень актуальную и своевременную книгу с тремя принципами «медленной продуктивности». Это и интересное чтение с примерами и размышлениями о природе продуктивности и умственной работы в современном мире, и конкретные рекомендации по достижению результатов в ваших проектах (ведь, как известно, «быстро — это медленно без перерывов»).

Он предлагает фокусироваться на качестве, а не количестве, и ограничивать число проектов в работе. Число часов в сутках ограничено, и с ростом числа проектов накладные временные расходы будут съедать всё больше времени, которое пригодилось бы для основной работы. С увеличением нагрузки они могут вырасти до точки, когда обслуживание работы будет требовать столько времени, что вы не будете успевать закрывать задачи — новые будут появляться быстрее.

🔥ФИШКИ КНИГИ
— Простые правила медленной продуктивности из трёх пунктов
— В списке лучших книг 2024 года по версии редакторов Amazon
— Лучшая книга года по версии The Economist и Independent

👨‍💻 КТО АВТОР
Кэл Ньюпорт — преподаватель, писатель, 42 года:

— Профессор факультета информатики Джорджтаунского университета, специализируется на теории распределённых вычислительных систем и цифровой этике
— Один из лучших авторов издания New York Times
— Регулярно пишет для широкой аудитории статьи о том, как пересекаются технологии и культура, и выступает на Национальном общественном радио
— Сторонник цифрового минимализма, никогда не заводил соцсетей, но ведёт блог Study Hacks с 2007 года, который читают более 2 000 000 человек в год в стремлении жить и глубоко работать в мире, который всё больше отвлекается
— C 2022 года Кэл запустил новый портал TheDeepLife.com, на котором размещается весь контент: все прошлые эпизоды популярного подкаста и обширная библиотека оригинальных видеоматериалов, которые доступны в том числе на YouTube

📌 ЦИТАТЫ ИЗ КНИГИ
Медленная продуктивность базируется на трёх принципах:
1. Делайте меньше дел
2. Работайте в естественном темпе
3. Сосредоточьтесь на качестве

Длительные рабочие отрезки, которые не создают мгновенных результатов, могут вызывать тревожность — куда проще проверять почту или ходить со встречи на встречу, чем сесть и много часов думать над новой стратегией.

Псевдо-продуктивность — использование видимой деятельности для оценки действительно продуктивных полезных усилий. Появление электронной почты и корпоративных мессенджеров позволили создавать видимость дела с минимальными усилиями и привели к тому, что средний работник больше времени говорит о работе, чем работает.

Если вы решите делать четыре отчёта параллельно вместо одного, «накладные расходы» времени будут занимать половину рабочего дня, если не больше. В конечном итоге, делать меньше — это путь к тому, чтобы получать результаты быстрее.

Моя рекомендация проста: работайте над одним проектом каждый день. Я не имею в виду, что этот проект будет вашей единственной работой за день. У вас точно будут письма, встречи. Но если мы говорим о ключевых, важных задачах, сфокусируйтесь на движении к одной цели в рамках дня.

Люди не очень хороши в оценке времени, необходимого на выполнение умственных задач.

Простое правило: уменьшать список задач на день, который вы запланировали, на 25-50%. Мы очень оптимистичны в такого рода оценках.
(Автор этого обзора, кстати, примерно в два раза переоценил время, необходимое на его написание — хотя читал эту и многие другие книги по теме😊)

📖 ВЫХОДНЫЕ ДАННЫЕ
Slow Productivity: The Lost Art of Accomplishment Without Burnout
Portfolio, 5 марта 2024
256 стр.

Перевод названия:
Медленная продуктивность: утраченное искусство достижения целей без выгорания

Саммари на русском от Smart Reading


Автор: Ренат Шагабутдинов

📚 CEO Readz. Книги для первых лиц