GetMatch — это сервис, который помогает IT-специалистам находить работу, а компаниям — закрывать вакансии. В отличие от классических job-бордов, GetMatch сразу показывает зарплатные вилки.

Идея «просто» автоматизировать парсер вакансий зародилась у нас с Сашей Варламовым (канал Саши @data_bar) – как часто бывает, слово «просто» стало началом чего-то действительно масштабного. Сейчас у нас есть полноценная автоматизированная система, которая ежедневно парсит вакансии с GetMatch, загружает их в PostgreSQL, тянет курс рубля и доллара, отправляет отчеты в Telegram и полностью автоматизирует ETL-процесс для аналитики в дашборде.

Поднял Airflow в docker-compose на Timeweb (не реклама, просто нравится админка), чтобы DAG’и можно было запускать и мониторить централизованно. Добавил CI/CD на GitHub Actions, чтобы больше не заходить на виртуалку вручную — всё деплоится автоматически. Был парсер getmatch, но я его переписал под Airflow с Taskflow API. Разделил задачи, сделал их атомарными и настроил on_failure_callback, который отправляет сообщения об ошибках в Telegram-канал. Теперь, если что-то сломается, я узнаю об этом сразу, а не через неделю, когда появится дыра в данных.

База данных PostgreSQL развернута на другом VPS, чтобы разграничить вычисления и хранение данных. Создал таблицы vacancies, vacancy_skills, skills, где skills сразу вынесена в ref-таблицу, чтобы не дублировать текстовые значения. Настроил пользователей и доступы, подключил базу к Airflow. Бэкапы настроены на ежедневное обновление.

Теперь каждая вакансия и навык привязаны к конкретному дню, что позволяет анализировать динамику рынка труда. Каждое утро DAG собирает свежие вакансии, тянет курсы валют и обновляет таблицы, а в Telegram приходит сообщение с итогами работы: сколько вакансий обработано, какие ошибки возникли.

Теперь в дашборде можно:
• Смотреть историю изменения вакансий по дням
• Анализировать время жизни вакансий и скорость закрытия
• Отслеживать корреляцию зарплат с навыками
• Изучать спрос на скиллы в динамике

Раньше были просто “актуальные вакансии”, теперь есть полноценная разбивка по дням, что открывает больше возможностей для анализа.

Посмотри на наш дашборд анализа зарплатных вилок 👈

🔹 public.tableau.com иногда работает, только под VPN из РФ — держи мой VPN. Выше рассказывал, как разробатывал его в новогодние праздники @ShtormVPNBot 🫂

В планах — развернуть dbt и начать собирать слой трансформаций, чтобы сразу приводить данные в нужный вид для аналитики.

Читать полностью…

Учитесь как надо посты писать в Linkedin 😎

Читать полностью…

Неожиданные поворот от Databricks - интеграция с SAP!

https://news.sap.com/2025/02/sap-business-data-cloud-databricks-turbocharge-business-ai/

Всем SAP инженерам самое время upskill сделать по 🧱

Читать полностью…

Запись утиной конференции (DuckDB) https://www.youtube.com/playlist?list=PLzIMXBizEZjggaDzjPP542En2R5SV0WiZ

Читать полностью…

AI Company Asks Job Applicants Not to Use AI in Job Applications

Anthropic, компания, создавшая одного из самых популярных в мире AI-ассистентов для написания текстов, требует от соискателей согласия на то, что они не будут использовать AI-ассистента при подаче заявки.

«Хотя мы поощряем использование AI-систем в работе для повышения скорости и эффективности, пожалуйста, не используйте AI-ассистентов в процессе подачи заявки», — говорится в тексте заявки. «Мы хотим понять вашу личную заинтересованность в Anthropic без посредничества AI-системы, а также оценить ваши навыки коммуникации без помощи AI. Пожалуйста, укажите "Да", если вы прочитали и соглашаетесь».

Вот так вот, всем продаёт свой AI, а вот на собеседовании нельзя использовать.

У меня было один раз собеседование в компания Zapier, и там прям сразу же попросили использовать AI и написать, как я его использовал для домашнего задания. Задание нужно было сделать на Databricks, и я использовал Notebooks для решения. Само задание и решение здесь - Football Teams and Competition Analytics. Им не понравилось, что я много переиспользовал ноутбуки. Хотя во всех курсах Databricks показывают примеры с ноутбуками.

├── README.md
├── __includes 
│   └── utils.py # common functions and libraries for this project
├── facts # aka Gold layer
│   ├── __includes
│   │   └── dim_facts_ddl.py
│   ├── dimensions.py
│   └── facts.py
├── football_analytics_pipeline.py
└── raw # aka Bronze Layer
    ├── __includes
    │   ├── raw_football_schemas.py # Struct Schemas for API
    │   ├── raw_tables_ddl.sql # Table DDLs
    │   └── seed_competition_list.py # Data seed for list of competitions
    ├── __tests # assertions for notebooks
    │   ├── competition_assertion.py 
    │   ├── competitions_teams_assertion.py
    │   └── teams_assertion.py
    ├── raw_football_api_competitions_ingest.py
    ├── raw_football_api_competitions_teams_ingest.py
    └── raw_football_api_teams_ingest.py

В выходные Дмитрий Фошин эксперт по Azure и Databrics из 🇵🇹, с которым мы написали 2 книжки по Azure Data Factory и сейчас заканчиваем второй релиз Snowflake Jumpstart, провел очень полезный воркшоп в Surfalytics, где мы работали с Databricks, но использовали традиционный Python подход с Wheel, Pytest. То есть это полная противоположность моего подхода с ноутбуками. Видео я загружу на SurfalyticsTV">YouTube. Само задание и решение можно найти здесь - Building a Databricks workflow with Python wheel tasks. Такое решение подойдет для Apache Spark в целом.

PS для Surfalytics я добавил новую фичу, такие эксперты как Дмитрий Фошин могут бесплатно присоединиться к нашему сообществу в обмен на их активность - win/win. Если у вас глобальные планы на вашу карьеру по дате, лучше места не найти, можете мне написать.

Читать полностью…

Зима в Британской Колумбии. Это вид из коворкинга в центре Ванкувера, где обычно по пятницам собираемся с друзьями отдохнуть от Work From Home.

Как видно в центре тут корабли, пароходы, поезда, еще есть водные самолеты и вертолеты.

Читать полностью…

Всем привет, это была проверка на внимательность:)

Аналитики ведь должны быть внимательны!)

Читать полностью…

Миграция с Hadoop и BigQuery сэкономила 500К$ в год и +40% эффективности.

Про эффективность понятно, а вот про экономию и Snowflake обычно бывает наоборот=)

Зато белорусская компания на первой полосе, сам CEO Snowflake сказал, что обожает в танчики порубиться и с удовольствием поделился историей успеха и пригласил отечественных дата инженеров изучать Snowflake и мигрировать на data облако.

Читать полностью…

Используете ли вы большие данные в принятии бизнес-решений?

Российские компании инвестируют в большие данные. Но оправданы ли эти вложения?

K2 Cloud и Arenadata провели исследование, в котором проанализировали, как проекты big data влияют на бизнес-процессы, какие барьеры возникают при внедрении и как облачные технологии помогают преодолеть эти сложности.

В карточках – основные выводы исследования. А с полным материалом знакомьтесь по ссылке>>

Читать полностью…

Не знаю насколько это новинка или нет, но народ говорит прям must have!


Компания: Что вы сделали в этом году, чтобы принести пользу? Укажите все соответствующие метрики.

Я: Я ускорил сборку кода на 90%, сэкономив время разработчиков и расходы на тестирование.

Компания: Вау, как вам это удалось?

Я: Бесчисленные часы оптимизации.

Я [в реальности]: s/pip/uv pip 😆

Читать полностью…

На днях у меня произошла замечательная история про помощь AI (Claude, ChatGPT).

Задача:

На одном из проектов я использую Snowflake. Для повышения безопасности я решил обновить сервисных пользователей и перевести их с User/Password на User/Key-pair (private/public key).

Многие системы поддерживают этот метод из коробки, например dbt Labs, Sigma BI, Azure Data Factory. Однако некоторые не поддерживают его вовсе, что, конечно, не очень хорошо. Например, сервис блокнотов DeepNote.

Также, как и на нашем недавнем вебинаре по dbt core на Postgres, у меня есть CI (Continuous Integration) шаг, который запускает dbt.

Раньше я передавал пароль пользователя в GitHub Actions через GitHub Secrets.

Теперь же решил передать private key.

Вместо того чтобы просто скопировать ключ в GitHub Secret как есть, я решил спросить у чата, как сделать это быстро и правильно.

Чат не предложил просто вставить ключ (copy-paste), а начал чудить с декодированием, типа:

cat rsa_github_dbt_dev_user.p8 | base64

Base64 кодирует данные в этот формат, и я сохраняю результат в GitHub Secret.

Затем он предложил в YAML-файле GitHub Action обратно декодировать его с помощью:

base64 --decode

При этом вместо secret он предложил использовать переменную env, из-за чего мой ключ попадал в логи в открытом виде.

В итоге простая задачка неожиданно превратилась в небыструю.

Чат предлагал столько разных вариантов работы с ключами, вплоть до модификации логов, чтобы спрятать ключ от посторонних глаз.

В конце концов я просто сохранил ключ как есть – и всё заработало.

Кажется, у всех бывают такие истории. Хотел как лучше, а получилось как всегда. Уже даже мемы на эту тему есть – как бот пишет код за 5 минут, а мы потом часами его траблшутим. 😅

Читать полностью…

Про A/B-тесты


Вы заметили, что во многих разделах Авито поменялся интерфейс? Особенно это заметно в разделе Авто. Фотографии стали больше. А еще их можно полистать, не проваливаясь в само объявление. UX точно стал лучше!

С точки зрения аналитики интересно, как команда Авито измеряет эффективность таких изменений? Ответ — через свою платформу для A/B-тестов Trisigma. Это внутренний инструмент, который уже раскатили на внешнюю аудиторию. Через него аналитики прогоняют все изменения: от размера карточек до фич.

И этот эксперимент с изменением ленты Авито Авто тоже прошел через Trisigma: баерский опыт улучшился. Например, в категории новых авто пользователи после изменения ленты стали совершать на 14% больше целевых действий.

Посмотреть, как устроен инструмент и, конечно, протестировать его самостоятельно можно, оставив заявку на сайте платформы.

Читать полностью…

💡Как сделать правильное предложение, правильному человеку, адресованное правильным потребностям этого человека?

Казалось бы просто?
Но, чтобы исполнить такой простой на первый взгляд финт нужен опыт и тонна здравого смысла. Люди, у которых все это в наличии - редкий и штучный ресурс.
Вот реальный кейс:
Звонит представитель банка, где мы открыли дополнительный расчетный счет и предлагает подключить зарплатный проект.

CEO&Founder спрашивает: «Есть ли хоть одна рациональная причина — это сделать?»

Ответ восхитил: «Мы бесплатно выпускам карты нашего банка для сотрудников и ваш главный бухгалтер получит бонус как физическое лицо за оформление каждой карты».

Да, предложение не лишено смысла…Но его правильно делать главному бухгалтеру, а не CEO. Т - это значит Талант 👍💯

Другие размышления о мире IT-бизнеса, клиентском опыте и интересные кейсы и истории, например, о том, как выиграл в суде против Oracle и создал собственную IT-компанию, вы можете найти в авторском телеграм-канале CEO & Owner ИТ компании Александра Окорокова.

Полезные материалы на канале Александра:

➖ «Барин делает, что хочет» или у собственника тоже есть функции?

➖ Пример открытой коммуникации - реальная история из опыта моей работы в Oracle или как Ларри Эллисон лично просматривал резюме всех новых сотрудников.

➖ Не успеваете делать все что запланировали? Вы на правильном пути!

Если хотите познакомиться с реальными кейсами как западных так и российских компаний, о мире IT-бизнеса без прикрас, клиентском опыте и продажах жмите 👉Подписаться

Читать полностью…

Вы наверно уже видел и слышали про курс Анастасии Кузнецовой, автора канала Настенька укротительница диких графиков? Если нет, то я тоже поделюсь ссылкой.

Курс “Гибкий График” - 11 глав, куча домашек с обратной связью от графиков до дэшбордов 🤓

Курс текстовый, можно читать даже с телефона и проходить в своем темпе. Максимально комфортно будет проходить 1-2 главы в неделю, чтобы успевать практиковаться.

Почему я его рекомендую?

1. Мне нравится узкая специализация и экспертиза Анастасии про создание бизнес дашбордов (или дэшбордов).
2. Сам курс это агрегация многолетнего опыта в создание эффективных dashboards.
3. Я сам лично уже написал пару статей с Настей и мы пишем сейчас еще одну про подход Amazon - Weekly Business Review.
4. Я всегда рад поддержать экспертов, которые своими силами создают полезный контент, которые rise the bar в русско-язычном дата сообществе.

Читать полностью…

На январских праздниках я успел заехать в Питер, сходил на Щелкунчика в Мариинский театр (сравнил его с Щелкунчиком в Большом театре и в Ванкувере), посетил кафе Счастье и ресторан Joli. Покатался на льду по тротуарам (реально опасно передвигаться зимой).

Но самое прикольное, я встретился с 2мя дата профи, это Николай Валотти, автором Left Join и Сергей Громов, основатель компании BI Consult (самый аутентичный дизайн сайта, который я видел).

С Колей мы попили утром кофе и дальше он побежал по дата делам. А к Сергею я попал на экскурсию в офис, выпил чай с баранками, узнал об истории компании, посмотрел на крутецкую картинную галерею известных русских художников и коллекцию старинных компьютеров и артефактов.

Так же познакомился в BI Consult с Жанной, руководителем направления обучения. Они рассказали, что хотели бы найти человека, кому интересно преподавать корпоративным клиентам. Я попросил поделится информацией, чтобы расшарить в канале, вдруг кому интересно и у кого-то есть желание диверсицировать свои доходы и подрабатывать преподавателем.

Учебный центр "BI Consult" успешно функционирует с 2018 года. В числе слушателей курсов сотрудники компаний нефтегазовой и финансовой отрасли, розничной торговли и производства.

Сейчас учебный центр в поиске эксперта в области DWH для прочтения курсов “Современная архитектура хранилища данных” и "Курс по DWH".

Что важно:
✔️Практический опыт сбора, хранения и обработки больших объемов данных с использованием OLTP, ETL, DWH и Data Lake, также работы с различными типами баз данных, включая традиционные SQL-базы данных и современные NoSQL-базы данных
✔️Понимание специфики столбцовой организации хранения данных
✔️Умение проектировать хранилища данных, используя методики Data Vault и Anchor Modeling
✔️Опыт работы с инструментами оркестрации и обработки данных в реальном времени
✔️Понимание принципа работы средств визуализации данных (BI)
✔️Понимание принципа работы машинного обучения в контексте инженерии данных и различий разновидностей машинного обучения в области анализа данных (Data Mining) и машинного обучения (Machine Learning)
✔️Желание рассказать и научить других строить архитектуру данных

Формат работы: Онлайн-курсы, несколько раз в год.

Своё резюме высылайте Жанне в личные сообщения: @Ghannaleto

Читать полностью…

Как я понимаю в каждой второй (крупной) компании в РФ есть Greenplum.

Сегодня я как обычно смотрел профили свежих подписчиков и их телеграмм каналы и увидел свежее выступление про Greenplum. Если вы с ним не работали, я думаю подойдет для ознакомления.

https://boosty.to/magician_data/posts/7ffaec19-1419-40bb-8a2d-be22afc200f1

PS если у вас есть другие классные ссылки по GP пишите в комментах. Чтобы добавить ссылку попробуйте как код это сделать

https://kuku.ru

Читать полностью…

Когда-то Informatica была №1 среди ETL инструментов. Но они так и не смогли адаптироваться к современным реалиям.

Последний раз я смотрел на Informatica Cloud в 2016 году, когда нужно было строить хранилище данных на AWS, выбрал в итоге Matillion ETL (сейчас бы и его не выбрал бы).

Вот что говорит CEO информатики:

«Это был квартал, в котором мы не предвидели и не достигли тех результатов, которые планировали», — сказал Валия, подчеркнув две «основные проблемы», с которыми столкнулась компания в течение этого периода.

«Первая заключается в том, что уровень продления подписок на наши облачные и некоторые не облачные решения не оправдал наших ожиданий, что снизило показатель ежегодной повторяющейся выручки (ARR)», — пояснил он, добавив: «На самом деле, у нас было значительно больше клиентов, использующих локальные решения, которые захотели перейти на облачные технологии, но это создает учетную загвоздку, из-за которой мы теряем часть доходов от локальных решений гораздо быстрее».

Надо было лучше в Bitcoin инвестировать как Microstrategy🍷

Читать полностью…

У Snowflake есть бесплатные свежие курсы на курсере:
- Introduction to Generative AI with Snowflake (я как раз в процессе, ведь у меня теперь в LinkedIn Data Infrastructure for AI, то есть не отсаю от трендов)
- Intro to Snowflake for Devs, Data Scientists, Data Engineers
- Introduction to Modern Data Engineering with Snowflake

Но самое ценное в этих курсах:

Sign up for a free, 120 day Snowflake trial account
The entire course can be completed using a free, 120 day Snowflake trial account. This is the recommended way of completing the course. The instructor will also be using a trial account throughout the course.

Use the link below to create your free:

https://signup.snowflake.com/?trial=student&cloud=aws&region=us-west-2&utm_source=coursera&utm_campaign=genai1

Так намного лучше, ведь по умолчанию 30 дней Snowflake Trial.

Читать полностью…

Илон говорит о важности уникального ключа в таблице🦯

Читать полностью…

Ну дела у ❄️, пампили пампили дата облако, но походу оказался ROI низкий.

Как обычно бывает качество продукта тут не так важно. Инвесторам вообще пофигу и когда появляются большие инвестиции - часто вредит.

Осталось, чтобы кто-нибудь поглотил Snowflake.

Кстати, Databricks можно купить на вторичке, он в топе там.

Читать полностью…

1–2 марта проводим Weekend Offer Analytics

Устроиться в Яндекс за выходные — реально. Ищем крутых аналитиков с опытом работы от 2 лет на Python, готовых работать в офисном или гибридном режиме на территории России.

Подавайте заявку до 24 февраля — и всего за 2 дня пройдите все технические собеседования. После сможете пообщаться с одиннадцатью нанимающими командами и выбрать ту, которая покажется самой интересной. Если всё сложится хорошо, сразу же пришлём вам офер.

Узнать подробности и зарегистрироваться.

Реклама. ООО "Яндекс". ИНН 7736207543

Читать полностью…

Устроиться аналитиком в Яндекс за выходные

7–8 декабря проводим Weekend Offer Analytics. До 4 декабря оставьте заявку на участие, 7 декабря пройдите технические собеседования, а 8 декабря познакомьтесь с командами и получите офер.

В мероприятии участвует 7 команд: Crowd, Карты, Поиск, YaGPT 2, Автономный транспорт, Реклама и Ecom-сценарии. Вы сможете пообщаться с менеджерами и выбрать проект, который покажется самым интересным.

Нанимаем в офисы России и Республики Беларусь.

Узнать подробности и зарегистрироваться можно здесь.

Читать полностью…

История на картинке:

Ребята кайфовали на работе от Snowflake, Databricks и других популярных и приятных в использовании решений.

А потом им сверху сказали: “Ребятушки, сейчас заживём, внедряем Microsoft Fabric + Purview”.

Ребятушки в шоке. Power BI ещё куда ни шло, норм инструмент, а вот Fabric, Synapse, Purview — это уже издевательство над инженерами и архитекторами.

Это действительно так. При мне в Microsoft выкатили Synapse и заставили всех внутри перейти с Databricks на Synapse. Это была такая боль для инженеров. Так ещё и сам Synapse был DOGFOOD (так называется internal release любого решения в Microsoft).

Потом я даже был в продуктовой команде Synapse и как раз трудился над созданием Fabric. Purview развивался параллельно.

Пользователи Power BI были в восторге — теперь они могут сами (с усами) строить Lakehouse, pipelines, и вообще там всё само работает (SaaS).

Я уже давно приметил, как работает продажа решений Microsoft. Мне это видится примерно так:
1. Компания (обычно большая, как Fortune 500) работает с Microsoft с 90-х/2000-х, и у них там всё “вась-вась” на уровне CTO/CIO/VP.
2. Сейлзы Microsoft всё время на связи и приносят “инновации” из мира технологий, просто отгружая “обещания” — data-driven, AI-driven и т. д.
3. Сверху инженерам объявляют радостные новости:
• мигрируем Microsoft on-premise в Azure,
• мигрируем SQL Server на Azure Data Warehouse,
• мигрируем Azure DW на Synapse Dedicated Pool,
• мигрируем DW на Synapse Serverless Lakehouse,
• мигрируем Synapse на Fabric.

Я, конечно, утрирую, но это моё видение. Я не знаю ни одного инженера (а я знаю очень много инженеров), кто был бы в восторге от Synapse, Fabric, Purview.

Обычно, если инженеры выбирают для себя, они могут выбрать open-source решения или коммерческие. Но никак не Fabric.

Зато у этой истории есть и положительная сторона. Если в компании внедряют Synapse/Fabric, значит, это большая жирная компания с низкой производительностью и эффективностью, и там можно затеряться. Но зарплаты там не больше. Можно удалённо штаны просиживать и своими делами заниматься.

Кстати, у Azure есть и хорошие решения:
• Azure Data Factory для оркестрации работает хорошо, если использовать API/SDK, есть возможность использовать Airflow.
• Azure Storage Accounts (аналог S3).
• Azure Databricks (считается на 50% Azure и доступен как сервис Azure).
• Snowflake on Azure (внешний продукт).

Кто-нибудь реально фигачил на Synapse/Fabrics от и до?

Читать полностью…

Сегодня узнал, что у StackExchange есть свой SQL интерфейс - Stack Exchange Data Explorer, который дает доступ к данным StackExchange.

Очень удобно использовать для собеседований или просто потренироваться пописать запросы. В качестве back-end используется Microsoft SQL Server.

Есть и tutorial.

Читать полностью…

В заключение поездки побывали в центре LA, чтобы покататься на Waymo (автономное такси). Утром еще были в Santa Monica, но был туман. Первый раз попробовал кабриолет и ford mustang. Выглядит круто, но шумоизоляция ужасная даже с закрытой крышей. Зато californication 100%

Читать полностью…

Как-то я видел пост чувака, который нанял ассистента и посадил его за своей спиной и оплачивал фулл-тайм.

Главная задача ассистента - не давать чуваку отвлекаться от работы. Эффект был настолько крут по эффективности, что окупил все затраты.

Я даже сам проводил эксперимент, рядом сажал жену и она меня гоняла каждый раз как я пытался открыть телеграмм или LinkedIn.

Одно время я хотел снять коворкинг с товарищем, чтобы двоем там работать и подгонять друг друга.

А сегодня я узнал про термин для этого в посте у Кати - body doubling

Читать полностью…

Snowflake in Talks to Acquire Analytics Startup Redpanda By Kevin McLaughlin

Что такое Snowflake вы знаете. Snowflake это хранилище данных это аналитическая платформа, которая позволяет:
- создавать хранилище данных
- работать с данными в браузере (SnowSight) используя SQL или Python (SnowPark)
- возможность создавать веб-приложения на базе Streamlit (open source решение, которое Snowflake купил)
- создавать Stored Procedures прям как в PL/SQL в Oracle или T-SQL в SQL Server (можно на SQL, можно и на другом языке). Работает отлично - бесплатная замена dbt для трансформации данных
- ставить на расписание ваши запросы (jobs) с использованием Tasks
- интеграция с Apache Iceberg, свой Iceberg каталог Polaris
- поддержка стриминга через Pipes, Dynamic таблиц
- своя кривая LLM Arctic
- возможность хостить контейнеры (сам еще не проверял)
- создавать Data Apps на любой цвет и вкус (для монетизации своих данных)
- Data Sharing, большой маркетплейс различных приложений, вендоров, данных

Это первое, что пришло в голову про Snowflake. То есть это целая платформа. И стриминг - это не сильная сторона Snowflake.

А что такое RedPanda?

Redpanda – это высокопроизводительный потоковый движок, совместимый с Apache Kafka.

🔹 Ключевые особенности Redpanda:
1. Совместимость с Kafka API – поддерживает основные API Kafka (Producers, Consumers, Streams), что позволяет использовать Redpanda без изменения существующего кода Kafka-приложений.
2. Отказоустойчивость и высокая производительность – написан на C++ и использует локальную память и NVMe-диски для ускорения обработки событий.
3. Не требует Zookeeper – в отличие от Kafka, в Redpanda отказались от Zookeeper в пользу встроенной системы управления метаданными.
4. Меньше ресурсов, выше скорость – за счет оптимизированного использования процессора, памяти и хранения данных Redpanda показывает на 5-10 раз меньшую задержку, чем Kafka.
5. Поддержка WebAssembly (Wasm) – можно писать кастомные трансформации данных прямо в стриме, без внешних обработчиков.
6. Лучше работает в Kubernetes – Redpanda легче масштабируется и лучше интегрируется с облачными средами, чем Kafka.

Если Snowflake купит их, то они усилят свои позиции по стримингу, потому что у их главного конкурента Databricks все очень хорошо в этом плане с Apache Spark Structured Streaming.

Читать полностью…

Вакансии по аналитике и системному анализу в Data Analytics Team компании Атом, создающей электромобиль-гаджет 🚙  и его версии для семьи, такси, каршеринга и службы доставки

Тут можно посмотреть ролик о проекте ▶️🎥

➕ Senior BI Analyst

Ищем биай аналитика, который будет заниматься визуализацией данных в дашбордах

Основные задачи:
Разрабатывать дашборды в Yandex DataLens 📊
Собирать и ставить требования на создание и доработку витрин данных
Анализировать данные для поиска инсайтов и презентовать результаты
Вести документацию по проектам

Нужны:
Опыт в аналогичной роли от 5 лет
Продвинутые навыки визуализации и знание UX/UI подходов 🎨
Уверенное владение Yandex DataLens или другими BI-инструментами
Глубокие знания SQL и понимание моделей и баз данных (PostgreSQL, ClickHouse)
Широкий кругозор в бизнес-доменах и понимание их специфики

Как откликнуться:
Отправить резюме в Telegram @FiestaTS, на почту Tatiana.Suslina@atom.team или оставить отклик на Hh.ru 📲📩

➕ Senior System Analyst

Ищем системного аналитика, который будет работать на стыке бизнеса и разработки

Основные задачи:
Анализ и формализация бизнес-требований
Проектирование процессов и интеграций
Участие в разработке технической документации
Взаимодействие с командами разработки, тестирования и бизнес-заказчиками 🤝

Нужны:
Опыт работы системным аналитиком от 4 лет в сфере DWH/Datalake
Работа с потоковыми и пакетными данными
Понимание различий между Datalake и DWH и их задач
Владение SQL на уровне сложных запросов (оконные функции, CTE и т.д.)
Уверенное знание Python 🐍
Опыт работы с базами данных: ClickHouse, PostgreSQL, Hive/Impala, Trino
Построение моделей данных: Data Vault, Inmon, Kimball
Опыт проектирования API (REST, GraphQL)

Как откликнуться:
Отправить резюме в Telegram @FiestaTS, на почту Tatiana.Suslina@atom.team или оставить отклик на Hh.ru 📲📩

Читать полностью…

До этой недели, я даже не знал, что такое DeepSeek, звучит почти как дикпик, думал ругательство какое-то.

Но теперь, мы все обсуждаем насколько акции Nvidia были раздуты и какие все-таки китайцы молодцы!🙌

Читать полностью…

В последнем проекте для Surfalytics мы изучали SQLMesh.

Раньше я думал, что это имеет отношение к Data Mesh подходу. Оказывается, это конкурент dbt. То есть, решает такие же задачи, как dbt - трансформация с помощью SQL внутри хранилища данных. (T в ELT).

Инструмент тоже open source. Некоторые вещи реализованы по другому, например у них главная фишка - это виртуальные среды. Если в dbt мы сами выбираем физическое место (схему, базу), где dbt будет создавать таблицы и вьюхи, то в SQLMesh у нас этот процесс управляется виртуальными средами. (Тут больше про envs https://tobikodata.com/virtual-data-environments.html)

Есть и другие плюшки, например встроенный CRON (ставить модели на расписание), SQL клиент в UI, CI/CD бот, аналог SDF (SQL компилятор на базе SQLglot).

У них есть интеграция для dbt/dlt, то есть вы можете легко мигрировать ваши dbt проекты на SQLMesh.

Еще из интересного - они не пустили основателя на конференцию dbt.

Вот что пишут в статье про сравнение dbt и SQLMesh:

Стоит ли выбрать SQLMesh вместо dbt?
На мой взгляд, если вас заботят инженерные аспекты построения конвейеров данных (а это важно), или если дата-инженеры создают и управляют "T", то вам стоит выбрать SQLMesh.

Нужен ли вам широкий набор интеграций с различными платформами и инструментами для работы с данными и/или хотите использовать что-то с более крупным, зрелым сообществом? Тогда, возможно, стоит остановиться на dbt.

Если кратко, я бы сказал, что выбор между SQLMesh и dbt сводится к тому, стоит ли дополнительная сложность SQLMesh того для вас и вашей команды. Интеграции с другими инструментами и зрелость сообщества со временем подтянутся.

Следует отметить, что SQLMesh совместим с dbt, что означает возможность использования SQLMesh поверх существующего проекта dbt в качестве обёртки, используя функции SQLMesh, такие как виртуальные среды данных. Возможно, стоит попробовать и посмотреть, понравится ли вам SQLMesh?

Также не забывайте, что SQLMesh НЕ заставляет писать огромное количество yaml и Jinja. Некоторым нравится иметь всё в yaml, но я предпочитаю определять метаданные прямо в файлах моделей. Меньше переключений контекста - лучше для меня. Мне также никогда не нравился синтаксис Jinja. SQLMesh позволяет использовать чистый Python, что является большим плюсом.

Мое мнение: я бы не стал изучать SQLMesh, так как dbt очень популярный, работает отлично, большое сообщество, есть VC деньги на развитие продукта и есть спрос на такие скилы. SQLMesh это нишевой продукт, который больше подходит энтузиастам, которые любят плыть против течения и у них много свободного времени, чтобы внедрять такие решения. Главная цель пробовать такие нишевые продукты - быть в теме и такие insights порождают хороший диалог с нанимающим менеджером.

По плану дальше на проектах изучить:
- open source BI: Metabase, Superset, Evidence
- локальная оркестрация контейнеров (docker stack, kind, Minikube)
- GenAI функциональность Snowflake и Databricks

Из этих кубиков мы можем строить более большие проекты.

Читать полностью…