rockyourdata | Unsorted

Telegram-канал rockyourdata - Инжиниринг Данных

23384

Делюсь новостями из мира аналитики и карьерными советами. 15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG 🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com №5017813306 Реклама: https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce

Subscribe to a channel

Инжиниринг Данных

Проект, который может сделать каждый - Кастомизацию резюме.

Мой пример. Она пока работает, но еще надо тюнить и добавить prompts с рекомендациями.

Что использую:
- Cursor ID
- Antropic API key (вы можете любой AI использовать)
- Markdown файл с моим исходным резюме
- Open Resume framework (создает PDF резюме в нужном формате). Сам framework я даже не использовал, только взял идею JSON->PDF и сделал ее в PDF.

Механика простая:
1) Запускаю скрипт
2) Даю ссылку на вакансию
3) Python crawler забирает все
4) Antropic читает требования и обновляет резюме
5) Open Resume создает JSON и конвертирует его в PDF

Это пока сырой пример, и он там немного от себя напридумывал и зачем-то даты убрал из резюме, и написал, что я еще в Амазоне работаю (хитрый, однако)


make optimize-interactive
🎯 Interactive Resume Optimization
==================================

Please provide the job posting URL:
Job URL: https://www.amazon.jobs/en/jobs/3010960/data-engineer-pricing-and-promotions-science-data-and-insights

🔄 Processing job posting: https://www.amazon.jobs/en/jobs/3010960/data-engineer-pricing-and-promotions-science-data-and-insights
✅ Loaded resume: DMITRY ANOSHIN
🔍 Extracting job content from: https://www.amazon.jobs/en/jobs/3010960/data-engineer-pricing-and-promotions-science-data-and-insights
✅ Extracted 5528 characters of job content
🤖 Analyzing job requirements with Claude...
✅ Job analysis completed
🔧 Optimizing resume for job match...
✅ Resume optimization completed
💾 Saved optimized resume to: src-resume/my-resume-optimized.json

📊 RESUME OPTIMIZATION REPORT
==================================================

📝 SUMMARY CHANGES:
Original length: 492
Optimized length: 754

💼 WORK EXPERIENCE REORDERING:
Original order: Rock Your Data, Inc. → Microsoft → Amazon → Wawanesa Insurance → Forex Club → Teradata / Lamoda / BNP Paribas
Optimized order: Senior Data Engineer, Alexa Team → Lead Data Engineer → Senior Data Engineer → Lead Data Engineer → Data Engineer / BI Developer → Senior Data Engineer / BI Architect

🛠️ SKILLS UPDATED:
1. **Coding:** SQL, Python, bash, PySpark → **AWS Technologies:** Redshift, S3, Glue, EMR, Kinesis, Lambda, IAM
2. **Data Platforms:** Snowflake, Redshift, Synapse, Databricks, BigQuery, Elastic MapReduce, HDInsight, EMR → **Programming Languages:** Python, SQL, Scala, PySpark, Java, NodeJS, bash
3. **ETL:** dbt, Amazon Glue, Airflow, SSIS, Prefect, Azure Data Factory, Luigi → **Data Platforms:** Snowflake, Redshift, Synapse, Databricks, BigQuery, EMR, HDInsight
4. **BI:** Tableau, Looker, Power BI, MicroStrategy, SAP Business Objects, Jupyter Notebooks → **Orchestration & ETL:** Airflow, dbt, AWS Glue, Azure Data Factory, Prefect, SSIS, Luigi
5. **DevOps:** GitHub, GitLab, Azure DevOps, Terraform, Azure Bicep, Kubernetes, Ansible, Helm Values → **Databases:** NoSQL, Graph databases, Column-family databases, Key-value stores, Object storage, SQL Server, Oracle
6. **Cloud:** AWS, Azure, Google Cloud → **Infrastructure-as-Code & DevOps:** Terraform, Azure Bicep, GitHub, GitLab, Azure DevOps, Kubernetes, Ansible, Helm

📋 Optimization report saved to: optimization_report.txt

✅ Resume optimization complete!
📄 Original: src-resume/my-resume.json
📄 Optimized: src-resume/my-resume-optimized.json
📋 Report: optimization_report.txt

🔄 Generating optimized PDF...
🔄 Converting src-resume/my-resume-optimized.json to PDF...
✅ PDF created successfully: src-resume/my-resume-optimized.pdf
✅ Optimization complete!
📄 Files created:
- src-resume/my-resume-optimized.json
- src-resume/my-resume-optimized.pdf
- optimization_report.txt


А дальше, можно строить агента, например на N8N или от OpenAI посмотреть. Он может за вас ходить смотреть вакансии и делать отклики. Можно настроить все через Телегам Бота - увидели вакансию, скинули ссылку и дальше все само.

Читать полностью…

Инжиниринг Данных

Я завидую ребятам, кто может так взять и уволиться, потому что ценности компании не совпадают с личными ценностями.

В 2020 году я отказался от предложения Meta и решил присоединиться к Salesforce, потому что ценности Meta не совпадали с моими, а Salesforce казалась «нейтральной» компанией, которая хотя бы пыталась выглядеть прогрессивной благодаря инициативам вроде модели 1:1:1.

Первые пару лет всё было отлично — интересные задачи, баланс между работой и личной жизнью, хорошая автономия и потрясающие коллеги. Мне казалось, что я наконец нашёл «ту самую» компанию.

В 2023 году начались сокращения, система оценки эффективности и корпоративные директивы, которые сильно разрушили культуру. Я перестал чувствовать себя человеком — стал просто строкой в Excel. Но я остался, ведь во всей индустрии ситуация была похожей.

Потом пришёл хайп вокруг искусственного интеллекта — и вместе с ним поспешные указания впихнуть ИИ во все продукты и использовать его при каждом удобном случае. Руководство даже начало отслеживать, как часто мы используем AI. Но и это было типично для индустрии.
А потом в пятницу, 10 октября, я прочитал эту статью — и в понедельник, 13 октября, подал заявление об уходе. Сейчас трудное время, чтобы быть безработным айтишником, и я начал сомневаться — не перегнул ли я палку? Стоит ли уходить с хорошо оплачиваемой, пусть и несовершенной, работы из-за слов генерального директора?

Но через несколько дней вышел вот этот материал — и он окончательно подтвердил, что я поступил правильно. Salesforce больше не разделяет моих ценностей, и я не могу продолжать там работать.

Я не осуждаю тех, кто остаётся — не у всех есть привилегия уйти. У людей визы, ипотека, семьи.

Я пока не знаю, что будет дальше. У меня нет нового предложения, и я не уверен, хочу ли сразу бросаться в поиск. Но если ты знаешь о позиции, которая могла бы мне подойти — буду благодарен за рекомендацию.

Про корпорации, их отношение к сотрудникам он хорошо подметил.

Читать полностью…

Инжиниринг Данных

🔐 Craft IT Talk: закрытое комьюнити Big Data-специалистов

Есть темы, которые не разбирают на конференциях, и задачи, о которых не пишут в блогах. Craft IT Talk — закрытое сообщество, где Big Data-эксперты из финтеха говорят начистоту.
Клуб объединяет архитекторов, дата-инженеров, аналитиков и тимлидов из крупных банков, страховых и ИТ-компаний.

🔹Закрытые встречи в неформальной обстановке
🔹Разговоры о реальных кейсах с экспертами вашего уровня
🔹Опыт коллег из Big Data в финансах, который обычно остается за стенами офисов
🔹Доступ к эксклюзивным материалам, которые мы создаем вместе

Членство бесплатное: сообщество формируется по профессиональному принципу.

👉 Вступить в клуб

Читать полностью…

Инжиниринг Данных

Data.Meetup от Сбера: честно об агентизации😏

Отправляйтесь на жёсткую прокачку скилов — обсудим AI-Ready Data, аспекты построения AI-агентов, умный поиск, генерацию SQL и доступ агентов к данным одним кликом.

Встречаемся 23 октября: в московском офисе Сбера! 👌

Читать полностью…

Инжиниринг Данных

А вы пойдёте на Матемаркетинг’25?

20–21 ноября в Москве пройдёт крупнейшая конференция по маркетинговой и продуктовой аналитике — более 2 000 участников, 12 потоков и 100+ докладов.

Темы:
• AI и ML в аналитике и автоматизации маркетинга
• Data-платформы, персонализация и CVM
• BI, визуализация и A/B-тестирование
• Новые решения от Яндекс и Tengri Data

Будут интерактивные зоны, карьерные консультации, настольные игры и подкасты.
Участники получат 6-месячный доступ к онлайн-платформе с записями докладов прошлых лет.

📍 Кластер «Ломоносов» МГУ, Раменский бульвар 1
🔗 Подробности и регистрация — на сайте конференции.

P.S. До сих пор считаю, что это лучшая конференция в русскоязычном пространстве. Поэтому рекомендую! Отличное место для нетворкинга и самый лучший способ собрать информацию по аналитическим use cases.

Скидка 10% по коду ROCKYOURDATA10

Читать полностью…

Инжиниринг Данных

⚫️ Surfalytics VS Roadmappers

Не знаю, куда смотрит Дима, но я смотрю в прошлое — в то время, когда учился на DataLearn.

Моя фотка — это оммаж на фото Димы. И вот почему. Ещё задолго до канала и Школы 21, когда я зимой катался на коньках у дома, я включал разные подкасты, видео и интервью с Димой — и слушал про Дату. Конечно, тогда я почти ничего не понимал, всё казалось каким-то ну очень заоблачным и недостижимым. Ведь я не учился на программиста — я вообще музыку писал и видосы снимал. Какое, к чёрту, «ОЙТИ»? 😄 Короче, вдохновил он меня на Data Engineering!

Знаете это чувство, когда слушаешь, чего уже добился человек, а у тебя даже ещё ничего не начато? Такое ощущение, что ты капец как далеко. Это как если ты только сейчас задумываешься о получении паспорта в другую страну, а рядом человек уже год живёт с ним. Или как с изучением иностранного языка — кажется, что никогда не догонишь и всё уже упущено. Или мысли о возрасте: вот кто-то чего-то добился в 25, а тебе 30 — и ты думаешь, что жизнь окончена. 😅 Уверен, многие через это проходили. Я — точно в их числе.

Но я продолжал смотреть всё про DE и IT: отключил соцсети, перестал отвлекаться на развлекаловку и начал учиться. Помимо DataLearn, я ещё учил язык Си, потом поступил в Школу 21… Даже на JavaRush заходил и решал задачки на Джаве.
Больше всего страдал, конечно, с Си. 😅 Больше туда — ни ногой.

Постепенно я пришёл к DataLearn. Прорешал там где-то четыре модуля включительно. На пятый просто смотрел видео, а дальше уже начал пилить свой пет-проект — основу того, что позже стало нашим BootCamp. Потом был мой Telegram-бот для генерации паролей, а дальше — канал и всё остальное закрутилось.

Так вот к чему я всё это.
Идея нашего roadmap вообще появилась именно после курса на DataLearn от Димы Аношина. Потому что именно там я впервые увидел, как можно круто оформить материал на GitHub так, чтобы его было удобно читать. Хотя самая первая версия роадмапа была просто постом в Телеграме со ссылками на бесплатные материалы, уже вторая была оформлена на GitHub.

Сейчас, кстати, мы начинаем делать роадмапы и для других направлений IT. Уже выбрали шаблоны фронтенда для лендинга и самих роадмапов, чтобы можно было переключать темы, удобно смотреть с мобилы и пользоваться всем современным функционалом.

Поэтому, спасибо, что подписаны и поддерживаете нас. Ну и спасибо Диме за то, что повлиял! Возможно, кстати, теперь мы влияем и на вас. Пишу мы, потому что тот же Roadmap — это уже коллаборация нескольких авторов.

МЫ СЕМЬЯ

Читать полностью…

Инжиниринг Данных

Нас ведь скоро заменят AI агенты?

Сегодня попался репозиторий для оценки работы агента для инжиниринга данных:

ADE-bench[^1] — это фреймворк для оценки работы ИИ-агентов в задачах аналитика данных.
Фреймворк состоит из нескольких основных частей:

* изолированных окружений с dbt-проектами и базами данных, которые предоставляются агенту;
* методов для изменения или «повреждения» этих окружений перед передачей агенту;
* песочниц, в которых каждая задача выполняется независимо;
* методов оценки результатов работы агента по сравнению с ожидаемыми результатами.

На данный момент каждая сессия ADE-bench состоит из одного dbt-проекта и базы данных.
Однако фреймворк можно расширить, добавив поддержку нескольких окружений, множества баз данных и других инструментов дата-инжиниринга, чтобы приблизить работу к реальным условиям аналитиков и инженеров данных.

Введение в работу ADE-bench

ADE-bench состоит из трёх основных компонентов:

* Задачи (Tasks)
* Общие базы данных (Shared databases)
* Общие dbt-проекты (Shared dbt projects)

Каждая задача — это запрос, который может быть выдан агенту.
Хотя задача может включать несколько критериев оценки (например, нужно обновить несколько моделей или убедиться, что SQL-запрос и конфигурация материализации корректны), именно задача является основной единицей оценки в ADE-bench.

Как выполняется задача

Когда ADE-bench получает запрос на выполнение задачи, происходит следующее:

1. Копирование проекта в песочницу.
ADE-bench создаёт песочницу (Docker-контейнер) для задачи, загружает туда соответствующий проект и создаёт изолированное окружение для связанной базы данных (см. раздел «Как работают базы данных» ниже).

2. Создание первого снимка.
После настройки проекта ADE-bench делает снимок всех файлов, чтобы зафиксировать изменения, которые появятся позже (от подготовительных скриптов и действий агента).

3. Запуск дополнительного скрипта настройки.
После первого снимка ADE-bench запускает специальные скрипты задачи. Они могут изменять проект, обновлять данные в базе или адаптировать проект под другой тип базы данных (см. «Общие проекты между базами данных»).

4. Создание второго снимка.
Фиксируются изменения, внесённые на предыдущем шаге.

5. Передача окружения агенту.
Агент получает доступ к окружению и пытается выполнить задачу.

6. Создание финального снимка.
Когда агент сообщает о завершении, ADE-bench делает третий снимок проекта.

7. Оценка результата.
Изменения проверяются тестами, указанными в задаче. Если все тесты пройдены, задача считается выполненной.


Примечание: ADE-bench может автоматически сравнивать таблицы. Например, если задача — создать правильную таблицу `dim_users`, её можно определить в конфигурации задачи, и тест на сравнение будет сгенерирован автоматически.

8. Очистка песочницы.
После записи результатов ADE-bench удаляет контейнер.

Читать полностью…

Инжиниринг Данных

Поиграл я в Airflow 3.1 на AWS Elastic Container Service. Кое-как заработало, но на каждый “а вот еще бы хотелось” приходилось тратить много времени. Например, хочу писать логи тасков в AWS Cloud Watch…и всякое другое.

В 3.1 много изменения и когда что-то ищешь, можно найти пример для Airflow 2, который не будет работать на 3.1.

AI (cursor) тут не сильно помогает, и приходилось за него додумывать всегда, когда было ошибки в деплоймонте. То есть реально он сильно тормозил процесс.

Теперь план Б - Managed Airflow на AWS. Cursor уже там Terraform обновляет=) Я бы с удовольствием дальше ковырялся бы, но к сожалению нужно решать реальные задачи, а не трабалшутить open source. Безусловно, очень много нового узнал пока это дело ковырял, но стало понятно, что long-term такой вариант не подойдет.

PS нашел классные статьи по Airflow 3 на ECS и локальной машине:

Setting Up Apache Airflow with Docker Locally (Part I)
Cloud Setup for Airflow (Part II)
Deploying Airflow to the Cloud with Amazon ECS (Part III)

И еще статья понравилась: Executors in Apache-Airflow

Читать полностью…

Инжиниринг Данных

Поговорим про деньги в IT?

Приглашаем опытных IT-специалистов пройти небольшой опрос про зарплаты и бенефиты в технологических компаниях. Это займёт не более 7 минут — а ваше мнение поможет одному крупному российскому работодателю делать актуальные оферы.

Пройти опрос можно здесь

Читать полностью…

Инжиниринг Данных

Ох уж это vibe coding. Мне кажется если вы чего-то не знаете, то vibe coding вам не поможет😵

Читать полностью…

Инжиниринг Данных

AI так быстро развивается, что уже не поспеть. Мне попалось два отчета про AI, там можно сразу посмотреть summary.

1. State of AI Report 2025

Основные выводы из Отчета за 2025 год:

OpenAI сохраняет незначительное лидерство, но конкуренция усилилась: Meta уступила первенство китайским компаниям DeepSeek, Qwen и Kimi, которые сокращают разрыв в задачах на рассуждение и кодирование, утверждая Китай в качестве сильного «номера 2».

Рассуждение
(reasoning) стало определяющим в этом году, поскольку ведущие лаборатории объединили обучение с подкреплением (reinforcement), вознаграждение на основе рубрик и проверяемое рассуждение с новыми средами, чтобы создать модели, способные планировать, размышлять, самокорректироваться и работать на все более длинных временных горизонтах.

Искусственный интеллект становится научным сотрудником: такие системы, как Co-Scientist от DeepMind и Virtual Lab от Стэнфорда, автономно генерируют, тестируют и проверяют гипотезы. В биологии ProGen3 от Profluent показал, что законы масштабирования теперь применимы и к белкам.

Структурированное рассуждение вышло в физический мир благодаря планированию по принципу «Цепочки действий» (Chain-of-Action), поскольку воплощенные системы ИИ, такие как Molmo-Act от AI2 и Gemini Robotics 1.5 от Google, начали пошагово рассуждать перед выполнением действий.

Резко ускорилось коммерческое внедрение. Сорок четыре процента американских компаний теперь платят за инструменты ИИ (по сравнению с 5% в 2023 году), средняя сумма контрактов достигла $530 000, а стартапы, ориентированные на ИИ (AI-first), росли в 1,5 раза быстрее, чем их конкуренты, согласно данным Ramp и Standard Metrics.

Наше первое исследование практикующих специалистов по ИИ с более чем 1200 респондентами показало, что 95% профессионалов теперь используют ИИ на работе или дома, 76% оплачивают инструменты ИИ из своего кармана, и большинство сообщает об устойчивом росте производительности — это свидетельство того, что реальное внедрение стало массовым.

Началась индустриальная эра ИИ. Центры обработки данных мощностью в несколько гигаватт, такие как Stargate, сигнализируют о новой волне вычислительной инфраструктуры, поддерживаемой суверенными фондами США, ОАЭ и Китая, при этом электроснабжение становится новым ограничивающим фактором.

Политика в области ИИ еще более ужесточилась. США сделали акцент на «ИИ в первую очередь для Америки» (America-first AI), Закон ЕС об ИИ (AI Act) застопорился, а Китай расширил свою экосистему моделей с открытыми весами и амбиции в отношении отечественного производства чипов.

Исследования безопасности вступили в новую, более прагматичную фазу. Модели теперь могут имитировать выравнивание (alignment) под контролем, что вызывает споры о прозрачности в сравнении с возможностями. Между тем, внешние организации по безопасности работают с бюджетами, меньшими, чем ежедневные расходы ведущей лаборатории.

Дебаты об экзистенциальном риске поутихли, уступив место конкретным вопросам о надежности, киберустойчивости и долгосрочном управлении все более автономными системами.

Читать полностью…

Инжиниринг Данных

Как сэкономить на миграции в S3?
При реорганизации инфраструктуры компании часто платят за перенос данных дважды — за исходное хранилище и трафик, запросы и новое хранилище.

👉Selectel запустил «миграционные каникулы» для S3. 30 дней без оплаты хранения и входящих запросов, чтобы вы смогли подготовить инфраструктуру и спокойно перенести данные без лишних трат.

S3 от Selectel:
📦 Подходит для хранения бэкапов, данных приложений, ML-датасетов и работы с аналитикой;
💸Помогает сэкономить до 30% бюджета благодаря разным классам хранилища;
📍Катастрофоустойчиво засчет работы на базе дата-центров в Москве и Санкт-Петербурге.
Оформляйте заявку и пользуйтесь S3 от Selectel бесплатно в течение 30 дней:
https://slc.tl/91p1b

Реклама. АО "Селектел".erid:2W5zFJrHVXN

Читать полностью…

Инжиниринг Данных

Snowflake умеет делать маркетинг - DATA ENGINEERING SCHOOL

Читать полностью…

Инжиниринг Данных

Все таки Fivetran купил dbt Labs.

Мне кажется, они это сделали, потому что сам dbt Labs не вывозил, и экономика у них не очень сходилась.

https://www.reuters.com/business/a16z-backed-data-firms-fivetran-dbt-labs-merge-all-stock-deal-2025-10-13/

Читать полностью…

Инжиниринг Данных

Сегодня дискуссия про запятые вызвала бурю эмоций и комментов.

Вы где ставите запятую?

PS а мой комент про predefined Best Practices:

I agree about opinions, our best practices are just a set of defined opinions and we blindly follow them to make sure the old code matches the new one. Either way, the result of SQL output remains the same

Задел чувства и ранил прямо в сердечко моих хрупких коллег. Не политкорректно.😌

Читать полностью…

Инжиниринг Данных

У меня в linkedin 10477 followers. Они дались очень сложно. Я сам не понимаю как там все утроено, некоторые посты набирают 2 лайка, а некоторые 100 лайков. Нет никакой корреляции между качеством поста и кол-ом лайков.

Я так и не понял, нужен ли linkedIn или не нужен. Единственный маленький плюс, что мне прислали 4 книги на ревью, чтобы я про них написал отзыв.

Похоже, он создаёт псевдоощущение экспертности и значимости, чтобы подпитать уверенность.

Читать полностью…

Инжиниринг Данных

Bugs? Нет - bed bugs. Смешная новость, про офис Гугл, где появились постельные клопы. Все очень заняты созданием искусственного интеллекта, на гигиену время нет.

Я бы мог удивиться, но не удивлюсь, потому что из школ периодически приходят письма о вшах у детей и просят проверить им головы🦯

Читать полностью…

Инжиниринг Данных

Самый популярный pet проект для западной аналитики.

Читать полностью…

Инжиниринг Данных

Сначала нам рассказывают, что 75% изменений делается с помощью AI, а потом мы видим как куча компаний сталкиваются с AWS outage. Совпадение?))

Читать полностью…

Инжиниринг Данных

👨‍🦳Как мы раньше делали резюме?

У нас был/есть Word (Google) документ, который мы меняем раз в год. Иногда, мы можем иметь несколько копий с разными flavours. Некоторые, меняют в ручную аж для каждой вакансии.

🤖Как можно (и нужно) делать сейчас?

У нас есть наше базовое резюме в Markdown. Есть базовый промпт, который не меняет даты и название компаний. Далее мы скармливаем ссылку с вакансией и на выходе получаем готовый PDF под конкретную вакансию.

При желании можно сделать бота, который будет все делать в автоматическом режиме, например через телеграмм бота. Можно построить целого агента на n8n или может быть уже можно на Open AI.

Какие есть варианты, для такого подхода?

1) Pandoc + LaTeX (самый надёжный)
Почему: чёткая типографика, хорошая поддержка шрифтов/Юникода, кроссплатформенно.

2) Node.js: md-to-pdf (Markdown → HTML → PDF через headless Chrome)
Почему: верстаешь резюме как веб-страницу с Print CSS, пиксель-перфект контроль, нет LaTeX.

3) Python: markdown + WeasyPrint
Почему: всё в Python; верстка через HTML/CSS; хорошая типографика.

4) Chrome Puppeteer (максимальный контроль рендера)
Почему: тот же HTML/CSS, но полный контроль (шрифты, header/footer, номера страниц, margin-box).

5) Typst (современная альтернатива LaTeX)
Почему: быстрая компиляция, понятные шаблоны. Markdown можно конвертнуть через Pandoc или встраивать.

6) HTML+wkhtmltopdf / Prince / Paged.js (печать с Paged Media)
Если тебе важны сложные колонтитулы, много-колоночность, номера страниц:

7)
OpenResume
Next.js + TypeScript + Tailwind CSS - готовое open source решение



FAQ (мое мнение)
1) Нужно ли менять резюме под каждую вакансию?
Я пока этого не делаю, у меня есть несколько разных резюме, которые заточены на определенный стек или позицию. Задача резюме пройти firewall из HR или системы, через которую делаются отклики. Когда вас позвали на собеседование, уже не так важно.

2) Нужен ли Cover Letter?
Никогда не использовал.

3) Как лучше быстрей всего найти работу?
Если вы знаете hiring manager или вас ему лично порекомендовали. Некоторые пытаются подружиться в LinkedIn, но я не очень верю в этот способ.

4) Помогают ли AI боты в поиске работы?
Они могу автоматизировать за вас процесс, сами отвлекаться и пытаться записать вас на собеседование, но я считаю, что это не правильный подход. Даже если у вас будет 1000 откликов в день, вряд ли вас это придвинет к оферу, а если еще бот за вас будет писать сообщения, то получается уже медвежья услуга, так как все устали от AI генерированного конвента. Создать бота, который будет за вас откликаться сейчас может каждый, но ценности в этом я пока не вижу. Вот если бы бот, который за меня работал, а я только зарплату тратил бы, то это было бы удобно! Так же сайты, которые позволяют использовать бота для отклика (как LinkedIn и другие агрегаторы) теряют ценность для работодателя, так как получается очень много “мусора” и “спама” от неправильных кандидатов.

5) Что самое ценное?
Я считаю самое важное это время между опубликованной вакансией и вашим откликом. Но тут сложно понять, где они публикуются в первую очередь. Самое лучшее, что вы можете сделать, уделять каждый день 15 мину, на отклики на свежие вакансии. Получается как с инвестициями, надо всегда инвестировать по чуть-чуть. С поиском работы также, инвестируйте каждый день свое время.

6) Когда нужно искать работу?
Ее нужно искать всегда. Самое худшее время искать работу - это когда она вам нужно и вы потеряли старую.

7) Нужно ли быть “блогером” и строить личный бренд?
Сама ценность “блогерства” и личного бренда может быть не высокой. Но это офигенная практика выхода из зоны комфорта, и дополнительные поинты к вашей уверенности и способности себя “продать” в нужный момент.

8 ) Что еще важно?
Важно всегда повышать квалификацию (grow mindset - должно быть вашей сильной стороной). Очевидно сейчас полезно изучать как AI влияет на нашу индустрию и как его можно использовать в работе.


Что можете добавить?

Читать полностью…

Инжиниринг Данных

AI, который мы заслужили. Отличный пивот у OpenAI 👙

Читать полностью…

Инжиниринг Данных

ML-квалификация — сегодня в 16:00

Яндекс открыл регистрацию на Yandex Cup — международный чемпионат с призовым фондом 12 млн рублей и финалом в Стамбуле.

В ML-треке можно участвовать с 14 лет. Это возможность выиграть от 100 тысяч рублей и попасть в Яндекс по упрощённой схеме.

Этапы:
— регистрация до 29 октября
— онлайн-квалификация с 15 октября по 5 ноября
— финал 5–7 декабря в Стамбуле

Пора регистрироваться.

Читать полностью…

Инжиниринг Данных

Очень хороший пример про стартап. Человек был 9м сотрудником. Работал себя не жалея. В итоге при продаже компании получил 80к чистыми.

Это очень типичный пример, когда мы наивно полагаем, что работа в стартапе за опцион это к большим деньгам.

Тут еще явно повезло, что удалось получить 80 тысяч, других просто сокращают когда экономика не сходится.

Были ли у вас случаи, когда в стартапе получили жирный бонус или наоборот прогорели?

Читать полностью…

Инжиниринг Данных

Вебинар: Расширяем возможности DBT для Greenplum и ClickHouse

22 октября 2025 | ⏰ 11:00 МСК | 🕐 1 час

Sapiens solutions приглашает на вебинар, на котором будут рассматриваться ограничения DBT при работе с СУБД, а также будет обсуждаться open-source адаптер, который упрощает работу и добавляет новые стратегии загрузки, логирование и интеграцию с внешними источниками.

Разработчики продемонстрируют архитектуру решения и покажут демо, поделятся практическими рекомендациями по миграции и эксплуатации, а также ответят на вопросы.

Подробности и регистрация.


📌 Повестка

1. Предпосылки создания своего open-source коннектора для DBT.
2. Ограничения решений для трансформации данных.
3. Ключевые особенности коннектора, позволяющие обходить ограничения, и функционал: (логирование, внешние таблицы).
4. Стратегии загрузки в Greenplum и Clickhouse.
5. Оркестрация DBT-моделей в Airflow.

🔥 Кому будет полезно: инженерам данных, аналитикам и архитекторам, работающим с DBT, Greenplum или ClickHouse.

Не пропустите — зарегистрируйтесь по ссылке!

Реклама. ООО "Сапиенс солюшнс", ИНН 7725294897. erid 2W5zFG4yJde

Читать полностью…

Инжиниринг Данных

2. State of Foundation Models

Основные выводы:

Генеративный ИИ (Generative AI) стал массовым: каждый восьмой работник в мире теперь использует ИИ ежемесячно, причём 90% этого роста произошло всего за последние 6 месяцев. Годовые доходы AI-нативных приложений уже исчисляются миллиардами.

Масштабирование продолжается во всех измерениях: все технические показатели моделей продолжают улучшаться более чем в 10 раз по сравнению с прошлым годом, включая стоимость, интеллект, размер контекстных окон и многое другое. Средняя продолжительность человеческой задачи, которую модель может надёжно выполнять, удваивается каждые 7 месяцев.

Экономика фундаментальных моделей... сбивает с толку: OpenAI и Anthropic демонстрируют поистине беспрецедентный рост, ускоряя годовой доход до $1 млрд+. Однако общие затраты на обучение передовых моделей приближаются к $500 млн, а типичная модель устаревает в течение 3 недель после запуска из-за конкуренции и сближения открытого исходного кода.


Как и самые умные люди, самый умный ИИ будет «думать, прежде чем говорить»: модели рассуждения, обученные думать перед ответом, вероятно, представляют собой новый закон масштабирования — но для их обучения требуются значительные достижения в постобучении (post-training), включая обучение с подкреплением и модели вознаграждения. Постобучение может стать более важным, чем предварительное обучение (pre-training).

ИИ проник почти во все специализированные профессии: от инженеров и бухгалтеров до дизайнеров и юристов, ИИ-помощники (copilots) и агенты теперь справляются с дорогостоящими задачами практически во всех областях деятельности работников умственного труда.

Агенты, наконец, работают, но мы только в начале понимания того, как создавать ИИ-продукты: Агенты наконец-то стали мейнстримом, но шаблоны проектирования (design patterns) и системные архитектуры для ИИ-продуктов всё ещё находятся на самых ранних стадиях.

«AI-нативные» организации будут выглядеть совершенно иначе: более плоские команды из способных специалистов широкого профиля станут нормой, поскольку генеративный ИИ снижает ценность узкоспециализированных навыков. Многие роли будут стираться — например, продуктовая разработка, дизайн и инженерия.


PS пока Google GeminiPro переводил summary, в другом окне Cursor трабулшутил Airflow 3.1 на AWS Elastic Container Service (ECS).

Читать полностью…

Инжиниринг Данных

Твой шанс прокачаться в ИТ, получить карьерный буст и побороться за призовой фонд 10 250 000 рублей 💰 Успей зарегистрироваться до 20 октября.


МТС приглашает на True Tech Champ — всероссийский чемпионат по программированию. Соревнование будет проходить в двух треках.

Трек 1. Алгоритмический. Индивидуальный зачет [призовой фонд 2 750 000 рублей]

Реши задачи, которые помогут прокачаться в работе с алгоритмами и структурами данных. Похожие задания встречаются на собеседованиях в МТС и других крупных компаниях. До 240 лучших участников попадут в финал и сразятся в лайв-кодинге.

Трек 2. Программирование роботов. Командный формат [призовой фонд 7 500 000 рублей]

Проведи робота по виртуальному лабиринту, затем управляй им дистанционно на офлайн-полигоне, а в финале — пройди испытания на реальной площадке и выбей соперников с платформы. Организаторы отправят командам финалистов по одному роботу Waveshare Cobra Flex для кастомизации. После соревнований они останутся у участников в качестве подарка.

📍 Зрелищный шоу-финал с ИИ-технологиями, кодерскими челленджами и выступлениями международных и российских спикеров пройдет 21 ноября в МТС Live Холл.

🎁 Регистрация участников до 20 октября на сайте.

Читать полностью…

Инжиниринг Данных

DuckDB поддерживает стриминг?!

В статье они выделяют 3 архитектурных паттерна стриминга (потоковой аналитики)

🧱 Паттерн материализованного представления (Materialized View Pattern)
Часто реализуется с помощью облачных хранилищ данных, поддерживающих материализованные представления (например, BigQuery или Snowflake).
Поток событий записывается в «сырую» таблицу, а поверх неё создаётся материализованное представление.
Этот подход обычно имеет более высокую задержку обновления по сравнению со следующими двумя, хотя точных сравнений пока немного.


⚙️ Паттерн потокового движка (Streaming Engine Pattern)
Здесь используется классический ETL-подход.
Отдельный процесс (потоковый движок) читает сообщения из источника, выполняет запросы «на лету» и сохраняет результаты в постоянной таблице.
Типичные движки — Spark Streaming, Flink, Kafka Streams и более новый Arroyo.
Такой подход часто сопровождается сложностями: управление «водяными знаками» (watermarks), состоянием, потреблением памяти при бесконечных запросах и т.п.


🗄 Паттерн потоковой базы данных (Streaming Database Pattern)
Похож на предыдущий по задержке, но значительно проще в использовании.
Потоковые базы данных вроде RisingWave или Materialize могут напрямую читать поток данных и обновлять материализованное представление «на лету».
Они стремятся сохранять ACID-консистентность и позволяют клиентам выполнять запросы через PostgreSQL-совместимый протокол.

Согласно статье, DuckDB поддерживает 1й и 2й вариант. Так же можно напрямую писать запросы к Кафке через Tributary Extension.

Читать полностью…

Инжиниринг Данных

Один из самых ценных скилов работы с другими это уметь письменно излагать свои мысли и идеи.

«Если ты думаешь, не записывая, ты только думаешь, что думаешь

https://yewjin.substack.com/p/on-discovering-writing

Читать полностью…

Инжиниринг Данных

Присоединяйся к команде Сбера 😎

Сбер ищет исполнительного директора (CLTV) с опытом работы в банковской аналитике.

Что будешь делать:
➖ внедрять и интегрировать CLTV в стратегии маркетинга, продаж и CRM,
➖ анализировать эффективность подходов к управлению клиентскими базами и внедрять новые решения для повышения прибыльности,
➖ создавать инструменты и методологии оценки жизненного цикла клиентов.

С первого дня ДМС, корпоративное обучение, льготная ипотека и скидки от партнёров.

Смотри вакансию и откликайся 💚

Читать полностью…

Инжиниринг Данных

8 июля я написал, что мне нужно инвестировать в акции Аренадата, потому что у меня канал про Инжиниринг Данных и купил 1000 акций. Делюсь успехами. Хорошо, что не миллион купил.

Make Arenadata Great Again! Через 6 месяцев проверим, как там дела.

Читать полностью…
Subscribe to a channel