Инжиниринг Данных

17 November 2025 19:49

Компании поняли, что давать всем безлимитный доступ к AI помощникам может быть очень дорого и начали вводить квоту - 100$ в месяц на инженера. Я сам видел примеры таких ограничений Cursor и Claude Code.

Недавно видел кейс, когда в месяц был лимит 35к$ на команду. В итоге лимит исчерпали и CI не смог отработать и заблочил merge для всех, пришлось руками менять правила.

Поэтому картинка в тему:)

Инжиниринг Данных

17 November 2025 08:59

Где найти актуальную информацию о соцсетях бесплатно? Мы давно задавались этим вопросом и, кажется, нашли ответ!

Компания FlyByMetrics занимается исследованиями и аналитикой русскоязычного сегмента соцсетей. У ребят своя база данных по 1 000 000 блогов на 7 платформах. По любому блогеру, каналу или сообществу вам могут выгрузить нужные показатели под заказ. А в своем канале FBM API Insights делятся полезными исследованиями бесплатно.

Аналитика от FlyByMetrics будет полезна каждому, кто работает в диджитал и хочет знать о наиболее актуальных трендах первым.

Подписывайтесь! ↖️

Инжиниринг Данных

16 November 2025 17:00

Всегда интересно следить за кругами Громова, в них можно найти инструменты, которые используют компании в РФ, в данном случае про ETL.

«Круги Громова» представили новое исследование российского рынка ETL 2025

Как компании сегодня решают задачу импортозамещения в области интеграции данных? Какие отечественные ETL-решения уже готовы заменить западные продукты — и даже превзойти их?

В новом исследовании «ETL Круг Громова 2025»:
🔹 Сравнение российских ETL-платформ с Apache Airflow и NiFi.
🔹 Подробный анализ функциональности и производительности отечественных решений, включая Modus ETL, Dat. ax, Loginom, PolyAnalyst, DATAREON Platform, Luxms Data Boring и другие.
🔹 Ключевые тренды 2025 года: ELT, Reverse ETL, CDC, Streaming, ZeroETL, AI-автоматизация.
🔹 Более 200 критериев оценки ETL-решений для корпоративного сектора — от архитектуры и безопасности до поддержки 1С и отечественных облаков.
🔹 Результаты выполнения вендорами тестового задания по загрузке 40 млн строк данных.

Инжиниринг Данных

15 November 2025 00:20

Всех с пятницей или уже субботой!? Если вы думаете deploy or not deploy, то вот вам ссылка в помощь https://shouldideploy.today

Инжиниринг Данных

14 November 2025 00:50

Отличный кейс из белого дома в США про сломанный пайплайн и утраченных продакшн данных - “Permanently impaired”: Trump administration won’t release economic data for October.

Администрация Трампа отказалась публиковать экономические данные за октябрь (инфляция, безработица), ссылаясь на 40-дневный shutdown правительства, который помешал собрать статистику.
Критики обвиняют в сокрытии: частные данные показывают потерю 150,000+ рабочих мест (худший октябрь за 20 лет), а Белый дом называет данные "навсегда утраченными", что беспрецедентно для США.

Берегите ваши данные🤗

Инжиниринг Данных

13 November 2025 16:54

AI&ML в деле на AI DevTools Conf 🤓

4 декабря команда Cloud.ru проводит практическую конференцию — AI DevTools Conf. 

В программе доклады о создании AI-агентов, защите AI-систем и работе с DevOps-агентом.

А тех, кто посетит конференцию офлайн ждут воркшопы, где вы научитесь:
😶‍🌫️внедрять AI-инструменты в процесс разработки

😶‍🌫️оценивать LLM-агентов

😶‍🌫️тестировать безопасность AI

😶‍🌫️и не только
Места на офлайн-участие ограничены.

Успейте зарегистрироваться

Инжиниринг Данных

07 November 2025 22:26

А вот пример ответочки от инженеров, кого уволили! Надо бороться с капитализмом🤠

Инжиниринг Данных

06 November 2025 23:45

Отличной пост - DuckLake: Why Early-Stage Startups Should Stop Cosplaying as Netflix

Идея заключается в том, что многие команды и компании строят iceberg lake house на максималках. Неважно, какой объем данных, какие требования. Сразу создают серьезную архитектуру с Kafka, распределенными вычислениями, каталогами и кластерами.

В данной статье ссылаются на ducklake как простое и дешевое решение для вашего Iceberg Lakehouse.

Обязательно надо будет попробовать.

Инжиниринг Данных

06 November 2025 08:59

Первый Data Sapience Data Day: дата, программа, регистрация

Data Sapience объявляет о проведении первой масштабной конференции, посвященной работе с большими данными, Data Sapience Data Day, которая состоится 18 ноября 2025 года. Мероприятие объединит ведущих экспертов IT-отрасли и руководителей крупнейших компаний.

В программе конференции:

Панельная дискуссия с участием CDO лидирующих организаций будет посвящена ключевым темам современного дата-рынка:
▫️перспективам развития дата-ландшафта;
▫️влиянию искусственного интеллекта на управление данными;
▫️оценке готовности рынка (технологии/решения/компетенции);
▫️вопросам миграции в публичные облака.

Клиенты выступят с докладами и расскажут о кейсах внедрения и эксплуатации решений Data Sapience. Среди спикеров — представители Альфа-Банка, ОТП Банка, Россельхозбанка и других крупных организаций.

Технологические презентации познакомят участников с возможностями Lakehouse-платформы данных Data Ocean и платформы управления данными Data Ocean Governance.

В мероприятии примут участие специалисты Т-Банка, Газпромбанка, Сбербанк Страхования, Адастры и других ведущих игроков рынка.

▶️ ПОДРОБНАЯ ПРОГРАММА И РЕГИСТРАЦИЯ ◀️
Участие в конференции бесплатное. Регистрация обязательна и проходит модерацию в соответствии с закрытым форматом мероприятия.

Рекламодатель: ООО «Дата Сапиенс», ИНН 9701181979, ОГРН 1217700358083, Юр. адрес: 105064, Российская Федерация, г. Москва, ВН.ТЕР.Г. Муниципальный округ Басманный, Пер Нижний Сусальный, д. 5, стр. 19, этаж/пом. А1/ХI, ком. 12,13
erid: CQH36pWzJpq2KQtHrgMFXy92zBCDiSr4BgsGADo27vsqwQ

Инжиниринг Данных

05 November 2025 19:49

Если вам вдруг надоел Apache Iceberg, то у вас есть возможность использовать Hudi.

Источник: https://www.onehouse.ai/whitepaper/apache-hudi-the-definitive-guide

Apache Hudi (Hadoop Upserts Deletes and Incrementals) — это формат хранения данных и фреймворк для управления большими наборами данных в дата-озёрах (Data Lake). Он добавляет поверх “сырых” файловых форматов (Parquet, ORC и т. д.) уровень управления записями — позволяет обновлять, удалять и инкрементально читать данные, как в базе данных, но с производительностью и масштабируемостью дата-озера.

Инжиниринг Данных

04 November 2025 17:36

Наконец-то сделали нормальный гайд про то, как сделать ИИ агента на Python - Как сделать бота с индивидуальным характером на основе ИИ

Без всяких там премудростей и терминологий. ИИ идет в народ. Клик клик жмак жмак и готово! Подойдет, даже если вы не пользовались VSCode и Python.


Да, вы сможете сделать себе лоли фурри альтушку (максимально осуждаю), которая будет слушать лор вархаммера, и никто не будет знать о ваших извращениях.

Инжиниринг Данных

31 October 2025 23:36

Если вы не знали, то Индия это не про дешевый outsource, а world class tech talent!

Databricks дает добро. Возможно будут увольнения в North America/Europe перед IPO, чтобы заменить на недорогой world class tech talent.

Про глобализацию tech компаний и их планы по открытию офисов в индии мы уже знакомы.

Инжиниринг Данных

31 October 2025 07:59

avito.tech.conf, первая конфа от AvitoTech для менеджеров и лидов — как это было? ☄️

Проверьте сами! Смотрите видео выше и обязательно переходите на плейлист с записями докладов:

📺 Youtube
🔵 VK Видео

Почему важно послушать доклады, если не успели подключиться онлайн или прийти офлайн? Во время конференции участники успели обсудить огромный спектр важных в индустрии тем: от внедрения в разработку и управления AI и LLM до барьеров, которые мешают инженерам вырасти в менеджера.

И, на секундочку, ивент от ребят собрал 1000+ лидов, менеджеров и C-level. А в онлайне к трансляции подключилось 10 000+ человек. Можете поздравить коллег и открывайте плейлист 💻

Инжиниринг Данных

30 October 2025 01:41

Онлайн Analytics Open Source conference https://osacon.io/about/ 4-5 Ноября.

А еще будет PyData в Сиэтле 7-9 ноября офлайн https://pydata.org/seattle2025, хочу на нее попасть и отдохнуть от работы поковырять AI на их воркшопах.

Инжиниринг Данных

29 October 2025 18:33

Red Panda дарит вам книгу Fundamentals of Data Engineering

Инжиниринг Данных

17 November 2025 14:00

Приглашаем в канал AI Inside

Канал для тех, кто смотрит на искусственный интеллект не как на хайп, а как на рабочий инструмент. Здесь нет абстрактных теорий — только прикладные решения.

Что вас ждет:
✔️ Технологии: расскажем, как ИИ решает реальные бизнес-задачи — от автоматизации до аналитики.
✔️ Кейсы: покажем успешные примеры внедрения и использования ИИ-инструментов.
✔️ Экспертиза: объясним сложные технологии простым языком с фокусом на практическую пользу.

Наша цель — дать конкретные идеи и инсайты, которые можно применить уже сегодня.

Присоединяйтесь к сообществу практиков!

Инжиниринг Данных

17 November 2025 03:25

Еще одна бесплатная книга от O’Reilly - Understanding ETL Data Pipelines for Modern Data Architectures.

Как раз в тему к прошлому посту о ETL✋

Инжиниринг Данных

15 November 2025 22:27

В статье 5 Things in Data Engineering That Have Changed In The Last 10 Years автор поделился как поменялась индустрия (западная) за последние 10 лет.

1) Компании хотят только сеньоров
Команды сильно сократились, и бизнес требует быстрых результатов → поэтому нанимают в основном опытных инженеров + AI-копилоты усилили продуктивность сеньоров. Джуниорам сложнее входить.

Это произошло в последние 2-3 года. Никому не нужны малыши без опыта. Все хотят опытных людей, чтобы пришли и сразу решали конкретные задачи. В больших компаниях еще сохранилась возможность пройти стажировку и прийти сразу с универа. Но надо, чтобы универ был топчик. Все кто ходят на курсы - мимо. Поэтому мой подход прийти seniorом без опыта выглядит особенно привлекательно в текущих реалиях. Улучшений в будущем для данной ситуации не видно. Специалисты и эксперты в ИТ появляются как грибы. Доступность образования и реклама успешных айтишников в Дубаях и на Патриках делает свое дело. 🚶‍♀️ Все хотят хорошую зарплату и удаленную работу, но места на всех не хватит.😞

2) Cloud стал дефолтом
Раньше облако было опцией, сейчас — стандарт. Все мигрируют: Snowflake, BigQuery, Databricks. Почти никто не строит аналитику он-прем.

Полностью согласен. Я могу открыть любую вакансию в Северной Америке, Южной Америке, Европе, Австралии и тп, и там будет облако и MPP облачное хранилище с вероятностью 95%. Хотя недавно познакомился с инженером, кто пришел к нам из Comcast. Он рассказал, что у них был свой дата центр и он ставил Kafka на bare metal. Ну красавчик, только получает в несколько раз меньше. 🏆

3) Перестали писать кастомные пайплайны
10 лет назад везде были самописные ETL на cron/SSIS/python скриптах. Сейчас сразу используют готовые инструменты: Airflow, dbt, EventBridge, Coalesce, etc. Нужно быстрее приносить ценность, а не строить платформу с нуля.

Доступность инструментов low-code/no-code очень сильно упрощают работу. Можно фокусироваться на бизнес проблемах и ценностях, а не трабалшуить legacy/technical debt код. Хотя уже с развитием AI IDE уже все превращается в no-code/low code. Главное базу знать и понимать основу и свою ценность для бизнеса.

4) SQL победил
Споры между SQL vs что-то ещё закончились — SQL стал универсальным стандартом. Job-market требует SQL практически везде. dbt усилил этот тренд.

Если ваш продукт не поддерживает SQL, то у вас плохой продукт. SQL наше все. Хотя некоторые аналитики обожают Pandas, и пишут что-то в своих ноутбуках. А потом инженерам нужно все это разгребать.🙅‍♂️

5) AI изменил рабочие процессы
AI ускоряет работу, но создаёт риск «движения вместо прогресса»: люди меньше понимают код, больше копипастят из LLM. Выигрывают те, кто умеет совмещать AI + инженерное мышление.

100% все поменялось. Я общаюсь со многими командами и вижу, что люди на самом деле не очень сильно используют все возможности. Большинство не любят перемен и не умеют учиться быстро и эффективно. Когда говорят, что AI заменит людей, чаще всего имеют в виду тех, кто не хочет или не умеет учиться. Сейчас настоящий FOMO в AI и очень важно смотреть куда дует ветер и стараться использовать в работе AI и собирать полезные use cases для вашей индустрии и вашей специализации.

Самое главное, что произошло за 10 лет, то это обесценивание денег, повышение налогов, снижение покупательной способности, отмена job security, и отсутствие стабильности. 🤟

Инжиниринг Данных

14 November 2025 18:22

В Сетке, соцсети для нетворкинга от hh ru, появились несколько интересных вакансий для специалистов в продуктовой и data-аналитике. Сервис удобный, аккуратный и даёт возможность писать нанимающим напрямую — без лишних формальностей.
Вот три позиции, которые могут быть особенно полезны подписчикам канала:

1️⃣ Тимлид продуктовой аналитики в Lamoda
https://set.ki/post/PNJKv9m
Отличный вариант для тех, кто хочет развивать продуктовую аналитику в большом e-commerce и брать на себя лидерские задачи.

2️⃣ Аналитик-разработчик в команду конкурентной AI-аналитики Яндекса
https://set.ki/post/5Y3BJYg
Подойдёт тем, кому интересны задачи на стыке AI, больших данных и исследовательской аналитики.

3️⃣ Business Intelligence Head
https://set.ki/post/7PmA9nj
Роль для опытных BI-лидов, которым интересно выстраивать стратегию аналитики на уровне компании.
Если кто-то как раз присматривает новое направление или хочет попробовать силы в сильных продуктовых командах, эти вакансии точно стоят внимания.

Инжиниринг Данных

13 November 2025 22:26

Случай из технического собеседования, где у меня была второстепенная роль.

Собеседование рассчитано на 90 минут. 3 SQL и 3 Python упражнения.

Из заметок во время собеседования:

Коллега: оставляет комментарии, что кандидат не знает чего-то
Я: давай закончим собес и отпусти кандидата (уже 15 минут идет собеседование)
Коллега: мы должны до конца….
Я: ок (пойду пост в телегу напишу)

И тут возникает вопрос? Ну зачем мучать кандидата, зачем тратить своем время? Возможно коллега переживает за репутацию компании и хочет, чтобы все было по правилам. Но по факту, он тратит свое, мое и кандидата время. Да еще кандидат узнает о провале только спустя пару дней.

Жалко что common sense часто не работает.

А как вы делаете? Обрубаете сразу или терпите сидите до конца?

Инжиниринг Данных

08 November 2025 21:43

Я еще не рассказывал про интересный опыт работы в большой Fortune 500 компании - Okta, целых 3 года. Большая американская компания, которая фокусируется на digital identity. Сама компания состоит из 2х больший компаний - Okta и Auth0. Это два разных продукта.

Okta предоставляет workforce portal (аналог SSO), то есть портал для корпоративных сотрудников, чтобы логиниться во всевозможные сервисы - почта, календарь, бизнес приложения и тп. Такая же идея как Microsoft Active Directory, но свой продукт. Интересно есть ли в РФ такой аналог?

Auth0 это продукт для разработчиков - форма аутентификации и авторизации. Например, вы создаете новое приложение и вам нужно как-то добавить возможность логина, сброса паролей, MFA и тп, чтобы было безопасно и масштабируемо. Вот Auth0 это абсолютный лидер в этом направлении. Каждый раз когда вы логинитесь в ChatGPT, Ikea, Starbucks - вы используете Auth0 (Okta). Сейчас даже тестирую для Surfalytics, там есть бесплатный tier.

Okta купила Auth0 в 2022 за 6.5 миллиардов. Это именно тот пример, когда большая компания покупает лидера индустрии и убивает все хорошее что в нем есть. Именно культурно. Основании компании были из Аргентины и вайб там было что-надо. Сами основатели были из Microsoft AD команды. Поэтому каждое поглощение в индустрии не проходит не заметно для сотрудников и клиентов. Да и стоимость акции Окта с 2022 года так никогда и не отправилась.

У меня было много интересных проектов связанных с Auth0, интеграцией между Okta и Auth0, создание customer facing решений, специфичные решения для OpenAI (особенно связанных с Rate Limit), коллаборация с ML/AI командами. Даже приходилось менять код самого продукта Auth0, чтобы собирать дополнительные события.

Из смешного - это именно та компания, которая на меня наехала, когда я опубликовал танцующего Трампа в корпоративный слак и пришлось удалить, несмотря на то, что у них много государственных контрактов=)

Я добавил архитектурный слайд, на котором видно множество сервисов, которые пишут данные в Snowflake. В Okta вообще 3-4 инстанса Snowflake и 1 Databricks.

Инжиниринг Данных

07 November 2025 17:42

Интересная заметка про PIP (Performance Improvement Plan) от человека, кто знает в них толк. Рассказывает механику.

Лично я прошел 2 PIP за все время, у меня немного другой взгляд на PIP и на работу, поэтому для меня PIP обычно как EPIC (проект) в Jira. И как говорит автор - в нынешних условиях сокращений в компаниях PIP всё чаще превращается не в инструмент развития, а в формальность — элемент корпоративного театра.

Горькая правда: сегодня я снова получил письмо с просьбой «помочь пройти PIP» (план по улучшению эффективности). Такие письма разбивают мне сердце, потому что шанс на успех почти нулевой.

В то же самое время один из топ-менеджеров, с которым я работаю, рассказал, что последнюю волну сокращений они провели просто ускорив увольнение сотрудников, находящихся на PIP, — вместо того чтобы ждать окончания плана, их просто сократили.
Бесперспективность ситуации очевидна.

Один человек отчаянно пытается доказать, что он хороший сотрудник и может восстановить карьеру.
Другому выдали квоту на увольнения, и, конечно, логично начать с тех, у кого уже есть документированные проблемы с эффективностью.
Легко обвинить среднего менеджера, но давай заглянем в голову руководителя группы, когда речь идёт о PIP:

1. К тому моменту, когда непосредственный руководитель решает оформить PIP, он уже давно разочарован и пытался помочь сотруднику сам.
Менеджеры знают, что запуск PIP — это тяжёлый, неприятный разговор, который испортит отношения. Поэтому до этого они обычно пробуют всё возможное: дают обратную связь, помогают, стараются добиться изменений.
«Это последний шанс. Ничего больше не сработало. Может, это поможет, а если нет — хотя бы HR одобрит увольнение».
Вот почему пройти PIP так сложно — менеджер обычно уже сдался. Конечно, есть исключения, но чаще всего PIP — это негативный шаг, к которому прибегают в последний момент.

2. В некоторых компаниях у менеджеров, HR и вышестоящего руководителя есть квота на «нежалеемые увольнения» — показатель, сколько сотрудников с низкой эффективностью нужно вывести из компании.
На практике это означает: если признать, что человек на PIP заслуживает остаться, нужно найти кого-то другого на его место в этой «квоте».
В такой нулевой сумме сотрудник на PIP должен не просто улучшить результаты, а настолько, чтобы менеджеру захотелось пожертвовать кем-то другим.

3. Для вышестоящего руководителя (skip-level) этот сотрудник часто почти незнаком.
Допустим, сотрудник приходит и говорит: «Я хороший работник, я хочу остаться. Я давно здесь и хочу продолжать приносить пользу».
Руководитель думает: «Если я поверю этому сотруднику, я противоречу своему менеджеру и признаю, что у него проблемы в управлении. Тогда мне самому придётся разбираться и, возможно, попасть под критику. А если я просто доверюсь менеджеру — он наймёт нового человека, и жизнь пойдёт дальше».

Инжиниринг Данных

06 November 2025 16:37

Data Dojo | Москва | 27 ноября

Это мероприятие Яндекса для сообщества ML-специалистов с обсуждением трендов, прикладных кейсов и разбором реальных задач из соревнований.

Зачем участвовать:
💬 послушать выступления экспертов
💬 разобрать задачи вместе с сообществом
💬 узнать, как попасть на стажировку и начать карьеру ML’щика в Яндексе
💬 завести новые знакомства и зажечь на afterparty

👉 Заполняй форму до 16 ноября.

Data-самураи действуют поодиночке, но учатся вместе. Присоединяйся.

Инжиниринг Данных

06 November 2025 02:44

Сегодня у меня было первое собеседование с AI ботом 🤖

Идея была такая - как хобби устроиться junior AI инженером, чтобы сразу на деле все учить. Я нашел вакансию, сделал резюме и отправил. Мне сразу предложили пройти AI собеседование.

Нужно было расшарить экран, включить видео и слушать как бот читает вопросы.

Вопросы были про Fast API, прям теория-теория, что мне даже было скучно читать ответы из Gemini. Далее было про AWS и GPU, было уже поинтересней. И в конце задачка по Python.

Компания предлагает сервис AI рекрутера. Можете тоже пройти AI собес 🔴

AI рекрутеры ищут fake кандидатов, и потом одни боты общаются с другими.

Инжиниринг Данных

05 November 2025 07:05

Создатель SuperSet/Preset BI написал сегодня про свой новый продукт - agor

Представь себе Figma, но для AI-помощников по программированию.
Это система нового поколения для оркестрации (координации) AI-агентов, помогающих писать код. Многопользовательский пространственный слой, который объединяет Claude Code, Codex, Gemini и любые другие «агентные» инструменты кодинга в единую рабочую среду.

Коротко (TL;DR):
Agor — это многопользовательское пространственное полотно, где можно координировать несколько AI-помощников по кодингу, выполняющих параллельные задачи. Оно поддерживает рабочие деревья, связанные с GitHub, автоматизированные «зоны рабочих процессов» и изолированные тестовые среды — всё это работает одновременно.

Инжиниринг Данных

03 November 2025 19:55

Отличная идея как заполнить пробелы в резюме:)

Инжиниринг Данных

31 October 2025 21:13

Чуваки классно сделали маркетинг. Теперь их любят упоминать рядом с новостями про увольнения.

Вот кратко про компанию Artisan (США):
Что делает:
Artisan разрабатывает платформу автоматизации исходящего B2B-продаж с помощью ИИ-сотрудников (они называют их “Artisans”).

Платформа позволяет создавать целевые кампании, находить потенциальных клиентов, собирать сигналы намерения (intent data), автоматически запускать серии сообщений по e-mail и LinkedIn, отслеживать посетителей сайта.

Цель — убрать рутинные задачи (исследование, отправка, напоминания) и освободить людей для «большой работы».

Инжиниринг Данных

30 October 2025 15:45

МТС True Tech Champ — зрелищный шоу-чемпионат с ИИ-спецэффектами!

21 ноября МТС объединяет ИТ-конференцию и ИТ-чемпионат на одной площадке. Тебя ждет настоящий фестиваль технологий. Более 250 ИТ-талантов со всей России сразятся в лайв-кодинге и программировании роботов на скоростное прохождение лабиринтов со спецэффектами.

Между наблюдением за заездами и поединками ты сможешь:

▫️ послушать конференцию с международными спикерами в области ИИ;
▫️ поучаствовать в воркшопах и юмористических батлах в ИТ-качалке;
▫️ испытать себя в кодерских челленджах и других айтивностях;
▫️ перезагрузить карьеру в HR-Хабе вместе с командой МТС.

День завершится ярким афтепати со звездными хедлайнерами.

👉🏻 Участие бесплатно, количество мест ограничено. Успей зарегистрироваться

Инжиниринг Данных

29 October 2025 19:20

Я подписан на вакансии от GetMatch уже довольно давно. Интересно следить за рынком.

Самую большую зарплату я видел на дата инженера в Сбербанк за 750т в в месяц.

Второе место получает Алиса и 680т в год.

Кстати вчера с коллегами из Америки обсуждали вопрос про DW и DWH - как правильно? Я узнал у ChatGPT, оказывается:

Используй DW, когда пишешь на английском или готовишь официальную документацию, особенно если аудитория — международная.

Используй DWH, если работаешь в команде или регионе (например, в России, Восточной Европе или Германии), где принято именно такое обозначение.

Так что если работаете за границей, (не) ударьте лицом в грязь, используйте правильную терминологию.

PS Сервис GetMatch и их бот просто 🟢.

PPS Кто нибудь учился в Сколково MBA? Или какой самый топ MBA в РФ (ради хорошего нетворкинга)

Инжиниринг Данных

29 October 2025 03:19

Вернемся к нашим “баранам”. Мы все знаем Apache Kafka. Стандартное решение по стримингу.

Redpanda — это event-streaming платформа, аналог Apache Kafka, но с другой архитектурой (C++ вместо Java, без ZooKeeper, без JVM).
Продукт хочет заменить Kafka, обеспечив совместимость с Kafka API и клиентами, но при этом дать в 5–10 раз меньше latency и в разы проще эксплуатацию.

Я использовал Red Panda Community Edition когда мы строили решение для API трейдинга в AlpacaMarkets на GCP и k8s. Red Panda не open-source, она source available. Проблем в эксплуатации не было. Но и объемы были не очень большие.

Компания уже единорог и они решили двигаться в сторону платформы, поэтому купили Oxla - Redpanda acquires Oxla, a distributed SQL Engine, launches new Agentic Data Plane for governing AI Agents for enterprise data. То есть теперь у них будет свой SQL движок и они могут уже давать Stream/Batch на входе и трансформацию данных. (data in motion and at rest)

Red Panda Docker Image.