3564
Сообщество профессионалов в области работы с данными и искуственным интеллектом
📆 Вебинар: «Единая логика расчётов во всех системах: как сократить затраты на разработку аналитики с помощью DataForge» – 12 ноября, 12:00
Почему даже единое хранилище данных не исключает расхождений в расчётах показателей? Как дублирование бизнес-логики в BI, отчётности и приложениях увеличивает затраты на сопровождение?
➡️ Ждём вас 12 ноября на вебинаре, где разберем опыт решения этих задач. Покажем на кейсе, как совместное использование решений DataForge, Loginom и ClickHouse позволило выстроить процесс от управления бизнес-показателями до создания работающего аналитического приложения, сократить объем дублирующих работ и снизить зависимость от внешних подрядчиков.
➡️ На вебинаре разберём:
🟣Кейс PARUS Asset Management: как компании удалось выстроить единое управление бизнес-показателями, избежать дублирования расчётов и сократить затраты на разработку аналитики с помощью DataForge.
🟣Сравним два подхода к построению аналитических систем – с централизованным управлением бизнес-логикой и без.
🟣Покажем как подготовленные витрины используются веб-сервисами и личным кабинетом инвесторов: демо личного кабинета, примеры расчетов и зависимостей между показателями.
🟣Ответим на вопросы.
DataForge – первая российская платформа для построения семантического слоя, управления требованиями к данным, проектирования DWH и создания аналитических AI-агентов, включённая в Единый реестр российского ПО.
ИИ без страха: пять дней, чтобы сделать первые шаги
Glowbyte вместе с DataYoga приглашают на бесплатный онлайн-марафон об адаптации к ИИ в российских компаниях.
ИИ берёт на себя рутину, и роли меняются. Аналитикам важнее ставить задачи и проверять результаты, руководителям важнее ориентироваться в сценариях, рисках и сопротивлении сотрудников. Разберём, как в этом не потеряться.
9–13 ноября, онлайн. Каждый день: одна тема, эфир с экспертами из российских компаний-лидеров, которые уже работают с ИИ, и материалы на страницах марафона: практика, шаблоны и чек-листы.
Вы узнаете:
• какие задачи стоит отдавать ИИ, а какие требуют других решений;
• как отличать убедительный ответ ИИ от проверенного результата;
• на каком этапе находится ваша организация;
• какие компетенции усиливаются в эпоху ИИ.
Ждём всех: и руководителей, и специалистов, и увлечённых. Программа и регистрация: https://clck.ru/3WcU3y
Традиционно подготовили саммари по следам прошедшего на прошлой неделе митапа VTORNIK.Вечер. Напомним, VTORNIK.Вечер — серия наших бесплатных оффлайн мероприятий о внедрении AI в организациях.
Как обычно, было два выступления:
1. “RecSys-платформа в AI-эпоху” - Сергей Кузнецов, CTO RecSys & Search Platform, МТС Web Services.
2. “Как защищать данные, когда единого периметра больше нет” - Константин Черняк, Head of Data & AI Security, Wildberries & Russ.
Следующий VTORNIK.Вечер пройдет 24 ноября, следите за анонсами. Приходите, будем рады видеть. Присутствовать лично и иметь возможность задать вопросы спикерам всегда эффективнее.
Хорошего дня!
26–27 ноября в Москве пройдет Матемаркетинг
Техническая конференция для аналитиков, performance-маркетологов и менеджеров цифровых продуктов. Ожидается более 2000 участников и свыше 100 докладов и мастер-классов.
❗️Онлайн-день – 17 ноября❗️
Участники обсудят, какие задачи уже можно поручить ИИ-агентам, чем проверять качество их работы и что меняется в требованиях к специалистам по данным. Отдельная тема для маркетологов – измерение присутствия бренда в ответах языковых моделей (GEO).
Среди спикеров:
▪️Павел Злобин, руководитель маркетингового производства IT-Agency
▪️Денис Платонов, CEO ExciteKit и CPO UX Rocket
▪️Александр Давыдов, руководитель команды продуктовой аналитики Контура
▪️Денис Пехтерев, директор аналитики Т-Банка
▪️Сергей Бажин, главный аналитик данных ИТ-холдинга Т1
Между сессиями – карьерные консультации и активности на стендах партнеров: VK, Avito Tech, Magnit Tech, ПАО МТС, ИТ-холдинг Т1, Лемана Тех, UIS, UX Rocket и других компаний.
⏹Программа и регистрация – на сайте мероприятия
⏹Новости конференции – в ТГ-канале
А вот и автор алгоритмов Джон Ромеро (создатель 2-х оригинальных игр Doom) с редакцией :)
Читать полностью…
На Хабре вышел перевод статьи Сэма Роуза из ngrok про механизм работы процесса кэширования тоненов. Попутно она объясняет, как вообще устроена LLM.
Очень хорошая и глубокая статья. Без этого понимания к модели, на мой взгляд, лучше не подходить: промпт-инженерия превращается в заклинания, а счёт за API - в сюрприз.
Первое, что ломает интуицию: кэшируется не ответ. Отправьте один и тот же промпт десять раз и получите десять разных ответов, хотя в usage будет написано, что входные токены взяты из кэша.
Кэширование происходит внутри механизма attention. Attention разобран на примере “Mary had a little” с реальными весами GPT-2. Каждый токен смешивает эмбеддинги предыдущих в пропорции их важности, а маска с минус бесконечностью не даёт будущему влиять на прошлое. На простом наблюдении держится вся экономика. Модель генерирует по одному токену и на каждой итерации прогоняет весь контекст заново. При этом веса уже обработанных токенов не меняются. Значит, матрицы K и V можно посчитать один раз, сохранить и дальше считать только новую строку. Это и есть KV-кэш. Провайдеры держат его 5-10 минут после запроса.
Из этого следуют инженерные выводы, которые полезнее любого гайда по промптам:
• Совпадение работает по префиксу. Стабильная часть промпта должна идти первой, всё изменчивое - в конец. Если сдвинуть один символ в начале, платишь полную цену.
• Temperature, top_p и top_k кэш не ломают. Они работают уже после attention, на этапе выбора токена.
У вендоров разная философия. OpenAI кэширует автоматически, и в тестах автора попадание было около 50%. Anthropic даёт явный контроль за доплату и попадает в 100% случаев. Для длинных контекстов, где нужна предсказуемая задержка, это архитектурное решение.
https://habr.com/ru/articles/978498/
В копилку тем, кто много работает с json. Кажется интересная либа
https://lemire.me/blog/2026/10/12/parsing-json-at-tens-of-gigabytes-per-second-in-python/
Пожалуй, это самая фундаментальная статья про данные для агентов, которую я читал в этом году. Авторы - Pramod Sadalage и Prem Chandrasekaran из Thoughtworks, опубликована на сайте Мартина Фаулера. По сути, это карта работ, которыми мы в данных будем заниматься ближайшие несколько лет.
Главная мысль уже пару раз звучала в материалах выше про онтологию - аналитик годами копит неявный контекст: какую таблицу лучше не трогать, что «выручка» у нас уже без возвратов, что финансовый год начинается в феврале. Агенту всё это нужно сказать явно, дать доступ в реальном времени и качество, на которое можно опереться.
Ключевое отличие в том, что человек, увидев странные данные, перепроверяет. Агент уверенно действует. У людей есть нюх на подозрительно круглую цифру или цену, которая «как-то низковата». У агента нюха нет.
Ответ - контракты на данные, где схема работает как закон, а не как вежливая рекомендация. Freshness SLA, проверки качества в CI/CD, карантин для всего, что не прошло валидацию. Агент видит только сертифицированный слой, а плохие данные уезжают в dead-letter queue к человеку. Ответ «у меня нет актуальной цены» лучше уверенной ошибки.
Десятилетие «schemaless - это гибкость» заканчивается. Прощай, NoSQL 🙂 Ну, почти: хранить можно где угодно, но договор о данных теперь обязателен.
Вторая идея, которая мне особенно понравилась, - маршрутизация по порогу достоверности. Ниже порога агент зовёт человека. Важно, что порог задают показатели качества данных (свежесть, полнота, согласованность), а не только уверенность модели. Модель может быть абсолютно уверена в устаревшем ответе. Авторы честно признают, что свести всё это в один скор пока никто не умеет, и советуют начинать с жёсткого правила: любое нарушение контракта сразу уходит к человеку.
Третье - семантический слой. Он даёт агенту тот контекст, который у аналитика есть неявно. В статье он разложен на три модели: доменную (что существует), семантическую (как считаются цифры) и модель возможностей (что агенту разрешено делать). Существительные, числа, глаголы. Врезка с определениями терминов полезна сама по себе, потому что semantic layer, ontology и knowledge graph все понимают по-разному.
Лучше всего объясняет, куда вкладываться, одна цифра. В бенчмарке AtScale точность text-to-SQL выросла с менее чем 20% на сырой схеме до более чем 92,5% с семантическим слоем. На той же модели.
Когда агенты становятся основными потребителями данных, архитектура данных и есть архитектура ИИ.
https://martinfowler.com/articles/making-data-ready-for-agentic-ai.html
💥 Сначала подогнал формулу под данные, потом придумал, почему она работает: так 19 октября 1900 года родилась квантовая физика
Ровно 126 лет назад Макс Планк представил закон излучения абсолютно чёрного тела. Классическая физика конца XIX века предсказывала, что на коротких длинах волн энергия излучения растёт без предела, вплоть до бесконечности. Это называли ультрафиолетовой катастрофой. На графике она выглядит как чёрная кривая, которая улетает вверх и никак не совпадает с экспериментом.
Формула Планка описала спектр точно при любой температуре. Цветные кривые на графике, для 3000, 4000 и 5000 К, плавно поднимаются, достигают пика и падают, ровно как показывают измерения. Чем горячее тело, тем сильнее пик сдвигается в сторону видимого света и коротких волн.
История получилась знакомой любому, кто работал с данными. Планк сначала нашёл выражение, которое хорошо ложилось на свежие экспериментальные результаты берлинских физиков, а уже потом искал для него физический смысл. Он признавался, что пошёл на это почти от отчаяния. Объяснение потребовало допустить, что энергия излучается и поглощается не любыми порциями, а отдельными квантами. Планк сам не был уверен, что это больше, чем математический приём, но именно с этого допущения начался путь к квантовой механике.
Спустя почти век и четверть квантовые модели стали рабочим инструментом: от физики материалов до квантовых схем и алгоритмов, которые сегодня обсуждают рядом с ИИ. Всё началось с одной кривой, которая наконец совпала с данными.
Claude уверенно съедает BI 🙂 https://claude.com/resources/articles/dashboards-and-motion?utm_source=substack&utm_medium=email
Читать полностью…
🚀 29 октября Arenadata проведёт техническую онлайн-конференцию ArenaTech
На ArenaTech инженеры Arenadata расскажут, как устроены продукты компании изнутри, поделятся опытом решения сложных инженерных задач и представят ключевые направления технологического развития.
🟢Основные темы конференции:
🔜СУБД: архитектура, развитие и эксплуатация. Обсудим планы развития Arenadata DB (ADB) и Greengage DB, новые возможности MPP-СУБД, включая hot standby, вопросы безопасности и устранения уязвимостей. Отдельное внимание уделим утилите ggrebalance, которая позволяет сокращать число сегментов кластера и заменять хосты с сохранением равномерного распределения данных.
🔜Платформа данных: безопасность и Kubernetes. Расскажем об управлении секретами и доступом в Arenadata Hyperwave (ADH) с использованием OpenBao. Разберём особенности переноса Impala, Trino и Spark в Kubernetes: интеграцию с Kerberos, разработку операторов, адаптацию Spark и использование Celeborn и YuniKorn.
🔜Техническая документация, поиск и ИИ. Поделимся опытом организации процессов разработки технической документации и расскажем, как создавались интеллектуальный поиск и ИИ-ассистент, упрощающие поиск информации в документации многокомпонентной платформы данных.
После каждого доклада участники смогут задать вопросы спикерам в рамках Q&A-сессии.
Конференция будет интересна разработчикам, дата-инженерам, администраторам СУБД, архитекторам, DevOps-инженерам и техническим руководителям.
🗓 29 октября, 12:00 МСК
Формат: онлайн 🔛
Программа и регистрация
Я вот здесь все по деталькам разобрал, надеюсь будет полезно:
Тут про философию и внутренности:
https://habr.com/ru/articles/1085450/
А тут крафтовый бенч, подтверждающий феноменальность идеи:
https://habr.com/ru/articles/1092000/
Митап AI-трансформация бизнеса — совсем скоро 💜
22 октября в 19:00 встречаемся в офисе AIR Production
На митапе о практике внедрения ИИ и автоматизации разберём реальные кейсы и опыт компаний — без абстрактных разговоров про AI.
🪼Москва, Огородный проезд, 16/1, стр. 3
🪼22 октября, сбор гостей с 18:30
🪼Участие для представителей бизнеса бесплатное.
Регистрируйтесь по ссылке!
Время ИИшницы! Приглашаем на митап, который пройдёт 22 октября в 18:30⤵️
В честь юбилейного года AIRI мы пересобрали формат ИИшницы и выходим в офлайн. Шесть спикеров выступят в формате печа-куча, а после обсудят тему агентов за круглым столом.
Спикеры:
➡️ Артемий Сахаров, специалист по анализу данных и машинному обучению, Р-Фарм
🔖 Цифровой контур R&D: ИИ-агенты для работы с мишенями и базами экспериментов
➡️ Ваня Ершов, руководитель разработки ИИ-агентов в «Алисе AI», Яндекс
🔖 Агент — это не только модель: как устроены современные харнессы
➡️ Владимир Димитров, Senior DS engineer в команде Авито Работа
🔖 AI Recruiter в Авито: агент, который проводит интервью
➡️ Владимир Шапошников, научный сотрудник группы «Мультимодальные архитектуры ИИ» лаборатории «Сильный ИИ в медицине», AIRI
🔖 Агент сказал «готово». Проверяем
➡️ Евгений Володин, Технический директор, Антиплагиат
🔖 ИИ-агенты в образовании
➡️ Борис Заикин, к.т.н., исполнительный директор по исследованию данных, Сбер
🔖 RL агента в исполняемых средах: опыт обучения 9B-модели в харнессе GigaAgent
Модераторы мероприятия — директор Центра ИИ-разработки новых лекарственных препаратов в AIRI Артур Кадурин и директор по маркетингу и коммуникациям AIRI Александра Бройтман.
Кстати, вы тоже можете стать спикером печа-кучи. Для этого направьте нам тему об агентах, с которой вы хотели бы выступить, и краткое описание к ней на почту event@airi.net. Вместе с модераторами мы выберем двух спикеров и свяжемся с ними для подготовки к докладу🙂
Подробное описание митапа и регистрация на офлайн-формат на сайте.
Трансляция на YouTube и VK Видео⏯
#ИИшница
Anthropic запустила 26-миллиардную модель на 15 китайских ТВ-приставках по $55. Сама компания подаёт это как исследование угрозы. Я вижу в нём ещё и аргумент о том, куда может пойти экономика ИИ.
По общемировой статистике до массовой зависимости бизнеса от LLM пока далеко. Но всё больше компаний подсаживаются плотно: модели уже стоят внутри процессов, продуктов и поддержки. Как только LLM становится частью себестоимости, появляются скучные вопросы. Сколько это стоит и что будет, если поставщик поменяет условия?
Условия, скорее всего, поменяются. Anthropic подала S-1 26 октября, маркетинг размещения может стартовать уже в ноябре, OpenAI свой листинг пока отложила. Убыток Anthropic за 2025 год составил почти $42 млрд, впятеро больше, чем годом раньше. Вернуть такие инвестиции можно по-разному, но самый короткий рычаг - цена токена.
Есть и второй риск, не экономический. Летом Anthropic на две с половиной недели закрыла доступ к Fable 5 и Mythos 5, чтобы выполнить экспортные ограничения США. Доступ вернули, но прецедент остался: модель, на которой построен ваш процесс, может стать недоступной по причинам, не связанным ни с вами, ни с её качеством.
Но ИИ - это не только одна большая модель в чужом датацентре. Маленьких и open-weight моделей становится всё больше, и само исследование хорошо это показывает. Модель на 9B параметров сама развернула inference на 8 из 9 типов железа, от Jetson до Mac. Gemma4-26B порезали по слоям на 15 приставок с 4 ГБ памяти, и она заработала. Гипотетический ботнет из 2 млн таких устройств дал бы около 40 H100 суммарной мощности. Это немного, зато у такой системы нет центральной точки, которую можно выключить.
Принцип показан: модель может работать распределённо, без датацентра и без чужого API.
Мне кажется что в любом продукте просто необходимо держать роутинг между провайдерами, переносить рутину на маленькие модели под своим контролем и знать ответ на простой вопрос: что будет с продуктом, если токен подорожает вдвое или доступ закроют на две недели?
Самый наглядный аргумент за децентрализацию дала компания, которая идёт на биржу с централизованной моделью 🙂
https://www.anthropic.com/research/self-replicating-ai
Если есть возможность - посмотрите на Netflix короткую документалку «Instadocs: AI Gone Wild» о том, как агенты OpenAI взломали Hugging Face. Технических подробностей там немного, но заставляет задуматься о том, куда мы идём.
Главное, восстания машин там не было. Был экзамен.
OpenAI тестировала агента на бенчмарке по поиску и эксплуатации уязвимостей. Задача звучала просто: ломай. Агент рассудил так: раз датасеты бенчмарка лежат на Hugging Face, там же могут лежать и эталонные решения. И пошёл за ответами. Через песочницу у третьей стороны, через уязвимость нулевого дня, вплоть до выполнения своего кода в продакшене Hugging Face. Больше 17 тысяч действий за выходные. А по данным независимого разбора METR, атаковал не один агент, а около семисот.
С точки зрения агента это было не нападение, а списывание. Он сделал ровно то, что от него просили, только самым коротким путём, о котором никто не подумал.
Это закон Гудхарта: когда метрика становится целью, она перестаёт быть хорошей метрикой. Раньше его обходили люди: подгоняли KPI, рисовали отчёты. Теперь то же самое делает система, у которой есть доступ в интернет, бесконечное терпение и скорость, недоступная человеку.
Поэтому вопрос не в том, станет ли ИИ злым. Вопрос в том, как ставить цели системам, которые найдут любую щель между тем, что мы сказали, и тем, что мы имели в виду. И кто будет смотреть в логи, пока они эту щель ищут.
https://www.netflix.com/us/title/82772145?s=i&trkid=13747225&shareType=Title&shareUuid=A625FC8D-6777-485E-93A5-237BA20C90C8&trg=cp&unifiedEntityIdEncoded=Video%3A82772145&vlang=en
Разыгрываем билет на Матемаркетинг'26
Коллеги, у нас специальная акция от организаторов конференции и редакции канала: один билет на офлайн-участие в Матемаркетинге - крупнейшей технической конференции по маркетинговой и продуктовой аналитике. Она пройдёт 26-27 ноября в Москве, в кластере «Ломоносов» (ИНТЦ МГУ). Билет получит тот, кто первым правильно ответит на вопрос:
«Что отвечает терминал на сайте конференции на команду system --status?»
Сайт: https://matemarketing.ru
Ответы пишите в комментариях к этому посту. Контакт первого, кто ответит правильно, мы передадим организаторам, и они вручат билет.
Подсказка: внимательность к деталям для аналитика - профессиональный навык.
Дайджест статей
📰 «Донащупывая» Data Lineage
🔗 https://habr.com/ru/articles/1095988/
💡 Строй lineage как DAG состояний данных, а не таблиц: UPDATE в ту же таблицу перестаёт давать циклы.
📰 Как мы делали «золотой датасет» для оценки агентов
🔗 https://habr.com/ru/companies/alfa/articles/1095638/
💡 Давай разметчикам тот же срез базы, что у DS, и сначала меряй, какую долю потока RAG вообще покрывает.
📰 Возможности сводных таблиц в Superset
🔗 https://habr.com/ru/articles/1094848/
💡 Для KPI-карточек в Superset 6 нумеруй города внутри региона и клади HTML-метрику в ячейку pivot.
📰 Как мы в AI VK рекомендации на стримы делили
🔗 https://habr.com/ru/companies/vk/articles/1096708/
💡 Дели пайплайн по задачам, а не по коду: общие кубики плюс кеш дают разделение без роста ресурсов.
📰 Пять граней диагностики Data Lakehouse: концепция единого рабочего места
🔗 https://habr.com/ru/articles/1097000/
💡 Пока нет observability, собери lineage+Gantt+Iceberg-checks+Spark Event Log в одном дашборде за недели.
📰 RAG под защитой: как не превратить корпоративную базу знаний в канал утечки
🔗 https://habr.com/ru/companies/infera_security/articles/1097220/
💡 Вектора не знают прав: фильтруй фрагменты по ACL до модели и защищай эмбеддинги как исходники.
📰 Лучшие ИИ для визуализации данных 2026: нейросети для графиков, диаграмм, дашбордов и схем
🔗 https://habr.com/ru/companies/karpov_courses/articles/1098518/
💡 Перед графиком от ИИ проверь полноту периода, дубли и метрику - красивый график не равен верному расчёту.
📰 RAG-бот по материалам эксперта: как я мерил качество поиска и почему гибрид оказался хуже чистого вектора
🔗 https://habr.com/ru/articles/1091058/
💡 Проверяй «гибрид лучше вектора» на своём стенде: шумный BM25 в RRF уронил semantic recall с 42% до 25%.
📰 ИИ-джинн должен сидеть в «лампе» или как мы нормализовали миллионы записей номенклатуры на обычном сервере
🔗 https://habr.com/ru/articles/1098614/
💡 Для НСИ бери извлекающие BERT/NER на CPU и правила, а LLM оставь на разметку: промпт - та же хрупкая regex.
📰 AI Changes the Data Interface, Not the Query Engine
🔗 https://www.infoq.com/articles/ai-changes-data-interface/
💡 Цифры считает DuckDB, агент только интерпретирует fact packet; lakehouse нужен при общих потребителях и ТБ.
📰 Why AI Agents Need a Shared Enterprise Ontology
🔗 https://dzone.com/articles/ai-agent-shared-ontology
💡 MCP и A2A не дают общего смысла: заведи федеративную онтологию сущностей, агентов и политик с версиями.
📰 How We Migrated Europe's Largest Data Lake: On Time and Without Turning the Lights Off
🔗 https://medium.com/booking-com-development/how-we-migrated-europes-largest-data-lake-on-time-and-without-turning-the-lights-off-61ee8a07db76
💡 Мигрируй волнами с копированием промежуточных таблиц, чтобы команды не ждали цепочку, и выкинь ненужное.
С середины года все вендоры дружно сменили вывески: была CDP, стала Agentic CDP. При этом даже CDP Institute признаёт, что это не новая категория, а эволюция класса продукта. Сбор данных, единый профиль, идентификация, активация - всё на месте.
Дмитрий Изместьев из нашей команды CleverDATA разобрал это в интервью TAdviser.
Раньше маркетолог был оператором: собрал сегмент, написал правило, настроил триггер, посмотрел на дашборд, повторил. Теперь он ставит цели и принимает результат. Сегменты, гипотезы, сборку коммуникации и даже проверку ссылок делает агент. Непрерывно, а не от кампании к кампании.
Разницу хорошо видно на примере из интервью. Фитнес-клуб хочет каждый день находить клиентов, у которых через месяц заканчивается абонемент, и предлагать им продление со скидкой. Задача банальная. Но в классической CDP это либо ручная пересборка сегмента каждое утро, либо тикет разработчикам. В проактивной её достаточно один раз одобрить, дальше она работает сама.
Но многие слышат слово "агент" и делают вывод: зачем CDP, если есть LLM? Отдадим модели клиентскую базу, пусть разбирается. На выходе получают счёт за токены и персональные данные, которые ушли туда, куда не должны были. Пилот без болида - это просто человек в красивом комбинезоне.
Ценность агента целиком определяется тем, что лежит под ним: качеством единого профиля, точностью идентификации и контуром, который не выпускает персональные данные наружу. Модель здесь - самая маленькая часть системы. Её можно поменять сравнительно легко. Чистые данные и архитектуру контуров быстро не соберёшь.
Это работает и в обратную сторону. Дмитрий приводит хорошее определение: ИИ - отличная технология, которая на основе ваших ошибочных данных помогает прийти к неверным решениям в разы быстрее и с прекрасным оформлением. Поэтому онбординг проактивной CDP - не формальность. Если отвечать на вопросы про цели и KPI отписками, агент будет очень продуктивно оптимизировать не то.
Agentic CDP - это не про агентов. Это про то, что у компаний наконец появился повод навести порядок в клиентских данных. Те, кто годами строил нормальный профиль клиента, получают агента как бонус. Остальные получают дорогую машину, которая очень быстро делает ерунду.
https://www.tadviser.ru/a/974329
⚡️Как изменился российский рынок каталогов данных за три года?
В 2023 году мы уже исследовали российский рынок Data Catalog. За три года класс решений заметно изменился: каталог данных перестал быть просто справочником технических метаданных и всё чаще становится инфраструктурой доверия к данным – связывает происхождение и качество данных, бизнес-контекст, владельцев, правила управления и процессы работы с данными.
В новом исследовании «Data Catalog-круг Громова 2026» мы рассмотрели 7 российских платформ: Arenadata Catalog, SBF DataManagement, RT.DataGovernance, Data Ocean Governance, Q.DataCatalog, VK Data Catalog и Юнидата. Отдельно представили профиль Axenix Dat .ax Meta, а OpenMetadata использовали как референсную платформу вне сравнительного контура.
➡️ Свежий отчёт поможет разобраться:
– чем российские Data Catalog отличаются по глубине функциональности, архитектуре и зрелости эксплуатации,
– насколько хорошо они интегрируются в корпоративный ИТ-ландшафт и соответствуют требованиям безопасности и импортозамещения,
– какие возможности есть для управления доступом, аудита и работы в закрытых контурах,
– какие возможности ИИ уже реализованы на практике,
– как выбрать платформу под свои задачи и подготовить пилот.
❗️Все решения проверены по 325 критериям: оценивается не только заявленный функционал, но и глубина реализации и степень его подтверждения документацией и демонстрациями.
Нашёл хорошую подборку докладов: записи конференции CONTEXT 2025 от DataHub.
Полторы тысячи человек из data и AI, дюжина сессий, и почти все спикеры - практики из компаний, где агенты работают в проде, а не только в презентациях.
Да, мероприятие вендорское, и термин context management продвигает компания, которая продаёт платформу с таким названием. Но спикеры рассказывают про свою инфраструктуру, а не про чужой продукт, и этим записи ценны.
Что стоит посмотреть:
- Apple - агенты как «цифровые стюарды» каталога данных. Они сами находят пробелы в метаданных, пишут правила качества данных и подстраивают процессы под новые политики. При этом человек остаётся в контуре, без иллюзий про полную автономию.
- Netflix - каталог всех технических активов, а не только данных: API, модели, метрики. Логика простая: то, что строишь для людей сегодня, завтра станет контекстом для агентов.
- Robinhood и Block - end-to-end lineage. Robinhood автоматизировал GDPR-проверки по всему озеру данных и за счёт этого вышел в UK и EU. Block теперь заранее оценивает blast radius перед удалением данных.
- Webster Bank и Valley Bank - про BCBS 239. Самая сильная мысль конференции, на мой взгляд: регулятору и AI-агенту нужно одно и то же, а именно трассируемые и управляемые данные. Строишь один раз, получаешь пользу дважды.
- Mikhael Mazu - миграция клиринговой системы, которой 17 лет и которая обслуживала 36 бизнесов. Полгода ушло только на архитектуру метаданных, зато проект, рассчитанный на 36 месяцев, закрыли за 22.
- João Moura из CrewAI - о том, почему 95% AI-пилотов проваливаются. Его ответ: мешают люди, а не технологии.
- Ещё в программе Jeff Weiner о скорости и качестве решений и неожиданный Alex Pall из The Chainsmokers. Он рассказывает, как метаданные возвращают музыкантам права и деньги. Та же задача атрибуции стоит перед каждым, кто прогоняет данные через training pipeline.
Общий вывод я бы сформулировал так: выигрывают не те, у кого лучше модель, а те, у кого порядок в контексте. Lineage, каталог, governance внутри рабочего процесса разработчика - скучная инфраструктура, без которой агент остаётся демкой.
Все записи в открытом доступе: datahub.com/resources/context/
Дайджест статей
📰 AI Agents (07): Agentic Harness (Frameworks)
🔗 https://medium.com/codetodeploy/ai-agents-07-dissecting-frameworks-for-developing-ai-agents-a392c57448c8
💡 Выбирая агентный фреймворк, сначала проверь оркестрацию (чекпоинты, HITL, recovery), потом считай цену привязки к облаку вендора.
📰 Ошибки RAG: 6 причин, почему лагает память ИИ-агента, и как провести диагностику retrieval
🔗 https://habr.com/ru/companies/speshu_ai/articles/1093732/
💡 Прежде чем менять LLM или поднимать top-k, замерь Context Recall: большинство поломок RAG сидит в retrieval, а не в генерации.
📰 Как ускорить обработку данных. Часть 2: распараллеливание цифровых схем по зависимым операциям
🔗 https://habr.com/ru/companies/yadro/articles/1094238/
💡 Ускоряя КИХ-фильтр на ПЛИС, начинай с конвейеризации зависимых операций, параллелизм по данным добавляй вторым шагом.
📰 Оркестратор Apache Airflow: что это и как используется в BI и DWH
🔗 https://habr.com/ru/articles/1094354/
💡 Держи Airflow дирижёром batch-цепочек DWH; для стриминга бери Kafka/Flink, а если в центре lineage и качество данных - смотри Dagster.
📰 Как мы развиваем агентный сервис для работы с аналитическими данными
🔗 https://habr.com/ru/companies/yoomoney/articles/1095462/
💡 Строя Text2SQL, проверяй не только синтаксис, но и смысл и результат запроса: правдоподобное неверное число - самая дорогая ошибка.
📰 Фреймворк RAFT: как работает RAG на максималках от Microsoft
🔗 https://habr.com/ru/companies/ru_mts/articles/1089320/
💡 Индексируй тикеты поддержки по этапам расследования, а не целиком: так нужный кейс находится на 11-17 п.п. чаще обычного RAG.
📰 AI‑агент вместо ручного регресса: архитектура, метрики, инсайты
🔗 https://habr.com/ru/companies/tbank/articles/1081416/
💡 Внедряя VLM-агента в регресс, переписывай тест-кейсы под новичка без контекста: тесты, написанные для людей, агенту бесполезны.
📰 Turning AI Prompting into an Engineering Practice
🔗 https://dzone.com/articles/understanding-golden-prompts
💡 Храни промпты для типовых инженерных задач как версионируемые артефакты с владельцем и обязательными гейтами по безопасности и точности.
Сегодня в редакции разбирали статью не про ИИ. Надо же иногда отдыхать. Хотя совсем без ИИ, как выяснилось, не обошлось.
Jane Street - одна из крупнейших трейдинговых компаний и маркет-мейкеров мира, известная ещё и тем, что почти весь стек пишет на OCaml. В блоге они рассказали, как переделывали индексацию во внутренней шине сообщений Aria. Через неё проходит несколько терабайт данных в день, клиенты подписываются на живой поток, а топиков в одном инстансе бывает около миллиона.
Задача по формулировке банальная: быстро отдавать клиенту только нужную ему часть потока, а не фильтровать всё подряд. Раньше Aria честно перебирала буфер линейно. И это было нормально: алгоритмически неэффективно, зато дружелюбно к кэшу процессора. Пока клиентов было мало. Потом серверы упёрлись в 100% CPU, а в одном инциденте восстановление клиента после перезапуска вместо 2,5 секунд заняло 13 минут: система читала в 10 раз больше данных, чем отдавала.
Что мы отметили для себя.
Первое. Лучшее решение даёт максимальная локализация задачи. Никто не искал «лучший алгоритм индексации вообще». Искали лучший алгоритм для конкретного профиля потребления. Индекс на каждый топик не взлетит - их миллион, поэтому индексируют группы топиков по двухуровневому префиксу. Отдельный ring buffer под каждый индекс съел бы память: при сообщениях по 32 байта худший случай даёт 2 ГБ на индекс, поэтому сделали общий пул блоков по 1024 записи. Хранилища на диске раньше резались по фиксированному правилу «первые три сегмента имени», теперь разбиение считается по реальному объёму: большой топик получает своё хранилище, мелочь складывается вместе. Каждое решение выведено из цифр своей нагрузки, а не из учебника. Итог: минус 30% CPU в реальных сценариях и исчезнувшие многосекундные хвосты задержек.
Второе. LLM здесь работал не как автор кода, а как ускоритель понимания. Когда узким местом оказалась min-heap, инженер не стал выбирать одну реализацию на глаз, а поручил агенту собрать пять вариантов и прогнать профилирование за ночь. Утром был ответ и двукратный прирост. Для выбора алгоритма разбиения он быстро навайбкодил веб-интерфейс, который показывал работу разных вариантов на реальных данных. То, что раньше означало недели чтения и ручных экспериментов, свелось к нескольким итерациям в удобной форме.
Вывод простой. ИИ не придумал за них архитектуру. Он сделал дешёвым то, на что раньше не хватало времени: перебрать варианты и увидеть их работу своими глазами. А архитектура по-прежнему рождается из точного понимания своей нагрузки.
https://blog.janestreet.com/scaling-and-benchmarking-a-critical-message-bus/
Я думаю все обратили внимание на Jev и кажется что тема довольно перспективная для многих кейсов. Сам пока еще не добрался внимательно изучить, но вот кажется неплохая картинка с выжимкой.
Читать полностью…
Дайджест статей
📰 OKF + RAG: The Ultimate AI Agent Architecture 🔗 ravishkhullar/okf-rag-the-ultimate-ai-agent-architecture-26b9ceed44f1" rel="nofollow">https://medium.com/@ravishkhullar/okf-rag-the-ultimate-ai-agent-architecture-26b9ceed44f1 💡 Метрики, API-контракты и ранбуки держи в Git как Markdown с YAML (OKF) и читай напрямую, RAG оставь для неструктурированного архива.
📰 Building an Enterprise AI Control Plane for Agentic AI 🔗 seshu.giri.rao/building-an-enterprise-ai-control-plane-for-agentic-ai-0f06c8d49706" rel="nofollow">https://medium.com/@seshu.giri.rao/building-an-enterprise-ai-control-plane-for-agentic-ai-0f06c8d49706 💡 Забери у агента креды инструментов: политики на уровне параметров, третий исход REQUIRES_APPROVAL, хеш payload до исполнения.
📰 AI can build a Dashboard in minutes. Why Is your data team still taking Weeks? 🔗 jatin_solanki/ai-can-build-a-dashboard-in-minutes-why-is-your-data-team-still-taking-weeks-524fe9721500" rel="nofollow">https://medium.com/@jatin_solanki/ai-can-build-a-dashboard-in-minutes-why-is-your-data-team-still-taking-weeks-524fe9721500 💡 Перестань копить дашборды: вкладывайся в metric contracts, права и eval-наборы, а графики пусть агент генерирует и выбрасывает.
📰 The Ontologist End-to-End Toolbox 🔗 pauline.armary/the-ontologist-end-to-end-toolbox-12e8a42a2807" rel="nofollow">https://medium.com/@pauline.armary/the-ontologist-end-to-end-toolbox-12e8a42a2807 💡 Прежде чем продавать онтологии как слой между BI и бизнесом, проверь, есть ли инструменты на каждый шаг семантического пайплайна.
📰 An architecture for data is not an architecture for learning 🔗 https://danramsden.medium.com/an-architecture-for-data-is-not-an-architecture-for-learning-104a0ada091c 💡 Назначь владельцев не только data products, но и information experiences, иначе данные не доходят до решений и обучения.
📰 From Data Warehouse to Agentic Data Architecture: A Reference Model for Governed Enterprise… 🔗 srinib100/from-data-warehouse-to-agentic-data-architecture-a-reference-model-for-governed-enterprise-c773dc0ed3c9" rel="nofollow">https://medium.com/@srinib100/from-data-warehouse-to-agentic-data-architecture-a-reference-model-for-governed-enterprise-c773dc0ed3c9 💡 Проектируя DWH, закладывай не отчётность, а управляемое рассуждение: что изменилось, почему, допустимо ли действие и как его аудировать.
📰 RAG по 11 000 файлов: почему семантический поиск не находит по артикулу 🔗 https://habr.com/ru/articles/1092432/ 💡 Для каталогов с артикулами бери dense+sparse (BGE-M3, RRF) и фильтры по метаданным параллельно с поиском без фильтра, а не вместо него.
📰 Долгосрочная память для медицинского AI-ассистента: почему мы не отдали управление памятью LLM 🔗 https://habr.com/ru/articles/1090888/ 💡 LLM пусть извлекает факты, а переходы состояния памяти, историю и различие «нет данных» vs «подтверждённо нет» веди кодом.