55444
Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks По вопросам сотрудничества: @v2r8n
Яндекс создал более надежный аналог Kafka
Если вы строите микросервисы, то знаете: когда архитектура становится сложнее, просто Kafka может не хватить. Хочется чего-то с такой же совместимостью, но более управляемое.
Шина от Яндекса называется YDB Topics и умеет передавать разнородную информацию с высокой гарантией сохранности. При этом развернуть её можно где угодно.
У Яндекса на YDB уже вся инфраструктура и это действительно удобнее с точки зрения настроек доступа и организации распределенной работы.
Больше о YDB Topics расскажут на вебинаре 23 апреля. Будет информация про архитектуру, встроенные корпоративные возможности и то, как систему получилось сделать настолько отказоустойчивой. А еще много интересных тех.деталей: например, про ACID транзакции и борьбу с дублями.
Только что в Китае закончился первый в мире полу-марафон для людей и роботов
Участие приняли более 20 двуногих роботов. Были и от ведущих китайских стартапов, но даже победители очень сильно отставали от людей (фух).
Пробежать нужно было, если что, 21 километр. Победитель от людей преодолел расстояние за 1 час 2 минуты. От роботов победил Tiangong Ultra. Его результат – 2 часа 40 минут.
В общем, атлеты пока что не ВСЕ
Качество стриминга под контролем 🔥
22 апреля на VK Видео Meetup не пропустите доклад о лаборатории качества единой видеоплатформы VK. Вы узнаете, чем она занимается, как в ней замеряют качество роликов, исследуют эффективность работы приложений и пользовательский опыт. Инсайдами поделится Павел Муханов, руководитель лаборатории.
Регистрируйтесь сами и расскажите коллегам!
Anthropic инвестируют 50 миллионов долларов в интерпретируемость LLM
Точнее в стартап Goodfire, который специализируется на интерпретируемости. Вместе с Anthropic они теперь будут разрабатывать общедоступную платформу нейронного программирования Ember, которая сможет показывать «мысли» любой ИИ-модели.
Это, кстати, первая инвестиция Anthropic за все время существования компании
Платформа Midjourney становится похожа на ИИ-фигму
Они только что выкатили обновление для своего редактора изображений. Поменялся интерфейс, добавился инструмент для выбора и редактирования определенных частей изображения.
Также улучшили модерацию и даже стали показывать слои картинки: все, как в любимом фотошопе.
Пробуем тут
У разработчиков и аналитиков свои игрушки 👾
Конечно, с ИИ-уклоном и те, которые им помогают в работе. Когда дело доходит до вайб-кодинга, многие обращаются к инструментам вроде Copilot. На бумаге — это волшебная палочка, которая должна разгружать спецов. А как на деле? 🪄
Коллеги из Т1 отвечают на этот вопрос — упаковали ответы в карточки. И их самих тоже — конечно же, с помощью искусственного интеллекта.
Больше про ИИ узнаем 16 и 17 апреля в Москве на конференции Data Fusion. Здесь спикеры от Т1 примут участие в сессиях, где обсудят:
🔘 выход российских компаний на зарубежные рынки;Читать полностью…
🔘 человекоцентричный транспорт;
🔘 нейросети;
🔘 AI-native банки;
🔘 тренды в бизнесе;
🔘 инженеров нового поколения.
Генеральный директор ИТ-холдинга Т1 Алексей Фетисов также наградит победителей соревнования Data Fusion Contest.
⚫️ Data Fusion подошла к концу
В эти два дня у ВТБ получилось уместить уйму полезного контента. Технические доклады, кейс-сессии по всем направлениям ML, планарные сессии с CEO из бигтеха и лидами ведущих рисерч команд, Q&A. Мы физически не смогли посетить даже половину из того, что хотелось (хорошо, что есть записи).
Продуманно, масштабно, интересно. Выражаем организаторам большую благодарность за приглашение и уже ждем следующего года 👉
Как работают рекомендательные системы в Lamoda, Wildberries, Сбере и МТС?
Только что побывали на большой кейс-сессии по рексисам на Data Fusion. Было четыре ярких доклада от лидеров ведущих команд из индустрии. В карточках – некоторые интересные подкапотные детали о том, как работают рекомендации в привычных нам сервисах.
Полностью доклады можно посмотреть здесь
В лаборатории AIRI придумали способ легко масштабировать трансформеры на контекст 2 миллиона токенов
Вчера на конференции Data Fusion прошла церемония награждения Data Fusion Awards (запись). Премию за научный прорыв выиграл Айдар Булатов: он стал одним из авторов работы, в которой предложили способ расширения контекстного окна трансформеров при линейном росте вычислительных затрат.
Нас работа очень заинтересовала, и позже мы познакомились с Айдаром на постерной сессии лично, чтобы немного расспросить его о статье. Главная идея: соединить трансформеры и рекуррентный механизм памяти.
Мы разделяем текст на кусочки и обрабатываем их последовательно. При этом в начало каждого сегмента добавляются векторы памяти, которая обновляется на каждой следующей итерации. Таким образом, self‑attention считается только внутри сегмента, но при этом мы все равно с каждым разом храним все больше и больше информации о тексте.
Масштабируется это действительно хорошо: ребята обучали модель только на последовательностях длины до 3.5к токенов, но на тестах она спокойно выдерживает контекст до 2 миллионов (а позже и до 50 миллионов на модификациях)! Вот гитхаб и статья.
Кстати, на основе этой работы Айдар в команде с Юрием Куратовым и другими авторами также создали бенчмарк BABILong для оценки моделей на длинном контексте. Сейчас на этом бенчмарке тестируют свои модели многие ведущие лабы: Google, Meta, OpenAI. Мы, кстати, даже несколько раз о нем писали, но то, что он был сделан в AIRI, узнали только вчера. Эта работа тоже была в числе победителей премии.
Поздравляем 🥳
Итак, выпустили полноценную o3 и o4-mini
o3 выбивает даже лучшие метрики, чем были, когда ее анонсили. На AIME 2025 это рекордные 98.4%. При этом o4-mini еще круче: ее результат 99.5. А на Humanity Last Exam результаты сопоставимы с Deep Research. Кодинг тоже не отстает.
Обе модели мультимодальные, и не просто мультимодальные, а с ризонингом поверх изображений. Плюс модели специально натаскивали на использование инструментов (поиск, интерпретатор и все такое), так что агентные способности на высоте.
При этом o3 даже немного дешевле o1. Цены: инпут $10.00 / 1M и аутпут $40.00 / 1M (для o1 это 15 и 60). o4-mini: $1.1 / 1M и $4.4 / 1M.
Еще приятно, что масштабирование на ризонинге теперь дешевле. То есть с ростом метрик за счет увеличения ризонинга цена теперь растет медленнее, чем это было с o1.
Обе модели будут доступны Plus, Pro и Team, их уже раскатывают.
https://openai.com/index/introducing-o3-and-o4-mini/
Неочевидные тренды в ИИ ресерче: подборка литературы от исследователей
Только что прошла ключевая сессия Data Fusion с обзором главных актуальных исследований в ИИ (запись). Четверо ученых и руководителей научных лабораторий рассказали, в каких областях сейчас самый живой и многообещающий рисерч. Пересказываем:
1. Parameter-Free Optimization. Подбор гиперпараметров – боль любого процесса обучения. Здесь же мы пытаемся подбирать гиперпараметры не наобум, а как-то автоматизированно. Например, рассчитывая растояние до теоретического оптимума. Лучшие статьи: раз, два, три.
2. Федеративное обучение. Aka защищенное обучение aka персонализированное обучение. То есть модель обучается на данных так, что они не попадают в руки разработчиков. Это могут быть данные кучи разных компаний/людей, которые лежат на разных серверах и остаются защищенными. Лучшие статьи: раз, два, три.
3. Текстовые диффузионные модели. Идея состоит в том, чтобы вместо генерации токенов один за одним генерировать их в произвольном порядке, как бы постепенно расшумляя замаскированную последовательность. Это больше похоже на то, как текст пишут люди. Почитать: раз, два.
4. Нейросетевой стандарт сжатия изображений JPEG AI. Он был принят на международном уровне недавно, и это первый полностью ИИшный стандарт. Возможно, это действительно будущее изображений. Во-первых, оказывается, что с таким сжатием очень легко классифицировать сгенерированные картинки. Во-вторых, это быстро и можно "бесплатно" прикручивать декодеры, которые будут и сжимать, и обрабатывать каринку под запрос. Почитать: раз, два.
5. Генеративные потоковые сети. Свежий подход для генерации дискретных структур. Ну, например, графов. Так можно генерировать молекулы с заданными свойствами, CoT логических рассуждений для LLM или переформулировать задачу RL. Почитать.
И, конечно, все упоминали RL и ризонинг. Тут без комментариев, вы и так все знаете. Список, что почитать.
Что бы добавили?
В LinkedIn найдено еще одно подтверждение того, что все пути в IT ведут на ферму
Классический роадмап ML-щика
На Kaggle обновление: они продолжают усиливать интеграцию Google Colab
1. Теперь можно синхронизировать апдейты между платформами. Если вы загружали блокнот из Colab, а потом еще раз меняли его в Colab, то на Kaggle эти изменения появятся по одному щелчку мыши.
2. Кроме того, появилась кнопка «Изменить в Colab». Она редиректнет вас из ноутбука Kaggle в Colab, и все внесеннные после этого изменения появятся на Kaggle автоматически.
3. Ну и приятная мелочь: теперь можно импортировать из Colab тетрадки пачками, а не по одной за раз.
www.kaggle.com/product-announcements/570265
Теперь официально: OpenAI делает соцсеть
Она будет похожа на X. Сейчас уже даже есть внутренний прототип: галерея изображений, сгенерированных пользователями. Ее ночью раскатили на всех юзеров, уже можно посмотреть (бесплатным тоже доступно, да). Пока что стартап собирает фидбэк.
Зачем им это? Первая причина – это данные. Вторая – тоже данные. Много открытых онлайн данных для обучения, как у Meta и XAI. Ну и бесплатная реклама через интеграцию моделей, как для Grok в X.
А теперь вспомним, как пару месяцев назад в ответ на запрос Маска купить OpenAI Альтман ответил «Мы бы лучше купили X». Масштабы пасхалки представили?
Оп, Google начали нанимать на позицию Post-AGI Research
Ключевые вопросы включают изучение траектории от AGI к ASI, сознание в машинах, влияние ASI на основы человеческого общества. Вы также будете сотрудничать с кросс-функциональными командами разработки и проводить эксперименты для нашей миссии.
Google выпустили новые версии Gemma-3, которые можно запустить локально на домашних видеокартах
Например, теперь, чтобы запустить Gemma 3 27B, понадобится всего 14 гигабайт vRAM всесто 54. А Gemma 3 1B вообще заведется на 0.5 Gb (считай, на утюге).
Технически все дело в квантовании. Квантование – это когда мы снижаем точность чисел, которые модель хранит и использует для расчетов.
Обычно квантование снижает качество ответов исходной модельки, но тут Gemma специально натренили быть к этому устойчивой. Это называется Quantization-Aware Training: модель квантуют не после окончания обучения, а прямо во время.
Веса уже на HF
Интересно: OpenAI добавили в API флекс-процессинг
Как это работает: теперь вы можете использовать модели в API с огромными скидками, если согласитесь ждать ответы чуть дольше. Получается дешевле на 50%.
Подходит, если у вас асинхронная система или вы используете API для себя. Ну, например, для разметки или эвала.
Чтобы воспользоваться, надо просто прописать service_tier="flex"
Вайб-кодинг, флекс-процессинг… Чил-трейнинг будет?
ML-щик? Назови все модели OpenAI в порядке возрастания метрик на бенчмарках
Читать полностью…
Cloud․ru выкатил первый сервис для инференса LLM в облаке с разделением GPU
Облачный провайдер анонсировал управляемый сервис Evolution ML Inference с упором на гибкость и эффективность работы с GPU. На платформе впервые в России реализовали технологию Shared GPU, то есть можно будет использовать GPU не полностью, а потреблять только то количество vRAM, которое необходимо модели в конкретный момент.
Такой подход экономит от 15 до 45% ресурсов, а, следовательно, и костов (тарификация осуществляется as-you-go и только в момент обращения к модели).
А еще фишка в том, что на платформе можно будет в пару кликов развернуть не только встроенные модели, но и любую модельку с HF, и даже свою собственную LM.
При этом Cloud․ru берут на себя скейлинг, администрирование и обслуживание инфраструктуры. Плюс никаких проблем с 152-ФЗ: данные хранятся на российских серверах.
OpenAI выкатили 32-страничный практический гайд по разработке агентов
Его создавали сами инженеры из продуктовых команд стартапа.
Внутри теоретические основы, шаблоны проектирования, лучшие тактики для безопасного развертывания и мониторинга, а главное много-много примеров.
Забираем мастрид на выходные: cdn.openai.com/business-guides-and-resources/a-practical-guide-to-building-agents.pdf
Вышла Gemini 2.5 Flash. Что нужно знать:
– Это гибридная модель с ризонингом, продолжительность рассуждений она контролирует сама, но в API можно настраивать бюджет ризонинга вручную
– Почти на всех бенчмарках модель лучше Sonnet 3.7 и R1.
– o4-mini и Grok-3 выглядят чуть получше, но по соотношению цена-качество проигрывают однозначно
– Модель очень дешевая. 0.15$/М инпут и 0.6$/М аутпут (с ризонингом 3.5$).
– Попробовать можно здесь
Новость дня: OpenAI покупают Windsurf – вайб-кодинг стартап
В прошлом инструмент был известен как Codeium. Это один из главных конкурентов Cursor. Говорят, сделка обойдется OpenAI в три миллиарда (интересно, это дешевле, чем нанять команду и реализовать собственного агента с нуля?)
Кстати, мало кто об этом пишет, но до этого OpenAI дважды пытались купить Cursor. Однако переговоры с Anysphere почему-то не задались.
TIME опубликовали свой ежегодный топ-100 самых влиятельных людей мира
В списке как никогда много тех.лидеров и ученых. Вот кто в него попал:
➖ Дарио Амодеи, CEO Anthropic
➖ Лян Вэньфэн, CEO DeepSeek
➖ Илон Маск
➖ Марк Цукерберг
➖ Лиза Су, CEO AMD и родственница Дженсена Хуанга
➖ Демис Хассабис, нобелевский лауреат этого года и CEO Google DeepMind
Кто не попал:
Сэм Альтман 😭
Дженсен Хуанг 😭
time.com/collections/100-most-influential-people-2025/
OpenAI выпустили в опенсорс (да-да) агента Codex для командной строки
Лицензия Apache 2.0. Легко запускается локально и превращает командную строку в среду программирования на естественном языке.
По умолчанию нужно будет окать действия агента, но есть полностью автономный мод. Мультимодальность тоже имеется.
Установить: npm install -g @openai/codex
Репозиторий
Смотри стрим OpenAI через 2 минуты: www.youtube.com/watch?v=sq8GBPUb3rk
Покажут o3 (наконец-то)
Может ли LLM расследовать преступления?
Однажды Илья Суцкевер в своем интервью объяснял, почему задача next token prediction может привести к реальному интеллекту, и приводил вот такой пример:
Представьте, что вам нужно прочитать огромный детектив и в конце предсказать последнее слово в предложении "Оказалось, убийцей был ...". Если модель может это сделать, значит, она действительно понимает историю.
Радослав Нейчев: «То, что в науке нет денег – это и миф, и нет» 😭
На Data Fusion сейчас прошла дискуссия про разоблачение мифов в ИИ и ML. Обсудили зарплату теоретиков, то, что бизнес не умеет внедрять ИИ, и даже гуманитариев в ML (да, так тоже можно). Понравилась цитата Радослава Нейчева, руководителя из Яндекса и зам.завкафедры МОиЦГ МФТИ:
«Хорошие деньги в науке получать можно, просто они висят не так низко, как в других сферах. Тут ничего не заработаешь, если филонить.
В науке нужно постоянно бежать, чтобы просто оставаться на месте. Ты должен быть умен, начитан, трудолюбив и иметь чутье. Это сложно, но это единственный вариант заработать, и то не сразу. Сначала ты работаешь на имя, потом оно на тебя»
⚫ А мы тут нашей командой приехали на конференцию Data Fusion
Сегодня и завтра здесь будет очень много технических ML-докладов и занятных открытых дискуссий. Всем самым интересным будем делиться здесь.
Трансляцию, кстати, уже запустили, так что можете взглянуть на программу и посмотреть доклады в онлайне. Вот на что пойдем сегодня сами и советуем вам:
➖ Доклад про футурологию ИИ и цифровое послесмертие от Константина Воронцова (9:30)
➖ Дискуссия про мифы ИИ с Юрием Дорном и Радославом Нейчевым (13:00)
➖ Дебаты о науке и жизни с Андреем Райгородским (14:10)
➖ Большой разговор про ключевые вызовы в развитии LLM (15:50)
➖ Обзор актуальных многообещающих исследований и трендов в ML-ресерче (17:00)
➖ Кейс сессии про агентов, ИИ в медицине, MLOps, бигдату и ML в бизнесе (весь день)
OpenAI выкатили новый гайд для промпт-инженеринга GPT-4.1 и раскрыли главную загадку длинного контекста
Если у вас длинный контекст + инструкции, то лучше помещать инструкции И в начало, И в конец. Но если вы очень экономите токены, то – в начало. Теперь вы знаете.
Наверное, так специально предобрабатывали трейн, потому что по умолчанию у LLM обычно все наоборот (инструкции перед контекстом воспринимаются хуже).
P.S. В сам гайд тоже советуем заглянуть. Там много примеров и готовых удобных заготовок.
В Nvidia скрестили трансформеры с Mamba-2 и выпустили Nemotron-H
Исследователи взяли обычный трансформер, но большинство слоев внимания заменили на слои Mamba-2. Mamba – это модель из семейства State space models, это такой умный вариант LSTM (вот тут наш понятный разбор того, как SSM работают).
Для модели 56B осталось только 10 слоев селф-аттеншена, а для модели 8B – 4 слоя. С точки зрения экономии ресурсов и ускорения это очень круто, потому что в слоях mamba память константная. То есть вычисления вообще не зависят от длины контекста (в отличие от внимания, которое масштабируется квадратично).
Интуитивно кажется, что тогда должно страдать качество. Но нет: результаты сопоставимы с чистыми трансформерами схожих размеров. Например, Nemotron-H-56B примерно на уровне с Llama-3.1-70B и Qwen-2.5-72B. При этом летает все в 2-3 раза быстрее.
Интересно, появится ли моделька на арене (веса здесь)
arxiv.org/pdf/2504.03624