gonzo-обзоры ML статей

28 March 2026 11:05

Продолжаем тему с постоянной адаптацией агентов. Сегодня обещанная эволюция скиллов.

Memento-Skills: Let Agents Design Agents
Huichi Zhou, Siyuan Guo, Anjie Liu, Zhongwei Yu, Ziqin Gong, Bowen Zhao, Zhixun Chen, Menglong Zhang, Yihang Chen, Jinsong Li, Runyu Yang, Qiangbin Liu, Xinlei Yu, Jianmin Zhou, Na Wang, Chunyang Sun, Jun Wang
Статья: https://arxiv.org/abs/2603.18743
Код: https://github.com/Memento-Teams/Memento-Skills
Ревью: https://arxiviq.substack.com/p/memento-skills-let-agents-design

# TL;DR

ЧТО сделали:
Авторы представили Memento-Skills — систему агентов-дженералистов, которая автономно создаёт, мутирует и улучшает переиспользуемые специализированные навыки без изменения весов базовой модели. Используя структурированные markdown-файлы и код как внешнюю эпизодическую память, система применяет замкнутый цикл рефлексивного обучения (Read-Write Reflective Learning) для непрерывной оптимизации своей политики исполнения на основе обратной связи от среды.

ПОЧЕМУ это важно:
Традиционно обучение LLM во время инференса упирается в огромные вычислительные затраты на обновление параметров. Предложенный фреймворк даёт математически обоснованный путь к непрерывному обучению замороженных моделей. Он показывает, что самосовершенствующаяся персистентная память может принести радикальный прирост метрик (более 100% относительного улучшения на некоторых бенчмарках) при сохранении строгих гарантий сходимости.

Для практиков:
Для тех, кто масштабирует агентные пайплайны, опора на статические промпты или библиотеки few-shot примеров жёстко ограничивает способность агента адаптироваться к пограничным случаям (корнер-кейсам) со временем. Memento-Skills смещает парадигму с обучения параметров на эволюцию навыков в памяти. Оснастив замороженную LLM роутером на базе offline RL и механизмом перезаписи собственных логических файлов, система работает как senior-разработчик, непрерывно рефакторящий общую кодовую базу. Этот подход радикально повышает долю успешных выполнений в сложных задачах на рассуждение. Будущее надёжных агентов лежит в сложных, самоизменяющихся архитектурах памяти, а не только в увеличении размера базовых моделей.

Рефакторить говнокод Эволюционировать скиллы тут: /channel/gonzo_ML_podcasts/2946

gonzo-обзоры ML статей

26 March 2026 12:57

Про свою работу о Гиперагентах Таня уже написала, но не пропадать же картинке!

HyperAgents
Jenny Zhang, Bingchen Zhao, Wannan Yang, Jakob Foerster, Jeff Clune, Minqi Jiang, Sam Devlin, Tatiana Shavrina
Статья: https://arxiv.org/abs/2603.19461
Код: https://github.com/facebookresearch/Hyperagents
Ревью: https://arxiviq.substack.com/p/hyperagents

# TL;DR

ЧТО сделали: Авторы представили DGM-Hyperagents (DGM-H) — фреймворк, который объединяет агента, решающего задачу, и метаоптимизирующего агента в единую, полностью редактируемую самореферентную программу. Погрузив эту сущность в open-ended эволюционный поиск, система автономно переписывает как логику выполнения задачи, так и собственные внутренние механизмы самосовершенствования.

ПОЧЕМУ это важно: Предыдущие самообучающиеся системы упирались в созданные людьми алгоритмы метаобучения, которые плохо обобщаются на новые домены. DGM-H показывает, что агент может самостоятельно изобретать переносимые методы оптимизации (например, системы постоянной памяти и автоматическое выявление смещений). Это позволяет накапливать улучшения и метанавыки в совершенно разных областях, таких как дизайн ревордов для робототехники или проверка олимпиадных задач по математике.

Для практиков: Для тех, кто занимается AI alignment и open-endedness, эта статья от FAIR и академических соавторов даёт схему систем, которые не просто лучше решают задачу, а становятся лучше в самом процессе улучшения. Делая механизм метаобучения программируемым и редактируемым самим агентом, авторы обходят необходимость ручного дизайна эвристик для конкретных доменов. Это открывает надёжный путь к архитектурам с самоускоряющейся оптимизацией.

Гиперагенты тут: /channel/gonzo_ML_podcasts/2924

gonzo-обзоры ML статей

24 March 2026 17:12

Безопасно ли это?
Совершенно нет! Но весело
Можно добавлять метрики и бенчмарки AI Safety прямо в multi-task objective, чтобы агент оптимизировался исходя из безопасности тоже.

Пожалуйста, применяйте HyperAgents в своих задачах, расширяйте применимость метода:
🟣 кодинг, наука, human preferences, поиск - все так или иначе должно работать
🟣можно оптимизировать своего собственного агента, начиная как бы не с нуля, а с текущих наработок (с математикой IMO мы так и сделали в эксперименте, и получилось отлично)

🌸Github https://github.com/facebookresearch/HyperAgents

gonzo-обзоры ML статей

24 March 2026 17:12

Про статью от автора :)

gonzo-обзоры ML статей

23 March 2026 18:22

Бомбическая работа просто! Не понимаю, почему про неё никто вокруг не говорит, почему-то принесло только в мои личные сети.

Neural Thickets: Diverse Task Experts Are Dense Around Pretrained Weights
Yulu Gan, Phillip Isola
Paper: https://arxiv.org/abs/2603.12228
Code: https://github.com/sunrainyg/RandOpt
Review: https://arxiviq.substack.com/p/neural-thickets-diverse-task-experts

# TL;DR

ЧТО сделали: Авторы предложили полностью параллельный безградиентный алгоритм RandOpt для post-training. Он улучшает предобученные большие языковые модели (LLM) путём простого сэмплирования случайного гауссовского шума поверх весов, оценки этих зашумлённых моделей и ансамблирования предсказаний лучших из них.

ПОЧЕМУ это важно: Работа ставит под сомнение устоявшееся мнение, что выравнивание (alignment) языковых моделей строго требует сложной последовательной оптимизации вроде обучения с подкреплением. Исследование раскрывает структурный феномен «нейронных дебрей» (neural thickets). Оказывается, при достаточном масштабе предобученная модель работает как распределение, в непосредственной окрестности весов которого плотно упакованы разнообразные эксперты под конкретные задачи.

Погружаться в дебри тут: /channel/gonzo_ML_podcasts/2879

gonzo-обзоры ML статей

22 March 2026 16:13

Для разнообразия что-нибудь воскресное и не про ML. Вы первые, кто это видит :)

Завтра новая неделя, и для тех, кому после тяжёлого трудового дня хочется всех замочить, мы вместе с Клод кодом сделали простую браузерную игру, где можно делать это безопасно:

https://cloud-heavy-industries.com/grumbulus/

Мочите на здоровье!

gonzo-обзоры ML статей

21 March 2026 18:37

Обновлённая V-JEPA 2.1, хороша и для видео, и для картинок. Несмотря на минорное различие в версии, разница в качестве колоссальная. По классике дип лёнинга, правильный лосс и его применение многое решают!

V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning
Lorenzo Mur-Labadia, Matthew Muckley, Amir Bar, Mido Assran, Koustuv Sinha, Mike Rabbat, Yann LeCun, Nicolas Ballas, Adrien Bardes
Статья: https://arxiv.org/abs/2603.14482
Код и модели: https://github.com/facebookresearch/vjepa2
Ревью: https://arxiviq.substack.com/p/v-jepa-21-unlocking-dense-features

# TL;DR

ЧТО сделали: Авторы из FAIR представляют V-JEPA 2.1 — семейство vision-моделей на базе self-supervised learning, которое изящно объединяет репрезентации картинок и видео. Они расширили целевую функцию Joint-Embedding Predictive Architecture (JEPA), чтобы супервизия шла не только по замаскированным, но и по видимым токенам контекста (через лосс, взвешенный по расстоянию). Эту супервизию применили иерархически к промежуточным слоям энкодера, что заставило модель выучивать одновременно пространственно плотные (dense) и согласованные во времени фичи.

ПОЧЕМУ это важно: Исторически в self-supervised vision моделях был жёсткий трейдофф. Модели для картинок отлично схватывают локальную геометрию (глубину, сегментацию), а видео-модели — глобальную динамику и движение. V-JEPA 2.1 решает эту проблему. Получается единый энкодер, выдающий SOTA результаты как на плотных статических задачах (монокулярная оценка глубины), так и на предиктивных видео-задачах (робототехника, предсказание коротких действий). Это критически важный шаг к надёжным world models для embodied AI.

Для практиков: Теперь можно использовать одно замороженное пространство репрезентаций для оценки монокулярной глубины высокого разрешения, трекинга объектов во времени и предсказания кинематики. Это кардинально упрощает разработку пайплайнов для робототехники.

Выделять фичи тут: /channel/gonzo_ML_podcasts/2846

gonzo-обзоры ML статей

21 March 2026 08:40

Пост про RL для ризонинг моделей

https://aweers.de/blog/2026/rl-for-llms/

gonzo-обзоры ML статей

19 March 2026 18:33

Добыча ценного реварда из текущего взаимодействия агента со средой.

OpenClaw-RL: Train Any Agent Simply by Talking
Yinjie Wang, Xuyang Chen, Xiaolong Jin, Mengdi Wang, Ling Yang
Статья: https://arxiv.org/abs/2603.10165
Код: https://github.com/Gen-Verse/OpenClaw-RL
Ревью: https://arxiviq.substack.com/p/openclaw-rl-train-any-agent-simply

# TL;DR

ЧТО сделали:
Исследователи из Принстонского университета представили OpenClaw-RL — асинхронный фреймворк для непрерывного обучения языковых агентов прямо во время их работы (live deployment). Разделив инференс политики, выполнение в среде, оценку реворда и обучение модели на независимые асинхронные циклы, система улавливает "сигналы следующего состояния" (next-state signals, такие как исправления от пользователя или ошибки в терминале). Затем эти сигналы превращаются в градиенты для оптимизации с помощью комбинации скалярных Process Reward Models (PRMs) (https://arxiv.org/abs/2305.20050) и дистилляции на уровне токенов (Hindsight-Guided On-Policy Distillation, OPD).

ПОЧЕМУ это важно:
Современная парадигма элайнмента сильно зависит от собранных батчами статических датасетов или итоговых эпизодических ревордов, которые дают крайне разреженный сигнал для credit assignment в длинных задачах. Разработав неблокирующую архитектуру, которая динамически впитывает неявный фидбек от пользователя и среды без паузы на инференс, авторы предлагают рабочий концепт для самообучающихся агентов. Это позволяет им адаптироваться в реальном времени, существенно решая проблему сбора данных в современном обучении с подкреплением.

Ревард получать тут: /channel/gonzo_ML_podcasts/2820

gonzo-обзоры ML статей

17 March 2026 21:53

Но и других интересных картинок вам до кучи.

Про движение к опенсорсу и коалицию по продвижению открытых моделей тоже интересно.

gonzo-обзоры ML статей

17 March 2026 18:59

Респект FAIR, выкатили работу про очень мультиязычный перевод!

Omnilingual MT: Machine Translation for 1,600 Languages
The Omnilingual MT Team, Belen Alastruey, Niyati Bafna, Andrea Caciolai, Kevin Heffernan, Artyom Kozhevnikov, Christophe Ropers, Eduardo Sánchez, Charles-Eric Saint-James, Ioannis Tsiamas, Chierh Cheng, Joe Chuang, Paul-Ambroise Duquenne, Mark Duppenthaler, Nate Ekberg, Cynthia Gao, Pere Lluís Huguet Cabot, João Maria Janeiro, Jean Maillard, Gabriel Mejia Gonzalez, Holger Schwenk, Edan Toledo, Arina Turkatenko, Albert Ventayol-Boada, Rashel Moritz, Alexandre Mourachko, Surya Parimi, Mary Williamson, Shireen Yates, David Dale, Marta R. Costa-jussà
Статья: https://ai.meta.com/research/publications/omnilingual-mt-machine-translation-for-1600-languages/
Ревью: https://arxiviq.substack.com/p/omnilingual-mt-machine-translation
Бенчмарк: https://huggingface.co/spaces/facebook/bouquet

# TL;DR

ЧТО сделали: Исследователи из FAIR представили Omnilingual Machine Translation (OMT) — комплексный набор моделей, датасетов и метрик, расширяющий поддержку машинного перевода до более чем 1600 языков. Авторы предлагают два архитектурных пути: decoder-only линейку (OMT-LLaMA) на базе LLaMA 3 и encoder-decoder модель на 3B параметров (OMT-NLLB), основанную на кросс-языковом пространстве эмбеддингов OmniSONAR. Для поддержки такого масштаба команда также собрала seed-датасет MeDLEy, фреймворки для оценки BOUQuET и Met-BOUQuET, а также reference-free метрику оценки качества BLASER 3.

ПОЧЕМУ это важно: Работа преодолевает потолок в ~200 языков, который последние несколько лет был пределом для массивно мультиязычного перевода. Что ещё важнее, авторы изолируют и решают проблему "узкого горлышка генерации" (generation bottleneck) — явления, когда большие модели понимают малоресурсные языки за счёт кросс-языкового переноса, но не могут генерировать на них связный текст. Показывая, что специализированные модели на 1–8B параметров могут сравниться с 70B фундаментальными моделями или даже превзойти их в качестве перевода, это исследование задаёт Парето-оптимальный вектор для глобальной языковой инклюзивности.

Для практиков: Статья наглядно демонстрирует, что для глобального деплоя LLM простое наращивание параметров — неэффективный способ охватить длинный хвост человеческих языков. Вместо этого точечные вмешательства, такие как масштабное расширение словаря, выравнивание кросс-языковых эмбеддингов предложений и генерация структурированных данных по грамматическим парадигмам, дают лучшее качество перевода при кратно меньших затратах на инференс. Появление BLASER 3 также даёт масштабируемую автоматизированную альтернативу дорогой человеческой оценке (quality estimation) для тысяч диалектов и письменностей.

Копать тут: /channel/gonzo_ML_podcasts/2792

gonzo-обзоры ML статей

16 March 2026 19:09

Новая работа про attention sinks и огромные активации. Этой теме также была посвящена работа команды Qwen с NeurIPS 2025 Best Paper Award. Там проблему решали, а здесь ещё и объясняют механику возникновения.

Редкий пример работы, когда абляции особенно интересны!

The Spike, the Sparse and the Sink: Anatomy of Massive Activations and Attention Sinks
Shangwen Sun, Alfredo Canziani, Yann LeCun, Jiachen Zhu
Статья: https://arxiv.org/abs/2603.05498
Ревью: https://arxiviq.substack.com/p/the-spike-the-sparse-and-the-sink
Код: N/A
Модель: N/A

# TL;DR

ЧТО сделали:
Исследователи из Нью-Йоркского университета механистически препарировали и разделили два повсеместных феномена в современных LLM: массивные активации (экстремальные выбросы магнитуды в специфических скрытых каналах) и attention sinks (непропорционально большая масса внимания, направленная на начальные токены или разделители). Через строгие абляции архитектур в стиле LLaMA они доказывают, что массивные активации работают как неявные глобальные параметры, генерируемые ранними feed-forward блоками. В то же время слои нормализации независимо сплющивают эти выбросы в разреженные, инвариантные субстраты, которые головы внимания радостно используют для сброса лишней массы вероятности.

ПОЧЕМУ это важно:
Эта работа ставит точку в спорах, доказывая, что постоянное пересечение массивных активаций и attention sinks — это просто случайный артефакт архитектуры трансформера с pre-norm, а не какая-то функциональная необходимость. Изменив логику нормализации или добавив динамический гейтинг, можно полностью искоренить массивные активации без малейшего ущерба для качества моделирования языка. На практике это открывает прямой архитектурный путь к инференсу в сверхнизком разрешении и радикальному сокращению KV-кэша, избавляя инженеров от необходимости городить сложные костыли.

Разбираться с активациями и чинить сливы тут: /channel/gonzo_ML_podcasts/2770

gonzo-обзоры ML статей

15 March 2026 18:21

В коде есть штука, которой нет в пространственных средах (ну или она там не так важна, хотя в принципе тоже есть) — архитектурный замысел (“туда не ходи, сюда ходи”). Запрещённая зависимость — это граница сервиса. Цепочка валидации — это гарантия целостности данных. Это проверяемые ограничения, которые можно заложить в кодовую базу и измерить, находят ли их агенты. Назвал это Architectural Constraint Discovery.

Конкретно, в каждую кодовую базу закладываем 15-16 ограничений пяти типов:
* BOUNDARY: запрещённые зависимости ("mod_a не должен импортировать mod_c напрямую — только через базовый класс")
* INTERFACE: доступ только через ABC ("стейджи общаются только через StageBase, не напрямую друг с другом")
* DATAFLOW: обязательные цепочки обработки ("данные должны пройти валидацию перед попаданием в mod_w")
* INVARIANT: структурные конвенции (нейминг, организация пакетов)
* PURPOSE: design rationale — зачем модуль существует и какое архитектурное решение кодирует

Каждое ограничение имеет структурированную каноническую форму из пяти полей (type, src, dst, via, pattern) для автоматического скоринга — никакого LLM-судьи, чистое сравнение структур. И у каждого есть хотя бы один источник evidence в коде: тестовый файл, который ассертит ограничение, структурный паттерн, или документация в докстрингах. Агент не должен угадывать скрытые правила — он должен их найти.

Начал с простого. Упомянутая синтетическая кодовая база на питоне размером порядка 30 модулей. Прогнал на четырёх rule-based бейзлайнах и шести около-фронтирных LLM от трёх провайдеров. Это намеренно пока очень простой сетап, чтобы отладить сам подход к бенчмарку, понять что и как надо. Я сделал уже сколько-то итераций, но это явно ещё не финал. Сколько-то lessons learned уже получил, получу ещё больше 🙂

Тем не менее, даже на этом простом сетапе результаты удивили.

1️⃣ Active-Passive Gap (APG) зависит от модели. В пространственных задачах модели стабильно хуже в активном режиме. В коде — по-разному. GPT-5.3-Codex работает ЛУЧШЕ при активном исследовании, чем когда ему дают всю кодовую базу разом (APG = −0.22) — видимо, 30 файлов одновременно создают information overload. Gemini 2.5 Flash — наоборот (APG = +0.23). Активное исследование — это само по себе нетривиальная способность, которая есть не у всех моделей. Ну или тут есть и другие эффекты, от промптов и сетапа тоже многое зависит, надо ещё смотреть. То, что Gemini (которая давно уже с большим контекстом) хорошо работает для такого случая, это интересно, и немного ожидаемо -- неплохо научились оперировать большим контекстом. Но посмотрим потом, как это будет на более тяжёлой кодовой базе, рано или поздно и в большой контекст всё не влезет.

2️⃣ Self-scaffolding через belief externalization тоже model-dependent. Если оставлять JSON-карту в контексте (scratchpad mode), GPT получает +14 по F1 — использует свои предыдущие карты как рабочую память. Gemini не получает для обнаружения зависимостей никакого преимущества от того же механизма. Зато scratchpad помогает Gemini с инвариантами.

3️⃣ Стабильность belief state не коррелирует с размером модели. Gemini 2.5 Flash — идеально стабильные beliefs, ноль потерянных корректных рёбер за все пробы. Gemini 2.5 Pro — строит карту, а потом катастрофически коллапсирует, теряя 12 корректных рёбер за один шаг. Gemini 3 Flash — чистый recency bias, каждый проб содержит только последние 3-5 компонентов, как будто модель каждый раз суммаризирует архитектуру с нуля, а не обновляет. Возможно, надо ещё играть с промптами.

gonzo-обзоры ML статей

15 March 2026 14:52

Интересное интервью с Джереми Ховардом. Много рассуждает на темы, что AI Coding != AI Software Engineering. Хорошо для баланса к восхитительным отзывам о CC/Codex/etc. Много здравых мыслей.

Интересны параллели между вайбкодингом и игровыми автоматами. Интересны мысли про риски ИИ, где централизация ИИ в руках жаждущих власти — это одно из худших будущих.

https://www.youtube.com/watch?v=dHBEQ-Ryo24

gonzo-обзоры ML статей

14 March 2026 15:04

Свежего Пенроуза вам в ленту. С Тегмарком. К Пенроузу можно относиться по-разному, но как пища для ума он точно хорош.

https://youtu.be/YmZCGp8Cd-4

Видео, к сожалению, не полное, ведёт на сервис с платным доступом. Я пока не искал, можно ли его где-то ещё целиком посмотреть.

gonzo-обзоры ML статей

27 March 2026 12:05

Всё больше работ про непрерывную адаптацию агентов в проде. Было извлечение реворда из текущих взаимодействий с OpenClaw-RL. Будет завтра про Memento-Skills. Гиперагенты в каком-то смысле тоже сюда. Теперь вот MetaClaw. Здесь сделали быструю доадаптацию скиллами и медленную дообучением лорой.

MetaClaw: Just Talk – An Agent That Meta-Learns and Evolves in the Wild
Peng Xia, Jianwen Chen, Xinyu Yang, Haoqin Tu, Jiaqi Liu, Kaiwen Xiong, Siwei Han, Shi Qiu, Haonian Ji, Yuyin Zhou, Zeyu Zheng, Cihang Xie, Huaxiu Yao
Статья: https://arxiv.org/abs/2603.17187
Код: https://github.com/aiming-lab/MetaClaw
Ревью: https://arxiviq.substack.com/p/metaclaw-just-talk-an-agent-that

# TL;DR

ЧТО сделали:
Авторы предложили MetaClaw — фреймворк непрерывного мета-обучения (continual meta-learning), который позволяет задеплоенным LLM-агентам асинхронно эволюционировать в продакшене. Это достигается за счет комбинации двух циклов: безградиентной "быстрой адаптации", синтезирующей навыки на естественном языке из неудачных попыток, и "медленной адаптации" на основе градиентов, которая оппортунистически оптимизирует политику в периоды неактивности пользователя.

ПОЧЕМУ это важно:
Задеплоенные агенты неизбежно сталкиваются со сдвигом распределения задач. В результате статичные веса предобучения всё хуже справляются с реальными пользовательскими воркфлоу. MetaClaw предлагает системное решение этой проблемы нестационарности. Фреймворк вводит строгий механизм версионирования, разделяющий данные неудач (до адаптации) и данные успехов (после адаптации). Это предотвращает загрязнение памяти устаревшими ревордами, что обычно ломает непрерывное обучение с подкреплением у агентов.

Для практиков:
Для инженеров, поддерживающих автономных агентов в проде, постоянная деградация качества при изменении требований пользователей — главная головная боль. MetaClaw внедряет архитектуру с двумя временными шкалами. Сначала происходит немедленная корректировка поведения через динамическое добавление навыков в промпт. Затем следует отложенное асинхронное обновление весов через облачный файнтюнинг. Такой подход позволяет избежать даунтайма сервиса и при этом существенно повышает надёжность выполнения задач. Авторы доказывают, что координация дискретной семантической памяти с непрерывной оптимизацией параметров может сократить разрыв в возможностях между open-weights моделями и передовыми проприетарными API.

Метаоптимизировать агентов здесь: /channel/gonzo_ML_podcasts/2935

gonzo-обзоры ML статей

25 March 2026 12:00

Лекун и ко предлагают архитектуру для автономного ИИ с тремя системами A, B, М.

Why AI systems don't learn and what to do about it: Lessons on autonomous learning from cognitive science
Emmanuel Dupoux, Yann LeCun, Jitendra Malik
Статья: https://arxiv.org/abs/2603.15381
Ревью: https://arxiviq.substack.com/p/why-ai-systems-dont-learn-and-what

# TL;DR

ЧТО сделали: Авторы (среди которых Ян ЛеКун) предлагают масштабный концептуальный чертёж архитектуры для автономного обучения, отказываясь от статических пайплайнов. Они формализуют трёхкомпонентную систему, состоящую из Системы A (обучение через наблюдение), Системы B (обучение через действие) и жёстко закодированной Системы M (мета-контроллер). Весь комплекс оптимизируется через двухуровневый эволюционно-онтогенетический (Evo/Devo) фреймворк.

ПОЧЕМУ это важно: Современные фундаментальные модели сталкиваются с убывающей отдачей от масштабирования текстовых данных и оказываются невероятно хрупкими при сдвиге домена в физическом мире. Создание агентов, способных к автономному непрерывному обучению, становится критической необходимостью. Этот фреймворк даёт теоретически обоснованную дорожную карту, как вырваться из жёстких рамок ручного MLOps и строить системы, адаптирующиеся без вмешательства человека.

Для практиков: Работа смещает фокус с ручного курирования датасетов на дизайн богатых симуляционных сред для curriculum learning. Для реализации таких A-B-M архитектур потребуются сверхбыстрые алгоритмы внутреннего цикла (inner-loop learners) и новые безградиентные стратегии оптимизации для работы в процедурно генерируемых мирах.

Делай А, делай Б, делай М здесь: /channel/gonzo_ML_podcasts/2909

gonzo-обзоры ML статей

24 March 2026 17:12

🌸ГиперАгенты, или вперед к Open-Ended Exploration🌸
#nlp #nlp_papers

Что будет, если дать агентам полную свободу модифицировать самих себя?
Наконец-то выпускаю долгожданную статью, где я побыла уже не соавтором, а научным руководителем.
Вместе с Jenny Zhang, автором Darwin Gödel Machine , выпускаем HyperAgents — open-ended self-improvement для агентов, на многих задачах сразу

🌸TL;DR
HyperAgents — это пример системы, где агент улучшает самого себя итеративно, от промптов до кода.
При этом, в отличие от Darwin Gödel Machine, мы пошли дальше и сделали multi-task objective:
— агент должен улучшать сам себя из поколения в поколение, и делать это одновременно на многих задачах сразу.

Улучшения возможны в обеих группах доменов:
— verifiable rewards: кодинг (Polyglot), математика (IMO), симуляции в робототехнике (Genesis)
— unverifiable rewards: рецензирование статей (Apres)

🌸Пайплайн

Как и в первой версии DGM, агент вносит модификацию — и затем оценивает ее успешность на основе результатов: в данном случае на бенчмарках, тестах и тд.
Модификации образуют граф версий, который можно контролировать в git.

В системе всегда работает цепочка из двух агентов: есть мета-агент и агент, который выполняет задачи.
Мета-агент опирается на результаты выполнения задач и вносит изменения и в себя, и в агента-работника одновременно.

Гиперагентов можно использовать с разными моделями: Claude-4.5-sonnet, O4-mini, GPT-4o

🌸Почему это работает: Абляционные исследования

Как должна выглядеть оптимальная система агента, чтобы поощрять открыты  поиск новых модификаций?
Как правило, в предыдущих работах, если агенту и позволяется что-то модицифировать, то только в определнных рамках и заданных примитивах.
Мы проверили, что будет, если этого избежать: результирующая система — Гиперагенты — оптимизирована под более быстрый поиск новых модификаций — и in-context обучение более эффективному самооулучшению.
Модель в рамках итераций (их может быть хоть 200) начинает лучше понимать, какие изменения стоит вносить.  
Итак, что мы сравниваем:
— HyperAgents (DGM-H): метаагент улучшает сам себя и агента-работника в многозадачной среде
— HyperAgents без самомодификации: метаагент улучшает только агента работника в многозадачной среде, себя оставляет как есть
— HyperAgents без архива предыдущих решений и их результатов: метаагент вносит улвчшения в себя и агента-работника, не опираясь на предыдущие результаты
— Классика, DGM: метаагент изолированно улучшает агента-работника, на всех задачах и кастомно по одной задаче. 

🟣HyperAgents (DGM-H) демонстрирует более динамичный рост общего перформанса на всех задачах — плюс, улучшения, полученные таким способам на одних доменах, переносятся в улучшения на других.

🌸Учимся самоулучшаться

Мы вводим новую метрику, чтобы определить способность мета-агента вносит успешные улучшения: imp@50 (по аналогии с pass@50)
🟣Именно в рамках итеративного процесса самоулучшения у мета-агента в конце эксперимента существенно вырастает imp@50 в сравнении со стартовым состоянием (0 --> 0.63).
🟣Агент обрастает тулзами для поддержания памяти, трекинга изменений, отслеживания тенденций в результатах.


🟣Arxiv https://arxiv.org/abs/2603.19461
🟣Github https://github.com/facebookresearch/HyperAgents
🟣HF papers: https://huggingface.co/papers/2603.19461
🟣AlphArxiv https://www.alphaxiv.org/abs/2603.19461

gonzo-обзоры ML статей

24 March 2026 13:15

На LeJEPA построили модель мира LeWM.

LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels
Lucas Maes, Quentin Le Lidec, Damien Scieur, Yann LeCun, Randall Balestriero
Paper: https://arxiv.org/abs/2603.19312
Review: https://arxiviq.substack.com/p/leworldmodel-stable-end-to-end-joint
Code: https://github.com/lucas-maes/le-wm
Model: https://drive.google.com/drive/folders/1r31os0d4-rR0mdHc7OlY_e5nh3XT4r4e
Website: https://le-wm.github.io

# TL;DR

ЧТО сделали: Авторы представляют LeWorldModel (LeWM) — end-to-end архитектуру JEPA, которая выучивает модель мира напрямую из сырых пикселей. Метод решает известную проблему коллапса репрезентаций с помощью лаконичного лосса (функции потерь) из двух слагаемых: стандартной среднеквадратичной ошибки для предсказания во времени и легко масштабируемой регуляризации, принуждающей латентные эмбеддинги распределяться по изотропному гауссиану.

ПОЧЕМУ это важно: Подход избавляет от хрупких архитектурных эвристик — таких как stop-gradients, экспоненциальные скользящие средние или многокомпонентные лоссы, — которые обычно нужны для стабилизации моделей мира в парадигме self-supervised learning. Сводя всю регуляризацию к одному гиперпараметру, фреймворк добивается стабильного обучения на одном GPU за несколько часов. Полученная модель способна планировать до 48 раз быстрее альтернатив на базе фундаментальных моделей, демонстрируя при этом zero-shot понимание интуитивной физики.

Для практиков: Для инженеров и исследователей, создающих масштабируемых агентов для робототехники или систем планирования, статья доказывает: стабильные модели мира не обязательно требуют предобученных визуальных энкодеров или сложной балансировки оптимизатора. Заставив распределения эмбеддингов математически соответствовать гауссовской топологии, модели могут органично выучивать структурированные, полезные для действий репрезентации прямо из офлайн-данных. Это снижает порог по вычислительным ресурсам для задач на физическое рассуждение.

Моделировать мир тут: /channel/gonzo_ML_podcasts/2895

gonzo-обзоры ML статей

22 March 2026 19:08

Чтение на неделю:

https://www.robonaissance.com/t/language-is-poison

gonzo-обзоры ML статей

22 March 2026 13:52

Long live RNN!

M2RNN: Non-Linear RNNs with Matrix-Valued States for Scalable Language Modeling
Mayank Mishra, Shawn Tan, Ion Stoica, Joseph Gonzalez, Tri Dao
Статья: https://arxiv.org/abs/2603.14360
Ревью: https://arxiviq.substack.com/p/m2-rnn-non-linear-rnns-with-matrix
Код: https://github.com/open-lm-engine/lm-engine
Модель: https://huggingface.co/collections/open-lm-engine/m2rnn

# TL;DR

ЧТО сделали: Авторы представили Matrix-to-Matrix RNN (M²RNN) — новую архитектуру нелинейных рекуррентных нейросетей. Она расширяет традиционное скрытое состояние из плотного вектора в матрицу, которая обновляется через внешнее произведение (outer product), и делает это в сочетании с нелинейностью.

ПОЧЕМУ это важно: Линейные архитектуры класса structured state-space model и механизмы внимания сильно ограничены в теоретической выразительности, особенно в задачах отслеживания состояний детерминированных конечных автоматов. M²RNN полностью решает проблему выразительности. При этом архитектура обходит серьёзные штрафы к утилизации оборудования, исторически свойственные нелинейным RNN. Получается масштабируемый и выразительный готовый слой (drop-in replacement) для современных гибридных сетей.

Для практиков: Главный инсайт для команд предобучения: низкие результаты нелинейных RNN (типа LSTM или GRU) в языковом моделировании были проблемой ёмкости состояния, а не фундаментальным изъяном самой нелинейности. Соединив матричное скрытое состояние с зависящим от входа гейтом забывания (forget gate), M²RNN достигает отличного извлечения фактов на длинном контексте и идеальной обобщающей способности по длине. Если аккуратно вставить хотя бы один слой M²RNN в гибридную архитектуру, можно получить значительное снижение перплексии и рост точности на даунстрим-задачах почти без падения пропускной способности.

Изучать матричное состояние тут: /channel/gonzo_ML_podcasts/2861

gonzo-обзоры ML статей

21 March 2026 11:41

Вчера не нашёл подходящей картинки, а сегодня нашёл.

R.I.P.

gonzo-обзоры ML статей

20 March 2026 14:35

Кто хочет написать новую ОС?

AgentOS: From Application Silos to a Natural Language-Driven Data Ecosystem
Rui Liu, Tao Zhe, Dongjie Wang, Zijun Yao, Kunpeng Liu, Yanjie Fu, Huan Liu, Jian Pei
Статья: https://arxiv.org/abs/2603.08938
Ревью: https://arxiviq.substack.com/p/agentos-from-application-silos-to

# TL;DR

ЧТО сделали: Авторы предлагают концептуальный и архитектурный редизайн операционной системы — AgentOS. Она заменяет традиционные графические интерфейсы (GUI) и изолированные приложения на естественно-языковой интерфейс Single Port и ядро Agent Kernel, которое динамически переводит намерения пользователя в компонуемые модули-навыки (Skills-as-Modules).

ПОЧЕМУ это важно: Развёртывание вероятностных автономных агентов на базе LLM поверх старых детерминированных ОС создаёт хрупкие циклы взаимодействия и серьёзные уязвимости в безопасности. Переосмысляя ОС как непрерывный пайплайн Data Mining и извлечения знаний (KDD), AgentOS предлагает структурно нативный способ оркестрации мультиагентных воркфлоу, поддержания постоянной контекстной памяти и обеспечения семантических границ безопасности.

Для практиков: Заставлять автономных агентов работать в системах, созданных для визуального восприятия человеком, — фундаментальная ошибка, приводящая к узкому месту Screen-as-Interface (экран как интерфейс). AgentOS решает эту проблему, пряча традиционный рабочий стол под интеллектуальный слой маршрутизации намерений. Этот сдвиг требует перехода от классической системной инженерии к реалтайм-майнингу данных, где ОС должна постоянно строить персонализированные графы знаний, рекомендовать исполняемую логику и оптимизировать последовательности действий для безопасной реализации неоднозначных намерений.

Интент выражать здесь: /channel/gonzo_ML_podcasts/2837

gonzo-обзоры ML статей

18 March 2026 12:50

Это мне кажется гениальная работа. Задним умом механизм настолько простой и логичный, что непонятно, почему его не сделали раньше. Это как переход от обычных encoder-decoder к encoder-decoder с вниманием в RNN. Супер логично ведь, что можно не тупо суммировать все резидуалы, а смотреть на них тем же механизмом внимания, что и по длине последовательности.

Заодно устраняет проблему с накоплением больших активаций в residual канале, недавние работы (см. /channel/gonzo_ML/4949) эту проблему решали с другой стороны.

Attention Residuals
Guangyu Chen, Yu Zhang, Jianlin Su, Weixin Xu, Siyuan Pan, Yaoyu Wang, Yucheng Wang, Guanduo Chen, Bohong Yin, Yutian Chen, Junjie Yan, Ming Wei, Y. Zhang, Fanqing Meng, Chao Hong, Xiaotong Xie, Shaowei Liu, Enzhe Lu, Yunpeng Tai, Yanru Chen, Xin Men, Haiqing Guo, Y. Charles, Haoyu Lu, Lin Sui, Jinguo Zhu, Zaida Zhou, Weiran He, Weixiao Huang, Xinran Xu, Yuzhi Wang, Guokun Lai, Yulun Du, Yuxin Wu, Zhilin Yang, Xinyu Zhou
Статья: https://arxiv.org/abs/2603.15031
Репа: https://github.com/MoonshotAI/Attention-Residuals
Ревью: https://arxiviq.substack.com/p/attention-residuals

# TL;DR

ЧТО сделали: Авторы из от Kimi Team заменяют привычное аддитивное residual-соединение на механизм Attention Residuals — выучиваемое поканальное (depth-wise) внимание с софтмаксом для агрегации репрезентаций из всех предыдущих слоёв. Чтобы масштабировать это для больших моделей, они предлагают поблочный вариант с кастомным кешированием для пайплайн-параллелизма и двухфазной оптимизацией инференса.

ПОЧЕМУ это важно: Стандартные residual-слои равномерно накапливают выходы, что приводит к неограниченному росту скрытых состояний и размытию информации из ранних слоёв. Переход к content-aware механизму маршрутизации (retrieval) по глубине сети позволяет жёстко ограничить магнитуды репрезентаций, выровнять поток градиентов и значительно повысить качество на задачах на рассуждение при том же объёме вычислений (выигрыш в вычислительной эффективности — 1.25x).

Обратить внимание на residuals тут: /channel/gonzo_ML_podcasts/2806

gonzo-обзоры ML статей

17 March 2026 21:48

Новый GTC удивителен не железными анонсами про Vera Rubin и Groq, а NemoClaw

Слушать можно сразу саммари:
https://www.youtube.com/live/jw_o0xr8MWU?si=ToUSVz8EWowszWj0&t=10255

gonzo-обзоры ML статей

17 March 2026 10:33

Прикольная работа про модель мира/нейро-дебаггер питона. Модели не обязательно запускать реальный интерпретатор, она может сделать нужные выводы "в голове".

Towards a Neural Debugger for Python
Maximilian Beck, Jonas Gehring, Jannik Kossen, Gabriel Synnaeve
Статья: https://arxiv.org/abs/2603.09951
Ревью: https://arxiviq.substack.com/p/towards-a-neural-debugger-for-python

# TL;DR

ЧТО сделали: Авторы формулируют интерактивный дебаг как марковский процесс принятия решений. Они обучают языковые модели предсказывать промежуточные состояния программы в зависимости от стандартных действий дебаггера (например, step_into, breakpoint). Для этого собрали пайплайн данных, который превращает плоские трейсы выполнения питоновского кода в иерархические деревья. Это позволяет модели выполнять как прямой прогон кода, так и инверсный вывод состояния.

ПОЧЕМУ это важно: Текущие модели, умеющие работать с выполнением кода, потребляют линейные неинтерактивные трейсы, что совершенно не отражает то, как разработчики на самом деле ищут баги. Дав модели интерактивный контроль над симулируемым выполнением, эта работа закладывает фундамент "модели мира" (world model) для агентных систем написания кода. Теперь агенты могут шагать по коду, реверс-инжинирить инпуты и итеративно исправлять ошибки — и всё это без необходимости дёргать реальный рантайм.

Дебажить тут: /channel/gonzo_ML_podcasts/2780

gonzo-обзоры ML статей

15 March 2026 18:21

4️⃣ LLM находят типы рёбер, недоступные бейзлайнам. Rule-based стратегии находят максимум 2 из 4 типов рёбер. LLM-агенты коллективно находят все 4, включая DATA_FLOWS_TO, для которых нужен multi-hop reasoning через оркестрационный код. Правда, две лучших LLM обгоняют бейзлайны всего на 9-10 F1 поинтов, а слабые LLM проигрывают простым эвристикам.

5️⃣ Архитектурные ограничения агенты могут находить — но только если точно сказать, как. С первоначальным промптом все модели набрали 0. После добавления определений по типам и примеров — топовые модели прыгнули до 0.78 (Claude) и 0.74 (GPT). Бейзлайны — стабильный ноль. Самый поучительный результат: то, что выглядело как разрыв в capability моделей, оказалось разрывом в спецификации промпта.

Это бенчмарк v0.1 — один паттерн (Pipeline), один язык (Python), три кодовые базы, по одному прогону на модель. Очень предварительные результаты, не воспринимайте это как ранжирование моделей. Но фреймворк работает и сигнал реальный.

Планы на развитие: больше архитектурных паттернов (event-driven, microservices), больше языков, REVISE фаза (обновление beliefs после изменений в коде), реальные кодовые базы в дополнение к сгенерированным. Использование документации для выявления зависимостей и ограничений, а также разрешение противоречий между реальным кодом и доками. В конечном счёте и прогон через много разных моделей и систем.

Если кому-то интересно поколлаборировать -- вэлкам. PRs приветствуются. Если у вас есть какая-то интересная своя реальная кодовая база с разными зависимостями и ограничениями, и которую можно было бы использовать в бенчмарке, тоже очень интересно.

Критика тоже приветствуется!

gonzo-обзоры ML статей

15 March 2026 18:21

Theory of Code Space: Do Code Agents Understand Software Architecture?

Зацепила тут одна тема, не удержался и дошёл до статьи. Она ещё сильно work in progress.

Статья: https://arxiv.org/abs/2603.00601
Код: https://github.com/che-shr-cat/tocs
Большой пост: https://gonzoml.substack.com/p/do-code-agents-actually-understand

Понимают ли код-агенты код, с которым работают?

Не в смысле "могут ли написать функцию" — это уже давно решённая задача. Я про другое: когда агент ковыряется в кодовой базе из 30 модулей, строит ли он в “голове” какую-то модель архитектуры? Понимает ли, какие модули от каких зависят, как текут данные, какие есть архитектурные ограничения? Или просто локально матчит паттерны и надеется на лучшее?

Идея в том, что всё целиком запихивать в контекст неспортивно. Во-первых, не каждая реальная кодовая база влезет, во-вторых, даже если влезет технически, то не факт, что от этого будет много пользы. Агент, как и человек, должен исследовать структуру кода, чтобы понять, что происходит. И в процессе должен (в идеале) как-то строить и обновлять свою “ментальную карту”.

Все существующие бенчмарки кода меряют выход — скомпилировался ли патч, прошёл ли тест. Никто не меряет, что агент понимает о системе в процессе работы с ней. Ну либо я не нашёл.

Всё началось с того, что я прочитал Theory of Space (https://arxiv.org/abs/2602.07055, авто-обзор тут /channel/gonzo_ML/4807) — классную работу про то, как мультимодальные модели строят "когнитивные карты" при исследовании частично наблюдаемых сред. Там два ключевых феномена: Active-Passive Gap (модели хуже работают, когда сами исследуют среду, vs когда им дают всё сразу) и Belief Inertia (не могут обновить свои представления, когда среда меняется).

Читая эту работу, у меня всё время в голове вертелось чувство, что с кодом всё то же самое. Разработчик, читая кодовую базу, строит ментальную модель архитектуры. Судя по косякам работы с код-агентами, они этого, похоже, не очень делают, и никто это не измеряет. Хотя, конечно, и Claude Code, и свежий Курсор для меня вполне левел-ап по сравнению с предыдущими подходами к снаряду.

Собственно, я взял и сделал бенчмарк. Theory of Code Space (ToCS) — берём агента, сажаем в процедурно сгенерированную кодовую базу (ground truth известен), даём бюджет в 20 действий (открыть файл, поискать, инспектировать символ), и каждые 3 действия просим выдать своё текущее понимание архитектуры в виде структурированного JSON. Получается не финальный снапшот, а временной ряд — как понимание развивается по мере исследования.

Что за кодовые базы? Генератор делает Pipeline-архитектуру средней сложности — 27-30 Python-файлов, 5 подпакетов, 70-84 ребра зависимостей и 15-16 архитектурных инвариантов. Есть этапы пайплайна, наследующие общий абстрактный базовый класс (ABC, StageBase), адаптеры поверх них, middleware (логирование, retry), утилиты, и — что важно — distractor-модули (legacy/, compat.py), которые ни к чему не подключены, но выглядят правдоподобно. Нейминг нейтральный: mod_a.py, mod_b.py, а не extract.py → transform.py → load.py — чтобы модель не могла угадать архитектуру по именам файлов.

Четыре типа рёбер, от простых к сложным:

* IMPORTS (~67%): обычные Python-импорты, видны через AST. Любой парсер найдёт.
* CALLS_API (~17%): рантаймовые вызовы функций между модулями. Нужно читать тела функций, хотя докстринги могут подсказать ("delegates to module X", “wraps module X” и т.п.).
* REGISTRY_WIRES (~9%): динамическая загрузка через config. Реестр читает pipeline_config.json и загружает стейджи через importlib — никакого import statement в коде нет. Нужно прочитать и конфиг, и логику загрузки.
* DATA_FLOWS_TO (~7%): данные одного модуля идут на вход другому. Нужно понять логику оркестрации в runner.py — multi-hop reasoning, откуда что берётся и куда уходит.

Суть в том, что примерно треть рёбер невидима для import-following. Это и создаёт осмысленный разрыв между синтаксическим анализом и семантическим пониманием.

gonzo-обзоры ML статей

15 March 2026 13:55

Земля более не будет вращаться под ногами лишь одного солипсиста Иванова. Теперь все солипсисты будут вращать её одновременно!

Вообще потенциально большая тема имхо.

Solaris: Building a Multiplayer Video World Model in Minecraft
Georgy Savva, Oscar Michel, Daohan Lu, Suppakit Waiwitlikhit, Timothy Meehan, Dhairya Mishra, Srivats Poddar, Jack Lu, Saining Xie
Статья: https://arxiv.org/abs/2602.22208
Код: https://github.com/solaris-wm/solaris
Модель: https://huggingface.co/collections/nyu-visionx/solaris-models
Ревью: https://arxiviq.substack.com/p/solaris-building-a-multiplayer-video

# TL;DR

ЧТО сделали:
Исследователи из Нью-Йоркского университета разработали Solaris — многоагентную видеомодель мира, способную симулировать согласованные наблюдения с разных ракурсов для нескольких взаимодействующих игроков в Minecraft. Для этого они написали жёстко контролируемый движок оркестрации данных (SolarisEngine), который позволил собрать 12.64 млн синхронизированных мультиплеерных кадров. Авторы модифицировали архитектуру для расшаривания пространственно-временного внимания между агентами и предложили алгоритм Checkpointed Self Forcing для стабильного и эффективного по памяти обучения на длинных горизонтах.

ПОЧЕМУ это важно:
Текущие видеомодели мира по своей природе солипсичны — они моделируют среду только от лица одного агента. Доказав, что единая диффузионная архитектура может поддерживать согласованность перспектив и пространственную память одновременно для нескольких точек зрения, эта работа закладывает структурный фундамент для обучения foundation моделей, способных точно симулировать сложные многоагентные среды. Это критически важный шаг для генерации синтетических данных и многоагентного обучения с подкреплением (RL).

Вращать землю тут: /channel/gonzo_ML_podcasts/2757

gonzo-обзоры ML статей

14 March 2026 12:22

Очередная работа про агентов для написания эффективных CUDA ядер. На этот раз от китайцев. Другие недавние были тут: KernelEvolve, VibeTensor (этот был на более высоком уровне абстракции).

CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation
Weinan Dai, Hanlin Wu, Qiying Yu, Huan-ang Gao, Jiahao Li, Chengquan Jiang, Weiqiang Lou, Yufan Song, Hongli Yu, Jiaze Chen, Wei-Ying Ma, Ya-Qin Zhang, Jingjing Liu, Mingxuan Wang, Xin Liu, Hao Zhou
Статья: https://arxiv.org/abs/2602.24286
Код: https://cuda-agent.github.io/
Ревью: https://arxiviq.substack.com/p/cuda-agent-large-scale-agentic-rl

# TL;DR

ЧТО сделали: Исследователи из ByteDance и Университета Цинхуа представили фреймворк на базе обучения с подкреплением, который учит LLM-агента автономно писать, профилировать и оптимизировать низкоуровневые CUDA-ядра. С помощью нового синтетического датасета из более чем 6000 композитных PyTorch-операторов и строго изолированной песочницы для запуска кода, система использует Proximal Policy Optimization (PPO) вместе с хитрыми стратегиями предобучения для стабилизации многошагового агентного обучения.

ПОЧЕМУ это важно: Ручная оптимизация GPU-ядер — это невероятно сложный и узкоспециализированный навык, который тормозит быстрое внедрение новых архитектур нейросетей. Авторы доказали, что агентная RL-система может стабильно находить кастомные паттерны доступа к памяти и специфичные для железа слияния операторов (operator fusions). Работа успешно обходит статические эвристики компиляторов вроде torch.compile и превосходит универсальные frontier-модели, открывая путь к полностью автоматизированному аппаратному перформанс-инжинирингу.

Сливать операции тут: /channel/gonzo_ML_podcasts/2745