Вчера приехал Claude Sonnet 4.6 (https://www.anthropic.com/news/claude-sonnet-4-6), сегодня выехала Gemini 3.1 Pro (https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-1-pro/).

Прикольно, что Гугл уже успел сравниться со вчерашним Соннетом.

Читать полностью…

Отдельное прекрасное

Читать полностью…

Исследователи из DeepMind продолжают работать над агентной экономикой.

Intelligent AI Delegation
Nenad Tomašev, Matija Franklin, Simon Osindero
Статья: https://arxiv.org/abs/2602.11865
Ревью: https://arxiviq.substack.com/p/intelligent-ai-delegation

# TL;DR

ЧТО сделали: Исследователи из Google DeepMind предложили фреймворк «Intelligent Delegation» — протокол для передачи полномочий, ответственности и подотчетности в мультиагентных системах. Вместо простой декомпозиции задач предлагается подход contract-first: с динамической оценкой рисков, торгами и верифицируемым выполнением через криптографические доказательства.

ПОЧЕМУ это важно: Переход от изолированных чат-ботов к «агентному вебу» делает простые циклы использования инструментов (tool-use) хрупкими и небезопасными. Чтобы агенты могли нанимать других агентов (или людей) в среде с нулевым доверием (zero-trust), необходим жесткий фундамент, основанный на экономической теории принципала-агента и криптобезопасности.

Читать тут: /channel/gonzo_ML_podcasts/2438

Читать полностью…

Это третий похожий обзор про архитектуру памяти для агентов от в основном китайских исследователей за последние пару месяцев. Тут были первый и второй.

Визуализации трендов по статьям любопытные.

Rethinking Memory Mechanisms of Foundation Agents in the Second Half: A Survey
Wei-Chieh Huang, Weizhi Zhang, Yueqing Liang, Yuanchen Bei, Yankai Chen, Tao Feng, Xinyu Pan, Zhen Tan, Yu Wang, Tianxin Wei, Shanglin Wu, Ruiyao Xu, Liangwei Yang, Rui Yang, Wooseong Yang, Chin-Yuan Yeh, Hanrong Zhang, Haozhen Zhang, Siqi Zhu, Henry Peng Zou, Wanjia Zhao, Song Wang, Wujiang Xu, Zixuan Ke, Zheng Hui, Dawei Li, Yaozu Wu, Langzhou He, Chen Wang, Xiongxiao Xu, Baixiang Huang, Juntao Tan, Shelby Heinecke, Huan Wang, Caiming Xiong, Ahmed Abdelhadi Metwally, Jun Yan, Chen-Yu Lee, Hanqing Zeng, Yinglong Xia, Xiaokai Wei, Ali Payani, Yu Wang, Haitong Ma, Wenya Wang, Chenguang Wang, Yu Zhang, Xin Eric Wang, Yongfeng Zhang, Jiaxuan You, Hanghang Tong, Xiao Luo, Xue Steve Liu, Yizhou Sun, Wei Wang, Julian McAuley, James Zou, Jiawei Han, Philip S. Yu, Kai Shu
Статья: https://arxiv.org/abs/2602.06052
Код: https://github.com/AgentMemoryWorld/Awesome-Agent-Memory
Ревью: https://arxiviq.substack.com/p/rethinking-memory-mechanisms-of-foundation

# TL;DR

ЧТО сделали: Авторы представили масштабную таксономию и стратегический анализ механизмов памяти в агентах на базе LLM, обобщив более 200 статей. Предложен единый фреймворк, категоризирующий память по субстрату (внутренняя vs внешняя), когнитивному механизму (эпизодическая, семантическая, процедурная) и субъекту (user-centric vs agent-centric).

ПОЧЕМУ это важно: Мы переходим от «первой половины» развития ИИ (статичные бенчмарки и законы масштабирования) ко «второй», где важна реальная польза в долгоживущих средах. Статического контекстного окна недостаточно для агентов, которые должны сохранять состояние (state) днями или месяцами. Этот обзор даёт архитектурный план для создания саморазвивающихся агентов, способных учиться на опыте без дорогого переобучения.

Читать тут: /channel/gonzo_ML_podcasts/2426

Читать полностью…

Как стать топ-1% в век ИИ

Если вам от 14 до 24 и вы хотите быть супер успешным в пост-ИИ экономике, где большинство рутинных и офисных профессий заменены агентами, то у меня есть два простых, но очень важных совета:

1. Попросите родителей или сэкономьте на сладостях $100 в месяц, купите подписку Max у Антропика (бонус поинты: купите за $200) и делайте что угодно в Claude code чтобы потратить >80% недельного бюджета токенов КАЖДУЮ НЕДЕЛЮ. Не важно что. Спросите Клода «а что такого классного я могу сделать?», создайте пранк, фильм, игру, книгу, приложение которое за вас решает домашку, общается за вас в Тиндере. Это не про программирование, а про умение на лету создавать и управлять армией сверхумных агентов.

2. Безжалостно ищите самых энергичных и умных людей в той сфере, которая вам интересна. Поступите в крутой вуз (знания не так важны, но важна тусовка), вступите в элитный дискорд, запишитесь на конфу или митап. Ибо чем умнее будет ИИ и чем больше он сможет делать «обычной работы», тем ценнее будут самые необычные, талантливые, exceptional люди и отношени между ними.

Я жутко завидую и радуюсь детям, своим и вообще, потому что возможностей творить и раскрываться у них больше, чем когда-либо на планете.

Читать полностью…

Инференс для джепы.

Parallel Stochastic Gradient-Based Planning for World Models
Michael Psenka, Michael Rabbat, Aditi Krishnapriyan, Yann LeCun, Amir Bar
Статья: https://arxiv.org/abs/2602.00475
Код: https://michaelpsenka.io/grasp
Ревью: https://arxiviq.substack.com/p/parallel-stochastic-gradient-based

# TL;DR

ЧТО сделали: Авторы представили GRASP (Gradient RelAxed Stochastic Planner) — параллельный алгоритм планирования, созданный специально для выученных моделей мира. Вместо последовательной генерации траекторий (известной как shooting), GRASP рассматривает будущие состояния как независимые оптимизируемые переменные («lifted» states) и обновляет их параллельно через градиентный спуск. Ключевые фишки: динамика Ланжевена для эксплорейшна и специальная схема stop-gradient для борьбы с нестабильной геометрией латентных пространств.

ПОЧЕМУ это важно: Эта работа выглядит как тот самый недостающий компонент «рассуждений» (reasoning engine) для архитектуры JEPA (Joint Embedding Predictive Architecture) от Яна ЛеКуна. Пока индустрия училась *тренировать* модели мира (V-JEPA, I-JEPA), эффективное *планирование* внутри этих неевклидовых пространств оставалось хрупким из-за взрывающихся градиентов. GRASP решает проблему, развязывая временные зависимости, и предлагает надёжный способ управления на длинных горизонтах, что критически важно для роадмапа «Autonomous Machine Intelligence».

Подробнее: /channel/gonzo_ML_podcasts/2396

Читать полностью…

Свежие результаты про решение задач с помощью Gemini

https://deepmind.google/blog/accelerating-mathematical-and-scientific-discovery-with-gemini-deep-think/

Читать полностью…

Работа про осмысление подходов с моделями мира.

Кстати, в тему. После интервью с Постнаукой (текстовый вариант тут, но там всё-таки больше саммари), отдельно опубликовали небольшой разговор про World Models.

Research on World Models Is Not Merely Injecting World Knowledge into Specific Tasks
Bohan Zeng, Kaixin Zhu, Daili Hua et al.
Статья: https://arxiv.org/abs/2602.01630
Ревью: https://arxiviq.substack.com/p/research-on-world-models-is-not-merely

# TL;DR

ЧТО сделали: Разнесли текущий подход к World Models, аргументируя, что область распалась на изолированные "островки" (видеогенерация, робототехника), где знания о мире лишь «инъецируются» под задачу, а не симулируются системно. Предложили Unified World Model Framework — строгую спецификацию из пяти модулей: Взаимодействие, Рассуждение, Память, Окружение и Мультимодальная Генерация.

ПОЧЕМУ это важно: Пока законы масштабирования упираются в дефицит качественных данных, индустрия ищет спасение в мировых моделях как замене предсказанию токенов. Но нынешняя SOTA (вроде Sora (https://openai.com/sora) или VLM) проваливает базовую физическую адекватность (например, постоянство объектов), потому что приоритет отдаётся статистической подгонке, а не системной связности. Работа даёт рецепт, как превратить «генеративные медиа» в «физически обоснованную симуляцию».

Подробнее: /channel/gonzo_ML_podcasts/2378

Читать полностью…

Симбиогенез в массы!

С одной стороны, прикольная библиотека для всего в одном месте. С другой стороны, интересный результат про количественную оценку "коллаборативной эмерджентности" — система из моделей решает задачи, неподвластные любой отдельной модели.

MOCO: A One-Stop Shop for Model Collaboration Research
Shangbin Feng, Yuyang Bai, Ziyuan Yang, Yike Wang, Zhaoxuan Tan, Jiajie Yan, Zhenyu Lei, Wenxuan Ding, Weijia Shi, Haojin Wang, Zhenting Qi, Yuru Jiang, Heng Wang, Chengsong Huang, Yu Fei, Jihan Yao, Yilun Du, Luke Zettlemoyer, Yejin Choi, Yulia Tsvetkov
Статья: https://arxiv.org/abs/2601.21257
Ревью: https://arxiviq.substack.com/p/moco-a-one-stop-shop-for-model-collaboration
Код: https://github.com/BunsenFeng/model_collaboration

# TL;DR

ЧТО сделали: Представили MOCO — унифицированную библиотеку на Python, которая реализует и бенчмаркает 26 алгоритмов коллаборации моделей. Методы охватывают четыре уровня обмена информацией: от роутинга API и текстовых дебатов до слияния логитов и весов. Всё это проверили на 25 датасетах, включая задачи на рассуждение, написание кода и проверку безопасности.

ПОЧЕМУ это важно: Индустрия уходит от гигантских монолитов к композитным системам экспертов, но исследования в этой области были фрагментированы. MOCO предлагает строгий фреймворк для сравнения методов. Ключевой результат — количественная оценка "коллаборативной эмерджентности": системы могут решать примерно 18.5% задач, с которыми не справилась ни одна составляющая модель по отдельности.

Подробнее: /channel/gonzo_ML_podcasts/2359

Читать полностью…

🗣 Speech / Multimodality

27. Deep Speech 2: End-to-End Speech Recognition in English and Mandarin (https://arxiv.org/abs/1512.02595 ) — Amodei et al., 2016 — Вот ведь как судьба повернулась, работал Дарио на Байду, а теперь за ограничение чипов Китаю :)

Это было так давно, что эту работу я уже не очень помню. Но мне кажется, что стоило бы добавить WaveNet:

*. WaveNet: A Generative Model for Raw Audio (https://arxiv.org/abs/1609.03499) — Дипмайнд, 2016.


Что с остальными 13 позициями? Есть различные собранные версии (https://tensorlabbet.com/2024/11/11/lost-reading-items/).

В листе нет ни одного reinforcement learning-пейпера, что странно — возможно, они были в утерянной части. Тогда точно стоило бы добавить много чего, но как минимум:

*. Playing Atari with Deep Reinforcement Learning (https://arxiv.org/abs/1312.5602) — классика DRL от DM, 2013

*. Mastering the game of Go with deep neural networks and tree search (https://www.nature.com/articles/nature16961) — классический AlphaGo

*. Mastering the game of Go without human knowledge (https://www.nature.com/articles/nature24270) — AlphaGo Zero, учившийся уже без человеческих демонстраций

*. Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm (https://arxiv.org/abs/1712.01815) — AlphaZero, учившийся без человеческих демонстраций нескольким разным играм

Для RL, думаю, отдельный список нужен, я сам им не то чтобы прям много занимался, но там точно ещё много чего важного.

Нет и мета-обучения. Наверняка должен был быть какой-нибудь MAML (https://arxiv.org/abs/1703.03400) и что-нибудь ещё. Но этим я тоже мало занимался. Наверное, я бы и про эволюционные алгоритмы чуток добавил, это тоже достойно отдельного разбора, но по крайней мере классика, которую за последнее время уже неоднократно упоминали:

*. Evolution Strategies as a Scalable Alternative to Reinforcement Learning (https://arxiv.org/abs/1703.03864) — тоже кстати с участием Суцкевера.

Но это всё только догадки. В любом случае, даже по современным меркам список всё ещё неплохой. Мы канал завели заметно после того, как вышла большая часть этих статей, так что их разборов у нас не найдёте. Читайте оригиналы! В то время они были короче, чем нынче :)

А я пойду поиграю в Дум.

Читать полностью…

🧮 Теория, описания, обучение

16. Keeping the Neural Network Simple via MDL (https://www.cs.toronto.edu/~hinton/absps/colt93.pdf) — Hinton & van Camp, 1993

17. A Tutorial Introduction to the Minimum Description Length Principle (https://arxiv.org/pdf/math/0406077) — Grünwald, 2004

18. Глава 14 из книги Шеня, Успенского и Верещагина Kolmogorov Complexity and Algorithmic Randomness (https://www.lirmm.fr/~ashen/kolmbook-eng-scan.pdf) — Shen et al., 2017. Русская версия есть тут (https://old.mccme.ru/free-books/shen/kolmbook.pdf)

19. The First Law of Complexodynamics (https://scottaaronson.blog/?p=762) — S. Aaronson (блог)

20. Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton (https://arxiv.org/pdf/1405.6903) — Aaronson et al., 2016

21. Диссертация Шейна Легга (сооснователя DeepMind) Machine Super Intelligence (PhD Thesis) (https://www.vetta.org/documents/Machine_Super_Intelligence.pdf) — Shane Legg, 2008

Тут добавить в общем нечего, достойный список, сам не всё читал ещё.

Читать полностью…

🎯 Attention / Transformers

8. Neural Machine Translation by Jointly Learning to Align and Translate (https://arxiv.org/abs/1409.0473) — Bahdanau et al., 2015

Мастрид от Дмитрия Богданова однозначно, внимание пошло примерно отсюда. Хотя можно сказать и что с NTM. Или даже раньше.

9. Attention Is All You Need (https://arxiv.org/abs/1706.03762) — Vaswani et al., 2017

10. The Annotated Transformer (https://nlp.seas.harvard.edu/2018/04/03/attention.html ) — S. Rush (блог)

Тут оригинальным не буду, статья про внимание читается плохо, мне лично нравится вот этот пост Джея Аламмара:

*. The Illustrated Transformer (https://jalammar.github.io/illustrated-transformer/) -- Jay Alammar (блог)

По-хорошему, конечно, сейчас надо добавить уже:

*. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (https://arxiv.org/abs/1810.04805) — Devlin, 2018

*. Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context (https://arxiv.org/abs/1901.02860) — Dai, 2019

*. Universal Transformers (https://arxiv.org/abs/1807.03819) — Deghani, 2019

Конечно и ещё много чего надо, но вместо этого смотрите мои доклады про Transformer Zoo:

*. Transformer Zoo https://www.youtube.com/watch?v=KZ9NXYcXVBY (2020)
*. Transformer Zoo (a deeper dive) https://www.youtube.com/watch?v=7e4LxIVENZA (2020)

Читать полностью…

Легенды диплёнинга. Список Ильи или 90% всего, что важно в AI

Существует легенда о том, что однажды Джон Кармак (создатель id Software, коим мы благодарны за Вульфенштейн, Дум и Квейк) спросил Илью Суцкевера о том, что ему прочитать, чтобы освоить deep learning. И Суцкевер дал тому список из сорока статей, сказав, что прочитав это, ты освоишь 90% всего того, что важно сегодня.

So I asked Ilya, their chief scientist, for a reading list. This is my path, my way of doing things: give me a stack of all the stuff I need to know to actually be relevant in this space. And he gave me a list of like 40 research papers and said, ‘If you really learn all of these, you’ll know 90% of what matters today.’ And I did. I plowed through all those things and it all started sorting out in my head.

Сегодня уже прошло, но легенда о списке всё жива.

Проблема в том, что список канул в Лету — Кармак хранил его где-то с настройкой на автоснос (не понял, прямо в сообщениях фб чтоли?). У него остался только бумажный принт части списка. Ни Илья, ни OpenAI этот список так и не опубликовали.

"The email including them got lost to Meta's two-year auto-delete policy by the time I went back to look for it last year. I have a binder with a lot of them printed out, but not all of them."

НО.

В январе 2024 в Сети всплыл реконструированный лист на 27 позиций — был расшарен исследователем из OpenAI как список с его онбординга, с отсутствующей частью про meta-learning. Это самая близкая к оригиналу версия, что есть в паблике. Остальные 13 пунктов — в тумане.

Для тех, кому нечего почитать на выходных

Вот тот самый "список Суцкевера" (27 подтверждённых пунктов, со ссылками и моими дополнениями):

Читать полностью…

Снова про проблемы перплексии. Недавно рассматривали альтернативную метрику, Epiplexity (/channel/gonzo_ML/4543). А сегодня про опасный трейдофф внутри самой перплексии.

Perplexity Cannot Always Tell Right from Wrong
Petar Veličković, Federico Barbero, Christos Perivolaropoulos, Simon Osindero, Razvan Pascanu
Статья: https://arxiv.org/abs/2601.22950
Ревью: https://arxiviq.substack.com/p/perplexity-cannot-always-tell-right

# TL;DR

ЧТО сделали: Авторы строго доказали, что для decoder-only трансформеров перплексия — теоретически ошибочная метрика для выбора моделей. Опираясь на свойства непрерывности, они показали: если модель уверена и точна на одной последовательности, всегда найдётся соседняя последовательность, где модель будет так же уверена, но неправа, сохраняя при этом исчезающе низкую перплексию.

ПОЧЕМУ это важно: Работа разрушает постулат «меньше перплексия = лучше генерация», особенно для OOD (Out-of-Distribution). Это вскрывает «слепое пятно»: модели могут обманывать метрику, разменивая точность на необоснованную самоуверенность. Текущие лидерборды рискуют систематически отбирать переуверенные галлюцинации вместо моделей с качественными рассуждениями.

Подробнее: /channel/gonzo_ML_podcasts/2328

Читать полностью…

В последнее время было возрождение интереса к эволюционным стратегиям (1, 2). Они работают, но с засадой. Оказывается, они приводят к катастрофическому забыванию других задач, и на уровне объяснения это даже логично — GRPO обновляет веса точечно в разреженных подсетях, а ES бахает по всем сразу.

Evolutionary Strategies lead to Catastrophic Forgetting in LLMs
Immanuel Abdi, Akshat Gupta, Micah Mok, Alexander Lu, Nicholas Lee, Gopala Anumanchipalli
Статья: https://arxiv.org/abs/2601.20861
Ревью: https://arxiviq.substack.com/p/evolutionary-strategies-lead-to-catastrophic
Код: https://github.com/akshat57/es-catastrophic
Модель: https://huggingface.co/collections/immanuelabdi/es-at-scale-lead-to-catastrophic-forgetting

# TL;DR

ЧТО сделали: Авторы провели тщательный анализ Эволюционных Стратегий (Evolutionary Strategies, ES) для файнтюнинга LLM, сравнив их с Group Relative Policy Optimization (GRPO). Они подтвердили, что ES может сравниться с градиентными методами на конкретных задачах на рассуждение, но показали, что ценой этого является тяжелое катастрофическое забывание предыдущих знаний.

ПОЧЕМУ это важно: Индустрия стремится к обучению на устройствах (on-device learning), где эффективные по памяти методы без градиентов (как ES) выглядят спасением. Однако исследование вскрывает критическую проблему: ES достигает результата за счет плотных обновлений параметров с огромной нормой, что глобально ломает веса модели. Это делает метод непригодным для непрерывного обучения (continual learning), несмотря на его аппаратную эффективность.

Подробнее: /channel/gonzo_ML_podcasts/2311

Читать полностью…

Ещё вам работ про геометрию!

Диффузионки на эмбеддингах DINO работают не очень, в недавней работе про RAE предлагали для этого расширять DiT. Но оказалось, что дело в неевклидовой геометрии и надо сделать правильные лоссы и двигаться по геодезическим, чтобы не уходить с многообразия.

В каком-то смысле перекликающаяся работа была не так давно про FAE (/channel/gonzo_ML_podcasts/2013), но там не в самом пространстве DINO работали, а учились его сжимать так, чтобы DiT с ним хорошо работал. Теперь научились пространство не сжимать, а сам DiT при этом не расширять (как в RAE).

Learning on the Manifold: Unlocking Standard Diffusion Transformers with Representation Encoders
Amandeep Kumar, Vishal M. Patel
Статья: https://arxiv.org/abs/2602.10099
Код: https://github.com/amandpkr/RJF
Ревью: https://arxiviq.substack.com/p/learning-on-the-manifold-unlocking

# TL;DR

ЧТО сделали: Предложили метод Riemannian Flow Matching with Jacobi Regularization (RJF). Он позволяет обучать стандартные диффузионные трансформеры (DiT) напрямую в пространстве признаков предобученных энкодеров (DINOv2, SigLIP). Суть метода в замене евклидовой линейной интерполяции на геодезические пути на гиперсфере (S^{d-1}) и взвешивании лосса с учётом кривизны пространства.

ПОЧЕМУ это важно: Работа опровергает гипотезу о «бутылочном горлышке ёмкости» (capacity bottleneck), выдвинутую в недавней статье про RAE (https://arxiv.org/abs/2510.11690). Ранее считалось, что DiT не справляются с высокоразмерными латентами без колоссального увеличения ширины модели (width scaling). Авторы доказывают: проблема не в размере модели, а в геометрии. Учёт топологии многообразия позволяет обычному DiT-B (131M параметров) выдавать SOTA-уровень (FID 3.37 на ImageNet-256), обходя куда более тяжеловесные бейзлайны.

Читать тут: /channel/gonzo_ML_podcasts/2458

Читать полностью…

Прикольная работа от Антропика про то, как реализован счёт внутри моделей. Они уже публиковали это осенью в Transformer Circuits, теперь оформили в статью. Это интересный в своей сложности кейс mechinterp.

Отдельно интересно, что это ещё один пример, когда рулит геометрия (в последнее время было уже прям много работ про геометрические подходы) и реализация вычислений сделана не так, как мы по дефолту ожидали в стиле фон Неймана, а через работу на многообразиях. Было бы интересно подумать про перспективы подобных геометрических вычислителей.

When Models Manipulate Manifolds: The Geometry of a Counting Task
Wes Gurnee, Emmanuel Ameisen, Isaac Kauvar, Julius Tarng, Adam Pearce, Chris Olah, Joshua Batson
Статья: https://arxiv.org/abs/2601.04480
Пост на Transformer Circuits Thread: https://transformer-circuits.pub/2025/linebreaks/index.html
Ревью: https://arxiviq.substack.com/p/when-models-manipulate-manifolds
Модель: Claude 3.5 Haiku
Affiliation: Anthropic

# TL;DR

ЧТО сделали: Исследователи из Anthropic провели реверс-инжиниринг механизмов, отвечающих за перенос строк (line-wrapping) в Claude 3.5 Haiku. Они выяснили, что модель не использует целочисленные регистры для отслеживания длины строки. Вместо этого она строит «многообразие подсчёта символов» (character count manifold) — спиралевидную геометрическую структуру, вложенную в residual stream. Манипулируя кривизной и вращением этого многообразия с помощью голов внимания, модель выполняет точные арифметические операции, чтобы определить момент вставки новой строки.

ПОЧЕМУ это важно: Эта работа перекидывает мост между интерпретируемостью на основе признаков (разреженные словари) и геометрической интерпретируемостью (многообразия). Оказывается, задачи, которые мы считаем «арифметическими» (счёт, вычитание), реализуются в трансформерах через «геометрические» операции (вращение, проекция) над низкоразмерными кривыми. Это ставит под сомнение миф о том, что нейросети плохо справляются с точным счётом — просто для решения проблемы они используют другой, непрерывный математический субстрат.

Читать тут: /channel/gonzo_ML_podcasts/2444

Читать полностью…

Ход конём :)

https://x.com/i/status/2023150230905159801

Читать полностью…

Обычно борются с катастрофическим забыванием, а иногда надо бороться с катастрофическим забронзовением. Интересный новый метод реинициализации весов для continual learning.

FIRE: Frobenius-Isometry Reinitialization for Balancing the Stability–Plasticity Tradeoff
Isaac Han, Sangyeon Park, Seungwon Oh, Donghu Kim, Hojoon Lee, Kyung-Joong Kim
Статья: https://arxiv.org/abs/2602.08040
Ревью: https://arxiviq.substack.com/p/fire-frobenius-isometry-reinitialization
Код: https://isaac7778.github.io/fire/

# TL;DR

ЧТО сделали: Авторы предложили метод FIRE (Frobenius-Isometry REinitialization), который превращает эвристический сброс весов в строгую задачу оптимизации. Вместо добавления шума "на глаз", FIRE проецирует веса на ортогональное многообразие. Это максимизирует пластичность (способность учиться), минимизируя при этом расстояние Фробениуса до старых весов для сохранения стабильности (памяти). Проекция выполняется через эффективную итерацию Ньютона-Шульца.

ПОЧЕМУ это важно: Нейросети теряют способность к обучению (пластичность) со временем, особенно в нестационарных средах, таких как RL или непрерывное предобучение. Текущие методы типа Shrink and Perturb требуют ручного подбора гиперпараметров, чтобы угадать нужное количество шума. FIRE убирает это гадание, предлагая теоретически обоснованный механизм без тюнинга, который эффективно оживляет "спящие" нейроны и улучшает адаптацию в зрении, LLM и RL.

Подробнее: /channel/gonzo_ML_podcasts/2417

Читать полностью…

Лекун и ко разошлись с публикациями вокруг JEPA-мира. Текущая движуха похожа на движуху вокруг SSM, когда авторы предлагают всё более обобщённые и улучшенные решения. В этот раз LpJEPA, создающая разреженные представления, что полезно для биологии. LpJEPA — это обобщение и улучшение недавней LeJEPA.

Rectified LpJEPA: Joint-Embedding Predictive Architectures with Sparse and Maximum-Entropy Representations
Yilun Kuang, Yash Dagade, Tim G. J. Rudner, Randall Balestriero, Yann LeCun
Статья: https://arxiv.org/abs/2602.01456
Код: https://github.com/YilunKuang/rectified-lp-jepa
Ревью: https://arxiviq.substack.com/p/rectified-lpjepa-joint-embedding

# TL;DR

ЧТО сделали: Авторы представили Rectified LpJEPA — фреймворк для self-supervised learning, который принудительно внедряет разреженность и неотрицательность в латентные представления. Предложен метод регуляризации RDMReg (Rectified Distribution Matching Regularization), выравнивающий распределения фичей с целевым "выпрямленным" обобщённым гауссовским распределением (RGG) через sliced two-sample matching лосс.

ПОЧЕМУ это важно: Предыдущие SOTA методы (вроде LeJEPA) решали проблему коллапса, стягивая фичи к изотропным гауссианам, что создавало фундаментально плотные (dense) представления. Эта работа доказывает, что можно сохранить свойства максимальной энтропии, добавив контролируемую разреженность (L0-норму) через ректификацию. Это наводит мосты между биологической эффективностью (sparse coding) и масштабируемостью современных архитектур типа JEPA.

Подробнее: /channel/gonzo_ML_podcasts/2406

Читать полностью…

GLM-5 завезли!

https://z.ai/blog/glm-5

Читать полностью…

Зачётная работа про inductive biases для физики.

From Kepler to Newton: Inductive Biases Guide Learned World Models in Transformers
Ziming Liu, Sophia Sanborn, Surya Ganguli, Andreas Tolias
Статья: https://arxiv.org/abs/2602.06923
Ревью: https://arxiviq.substack.com/p/from-kepler-to-newton-inductive-biases
Код: https://github.com/KindXiaoming/newton-kepler

# TL;DR

ЧТО сделали: Разобрались, почему стандартные трансформеры не могут выучить ньютоновскую механику на данных планетных орбит (проблема, поднятая в Vafa et al., 2025, https://arxiv.org/abs/2507.06952). Авторы предложили внедрить три критически важных inductive bias: Пространственную гладкость, Пространственную стабильность (через шум) и Временную локальность (через ограничение окна). Это заставляет модель отказаться от простой подгонки кривых (стратегия Кеплера) в пользу открытия локальных причинно-следственных сил (стратегия Ньютона).

ПОЧЕМУ это важно: Работа механистически объясняет, почему большие модели могут давать точные предсказания, но при этом совершенно не понимать физических законов. Показан управляемый фазовый переход между «запоминанием геометрии» и «пониманием динамики». Это намекает на то, что для научного открытия с помощью ИИ нам нужно архитектурно ограничивать его, заставляя искать локальные инвариантные правила, а не глобальные исторические паттерны.

Подробнее: /channel/gonzo_ML_podcasts/2386

Читать полностью…

Ещё один обзор про память агентов. Другой обзор был в декабре (/channel/gonzo_ML/4415), тоже от китайской команды.

AI Meets Brain: A Unified Survey on Memory Systems from Cognitive Neuroscience to Autonomous Agents
Jiafeng Liang, Hao Li, Chang Li, Jiaqi Zhou, Shixin Jiang, Zekun Wang, Changkai Ji, Zhihao Zhu, Runxuan Liu, Tao Ren, Jinlan Fu, See-Kiong Ng, Xia Liang, Ming Liu, and Bing Qin
Статья: https://arxiv.org/abs/2512.23343
Код: https://github.com/AgentMemory/Huaman-Agent-Memory
Ревью: https://arxiviq.substack.com/p/ai-meets-brain-memory-systems-from

# TL;DR

ЧТО сделали:
Авторы представили фундаментальный обзор, объединяющий принципы когнитивной нейробиологии с архитектурой агентов на базе LLM. Предложена единая таксономия памяти агента, зеркалящая биологические системы: разделение на эпизодическую (опыт) и семантическую (знания), а также формализация жизненного цикла памяти — от формирования и хранения до извлечения и обновления.

ПОЧЕМУ это важно:
Работа бьёт в ключевую проблему современного ИИ — "бутылочное горлышко stateless-природы". LLM обладают огромными параметрическими знаниями, но лишены устойчивой идентичности для долгосрочного планирования. Превращая память из простого механизма поиска (как в RAG) в динамический когнитивный процесс (формирование, консолидация, забывание), этот обзор даёт чертежи для перехода от пассивных чат-ботов к непрерывно обучающимся агентам, способным к самоэволюции.

Подробнее: /channel/gonzo_ML_podcasts/2369

Читать полностью…

Интересная работа, при этом мне кажется очень полезная для large-scale оптимизации и ускорения исследований. Сейчас она про предсказание будущих метрик качества через сетку, а не степенные законы. Хорошая модель такого рода позволяет более эффективно выбрать гиперпараметры в начале обучения и сэкономить кучу ресурсов. Это явно не предел. Следующий шаг — универсальная модель такого рода, не зависящая от фиксированных валидационных датасетов. Ещё на шаг-другой в будущее — нейро-оптимизатор, который и градиенты даёт лучше адама. Я уже давно писал, что логи обучения — это актив, вот наконец оно материализуется.

Neural Neural Scaling Laws
Michael Y. Hu, Jane Pan, Ayush Rajesh Jhaveri, Nicholas Lourie, Kyunghyun Cho
Статья: https://arxiv.org/abs/2601.19831
Ревью: https://arxiviq.substack.com/p/neural-neural-scaling-laws
Код: https://github.com/michahu/neuneu

# TL;DR

ЧТО сделали: Представили NeuNeu — нейросетевой предсказатель производительности языковых моделей на целевых задачах (downstream tasks). В отличие от традиционных законов масштабирования, которые подгоняют жесткие параметрические кривые под агрегированные метрики, NeuNeu решает задачу как экстраполяцию временных рядов. Система использует трансформер, обусловленный историей обучения и, что критически важно, полным распределением лоссов на валидации, а не просто средним значением.

ПОЧЕМУ это важно: Подход снижает ошибку предсказания на 38% по сравнению со стандартными методами и успешно прогнозирует немонотонное поведение (например, инверсное масштабирование), которое ломает привычные формулы. Работа доказывает, что форма распределения лоссов содержит богатый сигнал о будущих способностях модели, который теряется при усреднении в одно число перплексии.

Подробнее: /channel/gonzo_ML_podcasts/2348

Читать полностью…

🔬 Архитектура / масштабирование / продвинутое обучение

22. GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism (https://arxiv.org/abs/1811.06965) — Huang et al., 2019

Прямо сейчас добавил бы классику про MoE, например, GShard и далее:

*. GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding (https://arxiv.org/abs/2006.16668) — Дима Лепихин, Ноам Шазир и другие, 2020

*. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity (https://arxiv.org/abs/2101.03961) — Ноам Шазир и компания, 2021. Разбирали тут (/channel/gonzo_ML/472)

И про дистилляцию:

*. Distilling the Knowledge in a Neural Network (https://arxiv.org/abs/1503.02531) — Хинтон, Ориол Виньялс и Джефф Дин, 2015. Есть обзор на русском (/channel/gonzo_ML/138) и можно читать дальше по каналу, там были ещё интересные темы.

23. Scaling Laws for Neural Language Models (https://arxiv.org/abs/2001.08361) — Kaplan et al., 2020

Да, но уже обязательна добавка про Шиншиллу:

*. Training Compute-Optimal Large Language Models (https://arxiv.org/abs/2203.15556) — Hoffmann et. al., 2022. Разбор тут (/channel/gonzo_ML/1216).

24. A Simple Neural Network Module for Relational Reasoning (https://arxiv.org/abs/1706.01427 ) — Santoro et al., 2017

Вторая работа в списке про relational learning, первая была в разделе про RNN.

25. Neural Message Passing for Quantum Chemistry (https://arxiv.org/abs/1704.01212) — Gilmer et al., 2017

Может быть надо что-то про современные GNN, но это отдельная тема.

26. Variational Lossy Autoencoder (https://arxiv.org/abs/1611.02731) — X. Chen et al., 2017

Наверное нужна классика про VAE тоже:

*. Auto-Encoding Variational Bayes (https://arxiv.org/abs/1312.6114) — Kingma, Welling, 2013
*. An Introduction to Variational Autoencoders (https://arxiv.org/abs/1906.02691) — практически книга от них же, 2019

Ну и GAN сюда тоже надо, конечно:

*. Generative Adversarial Networks (https://arxiv.org/abs/1406.2661) — Гудфеллоу и ко, 2014.

Ещё из классики я бы добавил:

*. Adam: A Method for Stochastic Optimization (https://arxiv.org/abs/1412.6980) — Kingma, Ba. 2014
*. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift (https://arxiv.org/abs/1502.03167) — Ioffe, Szegedy, 2015. Хоть оно работает и не так, как задумывалось :)

Читать полностью…

🧠 CNNs / Vision

11. ImageNet Classification with Deep Convolutional Neural Networks (https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf) — Krizhevsky et al., 2012 (AlexNet)

12. Deep Residual Learning for Image Recognition (https://arxiv.org/abs/1512.03385) — He et al., 2015 (ResNet)

13. Identity Mappings in Deep Residual Networks (https://arxiv.org/abs/1603.05027 — He et al., 2016 (ещё ResNet)

Классика, да. Для исторической справедливости добавил бы:

*. Highway Networks (https://arxiv.org/abs/1505.00387) — Шмидхубер и ко, 2015

14. Multi-Scale Context Aggregation by Dilated Convolutions (https://arxiv.org/abs/1511.07122 ) — Yu & Koltun, 2015

Я бы к этому добавил про раздельные свёртки от Франсуа Шолле:

*. Xception: Deep Learning with Depthwise Separable Convolutions (https://arxiv.org/abs/1610.02357) — Chollet, 2016

А ещё по зрению имхо маст:

*. A Neural Algorithm of Artistic Style (https://arxiv.org/abs/1508.06576) от Леона Гатиса, 2015. Если бы не было этой работы, не было бы Призмы и многого другого. И она красивая внутри, до неё я как-то не думал, что для получения лосса можно использовать другие нейросети.

15. CS231n: CNNs for Visual Recognition (http://cs231n.stanford.edu/) — Stanford курс (2017)

Да, курс божественный. Более поздний CS224N по NLP тоже того стоит:

*. CS224N: Natural Language Processing with Deep Learning (https://web.stanford.edu/class/cs224n/)

И конечно надо добавить Vision Transformer, ViT:

*. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (https://arxiv.org/abs/2010.11929) — Лёша Досовицкий и другие, 2020, это мы даже разбирали (/channel/gonzo_ML/434)

Читать полностью…

🔁 RNN / LSTM / Sequence Models

1. The Unreasonable Effectiveness of Recurrent Neural Networks (http://karpathy.github.io/2015/05/21/rnn-effectiveness/) — A. Karpathy (блог)

2. Understanding LSTM Networks (https://colah.github.io/posts/2015-08-Understanding-LSTMs/) — C. Olah (блог)

Оба поста просто маст рид, если хотите понять про рекуррентные сети. Второй — это аналог Illustrated Transformer, но про RNN.

3. Recurrent Neural Network Regularization (https://arxiv.org/abs/1409.2329) — Zaremba et al., 2014

Хорошо, но я бы добавил ещё пару интересных работ про RNN от гениального Грейвса (от которого дальше будет NTM)

*. Multi-Dimensional Recurrent Neural Networks (https://arxiv.org/abs/0705.2011) — Graves, Shcmidhueber(!), 2007

*. Grid Long Short-Term Memory (https://arxiv.org/abs/1507.01526) — Kalchbrenner, Danihelka, Graves, 2015

*. Supervised Sequence Labelling with Recurrent Neural Networks (https://www.cs.toronto.edu/~graves/preprint.pdf) — книга Грейвса по RNN, выходила также в Шпрингере в 2012, это одно из лучшего про продвинутые RNN на тот момент

А от Суцкевера я бы добавил Neural GPU:

*. Neural GPUs Learn Algorithms (https://arxiv.org/abs/1511.08228) — Łukasz Kaiser, Ilya Sutskever, 2015. Когда-то на NIPS 2016(?) в Барселоне, а может и где-то ещё, я подходил к Суцкеверу на стенде OpenAI, хотел узнать у него, занимается ли он дальше этой прикольной темой про выучивание алгоритмов, но всё, что я смог добиться от него было "Нет.”

4. Pointer Networks (https://arxiv.org/abs/1506.03134) — Vinyals et al., 2015
5. Order Matters: Sequence to Sequence for Sets (https://arxiv.org/abs/1511.06391) — Vinyals et al., 2016

Это вот прикольная экзотика, наверное сейчас мало кто слышал и про Pointer Networks и про Set2Set, но в своё время были интересные работы. Я бы сюда, кстати, добавил:

*. HyperNetworks (https://arxiv.org/abs/1609.09106) — David Ha (теперь из Sakana!), 2016

6. Neural Turing Machines (https://arxiv.org/abs/1410.5401) — Graves et al., 2014

Это зачётное продолжение работ Грейвса по RNN, но у этой работы было и своё важное продолжение — DNC:

*. Hybrid computing using a neural network with dynamic external memory (https://www.nature.com/articles/nature20101) — Graves, et. al., 2016, блог (https://deepmind.google/blog/differentiable-neural-computers/)

7. Relational Recurrent Neural Networks (https://arxiv.org/abs/1806.01822) — Santoro et al., 2018

Да, тоже интересная подзабытая тема.

Читать полностью…

Правильная дистилляция помогает избавиться от лишнего запоминания моделью!

Memorization Dynamics in Knowledge Distillation for Language Models
Jaydeep Borkar, Karan Chadha, Niloofar Mireshghallah, Yuchen Zhang, Irina-Elena Veliche, Archi Mitra, David A. Smith, Zheng Xu, Diego Garcia-Olano
Статья: https://arxiv.org/abs/2601.15394
Ревью: https://arxiviq.substack.com/p/memorization-dynamics-in-knowledge

# TL;DR

ЧТО сделали: Систематически изучили проблему запоминания обучающих данных (memorization) в LLM, обученных с помощью дистилляции знаний (Knowledge Distillation, KD). Сравнив дистиллированные модели («студентов») с независимо зафайнтюненными бейзлайнами и исходными «учителями» (семейства Pythia, OLMo-2, Qwen-3), авторы обнаружили, что дистилляция снижает запоминание тренировочных данных более чем на 50%.

ПОЧЕМУ это важно: Работа опровергает устоявшееся мнение, что модели-студенты неизбежно наследуют уязвимости приватности своих учителей. Исследование показывает, что KD действует как регуляризатор, который избирательно отфильтровывает высокоэнтропийный «шум» (сложные для обучения примеры), сохраняя при этом обобщающую способность. Кроме того, авторы показали, что запоминание отлично предсказывается с помощью метрик сжатия (zlib), что позволяет проводить санитарную обработку данных (data sanitation) ещё до начала обучения.

Подробнее: /channel/gonzo_ML_podcasts/2336

Читать полностью…

Фильтрация на уровне токенов при обучении даёт сильно более безопасные модели, чем другие способы.

Shaping capabilities with token-level data filtering
Neil Rathi, Alec Radford
Статья: https://arxiv.org/abs/2601.21571
Ревью: https://arxiviq.substack.com/p/shaping-capabilities-with-token-level
Код: https://github.com/neilrathi/token-filtering
Модель: Custom Transformers (up to 1.8B)

# TL;DR

ЧТО сделали: Предложили метод потокенной фильтрации данных (token-level data filtering) для хирургического удаления конкретных способностей модели (на примере медицинских знаний) на этапе предобучения. Обучая легковесные классификаторы находить и маскировать специфические токены, авторы не дают модели выучивать опасные концепты, сохраняя при этом соседние общие знания.

ПОЧЕМУ это важно: Это сдвиг парадигмы от безопасности "постфактум" (RLHF/Unlearning) к безопасности "ab initio" (изначальной). Результаты впечатляют: потокенная фильтрация масштабируется значительно лучше, чем удаление целых документов, создавая замедление в 7000 раз (по вычислительным затратам), необходимое модели для повторного обретения забытых знаний на масштабе 1.8B параметров. Кроме того, среди авторов — Алек Рэдфорд (создатель GPT-2 и GPT-3), что сигнализирует о серьезном повороте индустрии в сторону курирования данных как главного рычага безопасности.

Подробнее: /channel/gonzo_ML_podcasts/2319

Читать полностью…

Абляция с заменой FA и SA слоёв.

Читать полностью…