8387
Всё самое интересное из мира LLM, Data Science и машинного обучения adds: @devmangx Автор: @ScienceLLM
Как выглядят задачи машинного обучения в бигтехе?
Открыта регистрация на E-CUP 2026 Students — ежегодное соревнование от Ozon Tech. В этом сезоне — для студентов, которые интересуются ML, Data Science, Big Data и аналитикой данных.
Вас ждут три трека: поиск дубликатов товаров, ИИ-модерация карточек маркетплейса и прогнозирование поведения пользователей. Все задачи основаны на реальных обезличенных данных Ozon.
Участвовать можно по одиночке или в команде до пяти человек. Соревнование проходит онлайн с финалом на масштабной конференции E-CODE.
Что ждёт участников:
- призовой фонд 7 200 000 ₽;
- обратная связь от инженеров Ozon Tech;
- нетворк с экспертами индустрии;
- лимитированный мерч;
- билеты на конференцию E-CODE, где наградят победителей.
Подробнее — на сайте E-CUP 2026 Students.
➡️ Регистрация уже открыта!
Присоединяйтесь, чтобы выйти за рамки учебных проектов, попробовать свои силы в задачах настоящего бигтеха и сравнить своё решение с лучшими участниками.
NVIDIA представила и открыла исходный код NOOA — нового фреймворка для создания ИИ-агентов.
Его главная идея — описывать агента как один Python-класс, а не разносить логику по промптам, схемам инструментов, колбэкам и графам выполнения.
В NOOA:
• методы — это действия агента;
• поля — его состояние;
• docstring становятся промптами;
• тип возвращаемого значения задаёт контракт ответа.
Самая интересная особенность — «пустые» методы. Если тело метода содержит только ..., его реализацию во время выполнения генерирует LLM. Если внутри есть обычный Python-код, он выполняется без участия модели. Так в одном классе сразу видно, где модель может принимать решения, а где поведение полностью детерминировано.
Ещё одна сильная сторона — работа с данными. Если методу передать список из 100 элементов, модель увидит только имя переменной, её тип, размер и несколько элементов с начала и конца. Все данные остаются в памяти процесса, а модель взаимодействует с ними через код, который пишет на лету. Благодаря этому ограничения начинают определяться не размером контекстного окна, а ресурсами машины, на которой выполняется код.
По словам NVIDIA, на SWE-bench Verified с GPT-5.5 NOOA набирает 82,2% против 78,6% у OpenCode, используя примерно вдвое меньше обращений к модели и токенов.
Статья: http://arxiv.org/abs/2607.20709
Репозиторий: http://github.com/nvidia-nemo/labs-OO-Agents
🤝 Как из 1,5 млн вакансий выбрать 200 самых-самых
Мы привыкли, что поиск просто показывает результаты, но на деле под капотом работает сложная трёхуровневая архитектура. И если думаете, что ранжирование — это просто релевантность, то ошибаетесь.
Старший DS-инженер из Авито Работы поделился в статье, как всё устроено. О чём рассказал:
➡️ Три уровня поиска
➡️ ML-модели оптимизации
➡️ Результаты A/B-тестов
Коротко: наши модели балансируют релевантность, монетизацию, свежесть и репутацию. А если хотите увидеть цифры и детали, читайте статью →
ADR: фреймворк для обнаружения угроз и реагирования в агентных ИИ-системах
Разрабатываете или защищаете ИИ-агентов в корпоративной среде?
ADR (Agentic AI Detection and Response) — опенсорсный фреймворк безопасности от Uber для мониторинга, оценки и выявления рисков в ИИ-агентах, которыми пользуются разработчики и компании.
Основные возможности:
* Наблюдаемость ИИ-агентов и сбор телеметрии
* Набор бенчмарков с более чем 300 задачами по безопасности
* Обнаружение рискованного поведения ИИ-агентов
* Поддержка 133 MCP-серверов
* Оценка безопасности кодинг-ассистентов и корпоративных агентов
* Поддержка macOS, Linux и Windows
* Воспроизводимые бенчмарки и исследовательские пайплайны
* Основан на исследовательской работе MLSys 2026
Полезный ресурс для исследователей в области безопасности ИИ, инженеров по безопасности, платформенных команд и разработчиков защищённых агентных ИИ-систем.
https://github.com/uber/ADR
#GitHub #OpenSource #AISecurity #AgenticAI #LLM #CyberSecurity #MachineLearning #SecurityResearch #MCP #InfoSec
Если вы AI-инженер, изучите:
* Roofline-модель и почему декодирование упирается в пропускную способность памяти
* Разверните vLLM и SGLang, а затем изучите код их планировщиков
* Разберитесь в Paged Attention по коду, а не по статье
* Настройте наблюдаемость до того, как начнёте что-либо оптимизировать
* Отслеживайте TTFT, задержку между токенами, пропускную способность и глубину очереди
* Используйте Grafana и Prometheus для дашбордов инференса
* Включите prefix caching и выясните, для каких нагрузок он полезен
* Изучите continuous batching и chunked prefill
* Проведите нагрузочные тесты с более чем 1000 одновременных запросов
* Указывайте p50, p95 и p99, а не только среднее значение
* Освойте компромиссы разных видов квантизации: FP8, INT4, AWQ и GPTQ
* Изучите speculative decoding и выясните, в каких случаях он перестаёт помогать
* Настройте вытеснение KV-кэша для длинного контекста
* Попробуйте раздельный сервинг prefill и decode
* Изучите Kubernetes для AI-нагрузок и настройте автоскейлинг по глубине очереди
* Разберитесь, как стоимость инференса влияет на юнит-экономику
* Создайте собственный роутер моделей с учётом стоимости, задержки и качества
* Реализуйте систему управления бюджетом токенов для каждого запроса
* Создайте один сервис инференса и публично опубликуйте его бенчмарки
* Читайте исследования об инференсе вместо новостей о релизах моделей
* Начните делиться результатами своих тестов оптимизации
Shen Sean Chen открыл исходный код cвоего локального ИИ-ассистента
Проект демонстрирует работу Agent Harness и Loop Engineering на примере реального кода. Ассистент полностью запускается на ноутбуке пользователя, а его основной цикл занимает около 95 строк на Python.
Вся система представляет собой один цикл:сообщение → поиск в памяти → запуск агента → вызов инструментов → трассировка → оценка → сохранение в память → развитие навыков
Память хранится в одном файле SQLite. В проект также встроены детерминированные и LLM-as-a-judge оценки с проверкой перед релизом, Telegram-шлюз, голосовая активация и инструменты для работы с Apple Calendar.
В демонстрации ассистент добавляет в календарь четвертьфинал чемпионата мира, запоминает друзей пользователя и отвечает через Telegram.
Как собрать свою AI-модель с нуля?
Этот ресурс проводит через весь процесс примерно за 90 минут.
Пошагово:
— токенизация
— pre-training
— fine-tuning
В конце можно уже общаться со своей собственной моделью.
Всё локально, без логов и платежей.
→ https://languagemodelbuilder.com
Stateful и Stateless-ядро MCP. Крупнейшее обновление MCP от Anthropic
Объясню, что это значит.
До этого релиза общение с MCP-сервером напоминало телефонный звонок. Обе стороны выполняли initialize-рукопожатие, после чего сервер возвращал идентификатор сессии, который передавался во всех последующих запросах.
Сессия была живым объектом внутри конкретного серверного процесса и хранила согласованное состояние.
Представьте ресторан, где только принявший заказ официант знает, что именно вы заказали. Всё работает, пока он не уходит домой.
Поскольку состояние находилось внутри одного процесса, балансировщик не мог распределять запросы между тремя инстансами MCP-сервера. Командам приходилось привязывать клиентов через sticky sessions либо выносить состояние сессий в общее хранилище. Это мешало автоскейлингу, а перезапуск одного процесса обрывал все открытые сессии.
В последнем обновлении от этой схемы полностью отказались. Рукопожатие и заголовок Mcp-Session-Id удалили. Теперь каждый запрос сам передаёт версию протокола, идентификатор клиента и его возможности в поле _meta.
Если клиенту нужен список возможностей заранее, он может вызвать server/discover, но это необязательно.
Теперь ресторан работает иначе: каждый запрос похож на письменный бланк заказа, который может обработать любой официант.
Поэтому запрос может попасть на любой инстанс за обычным round-robin-балансировщиком. Общее хранилище сессий больше не требуется. MCP-серверы становятся обычными HTTP-сервисами, которые можно запускать на serverless- и edge-платформах и спокойно перезапускать.
Удаление сессий сломало три функции, поэтому каждую реализовали заново.
Инструменты, которым нужно задать пользователю вопрос во время вызова, раньше отправляли его через удерживаемый открытым поток. Теперь сервер возвращает input_required, а клиент повторяет запрос, прикрепив ответы.
Названия методов и инструментов перенесли в заголовки Mcp-Method и Mcp-Name. Теперь шлюз или rate limiter может маршрутизировать и учитывать запросы, не разбирая тело JSON-RPC.
Ответы со списками теперь содержат ttlMs и cacheScope. Клиенты могут кешировать каталоги инструментов вместо повторной загрузки после каждого переподключения.
Состояние никуда не исчезло — его перенесли туда, где модель может его видеть.
Если приложению нужна непрерывность между вызовами, инструмент возвращает явный handle, а модель передаёт его аргументом при следующем вызове.
Идентификатор сессии в заголовке невидим для модели. Handle в аргументах она может прочитать, передать между инструментами и восстановить после неудачного вызова.
Официальная спецификация
Kimi вместе с kvcache-ai открыли исходный код AgentENV.
AgentENV — это распределённая система для масштабного запуска агентных окружений. Её компоненты используются для agentic RL-тренировки Kimi K3 и поддерживают быстрые snapshot, resume и fork для параллельных агентных воркфлоу в большом масштабе.
Kimi K3 получилась куда интереснее, чем просто «ещё одна огромная MoE-модель».
По сути Moonshot взяли архитектурные идеи из Kimi Linear и масштабировали их с 48B до 2.8T параметров. Сейчас K3 — крупнейшая open-weight модель.
Из нового появился LatentMoE — подход, где большие linear layers дополнительно сжимают через down-projection. Общий вектор здесь понятный: сделать такую гигантскую модель дешевле и эффективнее на инференсе.
Поэтому обычные компоненты постепенно заменяются более оптимизированными версиями: MoE → LatentMoE, стандартный attention → multi-head latent attention и Kimi Delta Attention.
Отдельно интересны attention residuals. Это уже не столько про ускорение, сколько про улучшение передачи информации между слоями. Residual-связи соединяются между слоями, а их вклад определяется через attention score. По отчёту, это немного, но стабильно улучшает validation loss и downstream performance, ценой примерно +4% к обучению и +2% к инференсу.
Ещё один необычный момент — в Kimi K3 вообще нет RoPE. Модель полностью использует NoPE, то есть обходится без positional embeddings. Для frontier-модели это довольно редкий подход.
Ну и K3 теперь нативно мультимодальная.
В целом архитектура выглядит сложной, но почти все изменения хорошо укладываются в одну идею: масштабировать модель до безумных размеров, не превращая инференс в полный кошмар.
«An Introduction to Real Analysis» Джона К. Хантера — бесплатный набор университетских лекционных материалов и строгое введение в математический анализ.
Книга начинается с множеств, функций и чисел, а затем переходит к последовательностям, рядам, топологии вещественных чисел, пределам, непрерывности, дифференцированию, последовательностям и рядам функций, степенным рядам, интегралу Римана и его приложениям, а также метрическим, нормированным и топологическим пространствам.
Материал подойдёт студентам, которые уже знакомы с calculus и хотят перейти к более строгой, основанной на доказательствах математике. Изложение понятное, а уровень соответствует университетскому курсу по real analysis.
Полная версия конспектов доступна на сайте автора:
https://math.ucdavis.edu/~hunter/intro_analysis_pdf/intro_analysis.html
«Mathematics of Neural Networks» — компактный вводный материал по deep learning с упором на математику.
Книга постепенно разбирает базовые идеи современных нейросетей: supervised learning, искусственные нейроны и функции активации, feed-forward сети, stochastic gradient descent, глубокие нейросети, инициализацию весов, CNN, automatic differentiation и backpropagation, а также оптимизаторы Adam, RMSProp и Adagrad.
Отдельно затрагиваются equivariance, группы Ли, однородные пространства и geometric deep learning.
Материал рассчитан на студентов и тех, кто хочет сначала выстроить прочную математическую базу по нейросетям, а уже потом переходить к более сложным источникам. Несмотря на вводный уровень, изложение остаётся достаточно строгим и хорошо показывает математические принципы, лежащие в основе современных deep learning-систем.
https://arxiv.org/pdf/2403.04807
// Управление контекстом агентных систем //
Отличное чтение на выходные.
Сохраните в закладки.
Продакшен-агенты чаще ломаются не из-за слабого рассуждения, а из-за того, что накапливается в их контексте. История диалога, большие промпты, огромные описания инструментов и постоянно растущие результаты их вызовов добавляются на каждом шаге.
Обычно эту проблему пытаются решить через хранение и извлечение: создают место, куда можно складывать воспоминания, а затем находить их при необходимости. Однако новое исследование утверждает, что такой взгляд слишком узкий, и предлагает более широкую дисциплину — Agentic Context Management.
Она состоит из пяти базовых операций:
* проектирование;
* загрузка;
* определение области контекста;
* предвосхищение;
* сжатие с консолидацией.
При наивном накоплении стоимость токенов растёт квадратично относительно длины диалога. Грубая суммаризация снижает рост до линейного, но в какой-то момент приводит к резкому падению точности. Только сжатие, проверенное на сохранение исходного смысла, позволяет получить линейную стоимость без потери важной информации.
В референсной реализации сообщается о результате 92% на LongMemEval и 93,2% на LoCoMo.
Почему это важно?
Управление контекстом становится полноценной продакшен-задачей, которая затрагивает всю организацию. Эти пять операций дают структурированный способ понять, на что именно расходуется ваш токен-бюджет.
Статья: https://arxiv.org/abs/2607.21503
Кто-то смог запустить CUDA-код на Apple Silicon без переписывания исходников под Metal.
Для этого разработчики собрали цепочку компиляторов, которая автоматически переводит CUDA в код для GPU Apple. В работе использовали GPT-5.6 Sol.
Решение проверили не на простом демо, а на полноценной 3D-симуляции жидкости с сортировкой частиц, атомарными операциями и построением списков соседей.
На одном чипе Apple симуляция выполнилась за 6 секунд, тогда как на CPU тот же код работал около минуты. GPU при этом был загружен полностью, а заметных потерь из-за трансляции не обнаружили.
Если подход окажется применим к другим проектам, часть существующего CUDA-софта можно будет запускать на Mac без ручного портирования. Проект выложен в открытый доступ.
https://github.com/mosaic-group/openfpm/pull/18
Похоже, платные сервисы для извлечения данных из документов становятся всё менее нужными.
Zipstack создала open-source платформу Unstract, которая превращает PDF, сканы и изображения в структурированный JSON с помощью LLM-моделей, которыми вы уже пользуетесь.
Достаточно загрузить счёт, банковскую выписку, KYC-форму, налоговую декларацию или другой документ и указать, какие данные нужно извлечь. Unstract найдёт нужные поля и вернёт готовый JSON, который можно сразу отправить в базу данных.
Главное отличие от традиционных решений — не нужно настраивать отдельную модель под каждого поставщика или писать регулярки для каждого шаблона. Схема извлечения описывается обычным языком и работает с разными вариантами документов.
Unstract умеет:
→ извлекать данные из PDF, сканов и изображений
→ создавать схемы через обычные текстовые инструкции
→ разворачиваться как REST API или ETL-пайплайн
→ подключаться к Claude и другим агентам через MCP
→ работать с S3, GCS, Snowflake, BigQuery, Postgres и другими хранилищами
→ использовать OpenAI, Anthropic, Gemini, Mistral, Ollama, Bedrock и другие модели
По сути, Unstract берёт тысячи документов, которые никто не успевает читать вручную, и превращает их в чистые структурированные данные, готовые для продакшена.
https://github.com/Zipstack/unstract
Теперь Kimi K3 с 2,78 трлн параметров можно запустить на одном CPU и 8,24 ГБ оперативной памяти. Проект полностью open source.
Он называется kimi-k3-in-c.
Большинство inference-стеков предполагают, что для запуска передовой MoE-модели нужен кластер GPU и более 5 ТБ памяти. Здесь весь движок занимает 176 КБ и написан на переносимом C99.
Он работает без BLAS, PyTorch, CUDA, каких-либо фреймворков, GPU и AVX-512.
Чекпоинт размером 1,56 ТБ хранится на NVMe. Для каждого токена активируются только 16 из 896 экспертов, поэтому остальные 93% подгружаются с диска по мере необходимости и не занимают оперативную память.
Плотная часть модели работает с любым доступным объёмом памяти: 8, 32, 128 или 224 ГБ. Веса остаются теми же, а результат побайтово совпадает при любом лимите памяти.
Что умеет проект:
→ Запускает инференс Kimi K3 на ноутбуке с 8 ГБ свободной памяти
→ Читает веса MXFP4 напрямую, без деквантизации в float32
→ Стримит основную часть модели с диска через O_DIRECT, обходя page cache
→ Сохраняет фиксированный размер состояния KDA attention независимо от длины контекста
→ Выдаёт побайтово идентичный результат в scalar-, OpenMP- и AVX2-реализациях
→ Проверяет каждое ядро на соответствие референсной реализации на PyTorch
Весь проект занимает 45 МБ: шесть файлов на C и один Python-скрипт для упаковки весов.
И это всё.
«Understanding Transformers and Attention Mechanisms» — очень интересная статья, в которой архитектура Transformer рассматривается с точки зрения прикладной математики.
Авторы начинают с представления текста в виде векторов и математически объясняют, как механизм внимания обрабатывает эти векторы и кодирует контекстную информацию. Затем переходят к Multi-Head Attention и показывают, как устроены основные компоненты архитектуры Transformer.
В статье также разбираются более современные методы снижения вычислительных затрат и расхода памяти при работе внимания, включая KV-кэширование, Grouped Query Attention и Latent Attention.
Это полезный материал для тех, кто хочет разобраться в трансформерах глубже их общей архитектуры и увидеть линейную алгебру, лежащую в основе современных языковых моделей.
[https://arxiv.org/pdf/2604.00965]
Google и Anthropic сходятся в одном вопросе: как должен работать retrieval.
Обе компании вынесли его из приложения и превратили в отдельный сервис, который вызывают агенты.
* MCP от Anthropic предоставляет retrieval как инструмент, вызываемый агентом.
* Google реализовала похожую схему: RAG Engine находится внутри платформы Gemini для агентов рядом с MCP-серверами.
Компании пришли к этому, потому что старый наивный RAG строился как одноразовый пайплайн внутри одного приложения и создавал две проблемы:
* Первая — устаревшие эмбеддинги. Они отражают состояние источника на момент индексации. Когда документ или строка меняется, индекс расходится с источником и остаётся неверным до повторного запуска пайплайна.
* Вторая — связанная инфраструктура. Логика retrieval находится внутри одного приложения, поэтому другому приходится дублировать коннекторы, разбиение на чанки и создание эмбеддингов вместо повторного использования готовых компонентов.
Обе проблемы решаются разделением ingestion и выполнения запросов, при этом ingestion работает как постоянно активный слой.
Он непрерывно синхронизирует данные по хешам содержимого, поэтому эмбеддинги пересчитываются только для изменившихся данных. Слой доступен через единый API, и чат-бот с агентом обращаются к одному индексу.
Затем агент вызывает этот слой как инструмент внутри цикла: рассуждает, запускает поиск, читает результат и уточняет запрос — вместо однократного retrieval в самом начале.
Диаграмма ниже показывает все три этапа: наивный RAG, постоянно работающий слой и использующего его агента.
Это помогает, но пока решает не все проблемы. На каждом из трёх этапов единицей retrieval остаётся чанк текста.
Сам по себе чанк ничего не знает о семантических границах, версии или источнике. Сплиттер делит документы в основном по количеству токенов, поэтому чанк может закончиться посреди таблицы или аргумента.
Из-за этого поиск может вернуть верхнюю часть таблицы без строк или вывод без подтверждающих его рассуждений.
Переход к структурированной единице — эмбеддингу вопроса вместе с проверенным ответом — решает эту проблему.
Автор подготовил полный разбор этого подхода. В нём сырые чанки заменяются структурированными блоками, каждый из которых содержит собственные данные об источнике и версии.
Подход сокращает размер корпуса в 40 раз и повышает релевантность векторного поиска в 2,3 раза.
Новое исследование Google DeepMind.
SkillSmith рассматривает веса модели как дополнительную модальность, которую LLM может читать напрямую. Модифицированная модель получает существующие веса префикса вместе с подробным текстовым описанием того, как способность связана с целевой задачей, а затем сразу генерирует новые веса префикса, реализующие нужный навык.
Объединение навыков становится операцией во время инференса вместо отдельного этапа обучения. Команда называет этот подход параметрическим синтезом, управляемым инструкциями.
Результаты превосходят показатели, которых по отдельности достигают адаптация только по тексту и адаптация только по весам.
Статья: https://arxiv.org/abs/2607.27497
«Элементарный анализ: подход через бесконечно малые» Х. Джерома Кейслера — бесплатный учебник по математическому анализу с особенно понятными и хорошо написанными объяснениями.
Книга охватывает действительные и гипердействительные числа, дифференцирование, непрерывные функции, интегрирование и его применения, пределы, аналитическую геометрию, тригонометрические, экспоненциальные и логарифмические функции, бесконечные ряды, векторы, частные производные, кратные интегралы, векторный анализ и дифференциальные уравнения.
Подробные объяснения сопровождаются множеством примеров, упражнений и диаграмм, которые помогают лучше понять основные идеи. Думаю, эту книгу полезно держать под рукой как справочник по перечисленным темам, особенно студентам, которым нужны понятные объяснения и много материала для практики.
https://people.math.wisc.edu/~hkeisler/keislercalc-06-03-26.pdf
«Теория информации, логический вывод и алгоритмы обучения» Дэвида Маккея — полезный справочник по теории информации, байесовскому выводу, машинному обучению, кодам коррекции ошибок, информатике и нейронным сетям.
Книга начинается с фундаментальных принципов и охватывает энтропию, сжатие данных, теорию вероятностей, байесовские методы, графические модели, методы Монте-Карло, теорию кодирования, нейронные сети, кластеризацию, разреженные графы и многие другие темы.
Объяснения сопровождаются примерами и диаграммами, которые помогают лучше разобраться в рассматриваемых концепциях. Материал изложен строго, но доступно для читателей с базовой математической подготовкой.
Полная 640-страничная версия книги доступна бесплатно:
[https://inference.org.uk/itprnn/book.pdf]
«Exploring Combinatorial Mathematics» Ричарда Грассла и Оскара Левина — бесплатный open-source учебник по комбинаторике, доступный онлайн и в PDF.
Книга написана для graduate-курса по дискретной математике и особенно подойдёт тем, кто уже немного знаком с математическими доказательствами.
Внутри — как базовые, так и продвинутые темы:
— треугольник Паскаля и биномиальные коэффициенты
— методы подсчёта
— рекуррентные соотношения
— числа Фибоначчи и Каталана
— принцип включения-исключения
— производящие функции
— числа Стирлинга и Белла
— разбиения целых чисел
— теория графов и раскраска графов
— теория Рамсея
— паросочетания в двудольных графах
— и многое другое.
В каждой главе есть практические задания, задачи, подсказки и решения, поэтому учебник подходит и для университетского курса, и для самостоятельного изучения.
https://openmathbooks.org/ecm/ecm.html
ТОП-5 БЕСПЛАТНЫХ КУРСОВ ПО ИИ-АГЕНТАМ:
1. Hugging Face — AI Agents Course
> https://huggingface.co/learn/agents-course
2. DeepLearningAI — AI Agents in LangGraph
> https://deeplearning.ai/courses/ai-agents-in-langgraph
3. DeepLearningAI — Multi AI Agent Systems with CrewAI
> https://deeplearning.ai/short-courses/multi-ai-agent-systems-with-crewai/
4. Microsoft Learn — AI Agents for Beginners
> https://microsoft.github.io/AI-For-Beginners/agentic-ai/
5. DeepLearningAI — Building Code Agents with Hugging Face smolagents
> https://deeplearning.ai/courses/building-code-agents-with-hugging-face-smolagents
Новое исследование Meta и CMU про agentic context management для long-horizon задач.
Стоит сохранить.
Продакшен-агенты накапливают всё больше контекста с каждым шагом. Обычно проблему решают через сжатие по порогу токенов, отбрасывая остальное. Из-за этого компрессия может сработать в момент, который вообще не связан с текущей задачей агента.
В ACM агенту дают отдельные инструменты для управления контекстом. Он сам решает, когда что-то сжать, переносит отброшенные детали во внешнее хранилище памяти и позже запрашивает их обратно, если они снова понадобятся. По сути, информация переезжает из краткосрочного контекста в долгосрочную память.
Авторы также построили post-training pipeline на качественных демонстрациях управления контекстом. Это дало 27% относительного прироста на BrowseComp-Plus и позволило приблизиться к open-source моделям, которые примерно в 40 раз крупнее.
Лучшее управление контекстом снижает пиковое потребление токенов, позволяет агенту дольше исследовать задачу до упора в контекстное окно и делает результаты стабильнее между независимыми запусками одной и той же задачи.
Код, данные и чекпоинты опубликованы.
Paper: https://arxiv.org/abs/2607.23809
В открытом доступе есть один из самых известных учебников MIT по computer science — Structure and Interpretation of Computer Programs (SICP).
Это больше 650 страниц не столько про конкретный язык, сколько про то, как вообще думать о программах и вычислениях.
Вместо очередного фреймворка здесь разбираются базовые идеи: абстракции, рекурсия, higher-order functions, состояние, lazy evaluation, устройство интерпретаторов, компиляция и register machines.
SICP много лет использовался в MIT как вводный материал по computer science, и его ценность как раз в том, что он учит смотреть на код глубже, чем на набор синтаксических конструкций.
Книга доступна бесплатно целиком:
https://web.mit.edu/6.001/6.037/sicp.pdf
11 методов оценки LLM, которые стоит знать AI-инженерам:
Две eval-метрики могут поставить одни и те же две модели в противоположном порядке — и при этом обе будут правы.
Например, модель может перефразировать эталонный ответ и получить почти ноль по BLEU, но при этом оказаться почти на вершине по BERTScore для того же самого результата.
И ни одна из метрик не ошибается: BLEU измеряет совпадение формулировок, а BERTScore лучше улавливает смысл.
Именно поэтому оценка LLM разбита на несколько подходов, каждый из которых опирается на свои предположения.
Reference-based — когда есть ground truth:
BLEU
ROUGE
BERTScore
Judge-based — когда ground truth нет:
G-Eval
LLM-as-Judge
LLM juries
Human и deterministic:
Human eval
DAG
Для агентов:
Trajectory accuracy
Multi-turn eval
Как gate перед продом: Safety eval
На практике большинство этих метрик уже реализованы в Opik — open-source проекте с 20k+ звёзд на GitHub. Он позволяет запускать evals поверх traced production data и начать работу буквально с нескольких строк кода.
GitHub: https://github.com/comet-ml/opik
Но сами метрики лишь показывают, какой кейс сломался.
Остальная работа обычно всё ещё делается вручную: нужно открыть trace, понять, на каком span всё пошло не так, изменить prompt или описание tool, повторно запустить кейс и проверить, что исправление не сломало что-то ещё.
Сооснователь автора сделал подробный walkthrough с кодом, который автоматизирует этот цикл с помощью Opik.
В нём показан полный workflow: неудачный trace диагностируется, исправление прогоняется на том же input, где возникла ошибка, а затем этот input остаётся в eval set как regression case, чтобы проблема не повторилась.
В основе Kimi 3 лежит новый механизм под названием delta attention, который не хранит постоянно растущий KV-кеш. Именно поэтому модель может работать с контекстом в миллион токенов без взрывного роста потребления памяти.
Но прежде чем разбираться в delta attention, нужно понять, как работает обычный attention.
По сути, это поиск по таблице. Каждый токен хранит:
- key — что-то вроде адреса;
- value — содержимое по этому адресу.
Чтобы сформировать выход, токен отправляет query, сравнивает его со всеми ключами в последовательности и получает смесь значений, ключи которых подошли лучше всего. Именно это показано в верхней части схемы.
Обычный attention хранит каждую такую пару key-value в виде списка — по одной записи на токен. Этот список и называется KV-кешем.
Он растёт вместе с длиной последовательности, поэтому каждому новому токену приходится просматривать весь кеш, чтобы сформировать результат. Если удвоить длину контекста, удвоятся и объём хранения, и количество операций поиска. Отсюда берутся квадратичная стоимость и быстро растущее потребление памяти.
Delta attention сохраняет сам механизм поиска, но избавляется от списка.
Вся история сжимается в одну матрицу фиксированного размера, которая продолжает работать как таблица поиска. Передаёте ей ключ — она возвращает значение, которое прошлый контекст связал с этим ключом.
Неважно, тысяча токенов в контексте или миллион - размер матрицы остаётся прежним.
Самая сложная часть это запись новых данных.
Нельзя просто добавить новую пару в матрицу фиксированного размера (новые записи начнут накладываться на старые и смешиваться с ними). Delta rule решает эту проблему в два шага для каждого токена. Они показаны в нижней части схемы.
→ Сначала чтение, затем запись.
Матрице передаётся ключ нового токена, после чего проверяется, какое значение память уже возвращает по этому адресу — то есть её текущая оценка.
→ Записывается не само значение, а разница.
Текущая оценка сравнивается со значением, которое нужно сохранить. В матрицу записывается только расхождение между ними. Это расхождение и называется delta. Оно корректирует старую ассоциацию, а не накладывает поверх неё новую.
Матрица также позволяет старым записям постепенно затухать. Благодаря этому память фиксированного размера может продолжать поглощать длинную последовательность, не переполняясь.
Именно в этом заключается разница, показанная на схеме.
Обычный attention запоминает всё, сохраняя каждую запись, и платит за это квадратичной стоимостью повторного сканирования.
Delta attention запоминает, постоянно перезаписывая одну матрицу, и работает с линейной стоимостью.
Но компромисс здесь реальный.
Сжатая матрица не может хранить каждый токен абсолютно точно, поэтому восстановление конкретного токена становится приблизительным. Именно поэтому в реальных моделях обычно комбинируют оба подхода: несколько слоёв full attention оставляют для точного поиска, а остальные работают в линейном режиме.
Вся разница сводится к одному глаголу:
Обычный attention добавляет. Delta attention корректирует.
Подробнее: https://kimi.com/blog/kimi-k3
NVIDIA сократили время запуска DeepSeek-V4 Pro с 8 минут до менее чем 2 минут, перенеся веса в память GPU по самому быстрому маршруту — через GPU-to-GPU RDMA.
Этого удалось добиться с помощью NVIDIA ModelExpress (MX) — сервиса распределения весов и управления кешем в NVIDIA Dynamo. Тот же подход ускоряет не только инференс, но и постобучение с использованием RL.
MX переиспользует кеши ядер, а воркеры инференса получают обновлённые веса напрямую с других GPU через NIXL. Это позволяет отказаться от централизованной рассылки и вывести перенос весов за пределы критического пути.
Kimi K3 обучила тернарную модель с нуля.
Каждый линейный слой в ней тернарный: каждый вес строго равен −1, 0 или +1.
И… это работает. Причём почти ничего не стоит.
Архитектура и датасет те же, что и в stories15M Андрея Карпаты. Его модель с полной точностью используется как базовая, а эта — её тернарный аналог.
Итоговый val loss с тернарными весами: 1,6074.
У версии той же модели с полной точностью: 1,5970. Разница: всего +0,01.
Во время обучения forward pass модели всегда выполнялся только с тернарными весами. FP32-веса служили лишь вспомогательной структурой для вычисления градиентов. То есть тернарные веса — не сжатая копия модели. Они и есть сама модель. FP32-чекпоинт можно просто выбросить.
После того как линейные слои стали почти бесплатными — 1 байт на вес и никаких умножений — FP32-матрица эмбеддингов начала занимать 70% всего хранилища модели.
Удешевляешь очевидную часть — и сразу обнаруживается настоящий bottleneck.
https://github.com/brianbell-x/ternary15M
веса - https://huggingface.co/brianbellx/ternary15M
CPU, GPU, TPU, NPU и LPU: в чём разница
Сегодня для AI-нагрузок используются пять основных аппаратных архитектур. Каждая по-своему балансирует между универсальностью, параллелизмом и доступом к памяти.
CPU — универсальный процессор с небольшим количеством мощных ядер. Он хорошо справляется со сложной логикой, ветвлениями, операционными системами и базами данных, но менее эффективен в повторяющихся матричных вычислениях.
GPU использует тысячи более простых ядер, которые параллельно выполняют одинаковые операции над разными данными. Именно поэтому GPU стали основной платформой для обучения нейросетей.
TPU ещё сильнее специализированы под AI. Их основа — массивы MAC-блоков, через которые веса, активации и промежуточные результаты передаются без постоянного обращения к памяти. Выполнением управляет компилятор, а сама архитектура изначально создавалась Google для нейросетевых задач.
NPU оптимизированы для энергоэффективного инференса на устройствах. Они используют MAC-массивы и встроенную SRAM, но работают с низкопотребляющей системной памятью вместо HBM. Такие процессоры устанавливают в смартфоны, ноутбуки, носимые устройства и IoT-системы. К этому типу относятся Apple Neural Engine и NPU от Intel.
LPU — архитектура Groq, созданная для обработки языковых моделей. Она исключает внешнюю память из критического пути: веса хранятся во встроенной SRAM, а выполнение полностью планируется компилятором. Это устраняет промахи кеша и накладные расходы на планирование во время работы.
Главный недостаток LPU — ограниченный объём памяти на одном чипе, поэтому для запуска крупной модели приходится объединять сотни процессоров. Однако это позволяет заметно снизить задержку.
Эволюция AI-железа движется от универсальных CPU к всё более специализированным архитектурам. На каждом этапе часть гибкости обменивается на производительность и энергоэффективность.
Общая задача всех этих архитектур — сократить перемещение данных. Сами вычисления не являются главным ограничением: сложнее обеспечить вычислительные блоки данными с достаточной скоростью.
Та же проблема возникает и на программном уровне. Во время инференса LLM один GPU может ежедневно создавать терабайты KV-кеша, большая часть которого затем удаляется и пересчитывается. Это одна из причин высокой стоимости агентных нагрузок.