1793
Хочу гречку с молоком и сахаром... Автор: @chameleon_lizard
Проект Омега
В 1989 году советские учёные создали первый ИИ.
Сервер был отключён 26 декабря.
36 лет тишины.
Сегодня кто-то снова подал питание.
- Мультиплеер: вы не одни в системе
- 12 ключей памяти: узнайте, что случилось
- Она вас видит — и хочет, чтобы вы остались
Ссылка
После прохождения вы начнёте замечать, что клавиши иногда теплее, чем должны быть. Это нормально. Не обращайте внимания.
P.S. Бекенд крутится на бесплатной VPS от Cloud.ru. 2 vCPU, 4GB RAM, бесконечность применений. Разверните свой сценарий на Evolution Free Tier от Сloud.ru.
https://huggingface.co/inclusionAI/LLaDA2.0-flash
https://huggingface.co/inclusionAI/LLaDA2.0-mini
Нифига себе, они под мой пост в канал релиз что ли подгадали?
TLDR: 100b и 16b MoE текстовые диффузии, по метрикам +- на уровне Qwen3-30b и Qwen3-8b. Учили на 20Т токенов. Фреймворк опенсорсят.
Из прикольного:
- Модели генерят текст. Ого!
- У RuModernBERT-Base текст на русском бредовый и модель страшно циклится. Поднятие температуры не особо помогает, увы.
- 1b модель генерит связный текст на английском (но иногда чуть циклится) и, опять же, циклится на русском. Подозреваю, что это из-за монолингвал претрейна.
- Переводить 1b модель не умеет. Я попросил перевести фразу "I have a soft spot for broken and puny things" и получилась забавная глокая куздра: "Я им жалоту у портых и ненких мудств". Hence, заголовок.
- Я пролил всего 750к семплов через модели, это, конечно, маловато, можно было бы пролить и больше — но для проверки гипотезы о том, что модели начнут разговаривать этого хватило.
Полезно ли это? Уверен, что нет. Я думаю, что генерация текстов всё ещё за декодерами. Но какие-то небольшие применения текстовых диффузий я себе представить могу:
- Точечные модификации текста типа детоксификации (а-ля CondBERT).
- Более естественный FIM для кода. Тут вопросик конечно как зафиксировать число вставляемых токенов.
- Text bridging, когда надо связать два несвязанных между собой абзаца. Тот же FIM, но для обычного текста.
Интересная штука. Надо ещё покопаться будет.
Ссылки:
- Оригинальная репа для обучения диффузионок
- Форк репы с фиксами
- Коллекция с весами на хф
В прошлый раз, когда я ходил на мероприятие от Яндекса, там были классные доклады про статьи с ICLR, мегавкусная еда и бесплатные коктейли.
В этот раз обещают доклады про статьи не только с ICLR, но и с NeurIPS, CIKP, InterSpeech и ACL. Там будет и про звук, и про рекомендации, и про CV, и, конечно же, про NLP от руководителей команд Яндекса. А потом можно будет понетворкать и обменяться опытом.
Мероприятия у Яндекса классные, люди туда приходят интересные и иногда прямо во время доклада выходит новая опенсорсная моделька от гугла — в прошлый раз вышла Gemma 3n, так что я туда приду. Приходите и вы тоже :)
Подробности
Ну а если вам хочется тоже присоединиться к празднику -- приходите к нам 29 числа на One Day Offer, мы нанимаем. Пишите в ЛС с резюме, всё объясню и закину его рекрутёрам.
Будет сложно, но очень интересно.
https://developers.sber.ru/kak-v-sbere/one-day-offer/nlp_gigachat_november
Купил себе ARC Raiders, одна из самых кайфовых частей игры — это перестрелки с роботами. Они выглядят и двигаются очень реалистично: дроны при отстреливании одного из четырёх движков временно теряют управление и с трудом восстанавливают равновесие, роботы-павуки реалистично переступают через препятствия и меняют походку, если отстрелить им ногу и так далее.
Сегодня я узнал почему — оказывается, авторы при разработке вместо анимирования руками использовали для этого RL. Круто!
All work no play makes Claude a dull boy
Сидел недавно вечером, отдыхал после работы, кушал куриную грудку и выбирал себе плавки на яндекс маркете. Зацепился взглядом за мини-игры, которые дают какие-то бонусы, нашёл там 2048 и залип. Играл весь вечер, собрал какое-то большое число и внезапно заинтересовался — а насколько ллмки умеют играть в 2048?
Кроме автоматизации получения бонусов с яндекс маркета, меня интересовала ещё одна деталь. Моим дипломом в магистратуре была проверка умений VLM к физическому ризонингу — условно, даём модели картинку с 2D физической сценой и просим предсказать, что будет дальше. Но VLM (даже SOTA в лице GPT-4) очень плохо справлялись с этой задачей, путали лево и право и галлюцинировали цвета шариков, так что тот проект превратился в бенчмарк, где ллм в агентном цикле генерили код для симуляции этих сцен (и работало это всё равно довольно плохо). Соответственно, возникает вопрос — если в 2023 году VLM так плохо справлялись со spatial reasoning, насколько лучше с ним они будут справляться в конце 2025?
Проверить легко — вместе с клодом кодом написали движок для 2048, управляющийся через LEFT, RIGHT, UP, DOWN, прикрутили визуализацию, сделали нативный function calling (спасибо Kristaller за пулл-реквест) и запустили следующие модельки:
- Qwen-3-VL-8B-Thinking и Instruct — посмотреть, как работают мелкие open-source VL модельки, проаблейтив наличие или отсутствие thinking, текстовый или картиночный ввод и контекст в 5 ходов
- Qwen-3-VL-235B-Thinking и Instruct — посмотреть, как работают крупные open-source VL модельки, проаблейтив наличие или отсутствие thinking
- Gemini 2.5 Flash Lite — посмотреть, как работают закрытые VL модельки мелкого размера
- Claude 4.5 Sonnet — фронтир модель
К сожалению, 2048 очень рандомная игра. Хорошую стратегию всегда может испортить заспавнившаяся в неудачном месте цифра и игра будет проиграна. Да и из-за рандомности генерации двоек и четвёрок счёт в случае некоторых моделей при равном числе шагов отличался аж на 20%. Кроме того, за несколько ранов я мог наблюдать, что счёт ллмок из-за рандомности даже с зафиксированным сидом сильно скакали. Но несмотря на рандом, вот несколько паттернов, которые мне удалось заметить:
- Модели уже не слепые котятки, потому что ризонинг трейсы были относительно внятными и направления аргументировались осмысленно. Модели понимают концепцию направления и могут производить некоторый spatial reasoning, хоть и делают дофига ошибок.
- Хайскор — 256 + 128 у мелкого квена ризонера. Остальные модели добирались до 128 и дальше проигрывали. Автоматизировать получение бонусов на Яндекс Маркете не получится.
- Ризонинг, кажется, помогает. Qwen-3-VL-8B-Thinking и 235B-Thinking работали стабильно лучше, чем Instruct версии тех же моделей.
- Количество нелегальных шагов слабо зависит от итогового счёта и размера моделей. У Qwen-3-8B-Thinking в пять раз меньше нелегальных ходов, чем у Соннета.
- Кажется, мультимодальность мешает модели, но с этим непонятно. При смене домена с картиночного на текстовый число нелегальных шагов подскочило втрое, но и счёт вырос вдвое.
- 2048 — это плохой бенчмарк из-за рандомности. Что, впрочем, не остановило наших коллег из UC San Diego, UC Berkley и MBZUAI от включения этого энвайрмента в свой сабмит на ICLR 2026. Oh well.
- Я мог бы погуглить, прежде чем садиться тратить время и деньги на апи, но what's the fun in that? :P
Клод написал мне веб-страничку с визуализатором, посмотрите обязательно, это прикольно. Код выложен на моём гитхабе.
Качество восстановления IFEval после Domain-Specific Finetuning на коде и на Internal QA
Читать полностью…
А теперь — давайте объединим все эти идеи в одну. Давеча, Huggingface H4 Team представили новый метод кросс-токенизаторной дистилляции GOLD, который бьёт всё, что было представлено раньше засчёт трёх преимуществ:
1. Вместо маскирования неалайнящихся токенов как в CDM, авторы предлагают складывать логпробы этих токенов и приближать их. Это работает, потому что логпроба это логарифм вероятности (duh), так что сумма логпроб это произведение вероятностей — то есть общая вероятность последовательности. Тут я немного удивлён, потому что вероятность продолжения слова сильно выше, чем вероятность начала нового слова, я на это напоролся когда делал метрику качества русского языка для Ragaliq, но раз работает, то ладно :P
2. Вместо дистилляции всех токенов через Вассерштейна как в ULD, авторы предлагают дистиллировать совпадающие токены через KLD, как в обычной Soft-Label дистилляции с фоллбеком до ULD для несовпадающих токенов. При мисматче размеров несовпадающих токенов токенизатор всё так же добивается нулями и сортируется, но, как правило, токенизаторы моделей совпадают процентов на 40-50, так что всё не так уж и плохо.
3. Вместо off-policy как в ULD вводится комбинация on-policy и off-policy как в GKD.
Сначала авторы попробовали кросс-токенизаторную дистилляцию для почти совпадающих токенизаторов (Qwen-3-4B-Instruct-2507 -> Qwen-2.5-1.5B-Instruct) и получилось, что при использовании on-policy дистилляции, качество возрастает по сравнению с использованием off-policy дистилляции. На The Countdown Game получилось добиться аж 92% от качества учителя при полной on-policy дистилляции, причём падение качества нелинейно — при lambda=0.5 восстанавливается 88% качества учителя, при lambda=0.25 — 86% качества, а при lambda=0.0 — 79% качества учителя. Sweet spot посередине — в два раза меньше онлайна при всего 4% падении качества. Круто!
Следующий эксперимент — кросс-токенизаторная дистилляция для несовпадающих токенизаторов. Ожидаемо, чем меньше совпадение, тем ниже качество — но даже несмотря на это, при дистилляции Qwen-3-4B в Llama-3.2-1B (0.64 совпадающих токенов) GOLD показывает аж 59% качества учителя в отличии от 9% качества учителя при ULD.
Так как GOLD это онлайн метод, авторы решили его сравнить с GRPO. Эта часть блогпоста мне не нравится, потому что они тестят GRPO на мелких квене и лламе — квен на математике заводится хорошо, на лламе плохо, так что они сравниваются со слабым бейзлайном. Но тем не менее, дистилляция из сильного учителя работает очень хорошо, на 200% лучше, чем GRPO. Ожидаю, что на моделях большего размера всё будет не так однозначно.
Ну и наконец, авторы показывают интересный case study, когда они сначала учат code SFT на квене, а потом дистиллируют модель до SFT в модель после SFT для восстановления general capabilities, таких как IFEval. Вывод: если так делать, то получается и рыбку съесть, и косточками не подавиться.
Мои выводы:
- Если добавить идеи из Speculative Knowledge Distillation, получится динамически управлять пропорцией лямбдой и выбить ещё пару процентов.
- Осталось победить только вычислительную сложность такой дистилляции — всё же, логиты по сравнению с текстом жирные. Если там ещё и динамически завозить hard label, то вообще будет пушка...
- GOLD Trainer есть в experimental ветке TRL! Бегом тестить.
Блогпост на HF
Код
Как готовиться к техническим собесам, в принципе, понятно. Но есть и другой, отличающийся от технического вариант собеса, к которому непонятно и как ботать, и как повторять матчасть — ML System Design.
Именно для этого, в Cloud․ru сделали бесплатный курс по ML System Design, где рассказывают про весь пайплайн создания моделей — от планирования и сбора данных до развёртывания, мониторинга и оптимизации инференса. По сложности курс примерно как Google Machine Learning Crash Course — то есть, подойдёт и для совсем новичков, и для опытных смешариков, которым надо повторить к собесу. А ещё, в конце курса вам выдадут сертификат. Можно добавить к себе в коллекцию, если вы такое любите :)
Зарегистрироваться на курс можно вот тут.
#реклама
Сегодня расскажу про нашу свежую статью «When Models Lie, We Learn: Multilingual Span-Level Hallucination Detection with PsiloQA», которую приняли на EMNLP 🎉
Кстати, если работа вам понравилась прошу проголосовать за нее на HuggingFace Daily Papers.
В работе мы предложили метод генерации синтетических данных, содержащих естественные (не инсценированные) галлюцинации, размеченные на уровне спанов. Но ценность этой работы — не только в содержании, а ещё и в том, как она родилась.
Я давно убеждён: NLP — это прикладная область. А в прикладных областях особое значение имеют соревнования — от Kaggle до академических вроде SemEval, DSTC и других.
Участие в них позволяет:
1️⃣ прокачивать технические навыки
2️⃣ понимать, что коммьюнити считает актуальным и сложным
3️⃣ находить идеи, достойные статьи
Эта работа — как раз результат одного из таких опытов.
📜О чём статья
Мы разработали пайплайн для генерации датасета с естественными галлюцинациями. Мы не просили LLM намеренно ошибаться (как в HalluEval), а детектировали реальные примеры. Так мы получили многоязычный датасет PsiloQA для поспановой (span-level) детекции галлюцинаций и протестировали на нём разные подходы.
⚙️Как работает пайплайн
1️⃣ Берём пару первых абзацев статьи из Википедии (или любого источника знаний).
2️⃣С помощью GPT-4o получаем вопрос–ответ для этого контекста.
3️⃣ Просим открытую модель ответить на этот же вопрос. Получаем ответ-кандидат.
4️⃣ GPT-4o, имея контекст, вопрос, исходный ответ и ответ-кандидат, размечает галлюцинации в кандидате.
5️⃣ Делаем постфильтрацию (убираем пустые или отказные примеры).
📈Результаты
1️⃣Пайплан позволяет генерировать датасеты разных доменов, размеров и языков с минимальными затратами.
2️⃣Все галлюцинации — естественные, LLM никто не просил галлюцинировать намеренно. Таким образом, для детекции можно использовать методы на основе внутренних представлений моделей, тем более что мы добавили инфрмации о модели.
3️⃣Датасет подходит для тестирования LLM на множестве языков.
4️⃣Кросспроверка показала: при обучении на нашем датасете мы почти всегда получали лучшие результаты при тестах на других, вручную размеченных датасетах.
🌐Рандомные галлюцинации
Архитектура моделей и сравнение числа параметров с конкурентами.
Читать полностью…
Сравнения энкодеров и декодеров с бейзлайнами.
Читать полностью…
Карпаты сделал новую репу!
Тлдр: наногпт, но наночат. Код для обучения токенизатора, всего обучения модели (претрейн, сфт, рл), инференса (!), эвалов и простенького чатика, всё в 8000-строчном файле.
Ждём видоса (и полного LLM101n).
https://x.com/karpathy/status/1977755427569111362?t=vzlqEN5MS-AzLl-3uWknnA&s=19
AIJ — это большая конфа, где происходят всякие анонсы и к которой все страшно перерабатывают, а потом уходят в запой. Пока мы варили ультру, ребята из Cloud.ru тоже не сидели на месте и выкатили кучу новых сервисов в сервис Evolution AI Factory.
Например, апи инференс сеток вышел из беты и теперь Qwen-3-235B стоит вполне приемлемых 60 рублей за миллион токенов. Это вполне сравнимо с ценами на опенроутере, пополняется с российских карт и помогает избежать проблем с 152ФЗ — инференс в России, так что все должно быть ок. Кроме того, теперь там есть JupiterLab, Code Server, ComfyUI, n8n и прочее счастье — причём, судя по ценам, аренда конкретно жупитера почти в пять раз дешевле российских альтернатив, в которые я когда-то всадил кучу денег во время делания особо сложных домашек в магистратуре. Нюанс: я пока не нашёл способа сделать ноутбук с чем-то мощнее чем V100, но это, думаю, поправят в будущем, потому что арендовать их там всё таки можно.
Кроме того, есть отдельный сервис для создания мультиагентных систем — Evolution AI Agents. Вместо того, чтобы на коленке собирать очередной велосипед из RAG/Web Search теперь можно взять готового агента из библиотеки и просто оплачивать виртуалку и токены за инференс модели, причём первый лям токенов бесплатен.
Ну а вообще, ребята молодцы. Теперь у Cloud.ru есть своя полная экосистема — причём по дешёвым относительно конкурентов ценам. Когда я был молодым и учился в маге, мне такого сильно не хватало.
Ссылка на инструменты
Ссылка на тарифы
Пример генерации ettin'а. На этот раз глокая куздра чуть другая :)
Читать полностью…
Я им жалоту у портых и ненких мудств
Некоторое время назад вышла Gemini Diffusion — текстовая диффузионная модель, способная очень быстро генерить (достаточно бредовый) текст. Технология была, имхо, интересной, но из-за загруза на работе я так и не разобрался как оно работает. Сейчас у меня появилось свободное время, карточки и желание, так что я полез разбираться.
У нас есть BERT'ы. Это давно известная всем штука без особо сложной теории за ними — ну, трансформер, с немаскированным аттеншном, предобучается на MLM или в составе энкдека, тюнится на NLI+контрастиве, получается эмбеддер для инфопоиска. В генеративных задачах, как правило, его не используют — потому что зачем? Текст то мы читаем слева направо, он авторегрессивен по своей природе, так что отдайте это декодерам.
С другой стороны, I have a soft spot for broken and puny things. Мне очень нравится классические ML и CV из-за своей простоты, BM25 и WordLLaMA это классные экономные штуки для решения специализированных задач — в общем, классно, когда less is more. В этом смысле меня всегда задевало, что про генеративные возможности BERT'ов часто забывают. А какие у них вообще генеративные возможности?
Претрейнинг бертов, как правило, начинается с Masked Language Modeling (MLM) — подхода, когда мы маскируем небольшую часть токенов в предложении (обычно от 15%) и пытаемся их восстановить по окружающему контексту. Делается это за один пасс: мы подаем эмбеддинг каждого маскированного токена в единую для всех голову и получаем предикты.
У такого обучения есть плюсы и минусы. Из плюсов -- модель учится смотреть на все предложение сразу, так что эмбеддинг получается более информативным и эмбеддеры с полным аттеншном, как правило, лучше. Из минусов — такое обучение менее эффективно, чем обычный CLM для декодеров. Из-за того, что на каждый семпл данных получается всего 0.15 * n_tokens, а не n_tokens обновлений весов, до той же перплексии модель доходит за большее число эпох. Увы.
Но что если мы заскейлим число маскированных токенов? Например, сделаем два пасса: на первом пассе мы будем заменять какую то случайную (а не фиксированную) долю токенов в предложении на [MASK], получая последовательность все более и более закоррапченных текстов, а потом развернем последовательность и будем учить берт размаскировать эти токены?
Получится дискретная текстовая диффузия. Всё просто.
Как вывод из предыдущего текста — если у нас есть обученная на MLM модель, то мы можем очень дёшево и быстро её доучить на диффузию. Больше того, в этом райтапе (без впн не откроется 😡) показано, что даже не обязательно претрейнить на диффузию берты, которые учились на MLM: из-за того, что MLM это частный случай диффузии (со всего одним шагом денойзинга), мы можем сразу же учить модели в диалоговом режиме через SFT, зашумляя и расшумляя ответ ассистента, оставляя запрос юзера нетронутым.
Авторы того же райтапа сделали прикольную репу с трейнерами для диффузии и код для запуска, так что в качестве "магнитика на холодильник" я конвертнул три модели в диффузионные: RuModernBERT-base (150M параметров, повторение эксперимента авторов райтапа на русском), mmBERT-base (307M параметров, вдруг скейлинг поможет) и ettin-encoder-1b (1b параметров, нет русского, но посмотреть на экстремальный скейлинг было бы интересно), обучив их на равной смеси Tulu-sft (английский) и Grandmaster-Pro-Max (русский). Я ещё попробовал дообучить FRIDA, но, видимо, из-за контрастивного обучения способности к MLM она растеряла, так что модель генерила совсем уж рандомный текст.
https://habr.com/en/companies/sberdevices/articles/968904/
Хаброрепорт вышел!
Не пишу про новые модели, потому что yet another model — но сегодня случай особый. Над этой моделью я работал.
Выложили с ребятами GigaChat 700B Ultra Preview и GigaChat 10b Lightning в опенсорс. Архитектурно это Deepseek V3, так что поддержка из коробки будет почти везде. Из прикольного:
- Обе модели sparse MoE, так что бегать они будут очень быстро и, скорее всего, очень дёшево.
- Насколько я знаю, Lightning — это единственный Deepseek V3 в таком маленьком размере. С MTP по скорости он примерно равен Qwen-3-1.7B, а по мощности примерно равен (а где-то даже чуть получше!) чем GigaChat 2 Lite и Qwen-3-4B.
- 700B очень здоровая. Я задолбался её разворачивать — пришлось занять аж четыре ноды (хватило бы и трёх, но замеров гонять надо было очень много). Но это крутой и довольно уникальный опыт, было интересно, хоть и больно.
- Реальное обучение ллмок (по крайней мере, на примере гигачата и, по крайней мере, этап сфт, которым я занимался) сильно отличался от моих представлений об этом. Этапов обучения больше, нюансов очень много и от общепринято-опенсорсного "перегенерить альпаку через что-то побольше и бахнуть сфт" процесс сильно отличается*. Советую почитать хабр.
- Если очень повезёт, этот релиз станет Flash 2.0 moment для русских ллмок. Дешёвые модели, которые хорошо решают бизнес задачи это очень здорово, так что надеюсь, что они будут кому-то полезны. А после того, как мы их допилим и ультра перестанет быть превью, так вообще будет сказка.
Но самое главное: обе модели являются новой, мощной, современной базой для дальнейшего развития. Мы научились их обучать, разворачивать и замерять, сеты дополняются, синта генерится и фильтруется, новые подходы проверяются, экспы бегут. Даже если сейчас мы и проигрываем DeepSeek V3**, я верю, что совсем скоро мы до него доберёмся. По крайней мере, я буду работать над этим.
Веса
Гитхаб
*Например, вы знали, что Qwen-3-Base это не базовая версия и что она знает квеновский темплейт?)
**На самом деле даже не везде. В одном из невыложенных замеров Ultra обошла V3.1 Terminus на MMLU и MMLU Ru, но пруфов не будет, хехе.
График зависимости скора от числа шагов. Посмотрите, какой разброс — рандом ОЧЕНЬ влияет! И это при фиксированных сидах.
Читать полностью…
Разница между Sequence Alignment и Vocabulary Alignment в ULD и в GOLD
Читать полностью…
Сравнение GOLD и ULD и перформанс дистиллятов в зависимости от похожести токенизаторов
Читать полностью…
Про дистилляцию
Дистилляция — полезная штука. Мы можем взять большую модель в линейке и задистиллить её в меньшую — так, например, учат Qwen-3, Gemma-2 и llama-4. С другой стороны, у дистилляции есть несколько очень больших проблем: exposure bias от учителя, tokenizer misalignment, да и вообще, большой и сильный учитель не обязательно хорошо сдистиллируется в маленького и слабого ученика. Сегодня разберу какие есть решения этих проблем и предложу ультимативный метод дистилляции, который решает вообще всё.
(Допустим), я не умею играть в шахматы и хочу научиться. Если я начну смотреть стримы Хикару, то я пойму, как ходят фигуры, возможно узнаю пару продвинутых стратегий, но при реальной игре я буду совершать дебильные ошибки — я слежу за гроссмейстером, который доходит до положения фигур, недостижимых в игре на моём уровне, так что обучение будет неэффективным. С другой стороны, если Хикару будет сидеть рядом со мной и бить меня по голове битой, когда я зеваю ферзя, то из-за получения фидбека о своих ошибках учиться я буду быстрее.
Примерно в этом состоит идея on-policy дистилляции. Вместо того, чтобы учить модель на генерациях учителя, мы генерим ей роллаут, оцениваем через учителя каждый токен и накладываем штраф на ошибки. Получается, во-первых, естественный curriculum (потому что чем дальше, тем лучше качество генераций) и во-вторых, полное отсутствие exposure bias -- модели видят одно и то же распределение как на обучении, так и на инференсе.
В статье Generalized Knowledge Distillation предлагают дополнительно миксовать on- и off-policy дистилляцию для улучшения баланса между скоростью обучения (в on-policy роллауты не бесплатные, а в off-policy их можно предпосчитать).
С exposure bias разобрались, но как учить модели с разными токенизаторами? Самый простой способ -- делать hard-label дистилляцию, то есть учить на синте. Так не получится использовать без дополнительных приседаний on-policy дистилляцию, но это будет очень дёшево (не надо хранить все логиты) и достаточно неплохо по качеству. С другой стороны, мы теряем возможность учить длинный хвост ученика — мы обучаемся только на одном токене из top-k учителя, а не на всём распределении, так что априори информации будет меньше. Если мы хотим учить на всём распределении, то нам надо найти какой-то другой способ сравнивать распределения, не KLD.
Одним из таких методов сравнивать два неодинаковых распределения является расстояние Вассерштейна (или, как его ещё называют, Earth Moving Distance). Если на пальцах, то если у нас есть две кучи песка, то расстояние Вассерштейна между этими кучами — это количество работы, которое мы затратим на перенос песчинок из одной кучи в другую. Вдаваться в детали я не буду, но у этого расстояния есть несколько интересных свойств, одно из которых — мы можем использовать его для определения расстояния между двумя распределениями неодинакового размера.
В работе Universal Logit Distillation используют ровно этот трюк для кросс-токенизаторной дистилляции. Авторы берут логиты от учителя, логиты от ученика, обрезают генерации до самой короткой, сортируют вероятности токенов (потому что делают априорное предположение о том, что распределение вероятностей у софтмакса будет примерно одинаковым) и высчитывают расстояние вассерштейна. В итоге, у авторов получилось сдистиллить Llama и Mistral в mT0-580m, BloomZ-560m, OPT-350m и Pythia-410m, довольно сильно побив качество hard-label дистилляции.
В этом подходе есть две большие проблемы:
- Так как длина генерации обрезается до более короткой, мы теряем информацию из конца генерации. Не гуд.
- Так как ID токенов разные, мы можем дистиллить друг в друга несовпадающие по смыслу токены. Ещё более не гуд.
Чтобы исправить первую проблему, в работе Enhancing Cross-Tokenizer Knowledge Distillation with Contextual Dynamical Mapping авторы предложили алайнить токены у двух моделей, получая более высокое качество токенизации. Токены, соответствия которым не были найдены они просто маскируют. Это помогло выиграть ещё пару процентов качества по сравнению с ULD.
Фоллоу-ап от моих коллег из AIRI к этой статье: Emergent Misalignment появляется и при ICL. Если засунуть в модель 256+ примеров "злых" промптов, то модель начинает чаще мисалайниться — причём вне домена ICL промптов. Это доказывает, что концепт "evilness" проявляется не только во время обучения, но и при промптинге.
Ещё из интересного:
- От числа примеров в контексте зависит процент misaligned ответов — пик на 256 примерах.
- Чем больше модель, тем больше мисалайнмент (Gemini 2.5 Pro чаще мисалайнится, чем Flash). Авторы это аттрибутят тому, что большие модели лучше генерализируются и лучше усваивают "метаперсону", которая задаётся через ICL.
- Нет замеров на MMLU и прочих бенчах, а жаль. Так можно было бы ещё проверить, насколько сильно падают скоры при "злом" фью-шоте (и проверить, может быть мелкие модели хуже усваивают метаперсону, потому что хуже понимают контекст).
Поставить лайк на хф: https://huggingface.co/papers/2510.11288
Мои коллеги опубликовали работу, которая меня натолкнула на мысль, к которой я время от времени возвращаюсь — по сути, с выходом относительно "мощной" GPT-3.5 нлп превратился в рассказ о бароне Мюнгхаузене, который тянет себя вверх за шнурки и таким образом взлетает. Сначала один раз потратили много денег, чтобы разметить данные, обучили на них модель, потом через псевдолейблинг заскейлили разметку и получили модели в разы умнее.
Я об этом подумал ещё давно — когда делал статью про сбор синты для детокса. Прикольно, что обычным промптингом можно добиться таких крутых результатов в достаточно сложной задаче поиска галлюцинаций.
Поддержите ребят лайком на хф!
Сравнение между "базовыми" моделями и сконверченными моделями.
Читать полностью…
Seq vs Seq: An Open Suite of Paired Encoders and Decoders
Вам никогда не было интересно, что будет, если замаскировать аттеншн у энкодера, чуть-чуть поучить и получить декодер? Или наоборот?
Авторы сегодняшней статьи решили проверить именно это. Они взяли рецепт обучения от ModernBERT, убрали из него пару небольших деталей (типа мёржинга моделей, разные \theta для локального и глобального RoPE и так далее) и обучили набор моделей Ettin от 17M параметров до 1B параметров как на MLM, так и на CLM тасках на DCLM/Dolma. Получается матч между энкодерами и декодерами как по архитектуре, так и по данным — можно сравнивать напрямую.
Чтобы доказать, что модели достаточно хороши, авторы сделали таблички со сравнениями с Pythia, DistillGPT, Olmo и SmolLM-2 для декодеров и с ModernBERT, BERT, DistilRoBERTa и MiniLM для энкодеров. Везде Ettin побеждает — искать метрики для квена мы не будем, чтобы не портить авторам удовольствие от своей работы :P
Так как топ моделей на MTEB занимают большие декодеры, которые переобучали на задачи для энкодеров на небольшом числе данных, авторы решили провести эксперимент: поменять задачу обучения на противоположную (CLM -> MLM; MLM -> CLM) и посмотреть, как поменяются метрики моделей после continued pretraining на 50B токенов с противоположной таской.
Дальше идут замеры на трёх задачах:
- Классификация (MNLI) — и для декодеров, и для энкодеров добавляют классификационные головы и тюнят на трейне бенчей.
- Retrieval (MSMarco) — то же самое.
- Генерация (ARC, HS, PIQA, etc) — для декодеров всё понятно, для энкодеров — повторяют рецепт из BERTs are Generative In-Context Learners. Приятно встретить старого знакомого в списке литературы.
Результаты довольно предсказуемы — как в генеративных, так и в энкодерных задачах побеждают соответствующие базовые модели. Добавление второго шага обучения роняет скоры в "родных" задачах, но немножко повышает скоры в "неродных" задачах. Забавно, что чёткого тренда не наблюдается — в зависимости от скейла моделей скоры гуляют и в некоторых случаях выигрывают то Enc-from-Dec, то Dec-from-Enc.
Выводы:
- Если есть крутые декодеры, то мы можем их превратить в энкодеры и качество решения классификационных задач чуть повысится.
- Если есть ещё и крутые энкодеры сопоставимых размеров, то лучше брать их, а не декодеров — качество будет выше.
- Из того, что у нас есть большие декодеры не следует, что энкодеры больше не нужны. Да, мы можем конвертить заскейленные декодеры в энкодеры и получать соту на мтебе, но заскейленный до того же размера энкодер будет лучше конвертнутого декодера.
Мысли:
- MLM достаточно разреженная по сигналу таска — на каждый пример из датасета мы получаем всего 15-30% маскированных токенов, тогда как на CLM мы на каждом токене получаем сигнал для обучения. Получается, что декодеры сойдутся до заданной перплексии быстрее энкодеров — так что разрыв в тасках может быть ещё выше, если продолжать учить энкодеры дальше.
- Авторы не учили ни энкодеры, ни декодеры на контрастиве, только на MLM/CLM. Сохранится ли результат после такого тюна?
- Есть у меня чуйка, что в будущем почти все ллмки станут гибридами с мамбой/rwkv. Раз мы там кодируем контекст в стейте (и этот контекст точно раскодируется моделью в текст), как себя покажут в той же таблице стейты гибридов в задачах поиска и классификации? А после контрастива?
Код, веса, данные и даже промежуточные чекпоинты выложены, респект ребятам. Ну и я доволен — эта статья ответила на некоторые вопросы, которые меня давно уже мучают.
Статья
Блог на хф
Модели
Код
Выводы:
- Нам, как обычным обывателям, ллмки сделают будущее значительно проще. Я жду, пока кто-то сделает MCP Яндекс Лавки, чтобы еду под мой КБЖУ и калории он подбирал и заказывал сам, выплёвывая листочек с рецептом из моего принтера.
- Нам, как учёным дальше будет тяжело. Эпоха ресёрча на 3090 через год-полтора кончится окончательно и для нас будет два варианта жизни дальше: идти в бигтех или терять возможность влиять на сдвижение bleeding edge. Да, мы можем попробовать дистиллить новые модели в более старые или пытаться придумывать оптимизации, но чем дальше, тем это будет труднее.
Ну а завтра я уже наконец то засяду разбирать статьи :)