5250
Истории и статьи про разработку GigaChat от команды разработчиков. Мы рассказываем про все, что связано с языком, речью и искусственным интеллектом
⚡️ GigaAM теперь может попробовать каждый — в новом приложении Тайп
Мы разрабатываем модели распознавания речи GigaAM. До сих пор, чтобы оценить их вживую, нужно было запускать код. Теперь достаточно поставить приложение: вместе с командой Disrupt мы сделали Тайп — голосовую клавиатуру для компьютера
Тайп — это не отдельное окно, куда надо диктовать, а потом копировать текст. Он всегда под рукой поверх остальных приложений: мессенджера, почты, браузера или редактора кода. Зажмите клавишу, говорите — и текст сам появится там, где стоит курсор.
Что внутри:
🎙 Обновлённая GigaAM. Распознаёт не только речь на русском языке, но и английские слова и англицизмы — можно диктовать так, как вы на самом деле говорите
✍️ GigaEdge Edit, модель постобработки. Оговорились или передумали — поправьте себя прямо во время диктовки: Тайп учтёт исправление и перепишет текст. А ещё можно задать свои правила: например, ставить точки в конце предложений или нет
🔒 Всё работает локально. Звук не покидает ваш компьютер. Не верите — выключите интернет и попробуйте
➡️ Скачать Тайп для Mac, Windows и Linux — на gigatype.app. Очень ждём ваш фидбэк в чате тестеров!
🧠 GigaChat 3.5 Reasoning — первая в России открытая модель с рассуждениями
Выкладываем в open source первую модель GigaChat с полноценным рассуждением. В основе — 432B-A28B MoE. После SFT мы обучили с помощью online RL шесть экспертов по разным направлениям: от математики и кода до агентов, диалога и следования инструкциям. Затем собрали их в одну модель через on-policy distillation: ученик генерирует ответ сам, а эксперт нужного домена оценивает каждый его токен, так что ничего из выученного в RL не теряется.
Что получилось по сравнению с GigaChat 3.5 Instant:
🔘SWE-Verified: 43 → 65
🔘AIME-2026: 67 → 92
🔘IFBench: 44 → 77
Рассуждения заметно усилили кодовые и базовые агентные навыки: модель вышла в паритет с сильнейшими открытыми и закрытыми моделями в следовании инструкциям, структурированной генерации и поиске информации в длинном контексте. При этом на сложной математике она тратит на 37% меньше токенов, чем конкуренты: высокие результаты не обязательно требуют более длинных рассуждений.
На внутренних корзинах в юридическом домене — экзамен по российскому праву, ответы по документам — модель показала себя лучшей среди доступных open source моделей. Также модель хорошо разговаривает на русском, имеет высокие показатели на внутренних и внешних аренах, обгоняя другие русскоязычные нейросети, в первую очередь за счёт фактической точности ответов.
Что интересного в обучении:
— Обучали модель на большом числе сред, а также сами построили 55 уникальных сред с проверяемым результатом, 12 тысяч задач, часть полностью на русском.
— Агент для кода учился внутри настоящих harness.
— Curriculum, который перед каждой стадией убирает уже освоенные задачи и позволяет сократить затраты на инференс вдвое.
— Нативный FP8 на всех этапах.
Подробнее о конвейере обучения, наградах и граблях, на которые мы наступили, — в статье на Хабре.
➡ Хабр: статья
➡ Hugging Face: fp8 | bf16
➡ GitVerse: репозиторий
💚Хотите познакомиться с командой GigaChat лично?
Встречаемся 29 июля!
Никаких докладов и презентаций — просто неформальный вечер на летней веранде: живое общение с коллегами по индустрии, обмен опытом и болями, новые знакомства.
Со стороны GigaChat будут лидеры команд Text, Data, Multimodal и Inference.
Участие бесплатное, но нужна регистрация ⬅️
Ждём всех! 🎉
💵 GigaChat 3.5 Ultra: меньше, быстрее, сильнее
Сегодня мы выкладываем в open source GigaChat 3.5 Ultra — новую 432B-модель под MIT-лицензией. Это первый в open source гибрид GatedDeltaNet и MLA, доведённый до сотен миллиардов параметров, — с собственным рецептом обучения, который мы собирали больше чем в 1500 экспериментах. Модель выросла в коде, математике, агентных сценариях и на аренах — и при этом стала на 40% меньше, чем GigaChat 3.1 Ultra.
Весь стек — данные (своя LLM-фильтрация Common Crawl, 600+ языков программирования в коде), архитектура, рецепт обучения, инфраструктура — сделан нами end-to-end.
💵Deep Research как управляемый runtime вокруг instruct-модели
«Просто дать LLM доступ к интернету и ждать глубокого исследования — плохая идея».
💡
Успех глубокого исследования — это не только сила модели, но и продуманная оркестрация, контроль и управление контекстом.
🏃♂️ GigaChat 3.1 Ultra & Lightning: большое обновление открытых моделей
В ноябре мы открыли preview-версии GigaChat 3 Ultra и Lightning. С тех пор серьёзно доработали и модели, и весь пайплайн — высокие результаты на аренах, улучшенный function calling, решённая проблема циклов, DPO в нативном FP8, найденный и зарепорченный баг в SGLang при dp > 1. Сегодня выпускаем обновлённые GigaChat 3.1 Ultra и GigaChat 3.1 Lightning в опенсорс под MIT лицензией!
GigaChat 3.1 Ultra
🔘 702B параметров (36B активных на токен)
🔘 По нашим замерам обходит non-reasoning Qwen3-235B-A22B и DeepSeek-V3-0324 в математике и general reasoning
🔘 Существенный прирост качества по сравнению с ноябрьским preview — как в метриках, так и в реальных диалогах
🔘 Контекст 131K токенов
➡️ GitVerse | HuggingFace
GigaChat 3.1 Lightning
🔘 10B параметров (1.8B активных)
🔘 На аренах отвечает на уровне GPT-4o
🔘 Остаётся одной из лучших моделей в своём размере, особенно сильна в function calling
🔘 Серьёзный выигрыш по скорости за счёт MoE + MTP + FP8
🔘 Контекст 256K токенов
➡️ GitVerse | HuggingFace
Обе модели
• Обучены с нуля — без инициализации зарубежными весами
• MoE + MTP + MLA
• Совместимы с HuggingFace, llama.cpp / vLLM / SGLang
Для нас это не просто апдейт весов — это история про то, как переход на новую архитектуру вскрывает неожиданные проблемы на всех уровнях стека, от данных до инфраструктуры.
🤖 Подробнее — в статье на Habr
⚡️ GigaChat 3 Lightning в GGUF: максимум скорости для локального запуска
Мы подготовили три официальные сборки модели. Теперь вы можете выбрать оптимальный баланс между скоростью и качеством под ваше железо:
🔘bf16 - Максимальное качество и стабильность.
🔘q8_0 - Золотая середина: отличное качество при меньшем потреблении памяти.
🔘q6_k - Оптимально для ноутбуков и домашних ПК: высокая скорость и экономия памяти без заметного снижения качества генерации.
💻 Function Calling
Мы расширяем поддержку функционала в популярных инструментах:
🔘vLLM: Официально появится в следующем релизе >0.12.0. Уже сейчас работает в dev-сборке (от коммита 21bb323) с флагом --tool-call-parser gigachat3.
🔘SGLang: Подготовили временное решение, доступное в отдельной ветке.
🔘llama.cpp: Отправили PR с полноценной реализацией. В текущей версии вызов функций работает с ограничениями — инструкция доступна в описании модели на HuggingFace.
Мы продолжаем работу над интеграцией GigaChat 3 Lightning в экосистему open-source инструментов. Следите за обновлениями — впереди ещё больше возможностей для локального запуска и кастомизации.
🧭 Делитесь опытом использования и задавайте вопросы — ваш фидбэк помогает делать модель лучше!
➡️ HuggingFace ⬅️
Что слышит умная колонка?
➡️ Хабр
Giga — это не только ML инженеры, но еще и другие специалисты, в том числе эксперты по цифровой обработке сигналов: из плохого звука тяжело извлечь что-то полезное. Команда VQE (Voice Quality Enhancement) поделилась на Хабре решением нестандартной задачи: как оценить качество акустической системы для задачи распознавания речи, не обучая модели?
В статье:
🔘 звуковой тракт с точки зрения модуля VQE;
🔘 взаимосвязь коэффициента нелинейных искажений звука (THD+N) и других показателей;
🔘 методика по измерению этих показателей;
🔘 их корреляция с метрикой качества распознавания голосовых команд;
🔘 а также много-много формул.
Результат: на любой стадии разработки умной колонки Sber можно оценить, хорошо ли она слышит споттер, не переобучая модель — и при необходимости поправить конструктив устройства.
Салют, Гига!
Мы выкатили программу на 10 декабря — она уже лежит на сайте.
У нас два зала.
В большом — основные релизы, архитектуры, истории изнутри и постерная сессия с командами.
В малом — почти непрерывный техно-контент на весь день. Получилось очень плотно и качественно.
Участие бесплатное, но по регистрации.
Можно прийти офлайн в Москве или подключиться онлайн.
Увидимся в ГигаГороде!
🏆 GigaChat 3 Ultra Preview & Lightning: открытые MoE-модели нового поколения
В этом году мы уже радовали вас новой линейкой GigaChat 2, добавлением Reasoning в наш Web (giga.chat), опенсорсом GigaChat Lite и Giga-Embeddings и первым местом на бенчмарке ruMTEB.
Что нового в этот раз? Впервые в России обучены MoE-модели такого масштаба полностью с нуля — без зависимости от зарубежных весов. Обучение огромных MoE-модели требует не только колоссальных вычислительных ресурсов, но и решения множества инженерных вызовов: от нестабильности вычислений с плавающей точкой до оптимизации межузловой коммуникации и балансировки нагрузки между экспертами.
Поэтому сегодня мы открываем веса двух флагманских MoE-моделей — GigaChat 3 Ultra Preview (702B-A36B) и GigaChat 3 Lightning (10B-A1.8B) — полностью доступных сообществу с лицензией для коммерческого использования.
GigaChat 3 Ultra Preview
🔘702B параметров (36B активных на токен)
🔘Работает быстрее GigaChat 2 Max
🔘Топ-1 на MERA
🔘Поддерживает контекст в 131 тысячу токенов
⚡️ Модель продолжает обучение — финальная версия будет еще мощнее!
➡ GitVerse | HuggingFace | GitHub
GigaChat 3 Lightning
🔘10B параметров (1.8B активных)
🔘Достигла уровня лидера open-source своего класса — Qwen3-4B со скоростью генерации в 1.5 раз выше, как у Qwen3-1.7B
🔘Идеальна в качестве легковесного помощника для локального использования (офлайн-ассистент, прототипирование)
🔘Поддерживает контекст в 256 тысяч токенов
➡ GitVerse | HuggingFace | GitHub
Обе модели
• Не являются reasoning моделями
• Умеют предсказывать сразу несколько токенов
• Другой вид механизма внимания снижает размер KV cache
• Обучены с нуля — без инициализации чужими весами
• Открытые веса и лицензия c возможностью коммерческого использования
• Полностью совместимы с Hugging Face, vLLM / SGLang и стандартными пайплайнами
✈️Подробнее можно прочитать в статье на Habr.
GigaAM-v3: новый уровень качества, пунктуация, нормализация
➡️ GitHub | HuggingFace | GitVerse
В прошлом году мы открыли семейство моделей GigaAM, после чего значительно улучшили качество благодаря подходу HuBERT-CTC во второй версии. Основными запросами сообщества оставались поддержка пунктуации в наших моделях, а также улучшение на сложных срезах данных. Сегодня мы рады представить следующий большой релиз — GigaAM-v3.
Что публикуем
🔘GigaAM-v3 — foundation audio encoder (база для дообучения).
🔘GigaAM-v3-CTC — улучшенная CTC модель распознавания, быстрый инференс
🔘GigaAM-v3-RNNT — улучшенная RNNT модель распознавания, лучшее качество
🔘GigaAM-v3-e2e-CTC — распознавание с пунктуацией и нормализацией, быстрый инференс
🔘GigaAM-v3-e2e-RNNT — распознавание с пунктуацией и нормализацией, максимальное качество
Пример e2e-вывода: В твоём каталоге есть первая серия сезона 14 «Где логика»?
Что нового в v3
🔘Масштаб предобучения: 50k → 700k часов аудио на русском языке.
🔘Новые домены в обучении ASR: колл-центр, музыкальные запросы, речь с особенностями, разговорная речь (суммарно 2k часов).
🔘Для всего корпуса обучающих данных восстановлены пунктуация и нормализация при помощи GigaChat Max Audio.
🔘Линейка CTC/RNNT + e2e — выбирайте скорость или максимум качества под свой сценарий.
Метрики
🔘 Открытые датасеты (Golos, OpenSTT, Common Voice, LibriSpeech): паритет с GigaAM-v2.
🔘 Новые домены (WER, v2-RNNT → v3-RNNT):
• речь с особенностями 27% → 19%
• колл-центр 13% → 10%
• спонтанная речь 10.3% → 7%
🔘 Пунктуация: v3-e2e-RNNT vs reference + Whisper Forced Decoding — F1-score по запятой 84% vs 62%, остальные знаки ~паритет.
🔘 Side-by-Side (Gemini 2.5 Pro as a judge): v3-e2e-RNNT vs Whisper-large-v3 — 70:30 (колл-центр), 64:36 (Common Voice).
Более качественные модели распознавания того же класса эксклюзивно доступны в https://sberdevices.ru/shop/category/speakers/">наших умных устройствах, а также могут быть бесплатно использованы на повседневной основе с помощью бота @smartspeech_sber_bot.
Совсем скоро выйдет пост на Хабр, где мы поделимся подробностями обучения и оценки качества. Не пропустите!
📆GigaChat Audio Day Nizhniy
🚀В начале октября ездили командой речевых технологий в Нижний Новгород с митапом. Поделились нашими разработками, познакомились с интересными ребятами и очень продуктивно провели время в столице закатов.
➡️Записи докладов уже доступны VK | YouTube
🔘Как мы сделали production ASR для новых языков на 10 часах данных (Андрей Кузьменко)
🔘Распознавание речи по спикерам в SaluteSpeech: от моделей и алгоритмов до production-оптимизаций (Никита Ноев и Михаил Кузьмин)
🔘Быстрые команды (Юлия Кокорина и Максим Сурков)
🔘GigaChat Audio: как мы добавили поддержку суммаризации видео длительностью 3 часа в мультимодальной LLM (Григорий Фёдоров)
Смотрите, ставьте лайки, приходите на наши будущие мероприятия: следующее пройдёт в Москве уже в декабре — stay tuned.
🎬 Kandinsky 5.0 Video Lite — открываем компактную модель для генерации видео
Начинаем с рассказа про видео! Встречайте первую модель из линейки Kandinsky-5 Video!
Генерация видео — это всё ещё вызов. Если фотореалистичные картинки уже можно создавать на обычном железе, то качественные видео требуют топовых GPU и огромных моделей. Мы решили это изменить.
✨ Что мы открываем
Kandinsky 5.0 Video Lite — компактная модель всего в 2B параметров, которая генерирует качественные видео по тексту. И да, она работает не только на мощном железе!
В открытом доступе четыре версии для разных задач (для генерации 5 сек и 10 сек видео, разрешение — SD):
• SFT — максимальное качество (основная версия)
• CFG-distilled — в 2 раза быстрее
• Diffusion-distilled — в 6 раз быстрее с минимальной потерей качества
• Pretrain — для исследователей и дообучения
🔧 Как мы этого добились (подробнее на хабр)
• Обучили на 520 млн изображений и 125 млн видео-сцен
• Сфокусировались на качестве: команда художников и дизайнеров отобрала лучшие данные для финальной настройки
• Разработали метод NABLA для стабильной 10-секундной генерации
• Использовали архитектуру DiT с flow matching
📊 Результаты впечатляют
По нашим тестам, SFT-версия превосходит модели в 5-14 раз больше по размеру (Wan 2.1 14B, Wan 2.2 5B) и сравнима по качеству с Wan 2.2 A14B, которая весит в 13 раз больше.
🚀 Начните использовать уже сегодня
• Лицензия поддерживает коммерческое использование
• Доступно через бота: @kandinsky_access_bot
• Все материалы на GitVerse, HuggingFace и GitHub
📚 Полезные ссылки:
→ Хабр статья
→ Демо и примеры
→ Код на GitHub
→ Модели на HuggingFace
→ NABLA paper
→ Бот для доступа @kandinsky_access_bot
📆Команда GigaChat Audio едет в Нижний Новгород с митапом про речевые технологии
В программе — живые истории о том, как исследования становятся работающими сервисами:
🔘prod-ready распознавание речи на ограниченном наборе данных
🔘speaker diarization: распознавание по голосам в реальном времени
🔘быстрые команды с произвольной структурой для low-resource сценария колонок
🔘суммаризация трёхчасовых видео в GigaChat
В финале вечера — нетворкинг с ребятами из нашей команды.
📆 3 октября, 18:00
📍 Нижний Новгород, «Гараж»
🖥Регистрация и программа уже на сайте
AI-агент на GigaChat и LangGraph (от архитектуры до валидации) на примере Lean Canvas
Команда GigaChain продолжает делиться гайдами о построении агентов.
В этот раз техлид Константин Крестников показывает процесс построения агентной системы на примере заполнения Lean Canvas — шаблона проработки бизнес-идей для стартапов.
Заполнение Lean Canvas — творческая, но рутинная задача, на которую уходит много времени и усилий команды. А что, если построить агента, который умеет заполнять шаблон по описанию идеи, анализировать конкурентов, учитывать обратную связь и давать хороший черновик — с которым уже можно работать, уточняя детали под специфику проекта.
‼️Открываем 12 вакансий в четырёх командах
Это команды, которые делают саму модель GigaChat и отвечают за все этапы её развития: от данных и обучения до мультимодальности и inference.
Команда GigaChat Core ML
Команда работает с архитектурой LLM, pretrain и alignment. Развивает reasoning через online RL, исследует методы обучения и строит инфраструктуру для больших запусков.
[Lead]• Руководитель направления AI Safety
[Lead]• Руководитель направления Online RL (STEM)
[IC]• Online RL (General) / Post-Training LLM в GigaChat
[IC]• ML-инженер (Online RL) / Post-Training LLM
Команда GigaChat Pretrain Data
Команда собирает данные для обучения GigaChat и GigaChat Vision, развивает инфраструктуру и исследует, как источники, качество и состав корпуса влияют на способности модели.
[Lead]• Data Infrastructure & Platform Tech Lead (GigaChat)
[Lead]• Data Acquisition Tech Lead (GigaChat)
Команда GigaChat Multimodal
Здесь GigaChat учится видеть, слышать и говорить. Команда развивает Vision, Audio и TTS, работает с мультимодальными данными и обучает модели для новых сценариев взаимодействия.
[Lead]• Head of ML (VLM, GigaChat Vision)
[IC]• Data engineer в команду GigaChat (TTS)
[IC]• ML Engineer (Multimodal GigaChat Data)
[IC]• DL-разработчик (GigaChat Voice Mode)
[IC]• Senior DL-engineer (GigaChat Vision)
Команда Runtime
Команда отвечает за inference GigaChat. Здесь новые архитектуры доводят до прода, оптимизируют работу моделей на GPU и масштабируют их на кластерах.
[IC]• Deep Learning/CUDA Engineer (GigaChat)
Откликайся по ссылкам🔗
💵 GigaEmbeddings: новая линейка моделей от 480M до MoE-флагмана 10B-A1.8B
Мы обновили всю линейку GigaEmbeddings и выкладываем в open source сразу три модели — 480M, 3B и 10B-A1.8B. Они стали сильнее на английском языке и особенно в задачах с кодом, получили поддержку vLLM и SGLang и подходят для разных требований к качеству и производительности.
💡 В результате получилась линейка для разных сценариев: от компактной модели для высоконагруженных систем до MoE-флагмана, который одновременно повышает качество и ускоряет инференс.
GigaChat Audio и GigaAM Multilingual: новые Open Source модели с поддержкой длинного контекста и языков СНГ 🔥
Полноценные audio-native LLM — пока редкость в опенсорсе, а почти весь прогресс в Speech AI сфокусирован на английском языке и коротких аудио. Качество существующих открытых моделей резко деградирует на low-resource языках и длинных контекстах
Мы решили исправить обе проблемы и выкладываем в открытый доступ сразу две большие работы: расширенную версию GigaAM и новую GigaChat Audio с поддержкой длинных контекстов. Ценность обеих моделей и предложенных методов уже подтвердило научное сообщество — наши статьи приняли на главную мировую конференцию по речевым технологиям Interspeech 2026
GigaAM Multilingual
Расширение нашей SOTA-модели распознавания речи на казахский, киргизский, узбекский и английский
🔘 Self-supervised Audio Encoder (240M / 600M) — предобучен на 2M часов речи на 70+ языках с фокусом на СНГ. Адаптируется к новым языкам быстрее и дешевле, чем Whisper и Omnilingual: на грузинском и башкирском дообучились с одного Common Voice до Word Error Rate ~4% — против 11%+ у Whisper Encoder
🔘 Multilingual CTC ASR (240M / 600M) — дообучены на 50k часов мультидоменной речи (ru/en/uz/ky/kk). Превосходят Whisper, Seamless и Omnilingual; даже компактная 240M обгоняет Whisper Large v3 и Omnilingual 1B при кратно меньшем размере (средний WER 12.2% против 14%+)
📖 arXiv
🤗 ai-sage/GigaAM-Multilingual
👩💻 salute-developers/GigaAM
GigaChat Audio
Audio-native LLM на базе GigaAM Multilingual и GigaChat3.1-10B-A1.8B. Поддерживает multi-turn диалог, классификацию аудио, перевод и распознавание речи, и temporal grounding — локализацию событий во времени, описание интервала аудио и суммаризацию с временными метками
🔘 Сильнее всего — в понимании времени: на записях 20–60 минут Intersection-over-Union локализации событий 48.3 против ~0 у Voxtral, Phi-4 и Qwen3-Omni. Держит контекст до 2 часов аудио
🔘 Отлично понимает русский: RuBQ-Audio 60.0 (против 43.7 у Qwen3-Omni), распознавание эмоций Dusha 90%+
🔘 Представляем датасет TimeGround-1M — для обучения LLM привязке событий ко времени
📖 arXiv
🤗 ai-sage/GigaChat3.1-Audio-10B-A1.8B
🤗 ai-sage/TimeGround-1M
Попробовать в проде
Еще более мощные модели того же семейства доступны в наших сервисах:
🔘Обновленный GigaChat-Max-Audio — пользуйтесь на giga.chat и @gigachat_bot
🔘Распознавание на 5 языках — добавляйте в свои группы @smartspeech_sber_bot для распознавания голосовых
Что дальше
Проекту GigaAM уже третий год, и мы не перестаем его развивать: за последний квартал добавили таймстемпы для слов, конвертацию и запуск в Triton Inference Server, код дообучения под ваш домен и язык. Теперь выпустили в open-source и модель GigaChat-Audio, и уже обучаем следующий релиз. Следите за нашими обновлениями!
💵 GFusion: как мы обучали диффузионную LLM в GigaChat
«А что, если LLM будет генерировать не строго по одному токену слева направо, а сразу блок текста?»
💡 Главный вывод GFusion состоит в том, что ускорение LLM может требовать переосмысления самого подхода к генерации. Однако, чтобы это заработало на практике, важно довести до рабочего состояния весь стек от обучения и SFT до декодинга, attention-ядер и поддержки в inference runtime.
💵 Tool calling для GigaChat 3.1 в open-source инструментах
Вместе с релизом GigaChat 3.1 Ultra и Lightning мы добавили поддержку tool calling в основные опенсорсные инференс-движки:
— vLLM (>=0.18.2rc0)
— SGLang (>=0.5.9)
— llama.cpp (>=b8457)
Для vLLM и SGLang достаточно поднять сервер с --tool-call-parser gigachat3 — после этого работает стандартный /v1/chat/completions с описанием tools. В llama.cpp tool calling поддерживается нативно, без дополнительных аргументов.
vLLM
vllm serve ai-sage/GigaChat3.1-10B-A1.8B \
--port 8000 --dtype auto \
--enable-auto-tool-choice \
--tool-call-parser gigachat3
python -m sglang.launch_server \
--model-path ai-sage/GigaChat3.1-10B-A1.8B \
--host 0.0.0.0 --port 8000 --dtype auto \
--tool-call-parser gigachat3
tools в стандартный /v1/chat/completions.
Записи «Салют, Гига!» уже доступны
Не успели на конференцию 10 декабря? Всё можно посмотреть в записи!
Доклады про то, как мы делаем GenAI: обучение и улучшение LLM, данные и качество, поиск и RAG, агенты, продовая инфраструктура и Kandinsky.
Приятного просмотра и с наступающим! 🎄
➡️ ВК | YouTube
Уже в 14:00 начинаем Салют, Гига!
Всех зарегистрировавшихся ждём на площадке, а онлайн можно подключиться через сайт.
GigaAM-v3 на Хабре
➡️ Хабр
Спешим поделиться постом о создании GigaAM-v3!
В статье много технических деталей для специалистов:
🔘 Распределение данных по доменам
🔘 Эксперименты с масштабирование модели по параметрам
🔘 Сравнение токенизаторов
🔘 Анализ ошибок end-to-end моделей
🔘 LLM-as-a-judge для распознавания речи
По пути к релизу GigaAM-v3 ворвалась в top trending ASR-моделей на HuggingFace, обогнав свежий релиз OmniLingual ASR 🚀
👉 Приходите на «Салют, Гига!» — там вы сможете вживую пообщаться с разработчиками GigaAM, задать вопросы по статье, узнать детали обучения мультиязычного GigaAM Max и обсудить, как мы модифицировали HuBERT-CTC для использования в GigaChat Audio.
🤖 Хотите больше информации про наши последние релизы?
10 декабря на «Салют, Гига!» мы подробно расскажем, что сделали за этот год в командах GigaChat, Kandinsky и GigaData (платформы для управления данными, аналитики и поиска в контексте ИИ-моделей и сервисов).
От архитектур и метрик до подходов, решений и планов на будущее.
Будут доклады от инженеров, разборы под капотом, постерная сессия с командами и возможность задать любые технические вопросы тем, кто эти модели создаёт.
Мы делаем формат максимально полезным для тех, кто работает с ML, данными, исследовательскими пайплайнами или инфраструктурой.
Присоединяйтесь офлайн или онлайн, участие бесплатное.
➡️Вот ссылка на регистрацию.
Будем рады видеть всех 10 декабря.
📆Делимся секретами про наш новый синтез речи
У нас случился релиз GigaTTS. Это наша новая модель синтеза, под капотом у нее GigaChat 3b, свой токенизатор речи, адаптер к LLM и всего 30к часов данных.
Метрики космические: новая модель нравится людям в 2-4 раза чаще старой, а по естественности она почти всегда живее. Написали подробный технический обзор на Хабр.
Фичи нового синтеза
🔘Естественная freespeech подача, неотличимая от живого человека
🔘Специальные голоса телефонных операторов – таких голосов нет ни у кого
🔘Клонирование голосов, обогнали 11labs instant vc по похожести
🔘Озвучивание текстов бесконечной длины без потери контекста (multiturn режим синтеза)
🔘Инструктивный синтез, где можно задать словами все нюансы эмоций, в том числе сарказм
➡ Послушать новый синтез можно в голосовом режиме GigaChat Voice Mode
One Day Offer в GigaChat Audio
📅 15 ноября 2025, онлайн
➡️ регистрация
Перед нашей платформой стоят амбициозные вызовы, а также запуски новых продуктов. Поэтому мы усиливаем core команды опытными Deep Learning инженерами и Data Science специалистами. Приглашаем вас на One Day Offer уже в следующую субботу! Там вы сможете познакомиться с командами и получить оффер всего за 2 технические секции + финальное интервью.
Над какими вызовами предстоит работать:
— нативное понимание видео в GigaChat
— масштабирование предобучения Audio Foundation Model
— end-to-end модель для real-time speech-to-speech диалога
— ASR в новых доменах, LLM-based ASR
— агентные системы и LLM-пайплайны для системы речевой аналитики
— on-device multimodal LLM
До встречи на One Day Offer!
➡️ регистрация
🚀 Обновление Giga-Embeddings: лидер ruMTEB и открытая лицензия
Мы выпускаем обновление Giga-Embeddings — 3B модель для преобразования текста в семантические векторы. Идеально для RAG, поиска и кластеризации.
📈 Метрики #1 в ruMTEB (74.1) — уверенный отрыв среди open-source.
🧩 Зачем это вам
• Надёжный RAG без галлюцинаций: точнее извлекает факты из базы.
• Поиск по документам и тикетам, FAQ-боты, дубликаты/кластеризация.
• Быстрый старт в проде: свободная лицензия, коммерческое использование разрешено.
⚙️ Как попробовать за 60 секунд
# pip install sentence-transformers
from sentence_transformers import SentenceTransformer
m = SentenceTransformer(
"ai-sage/Giga-Embeddings-instruct",
model_kwargs={"trust_remote_code": "True"},
config_kwargs={"trust_remote_code": "True"}
)
def get_detailed_instruct(task_description: str, query: str) -> str:
return f'Instruct: {task_description}\nQuery:{query}'
task = 'Дан вопрос, необходимо найти среди документов ответ'
queries = [get_detailed_instruct(task, "Как настроить доступ к базе знаний?")]
documents = [
"Чтобы настроить доступ к базе знаний вам нужно открыть инструкцию по онбордингу саппорта, и в выпадающем списке найти...",
"Чтобы убрать звуки, вибрацию и световое оповещение в iPhone, активируйте беззвучный режим или режим «не беспокоить»."
]
emb_queries = m.encode(queries)
emb_documents = m.encode(documents)
print(emb_queries @ emb_documents.T)
💫 Выкладываем open-source модели для RAG и генерации контента
Сегодня открываем новые модели для свободного использования! Тестируйте гипотезы, встраивайте в продукты, адаптируйте под свои задачи — без ограничений.
У нас два обновления:
🧭 Эмбеддинги
Новая версия 3B модели, которая смогла с большим отрывом занять топ-1 место на бенчмарке ruMTEB!
🎬 Генеративные модели
Картинки и видео для тех, кто делает контент: можно быстро проверить идею, собрать промо-материалы, добавить визуала.
Первая компактная версия Lite (2B) линейки Kandinsky-5 Video — запустится не только на мощном железе.
Скоро расскажем подробнее!
MiMo-Audio: GPT-3 moment for speech domain
github | demo | huggingface
На днях LLM команда Xiaomi опубликовала в открытый доступ MiMo-Audio — 7b LLM с нативной поддержкой понимания и генерации речи. Основные особенности модели:
- единые дискретные токены для понимания и генерации
- предобучение на 100+ миллионах часов речи (для сравнения: Kimi-Audio — 13M часов; Whisper-large-v3 — 1M часов)
В этом посте мы кратко опишем подход и полученные результаты
Токенизация аудио
Для кодирования аудио авторы используют Transformer (1.2B) с RVQ токенизацией. В нем одна секунда аудио кодируется 25 токенами в каждом из R=8 кодбуков.
Одна из проблем в токенизации аудио — компромисс между кодированием семантики и акустических особенностей. Для ее решения применяют multi-task обучение в 2 этапа
1) обучение токенизатора на реконструкцию исходной аудиозаписи (акустика) + audio captioning с помощью LLM (семантика), 11M часов
2) с замороженным энкодером и квантизатором (которые подстроились под семантическое пространство LLM) доучивают декодер и вокодер для улучшения качества реконструкции
Добавление модальностей в текстовую LLM
- для каждого из R=8 уровней RVQ инициализируют таблицу эмбеддингов
- аудио данные сильно разрежены, одна секунда кодируется 25 токенами, для выравнивания с токенами текста добавляют PatchEncoder, который сжимает (seq_len=4)x(R=8) токенов в один эмбеддинг
- из финального скрытого состояния LLM генерируется как текстовый токен, так и аудио токены, для последних добавляют PatchDecoder: 16-layer Transformer, 8 lm-head'ов для каждого уровня RVQ, MusicGen-like задержка по времени между уровнями квантизации
Pre-training
Про данные сказано только то, что их 100M+ часов, они разнообразные и фильтрованные
Инициализируют модель весами MiMo и учат в 2 этапа
1) Understanding Training. Добавляют к LLM PatchEncoder и учат все веса модели. 1.2T текстовых токенов + 1.4T аудио. Loss вычисляется только по текстовым токенам. Задачи: speech-text interleaved; speech recognition (ASR); audio captioning; text pre-training
2) Understanding-Generation Joint Training. Добавляют PatchDecoder и учат все веса модели. 2.6T текстовых токенов + 2.4T аудио. Задачи: speech continuation; speech-text interleaved; ASR; text-to-speech (TTS); instruct TTS; text pre-training
Результаты:
- наблюдают GPT-3 moment: на масштабе ~1T токенов MiMo-Audio способна решать задачи, которых не было в обучении, во few-shot режиме (например, speech-to-speech translation; voice conversion)
- минимальная деградация MMLU в сценарии text-to-text и speech-to-speech (72.5 vs 69.1)
Post-training
Используют как фильтрованный open-source, так и внутренние данные. Суммарно 100B токенов в следующих форматах: ASR, TTS, audio understanding, spoken dialogue, instruct TTS, text dialogue
Результаты:
- обходит open-source того же размера и приближается к уровню Gemini 2.5 Flash на бенчмарках понимания аудио (MMAU, MMAU-Pro, MMAR)
- на Speech-to-Speech бенчмарке Big Bench Audio обходит open-source модели на 7+ пунктов, но отстает на 14 пунктов от Gemini 2.5 Flash Live
- на InstructTTSEval (оценка с помощью Gemini) обходит GPT-4o-mini-tts на английском и китайском
Обсуждение
👍 первая open-source модель в audio, обученная на таком масштабе данных
👍 минимальный gap между MMLU в режиме text-to-text (72.5) и speech-to-speech (69.1)
👍 результат на Big Bench Audio уровня первых версий GPT-4o realtime
😐 нет описания пайплайна данных / распределения языков
😐 ни одного ablation study
😐 3.76% Word Error Rate на LibriSpeech-test-clean после post-train'а на 100B токенах ( ~4.5M часов речи). У мультиязычного Whisper-large-v2 — 2.7%
📝 Инсайты с InterSpeech: SALM-Duplex: Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model
code | demo
На конференции было представлено около 10 работ по speech-to-speech диалоговым моделям на основе LLM, если не считать обзорные доклады. Одной из самых интересных нам показалась работа Nvidia, которую разберем в этом посте
Модель
Для понимания входного аудиопотока авторы используют стриминговый энкодер аудио (FastConformer-CTC 100M) с контекстом в будущее 80 миллисекунд.
В качестве основной модели выбрали TinyLlama-1.1B-chat.
Для генерации речи используют NanoCodec — токенизатор аудио от Nvidia, который также был представлен отдельным докладом. Его основные особенности:
* использование FSQ и независимых кодбуков — в них нет иерархической структуры. Следовательно, их можно предсказывать параллельно из одного скрытого состояния LLM без задержки
* высокое качество при низком битрейте. Авторы экспериментируют с bitrate=0.6kbps и 12.5 токенами для кодирования одной секунды аудио
Для генерации токенов аудио расширяют словарь LLM + добавляют 4 головы для генерации токенов по каждому из кодбуков.
Как соединяют все вместе:
* на каждом шаге из одного скрытого состояния llm генерируется текстовый токен + 4 аудио токена из каждого кодбука
* LLM обуславливается на сгенерированные токены + входной сигнал от пользователя: эбмеддинг текстового токена складывается с эмбеддингами для генерируемых аудиотокенов и непрерывным эмбеддингом от пользователя. Таким образом, LLM говорит и слышит одновременно
* между генерируемыми текстовыми и аудио токенами нет выравнивания по времени: токены генерируются независимо, в текстовом канале токены кончаются раньше, после этого модель отдает паддинги. Авторы упоминают, что пробовали выравнивать генерируемые токены на уровне слов, но не увидели улучшений
Данные
Авторы используют исключительно синтетические данные:
* внутренний датасет распознавания речи → генерация ответа ассистента по текстовой транскрипции → синтез речи → 20 тысяч часов
* внутренний multi-turn текстовый SFT датасет → синтез речи → 3 тысячи часов
* Llama-3.1-70B-Instruct → 4-turn текстовые диалоги → синтез речи → 3.3 тысячи часов
* MS MARCO + Alpaca → TTS → 400 часов
Для обучения необходимы двухканальные аудиозаписи: реплики пользователя и реплики ассистента выравниваются с помощью семплированной тишины. Между окончанием пользовательской реплики и началом речи ассистента добавлялась задержа 640 миллисекунд.
Также авторы симулировали перебивания со стороны пользователя:
* из single-turn QA-пар составляли multi-turn с помощью конкатенации
* при конкатенации допускали перекрытие между вторым запросом пользователя и первым ответом ассистента
* в таком случае канал ассистента содержал ответ еще 640 миллисекунд, а дальше заполнялся тишиной
Оценка качества
Качество оценивают только in-domain: используют часть сгенерированных данных, которые не участвовали в обучении.
* Качество ответов: GPT score между референсом и распознанной репликой ассистента
* Barge-in Latency — время между началом речи пользователя и прекращением речи ассистента
* 1st Response Latency — время между окончанием запросом пользователя и началом ответа ассистента
* Качество генерирумой речи: UTMOS
Результаты
👍 лучше популярной Moshi: GPT score ответов выше, UTMOS генерируемой речи выше, Barge-in Latency ниже
👍 без огромного претрейна, multi-stage обучения и миллионов часов речи
👍 персонализацией NanoCodec (дообучение на 21k часов целевого спикера) удалось снизить битрейт в 2 раза и улучшить качество
😐 только in-domain оценка качества
😐 деградация качества ответов по сравнению с исходной LLM: на Alpaca QA, UltraChat GPT Score упал с 6-5 до 3-3.5
😐 1st Response Latency: 0.72-0.92 секунды