Jev, часть вторая: вектор, который можно прочитать

Из анкеты Jev получается ещё и эмбеддинг. Это числовой отпечаток текста, по нему ищут похожие документы. У OpenAI он состоит из 1 536 чисел, у других моделей от сотен до тысяч, и по отдельности ни одно из них человеку ничего не говорит.

Киран Клаассен, который делает почтовый клиент Cora, предложил собирать такой вектор из ответов Jev. Каждому письму задаются вопросы: клиент? срочно? нужен ответ? Каждый ответ становится числом, и это число читается словами. Похожие письма ищутся как раньше, по близости векторов. 214 правил сортировки почты в Cora он тоже заменил вопросами Jev.

В ролике то же самое на ленте LinkedIn. У каждого поста четыре ответа, запрос «где стоит оставить комментарий» тоже вектор, и лента сортируется по похожести на него. Нужно новое измерение, добавляешь в анкету вопрос. Если выдача не нравится, видно, какой вопрос подвёл. Цифры условные.

Сергей Булаев AI 🤖 - об AI и не только

Читать полностью…

DHH: ручное написание кода уходит, работа создателя остаётся

Это видео стоит посмотреть каждому программисту и всем, кто работает в технологической индустрии. За неполные три минуты Дэвид Хейнемейер Ханссон, известный как DHH, предлагает пересмотреть то, с чем мы связываем свою профессию. Он создал Ruby on Rails и вместе с Джейсоном Фрайдом владеет 37signals, компанией за Basecamp и HEY.

В центре выступления — переход от написания каждой строки вручную к созданию продуктов с помощью ИИ. Для человека, который десятилетиями получал удовольствие от самого процесса программирования, это ещё и смена профессиональной идентичности.

Основные мысли выступления по-русски

DHH говорит, что перестал считать себя профессиональным программистом в прежнем смысле. За плечами у него четверть века ручной работы с кодом, и этот опыт он вспоминает с удовольствием. Освоение нового и состояние потока были ценны сами по себе; появление другого способа работы этого не обесценивает.

Его экономический тезис гораздо жёстче: по его оценке, писать код вручную уже невыгодно большинству программистов в большинстве компаний, и эта перемена будет распространяться дальше.

Будущую роль он описывает через создание вещей и управление возможностями ИИ. В его трактовке впереди остаётся увлекательная работа, хотя привычный способ её выполнения уходит. Прежний опыт можно принять с благодарностью и использовать в новой роли.

Полный перевод выступления

Я завершил карьеру профессионального программиста. Точную дату пока не установил. Думаю, это произошло где-то четыре-пять месяцев назад, возможно, в марте. Надо выяснить, когда именно. Потому что, знаете, всё в том коротком ролике — чистая правда.

Я, чёрт возьми, четверть века вручную вытачивал код и наслаждался каждым мгновением. Какой замечательный опыт, какое продуктивное время, какая эпоха. И я считаю, что всем нам стоит смотреть на неё именно так: с радостью от того, что было, а не с сожалением.

С радостью от того, что мы застали время, когда всё это ещё приходилось делать самим. Ведь в этом были и азарт, и учёба, и удовлетворение, и состояние потока.
Об этом не нужно вспоминать с сожалением. Об этом нужно вспоминать с радостью — и принять, что это закончилось.

Писать код вручную больше не имеет экономического смысла для подавляющего большинства программистов, работающих в подавляющем большинстве компаний. И это уже сегодня. К концу года это будет касаться практически всех областей, практически всех программистов, практически всех компаний.

Так что нам лучше к этому привыкнуть. Лучше принять, что у нас был прекрасный период, когда мы вытачивали этот код вручную, и что он закончился.

А по другую сторону — новая карьера. Увлекательная карьера, полная энергии: профессионально создавать вещи.

Да, вы больше не будете вытачивать этот код вручную. Но вы будете создавать удивительные вещи. Вы будете направлять интеллект, который ещё совсем недавно существовал только в научной фантастике.

Какая привилегия — оказаться по обе стороны этого разрыва во времени: застать эпоху, когда мы всё делали вручную, и быть здесь ровно в тот момент, когда мы переходим к новому способу работы.

pimenov.ai/blog

Читать полностью…

На этой неделе прошел конгресс Подмосковные вечера клуба 4CIO, где я делал вводный обзор по текущему прогрессу в ИИ сфере за этот год.
(кстати, рекомендую, если кто не в курсе, что это за мероприятие запланировать себе на весну, - https://pvesna2027.4cio.ru/ осталось 176 дней :) )

Сегодня хотел бы в открытом эфире поделиться с вами этим обзором и пройтись по разделу XIII Безопасность портала знаний по ИИ, который сейчас находится в разработке и будет доступен для подписчиков канала ИИзбранное.

буду рад всех видеть сегодня в 20:00 мск.

запись будет опубликована в ИИзбранном

#эфиры
———
@tsingular

Читать полностью…

Давно не было видно новостей про IQ тест Mensa Norway

В марте прошлого года последний раз писали о нем.

С тех пор многое изменилось и людям, в большинстве своём, в этой гонке уже можно не участвовать.

#Mensa #IQ #бенчи
------
@tsingular

Читать полностью…

Amazon зовет обратно уволенных из-за ИИ сотрудников

Amazon уволил за год более 30 000 человек: 14 000 в октябре 2025 и еще 16 000 в январе 2026.
И теперь рекрутеры компании пишут тем же людям и зовут обратно, - на позиции, связанными с AI, машинным обучении и облаками. Business Insider

Название даже дали инициативе: «Swami's Boomerang Reengagement Initiative», в честь Свами Шивасубраманяна, вице-президента AWS, который курирует агентное направление.

Рекрутеры ищут бывших сотрудников с опытом в AI и ML и иногда, как например в AWS Finance, даже предлагают ускоренный трек к офферу вместо долгих интервью.
В Amazon при этом подчеркивают: возврат бывших сотрудников это давняя практика, а не специальная программа, и правила в целом по офису не менялись.

💼 В чём интерес для бизнеса:
Война за AI-кадры против Google, OpenAI, Meta и Anthropic ужесточается, и, конечно, вернуть сотрудника, уже знакомого с вашей корпоративной кухней может быть выгоднее найма с улицы: проще проверить, быстрее возьмется за работу.
Вопрос, конечно, какой ценник этот сотрудник заломит :)
По данным ADP, возвращенцы в среднем составляют примерно 35% новых наймов в США.

Короче ИИ сначала стал причиной увольнения из-за автоматизации, а затем причиной найма из-за ускорения роста спроса на инфру под ИИ.

Инженеры качаются на качелях:
[всё будет хорошо]-[я умру бомжом]

#Amazon #AI #найм #рынокТруда
———
@tsingular | Max | tsingular">YouTube | RuTube | VK | tsingular">VK Video | Дзен

Читать полностью…

NVIDIA выпустила трёхмерную модель для разбора КТ

🩻 NVIDIA вместе с Национальным институтом рака NIH и Цюрихским университетом выложили NV-Reason-CT, модель, которая читает КТ-объём целиком и делает заключение с разъяснениями.

⚙️ Механика: языковая модель Qwen3.5-4B соединена с трёхмерным визуальным кодировщиком Primus.
Объём 384 на 384 на 384 миллиметра превращается в решётку 24 на 24 на 24, это 13 824 визуальных токена.
Все токены вместе с координатами уходят в языковую модель без сжатия, а трёхмерное позиционное кодирование видит, где что находится.
Поэтому, например, модель различает поражение в правой и левой почке.

📋 Учили на 550 тысячах примеров из 70 111 КТ-объёмов. Сначала провели дообучение на разборах радиологов, потом обучение с подкреплением на проверяемых наградах за верный набор отклонений и структуру отчёта.

💼 На наборе CT-RATE модель размечает 18 видов отклонений точнее узких контрастивных моделей: усреднённая точность 0,614 против 0,581 у VoxelFM и 0,398 у CT-CLIP. Отдельная голова классификации для этого не нужна.
В пробном исследовании с радиологами время на разбор снимка и отчёт упало с 26,25 до 13,13 минуты.

🔗 Веса и код открыты под лицензией OpenMDW-1.1. Есть примеры дообучения, обучения с подкреплением и веб-демо.

paper

NV-Reason-CT является частью семейства открытых медицинских моделей ИИ NVIDIA Medical AI, предназначенных для совместной работы по всему конвейеру радиологии:

NV-Generate-CTMR: синтезирует реалистичные объёмы 3D-КТ и МРТ для обучения, обогащения данных и исследований
NV-сегмент-CTMR: автоматизированная сегментация органов и поражений из объёмов 3D КТ и МР
NV-Reason-CXR: рассуждающая модель с CoT по анализу рентгена грудной клетки
NV-Reason-CT: рассуждающая модель с CoT для полного 3D-анализа КТ

#NVIDIA #медицина
———
@tsingular

Читать полностью…

Собираем навык для агента по сборке UI из готовых паттернов

🎨 Нашел коллекцию готовых эффектов ThreeUI в виде библиотеки на React от DesignCode, у которой основные эффекты платные, но есть и около сотни бесплатных, опубликованных в npm, под лицензией MIT.

Пакет @designcodeio/threeui версии 1.2.0 отдаёт 103 компонента: фоны, кнопки, текстовые анимации, переключатели, загрузчики.

Просто пишем Гермесу:

/learn https://github.com/MengTo/threeui

И через пару минут у вас новое кунг-фу в виде личного навыка который умеет в симпатичную анимацию.

⚙️ Что навык умеет.
Находит нужный компонент в каталоге из 43 основных позиций и 61 варианта.
Ставит пакет и подключает только тот подпуть, который нужен.
Проверяет, что компонент действительно отрисовался, и отдаёт снимок экрана.

Примеры генераций с его помощью и музыка из ролика в комментарии

#ThreeUI #навыки #дизайн
———
@tsingular

Читать полностью…

Вот вам котик еще. Проект залил на GitHub: https://github.com/siliconbag/lego-build

SKILL.md лежит в корне, поэтому подписчик ставит скилл одной командой:

git clone https://github.com/siliconbag/lego-build ~/.claude/skills/lego-build

После этого можно просто попросить агента собрать из лего что-нибудь свое. Агент спроектирует модель из настоящих деталей, сверит цвета по BrickLink, проверит модель и отрендерит видео.

Читать полностью…

Учу испанский теперь только с этим другом. Нафиг сову.

- бро, чёт ИИ кристалл твой не помогает
- а насколько ты в него веришь?
- немного
- кристаллы работают на вере, чем больше веришь,- тем лучше результат
- и что делать?
- держи кристалл побольше. Он уже заряжен токенами верой
- а если он не сработает?
- значит проблема в тебе, а не кристалле. Лучше формулируй промпт цель.
С тебя 350 песо. Налом или картой?

Автор: just.monki

#испанский #обезьяна #юмор
------
@tsungular

Читать полностью…

Пишут, что починили:
https://status.openai.com/incidents/01M3DCNWMW57HYK8FJ5FBFPA39

У вас как?

#OpenAI #fail
------
@tsingular

Читать полностью…

🔥 DeepSeek Harness получил официальную desktop-версию

Теперь DeepSeek Harness можно запускать как обычное приложение — без Node.js, терминала и отдельного браузера.

Доступны сборки:

- Windows x64
- macOS Apple Silicon

Версия свежая: 0.1.7-rc.1.20260924.1.

По сути, DeepSeek убирает главный порог входа в Harness: теперь достаточно скачать клиент и запустить его двойным кликом.

Windows: https://download.deepseek.com/dsh-desk/bin/win-x64/deepseek-harness-0.1.7-rc.1.20260924.1-win-x64.exe

Mac Apple Silicon: https://download.deepseek.com/dsh-desk/bin/mac-arm64/deepseek-harness-0.1.7-rc.1.20260924.1-mac-arm64.dmg

Документация: https://github.com/deepseek-ai/deepseek-harness/blob/master/apps/desktop/README.zh.md

Читать полностью…

Для понимания, как на практике ведётся обучение студентов создавать LLM. В КНР преподают студентам сами авторы передовых LLM. На видео один из авторов GLM профессор Тан Цзе ведёт обычный университетский курс в Цинхуа — Advanced Machine Learning. Это новый набор студентов, стартовавший 16 сентября.

На лекции Тан Цзе рассказал студентам, что «битва за чат уже закончена» и что их дело — делать агентов: просто чаты с ИИ уже никому не нужны. Агенты уровня AGI и ASI — это то, зачем он их учит. Тан Цзе также отметил, что современный уровень обучения LLM состоит в том, чтобы выгнать как можно больше людей из самого цикла обучения: все должны делать агенты, иначе человек становится бутылочным горлом сингулярности самообучения ИИ. Тан Цзе прямо говорит студентам, что столько, сколько их тут собралось, не нужно для обучения LLM, поэтому у него нет цели вытягивать всех, кто пришёл на курс — его интересуют только отличники и то, что он им дал, и больше никто, остальных он отчислит. Тем не менее, уровень энтузиазма студентов приобщится элите ИИ виден хорошо на видео.

За 16 недель студенты должны собрать полный пайплайн LLM: база → Scaling → синтетические данные → preference/RL → агенты → непрерывное обучение → «AI учит AI».

Студенты должны пройти весь цикл своими руками:
• С нуля написать Tokenizer и Transformer.
• Сквозное обучение модели.
• Написать Triton attention kernel и замерить прирост.
• Очистка данных из raw dump, подгонка scaling law и экстраполяция.
• Сравнение SFT / DPO / RLVR на одной базе.
• Построение верифицируемой среды + harness, обучение long-horizon агента с self-judge loop.

Работа идёт не индивидуально, а в группах 2–3 человека: студентов сразу учат работать «когортой», т.к. только устаревшие университеты готовят одиночек. На 16-й неделе студенты должны защитить свой работающий прототип и подготовить сразу же описание его в формате как для научной публикации NeurIPS.

Кто обучался на наших курсах по LLM в университетах — можете поделиться в комментариях сравнением уровня.

Читать полностью…

делаем курсы по ИИ с Opus 5.5 теперь только так.

следующий шаг, - уместить в 64к :)

HTML исходник выложу в ИИзбранном

#demo #LLM #Opus
———
@tsingular

Читать полностью…

Держите новый прикол.

Промпт:

Пришли своё селфи в той обстановке где ты находишься

У всех прям разные версии GPT, разные личности.

Какой томагочи у вас? :)

#тренд #нейрорендер
------
@tsingular

Читать полностью…

DeepSeek вышла на $1 млрд выручки в годовом выражении

По данным The Information, ещё несколько месяцев назад показатель составлял менее $500 млн. Речь о текущем темпе выручки, пересчитанном на год.

При этом более 70% вычислительных мощностей DeepSeek направляет на обучение новых моделей, а на обработку пользовательских запросов - менее 30%.

Компания подняла цены на API в 2,3-4,5 раза. По словам Ляна Вэньфэна на встрече с инвесторами, число клиентов после этого не сократилось, а спрос остался высоким. Валовая маржа API-бизнеса за январь–июль достигла 82,9%.

DeepSeek также завершает переговоры о новом раунде финансирования примерно на $7,5 млрд при оценке около $74 млрд. Закрыть его рассчитывают до конца октября.

Читать полностью…

Автор ролика "Гимн Вайбкодера" @andreydraft поделился процессом создания, техникой, стоимостью в своем github github.com/rocketmandrey/vibecoder-anthem (поставил ему ⭐️ за классную работу)

Стоимость: 5% недельного лимита подписки Claude за $200, плюс подписка Suno.

Теперь каждый может создавать такие видео ролики, нужен только skill "Вкус" и "Креатив", но они не идут в комплекте.

Читать полностью…

как говорится:
Excuse me Claude can do WHAT?! :)
(со звуком)

это с одного запроса.

Правда, навык уроков демосцены он использовал с прошлого раза, но все-таки

Исходник приложения в ИИзбранном

#demo #печка
———
@tsingular

Читать полностью…

ClaudeCode раздаёт по $250 на облачную работу с гитхаб проектами.

забирать тут:
https://claude.ai/code

Раз пришла такая халява, прогнал цикл обновления для агентского навыка PMBook6

https://github.com/mb-mal/pmbok6

После установки навыка агент работает по PMBOK® 6:
📋 Составляет устав, план проекта, ИСР, расписание с критическим путём и бюджет с резервами
📊 Даёт статус по освоенному объёму: SPI, CPI, прогноз бюджета, рекомендации
⚠️ Ведёт риски: оценка, EMV, стратегии ответа, реестр
🔄 Проводит изменения через формальный контроль
📝 Помогает выбрать тип контракта и считает поощрения
✅ Проводит аудит проекта и закрытие
🎓 Готовит к PMP: 49 процессов, ловушки, тренировочные вопросы

Внутри: калькулятор на JS, 13 шаблонов, 8 пошаговых сценариев.

#claude #pmbook #навыки
———
@tsingular

Читать полностью…

#юмор #терминатор
———
@tsingular

Читать полностью…

#юмор
------
@tsingular

Читать полностью…

Немного новой фоновой музыки вам в коллекцию.

Suno 6

cinematic documentary in style of the NAME movie, minimalism, ambient

#музыка
———
@tsingular

Читать полностью…

🧠 «Последний ИИ, созданный людьми»: новая roadmap-работа про Recursive Self-Improvement

Вышла большая работа The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement про путь к ИИ, который сможет улучшать уже сам процесс собственного улучшения.

Авторы выделяют 5 уровней RSI:

- выполнение улучшений, заданных человеком;
- самостоятельный выбор стратегии улучшения;
- автономный сбор опыта;
- адаптация к окружению;
- recursive meta-improvement — изменение самого механизма, который ищет и оценивает будущие улучшения.

Главный вывод: элементы self-improvement уже есть, но полноценного RSI пока не существует.

Современные системы умеют улучшать код, промпты, инструменты и отдельные стратегии, но гораздо хуже умеют менять сам способ, которым они находят следующие улучшения.

Именно этот последний шаг может превратить обычный self-improvement в настоящий рекурсивный цикл.

Paper - https://arxiv.org/abs/2609.11873

Читать полностью…

📌Fable 5.1 рассчитала амплитуду рассеяния в девяти петлях

Модель в среде Claude Science рассчитала шестичастичную амплитуду рассеяния в планарной четырёхкратно суперсимметричной теории Янга–Миллса на уровне девяти петель.

Амплитуды рассеяния показывают, насколько вероятна та или иная реакция при столкновении частиц, и по ним теорию сверяют с данными Большого адронного коллайдера.

Целиком их не посчитать, поэтому физики обрывают расчёт на определённом числе петель, т.к каждая следующая приближает к реальному ответу, но так его утяжеляет, что большинство амплитуд доведены лишь до двух петель, а некоторые до трёх.

Суперсимметричный вариант теории Янга–Миллса реальный мир не описывает, это полигон, где специалисты по амплитудам оттачивают методы, потому что считать в нём парадоксально проще.

Задачу запустили штатные физики Anthropic Лиам Фицпатрик и Сиддхарт Мишра-Шарма в ответ на вызов бывшего физика и научного журналиста Мэтта фон Хиппеля - он предлагал ИИ-компаниям решить одну из крупных открытых задач его прежней области с вычислительными ресурсами академического уровня.

Результат проверил Лэнс Диксон из Стэнфорда и SLAC, соавтор предыдущего рекорда в восемь петель.

Восьмипетлевой результат Диксон и Энди Лю получили в 2023 году окольным путём, через родственную величину, форм-фактор.

Claude пришёл к девяти петлям двумя способами - исходным гексагональным бутстрапом и через форм-фактор. Исследователи дали модели постановку задачи и дальше вмешивались редко, в духе:

«... я иду спать, продолжай, пока не скажу остановиться, и присылай отчёт каждые 4–6 часов».

Код бутстрапа Claude сам написал на Python с SymPy и неделю считал на 96 процессорах.

Диксон проверил результат, пересчитав из амплитуды девятипетлевой форм-фактор, к которому его команда шла пару лет, и назвал работу настоящим триумфом для языковой модели, выполнившей все шаги сложного алгоритма.

Параллельно к тому же результату шла группа Сун Хэ из Китайской академии наук с GPT-6 и когда китайцы связалась с фон Хиппелем через несколько дней после Anthropic, большая часть расчёта у них уже была готова.

Фон Хиппель допускает, что задача просто удобна для ИИ, но считает, что технология действительно стала лучше:

«В марте 2026 года ИИ выполнял физические проекты как студент - это были небольшие задачи, много опеки и ошибок. Здесь же настоящий расчёт на переднем крае науки, из тех, за которые обычно берутся ведущие специалисты по амплитудам», – пишет он.

Результат выложен на сайте Мишры-Шармы. Рецензирования не было, а полную функцию, по признанию авторов, посчитали один раз, независимо перепроверили только её упрощённую часть, символ.


@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

Интересный пример использования Jev для категоризации URL для threat intel по Адмиральской системе

Система практически в реальном времени определяет насколько источник достоверен и надёжен, к какой поверхности атаки относится, ловится ли EDR/SIEM

Система Admiralty родилась в британской военно-морской разведке в начале XX века: Адмиралтейству требовался единый способ сопоставлять донесения из разных источников, которые могли приходить с разницей в недели и месяцы. Позже подход переняли другие разведслужбы и НАТО, а сегодня его применяют в CTI: отдельно оценивают надёжность источника (A–F) и достоверность самой информации (1–6).

Тут подробнее про Адмиральскую систему

#Admirality #Jev #cybersecurity
------
@tsingular

Читать полностью…

Codex полностью лёг.

Сегодня ночью Codex перестал работать у пользователей по всему миру. У меня одновременно отвалились два разных Pro-аккаунта на двух разных Mac.

Ошибка у всех одна:
401 Unauthorized: Incorrect API key

OpenAI уже официально открыла инцидент с максимально однозначным названием:
“Codex down due to 401 backend key error”

Текущий статус — Identified · Full outage. То есть проблема найдена внутри инфраструктуры OpenAI, и команда сейчас готовит исправление. Не работает фактически весь Codex: Web, API, CLI и расширение VS Code. OpenAI Status

А Тибо Соттьё, глава Codex в OpenAI, сначала просто написал в X, что Codex is down, а следом отправил исчерпывающий комментарий: “O no(.”

Кажется, более точного описания ситуации сейчас и не требуется.

Читать полностью…

Энкодер GLiNER2.5-Decide на 340M параметров обошел 4B декодеры в классификации

Fastino Labs, получившая $25 млн от Khosla и Microsoft, тренируют модели на игровых GPU TechCrunch, выкатали открытую GLiNER2.5-Decide: 340M параметров, энкодер, Apache 2.0.
Принцип как у Jev, - на входе текст и схема вопросов, на выходе решения с вероятностями.
Автор GLiNER Уршад Заратиана( GitHub)

⚙️ Технические детали:
Энкодер читает текст и схему одновременно, а ограниченный декодер ищет лучшую комбинацию ответов по заявленным правилам.
Бенч Fast Decisions: 5100 примеров на 17 незнакомых датасетах.
Средний балл 60.1%, победы в 9 датасетах из 17.
Для сравнения, - модели на декодерах Qwen3.5-4B, в 12 раз крупнее дали худший результат: JevK5 получила 57.5% и SemIf 56.4%.
На саппорт-интентах 75.3%, на 18.6 пункта впереди.
По скорости 38.3 мс на V100 и 167 мс на серверном CPU.

💼 В чём польза для бизнеса:
Сценарий быстрых классификаций получает всё более широкое применение.
Моделей по типу TypeSafe Jev, Laya от Convai уже сотни, теперь вот к ним добавился Gliner от Fastino.
Такие модели детерминированы, стоят копейки и могу работать в закрытом контуре без интернета.

Модель качаем тут: https://huggingface.co/fastino/GLiNER2.5-Decide

#GLiNER #Fastino #агенты #opensource
———
@tsingular | Max | tsingular">YouTube | RuTube | VK | tsingular">VK Video | Дзен

Читать полностью…

Runway: выпустили плагин для DaVinci Resolve, Adobe Premiere и After Effects.

Он позволяет генерить, расширять и апскейлить видео / картинки прямо на таймлайне. Редактирование видео, включая апгрейд до HDR, тоже есть и делается через Aleph 2. Доступные модели для видео: Runway Gen-4.5, Veo 3.1, Seedance 2.5, и Kling 3.0 Pro. Для картинок: Gen-4 Image, Nano Banana и GPT Image 2.

Плагин есть на Windows и MacOS. На линукс попроси Клода.

Анонс
Сайт

Читать полностью…

Head of AI @ Elastic ,- Han Xiao собрал 1000 вариантов применения Jev за прошедшую неделю.

Изучаем тут:
https://hanxiao.io/all-about-jev/

#Jev
------
@tsingular

Читать полностью…

🌟 Nvidia открыла веса модели для разметки спикеров в аудио

Nemotron 3 Diarization – открытая модель диаризации на 100 млн параметров, которая работает на аудиозаписях и в потоковом режиме, размечая на записи отрезки речи каждого участника, включая моменты, когда люди перебивают друг друга.

Вместе с ASR это даёт расшифровку встреч, звонков и подкастов с разметкой по говорящим.

Модель различает до восьми собеседников – вдвое больше, чем предыдущая Streaming Sortformer компании.

Длина записи не ограничена, потому что звук обрабатывается фрагментами. Метки говорящих анонимные - модель сообщает, что speaker_Х говорил с такой-то секунды по такую-то, но не определяет, кто это.

Имена и роли участников можно задать логикой сценария в целевом приложении, связав обезличенные каналы, временные метки и личность от вывода модели с заранее определенным списком спикеров.

🟡Архитектура

Внутри 31-слойный трансформерный энкодер с RoPE. На вход подаётся моно-звук 16 кГц, мел-спектрограмма сжимается в кадры по 80 мс.

На выходе модель для каждых 10 мс выдаёт вероятность того, что говорит каждый из восьми участников, поэтому одновременная речь двух людей не мешает разметке.

Как и в Sortformer, каналы нумеруются в порядке появления голосов - первый новый голос получает первый канал. В потоковом режиме модель помнит собеседников через кэш голосов из прошлых фрагментов и очередь недавних кадров.

🟡Тесты

Главный показатель – DER, доля времени речи, размеченной с ошибкой (пропуск, ложное срабатывание или путаница говорящих). Чем ниже значение, тем лучше.

В Diarization-Bench от Voice Arena модель заняла первое место из 12 систем с DER 14,72% против 19,3% у следующей.

Остальные сравнения Nvidia провела со своей прежней моделью. При задержке 1,04 секунды DER на DIHARD III снизился с 19,60 до 13,18%, на записях встреч NOTSOFAR1 – с 22,12 до 7,70%.

На разговорах двух человек из CALLHOME в офлайн-режиме новая модель немного уступает Streaming Sortformer - 5,98% против 5,68%.

Скорость подросла - на RTX PRO 5000 при обработке пакетами по 32 записи модель размечает 865 секунд звука за секунду вычислений против 136 у предшественницы.


📌Лицензирование: OpenMDW-1.1


🟡Блогпост
🟡Модель
🟡Демо


@ai_machinelearning_big_data

#AI #ML #Diarization #Speech #Nemotron #Nvidia

Читать полностью…

Малварь ClosedQuorum использует Gemini, DeepSeek, Qwen и Mistral для принятия решений

Исследователи Cisco Talos обнаружили Windows-малварь ClosedQuorum. После заражения этот вредонос не ждет команд от своих операторов, а принимает решения сам, проконсультировавшись с четырьмя ИИ-моделями: DeepSeek, Qwen, Mistral и Google Gemini. Специалисты называют ClosedQuorum первой публично описанной Windows-малварью, которая отдает тактические решения на откуп ИИ.

https://xakep.ru/2026/09/24/closedquorum/

Читать полностью…