Voice stuff

02 October 2026 14:03

На этом Интерспич 2026 подошёл к концу.

Расскажите какие статьи вас заинтересовали.

Думал клода натравить пару статей воспроизвести, но теперь сам без клода.

Voice stuff

01 October 2026 08:34

Turn taking доклад. Можете по qr коду и статью и гитхаб найти.

Оказывается то, что можно смотреть на вероятность EOS токена была целая статья - TurnGPT.

Тут же ребята используют эмбеддинги из Mimi, обучают новую проекцию и тюнят лору на qwen.

Voice stuff

01 October 2026 02:54

Кореец показывает статью, где всего 7М параметров и качество лучше, чем у ReDimNet. Пришли Ваня Яковлев и Ростик Макаров - авторы ReDimNet и обнаружили что это тот же redimnet, только перезавёрнутый.

Voice stuff

30 September 2026 11:03

Раскрыл загадку FeruzaSpeech

Я долго смотрел на фамилию Povey в этой работе и думал что он опубликовал что-то под псевдонимом потому что его мол забанили от публикаций.

Я с ним пообщался и он сказал что это работа его жены и дочери. Как минимум, подтверждает его отношение к этой работе.

https://arxiv.org/abs/2410.00035

Voice stuff

29 September 2026 10:44

Ну и последний постер на сегодня о том как голосовые модели воспринимают speaker similarity

Voice stuff

29 September 2026 09:51

Крутой постер о том что вместо того чтобы делать липсинк по сгенерированной речи, можно делать синтез речи по заданному движению губ 🤯

Работает? - спросите вы. чекните демки. работает вполне себе!

https://lipadapter.github.io/

Voice stuff

29 September 2026 09:33

Если вы вдруг не знали что обучая модель акцентам и эмоциям одновременно, она скорее всего всё напутает, то вам целая статья об этом.

Voice stuff

29 September 2026 09:25

Тут про RL в TTS поверх автометрики, которая хорошо коррелирует с human preference

Я не нашёл презентующего, но мне интересно что такое ChatScorer

upd: ChatScorer это wavlm + трансформер с головой на предсказание качества

Voice stuff

29 September 2026 07:57

прикиньте. кстати, слышал про анонимизацию спикеров и там выясняется что SpeakerID модельки помимо тембра (f0) выучивают еще и стиль речи и из-за этого даже после voice-conversion могут узнать спикера

Voice stuff

29 September 2026 06:41

Recent advances in Speech-Language ASR

полный зал, при этом очень сложно слушать чела

но:
- можно использовать голосовые префиксы перед каждой репликой в speech llm
- Speculative decoding работает в ASR тоже
- SpeechKV - можно сжимать не входную последовательность, а сам KV-кеш (работает и на ллм)
- и что там на слайдах

Voice stuff

29 September 2026 02:30

Продолжаем. Быстрый pitch-extraction

Voice stuff

28 September 2026 08:01

Если хотите много цитирований, то можно постить не решения, а структуру для eval.

Например хотим сделать лучшую систему, которая бы при переводе аудио сохраняла бы неуверенность, паузы, мычания или, наоборот, уверенность повествования. Создаём датасет, бенчмарк и лидерборд по этой задачке и публикуем на Interspeech. Все, кто будут решать, будут вас цитировать. Можно цитирующих ещё и нанимать.

И это тоже ресёрч.

Voice stuff

28 September 2026 03:55

какой-то неизвестный ещё и вписал туда мой прошлый стартап прикиньте

Voice stuff

28 September 2026 02:23

первый час конференции и я уже нашёл русский след здесь

Voice stuff

28 September 2026 01:15

3157 статей опубликовано. Для этого использовали 2275 ревьюеров. Ничего себе сколько ресурса требуется!

В этом году впервые использовали AI-review. И лиды-ревьюеры могли перепроверять вместе с AI. Оценку 5 никто не поставил. Все ревьюеры были очень недовольны тем как статьи обозреваются через AI.

Voice stuff

01 October 2026 08:39

Ещё одна статья по turn taking. там заметка такая что можно параллельно и ждать end of sentence и начинать генерировать ответ. А выдать ответ уже когда мы подтвердим end of utterance. Спасают полсекунды таким образом.

Voice stuff

01 October 2026 03:09

2 модных слова в бизнесе:

Moat - ров. То, что вас отличает и защищает от конкурентов

wedge - клин. то, чем вы врываетесь в рынок существующий и занимаете своё место

Voice stuff

01 October 2026 01:25

Доброе утро. Есть советы?

Voice stuff

30 September 2026 07:09

Увиделся с автором Yodas v3. Спросил лучше ли качество в этой версии и как они хранят данные

https://youtube.com/shorts/6MuEMX_DLY4?si=CTq35vCH6iQltsFA

Voice stuff

29 September 2026 10:05

UDD TTS

Есть такая штука: Jump Diffusion. Составляем спектрограмму, и удаляем из неё кадры. Во время обучения просим модель воспроизвести пропущенные кадры.

Теперь, во время инференса вставляем кадры, предсказанные текст энкодером и запускам диффузию, которая сама выберет какие кадры куда добавить.

Такая вот льтернатива duration prediction.

Voice stuff

29 September 2026 09:41

Как мы слышим себя?

25 людям дали ползунки с разными фильтрами и выяснили, что самые главные:
- low shelf фильтр - увеличивает громкость частот до 600Гц
- питч ниже, но только у мужчин (мы хотим слышать себя с более низким голосом оказывается)

Voice stuff

29 September 2026 09:29

допиливаем InstructTTS

Voice stuff

29 September 2026 09:18

Можно ли ЛЛМкой исправить ошибки распознавания low-resource языков?

- Да

Voice stuff

29 September 2026 07:44

Greek low resource?

Обучают модельку на 20 часах данных. Мне кажется, 20 часов речи можно записать и самостоятельно если язык настолько уж редкий.

Voice stuff

29 September 2026 04:15

мой докладыч про Dialogs

https://huggingface.co/datasets/langswap/dialogs-ru-emotional-conversations

ссылка на статью: https://www.isca-archive.org/interspeech_2026/shigabeev26_interspeech.html

Voice stuff

29 September 2026 00:30

Coding Is Not Solved (🔥 Score: 157+ in 1 hour)

Link: https://readhacker.news/s/762Yn
Comments: https://readhacker.news/c/762Yn

Voice stuff

28 September 2026 04:10

AnimeScore 🥰

Voice stuff

28 September 2026 03:25

Крутая идея использовать диффузию для ASR. По метрикам показывают паритет с whisper и paraket. На длинных последовательностях RTF растет медленнее чем на AR/NAR системах. Но всё равно очень медленно.

Voice stuff

28 September 2026 01:18

Повею наконец-то дали ISCA Fellow

Voice stuff

26 September 2026 23:25

55TB аудиодаты 🙀

с Yodas непросто работать, но он реально огромный. А количество и качество данных - всё ещё очень хороший способ поднять качество.

https://arxiv.org/abs/2609.29448

(подглядел у Николая Шмырёва)

https://huggingface.co/datasets/espnet/yodas3