Machine learning chat

18 April 2026 14:22

⚡️ Prefill-as-a-Service предлагает пересобрать инференс

В статье (авторы Kimi.ai) разбирают, почему держать Prefill и Decode в одном процессе невыгодно, и как это разнести без потерь.

Любой ответ модели начинается с Prefill. Модель читает весь вход и строит внутреннее состояние. Дальше идёт Decode. Пошаговая генерация токенов.

Эти этапы ведут себя по-разному. Prefill короткий, но тяжёлый по вычислениям. Decode долгий и чувствительный к задержкам. Когда они сидят на одном GPU, часть ресурсов простаивает.

В статье предлагают вынести Prefill в отдельный сервис. Его можно крутить на других узлах или в другом дата-центре. Decode оставить ближе к пользователю, где важна задержка на токен.

Авторы упирались в KV cache. Он слишком большой, чтобы гонять его по сети без ощутимых накладных расходов. Но в статье показывают, что при оптимизации представления KV это становится практичным.

На практике это даёт более быстрый первый токен и лучший throughput. Появляется возможность подбирать железо под конкретный этап, а не под весь пайплайн сразу.

Инференс перестаёт быть привязанным к одному месту. Его можно разнести, как обычный сервис. И дальше оптимизировать уже не только модель, но и архитектуру вокруг неё.

Проверено на модели Kimi Linear, увеличенной в 20 раз:

• пропускная способность модели выросла в 1.54 раза
• P90 TTFT ниже на 64%.
• На выходе это напрямую конвертируется в более дешёвый токен.

https://arxiv.org/html/2604.15039v1

Machine learning chat

18 April 2026 12:59

Это 13gb vram или на обычной ram?

Machine learning chat

18 April 2026 12:09

Просто пост писал клод

Machine learning chat

18 April 2026 10:57

⭐️ Если у тебя накопилось десятки сохранённых гайдов по AI - это нормально

Но большую часть из них ты, скорее всего, не откроешь/

Вот один список, который покрывает основные кейсы работы с Claude.

Claude 101
http://how-to-claude.ai

Claude Code
http://claudecode.free

Claude Skills
http://claude-skills.free

Почему стоит меньше полагаться на промпты
https://ruben.substack.com/p/stop-prompting-claude

Claude в Excel
https://ruben.substack.com/p/ai-couldnt-do-excel

40 репозиториев по 8 категориям. Полный роадмап от математических основ до написания собственного LLM.
https://uproger.com/40-github-repozitoriev-kotorye-zamenyat-vam-lyuboj-platnyj-kurs-po-ai-polnyj-roadmap-ot-matematicheskih-osnov-do-napisaniya-sobstvennogo-llm/

Рост аудитории с помощью AI
https://ruben.substack.com/p/1000000how-claude.team

Claude для команд разработчиков
http://how-claude.team

Почему одного промпта недостаточно
https://ruben.substack.com/p/magic

Создание презентаций
http://how-to-gamma.ai

Настройка Claude Cowork
http://claude-co.work

Как адаптировать стиль ИИ под себя
https://ruben.substack.com/p/i-am-just-a-text-file

Интерактивные графики
https://ruben.substack.com/p/claude-charts

Claude как рабочая среда
https://ruben.substack.com/p/claude-computer

Cowork + Projects
https://ruben.substack.com/p/claude-cowork-project

Как правильно настроить AI перед работой
https://ruben.substack.com/p/how-to-better-use-ai-before-prompting

Сохрани, пригодится.

Machine learning chat

18 April 2026 10:47

Хорошо, что есть системы типа PBI, где ваши нейросети вообще нихера не понимают😂

Machine learning chat

18 April 2026 09:59

Получается похуже пОпуща?

Machine learning chat

18 April 2026 02:18

Тот же вопрос. Сделал крутые эмбединги для таблицы Менделеева, а endorsement на cond-mat.mtrl-sci (Materials Science) нету

Machine learning chat

18 April 2026 00:13

Увы, в сравнении с Клодом - абсолютное. Но сгодится для локального RAG

Machine learning chat

17 April 2026 21:57

и высирает очередную хуйню и тратит твои токены

Machine learning chat

17 April 2026 21:02

Это искажения по краю кадра.

Machine learning chat

17 April 2026 19:02

Я бы сказал главный риск - бизнес контекст, а именно правильное целеполагание и интерпретация результатов.

Machine learning chat

17 April 2026 18:06

Всем привет, есть ли тут люди которые недавно закончили или сейчас учатся в магистратуре на ml/ds
Какой вуз можете посоветовать?

Machine learning chat

17 April 2026 12:44

результат впечатляет )

Machine learning chat

17 April 2026 11:43

какие результаты? какая потеря в качестве?

Machine learning chat

17 April 2026 11:34

а это на озушке? на процессорных вычислениях?

Machine learning chat

18 April 2026 13:38

Всем привет! Есть ли здесь специалисты в DS/ML и тп, с публикациями и ученым званием/руководительским опытом, которым было бы интересно написать рецензию на магистерскую ВКР (в виде стартапа) в МФТИ? Или может у кого-то есть такие знакомые? Нужно срочно, дедлайн подачи резюме рецензента - до конца завтрашнего дня, готов платить.

Machine learning chat

18 April 2026 12:53

В квантизацией 2b и она не выдала кашу ? Удивительно 🤔

Machine learning chat

18 April 2026 11:06

Кинул в сохраненки, чтобы тоже потом больше никогда не открыть

Machine learning chat

18 April 2026 10:49

В нем - да, потому что там и черт ногу сломит. Но отечественный форсайт кстати - там уже, со слов, бодро генерит само, причем именно да, квантованный квен без GPU

Machine learning chat

18 April 2026 10:43

Я бы такому челику ошибками в логи не срал

Machine learning chat

18 April 2026 09:49

Рекламировать курс, наполненный, преимущественно водой из генератора - грех и не уважение к подписчикам

Machine learning chat

18 April 2026 00:20

Полагаю дело в тулзах. В возможность нажать кнопку с надписью «нажать» верю безусловно

Machine learning chat

17 April 2026 22:00

О боже. Братушки, большая Qwen3.6-Plus в моих тестах сегодня не справлялась практически ни с чём все 6 часов что клод были в пике. Создавала впечатление что справилась — да! А вы код-то свой не забыли протестировать?)

Machine learning chat

17 April 2026 21:56

Главный риск — галлюцинации Кириенко-старшего

Machine learning chat

17 April 2026 19:54

К VK теперь стоит прислушиваться? Они уважаемы в ИИ агентах? 🤣🤣

Machine learning chat

17 April 2026 18:51

⚡️ Аналитика уходит в диалоговый режим

Эксперты направления OneData VK фиксируют сдвиг: от SQL-first к естественному языку и агентам. Теперь аналитик — не исполнитель, а контролёр ИИ и качества данных.

Что меняется:

• Аналитику можно «спросить», а не писать запросы
• ИИ уже экономит время: задачи с 20 → 5 минут
• SQL остаётся, но как язык для ИИ, а не для человека
• Уход от разрозненных хранилищ к единым платформам (OneData)
• Дата-контракты и SLA на доставку данных
• Фокус смещается с объема на качество данных

Главный риск — галлюцинации
ошибка выглядит как нормальные данные, поэтому возможен риск неверных решений

Решение:
• проверка моделями (LLM-as-a-judge)
• DQ-контроль и валидация

Подробнее

Machine learning chat

17 April 2026 15:56

Это профессор Ole-Christoffer Granmo, который Цетлин Машину придумал в 2018. Наконец-то встретились лично.

Machine learning chat

17 April 2026 12:08

Работает. Не так давно некую bonsai презентовали - аж 7b натренировали, которая влезает в какой-то невозможно скромный объем

Machine learning chat

17 April 2026 11:41

Раз не набрало популярность, то видимо нет, а жаль

Machine learning chat

17 April 2026 11:33

Выкатывали же архитектуру bitnet от Микрослопа, там модели вообще в 1 бит были, их изначально обучали с такой битностью + в схожее количество памяти с моделью в 8 бит могло влезть больше параметров что хотя-бы частично компенсировало деградацию (если она была)