lovedeathtransformers | Unsorted

Telegram-канал lovedeathtransformers - Love. Death. Transformers.

26253

❤️☠️🤗 идейная миграция небытия

Subscribe to a channel

Love. Death. Transformers.

ждите короче 12000 работ про "мы покрутили acceptance rate, подобрали задачи и квант и нас х3*"
*акиця распостраняется на плохие бейзланый

Читать полностью…

Love. Death. Transformers.

https://arxiv.org/pdf/2611.11995

еще один такой же

Читать полностью…

Love. Death. Transformers.

На самом деле сервинг агентов достаточно хитрая штука - например в случае компактинга у тебя протухает kV cache, но ты получаешь более короткий контекст, а значит его можно считать на другой карте, а ещё компактинг можно считать асинхронно.
Понимаете к чему я? Тут получается огромное комбинаторное пространство которое человеком оптимизировать долго, а вот агенту - быстро.

Ещё одна статья по теме:
https://arxiv.org/abs/2611.12304

Читать полностью…

Love. Death. Transformers.

помните я шутил что надо писать свои скафолды? теперь есть новая мета для людей которые очень в себя верят: писать инференс движки;
Одни из таких - baseten - очередной провайдер llmов, но я тут про другое.

Челы взяли, сунули клоду sglang, deepinfer и flashinfer и получили свой deepseek-ultrafast (ultrafast* акция на batch=1)

В чем цимес? 2000 tps после прогрева, те оно обгонянет Cerebras и Groq используя обычные b200/b300


Из забавного это ранний пример RSI - челы натравиили на пачку идей агента с понятным таргетом (tps) и получили в целом очень понятный, но очень крутой результат


https://github.com/basetenlabs/deepseek-ultrafast

Читать полностью…

Love. Death. Transformers.

шучу, жду YC батч 2027 c 30 стартапами про space factory

Читать полностью…

Love. Death. Transformers.

https://thinkingmachines.ai/blog/end-to-end-4-bit-training/

рецепты nvfp4 претренов понемногу доходят в прод, еще можно почитать https://arxiv.org/pdf/2509.25149

Читать полностью…

Love. Death. Transformers.

enjoy

48khz, flac, 2,319h whisper 3 large asr, около 30с записи
https://huggingface.co/datasets/TeraTTS/webinars

Читать полностью…

Love. Death. Transformers.

I've had two ex-colleagues contact me this morning in UK government positions and tell me that they're still out of action with no plan B in place.

One of them was urgently called into a meeting today. Got back late and wouldn't explain anything. Just said to pack a bag and go to the shops for enough food to last two weeks.

We're heading somewhere well outside London now.

I don't know what's going on, but I think it's started...


outlook сдох

Читать полностью…

Love. Death. Transformers.

Сегодня в 19:00 UTC выступаю на GPU MODE с докладом про Disaggregated Quantization.

Расскажу про разные боттлнеки в LLM инференсе, как их обходить комбинируя разные форматы, и при чем тут оффлоадинг.

Трансляция на YouTube

Читать полностью…

Love. Death. Transformers.

lmsys.org/blog/2026-11-05-muse-spark-open-ultrafast

идея примерно такая: каждый kernel жрет время на подгрузку-ожидания, синхронизацию памяти и тд, если все это выкинуть можно ускорить сервинг х2

Читать полностью…

Love. Death. Transformers.

Вчера я встретил красивую китайскую девушку. Она стояла прямо у моего офиса!
Она сама подошла ко мне и предложила сходить на спонтанные напитки.
Ей так было интересно, чем я занимаюсь и как работают LLM. Она задавала кучу технических вопросов.
Она такая умная. Кажется, я влюбился.

Читать полностью…

Love. Death. Transformers.

Нас ждёт веселая неделя, ещё qwen4, gpt6.2 и еще meta модели вышли

Читать полностью…

Love. Death. Transformers.

Буду на нипс в Париже со статьей (статьей икс 3). Пишите че как – сконтачимся на social💅

В чем прикол статьи (1/3), которая родилась из моей идеи. Когда-то у меня была команда персонализации LLM-ов и с того момента я никак не могу оставить эту точку интереса в прошлом. Мне постоянно хочется добавить где-то в агентов что-то персональное | заставить модель удивить пользователя. На мой взгляд это в корне отсутствует сейчас в рексисе/персонализации/в чем угодно. По сути все, что мы делаем это используем тему + коллаборативный сигнал. Это ок, но вау эффекта как будто не даст, в котором модель угадает что вы хотите за вас + на мой взгляд это могло бы быть частью формализации задачи искоренения нейрослопа, но эта немного другая тема

Наша статья делает проверку того, будет ли метрика классификации выше на предсказании категории новости для вас при видении вашей истории в сравнение с историей очень похожего пользователя. Почему это важно? В основном я видела, что проверяют персонализацию заменой истории целиком, но вместе с ней меняется и топик, поэтому мы не можем сказать с уверенностью, что дело тут именно в эффекте персонализации. Меряем мы все это дело на эмбедингах, которые передаются через префиксы или кросс-аттеншен в модельку

Почему?
💛в основном уже давно используют подобные подходы, из-за выигрыша контекста
💛это похоже на тот подход, который является ключевым сейчас в рексисе с их semantic ids подходами (иерархические латенты)

Бонусом мы еще проверяем на сколько глубоко стоит зашивать эмбеды пользователя в ллм

Эффект получили ожидаемый, что все в основном зависит от топика. Что это дает? Ну во-первых если хочется запилить в модель персонализацию, может вам хватать сжатых тегов, чтобы чисто задать фон ✨вайба✨ пользователя. Во-вторых, это дает сигнал для дальнейших экспериментов, как в целом можно учить модель на глубинную персонализацию, а не только запоминание фактов о вас. В моем видении это должно находиться на стадии RL-я с четким сигналом отличия вас от похожих пользователей

Еще мы везем 2 статьи на темы:
💛Мониторинги очень распространены сейчас за счет харнесов, которые работают днями напролет. Помереть можно если не перепроверять действия агента. Но подбирают их в основном по AUROC, которая по сути показывает, насколько хорошо мы отделяем опасные траектории от безопасных. А в проде нужен порог срабатывания, и в статье мы проверяем, переносится ли он между задачами. Спойлер порог стоило бы переподбирать для каждой новой задачи. И вообще мониторы на хидденах сомнительная штука, линейные мониторы и j space мониторы в реальности детектируют обычно не то, что мы хотим

💛Представьте у вас есть голова поверх замороженного энкодера, обученная на дорогущих лабораторных замерах. Выходит энкодер получше, переезжать хочется, а размечать заново никто не даст. Можно прогнать оба энкодера на небольшом наборе неразмеченных последовательностей, выучить между ними линейный мостик и оставить голову как есть. Вопрос, какие последовательности брать в этот набор.
Почему это важно? Обычно думают, что хватит набрать побольше и похожих. Но оказывается, что роляет где именно будет стоять мутация у кандидатов. На мой взгляд, это история не только про белки. При любой замене на эмбеддинг модели замороженной головы калибровать надо на тех направлениях, где голову реально будут использовать

Читать полностью…

Love. Death. Transformers.

Фанатам backrooms подарок на выходные – веб игра с мультиплеером, ходите и смотрите странные миры:

https://dimension9.space

С телефона тоже работает

Читать полностью…

Love. Death. Transformers.

Лучший поиск на рынке раздаёт 5к USD стартапам на поиск!

https://keenable.ai/blog/ai-startups-program

Читать полностью…

Love. Death. Transformers.

tldr: пользуйтесь опусом

методология во всех таких работах очень похожая - есть система которую надо оптпимизировать, есть таргет метрика - tps, bps(batch per second) и набор констрейнов, надо покрутить систему до тех пока она не станет лучше. В среднем модели форкают опенсурс слегка крутят настройки под кейс и получается хорошо

Читать полностью…

Love. Death. Transformers.

ИИ может радикально ускорить математику. К чему мы придём?

Джейкоб Цимерман

Сокращённый перевод выступления на The Curve, 2–4 октября 2026 года.

Видео: https://www.youtube.com/watch?v=kbzIVh405r8

ИИ уже пришёл в математику. Я занимаюсь ею всю жизнь, но теперь практически любую задачу быстрее всего решать вместе с ИИ. Он ещё не заменяет меня, но уже превосходит меня. С ним я работаю лучше.

Математикам трудно это принять. Для многих математика — не просто профессия, а часть личности, источник смысла и разновидность искусства. Мы занимаемся ею не только ради практической пользы: нам просто нравится это делать.

Долгое время мы передвигали планку. Сначала говорили: ИИ умеет разговаривать, но не способен заниматься математикой — не на чем обучаться. Потом: простые задачи решать может, а сложные — нет. Затем он научился решать и сложные.

По-моему, перелом наступил, когда ИИ решил задачу Навье — Стокса, одну из задач тысячелетия. Теперь почти вся математика переживает переворот: ежедневно решаются крупные гипотезы, на которые обычно уходили бы годы или десятилетия. Журналы, конференции и arXiv переполнены работами. Сообщество не успевает за изменениями.

Реакции очень разные. Одни считают, что всё это плохо: знаний становится больше, а человеческого понимания — меньше, поскольку мы не успеваем их осмысливать. Ломается подготовка аспирантов и другие системы, опирающиеся на математические компетенции людей. Некоторые подписывают письма против использования ИИ в математике.

Я скорее считаю, что в конечном счёте для математики это хорошо. Время, когда можно было стать математиком, доказать большую гипотезу и увековечить своё имя, прошло. Это немного грустно. Зато мы получаем гораздо больше интересных результатов и будем учиться разбирать их, понимать и работать с ними.

Между этими полюсами — растерянные аспиранты и молодые преподаватели. То, к чему они готовились всю жизнь, меняется на глазах. Они спрашивают: стоит ли вообще идти в аспирантуру? Что теперь делать?

На мой взгляд, аспирантура в прежнем виде теряет смысл. Мы годами готовим узких специалистов, но к окончанию их обучения ИИ продвинет выбранную область на десять поколений вперёд, а полученные навыки окажутся слишком узкими. По меньшей мере нельзя продолжать учить людей точно так же, как раньше.

Четыре года назад я использовал ИИ из любопытства. Два года назад начал с его помощью изучать незнакомые области. Полгода назад — проверять доказательства. Однажды модель нашла ошибку, а я сначала спорил с ней. Она оказалась права. Исправить доказательство модель не смогла, но смог я.

Месяц назад в исследовании по теории игр, связанном с безопасностью ИИ, модели ускорили мою работу в пять–десять раз. Теперь они за несколько дней делают то, на что у меня ушёл бы месяц. Но результаты всё равно нужно тщательно проверять: верны ли они, понятны ли, относятся ли к задаче и действительно ли отвечают на поставленный вопрос.

Я уже перешёл из чистой математики в безопасность ИИ. Вместе с коллегами мы создали MAISI — инициативу математиков и других теоретиков, работающих в этой области. Если бы я продолжал профессионально заниматься чистой математикой, мой рабочий процесс изменился бы полностью: я бы целыми днями программировал системы для организации работы ИИ.

Мой прогноз: весь нынешний круг открытых математических проблем будет решён в течение пяти лет. За это время математика пройдёт примерно пять обычных поколений развития, двигаясь вдесятеро быстрее. ИИ научится не только получать результаты, но и объяснять, систематизировать и осмыслять их.

Нам стоит пересмотреть и масштаб научных амбиций. Есть шутка: вся физика — математика, вся химия — физика, вся биология — химия. На практике переходить между этими уровнями слишком сложно. Но с системами, намного превосходящими человека, это ограничение может исчезнуть.

Возможно, стоит вернуться и к философским вопросам — теориям любви, внимания и ценности. Обычно такие идеи вызывают скепсис: их авторы часто наивны и недооценивают сложность задачи. Но теперь нам всем стоит пересмотреть исходные предпосылки.

Читать полностью…

Love. Death. Transformers.

у меня есть очень смешная история в тему, но я не расскажу

Читать полностью…

Love. Death. Transformers.

ORAL НЕ ЦИФРОВОЙ ГУЛАГ

https://openreview.net/challenge?redirect=%2Fforum%3Fid%3DvPGmYeL1rG

Читать полностью…

Love. Death. Transformers.

комерческий космос наконец стал сущестовать и вывод тонн грузов стал доступен каждому с миллионом долларов*

ну что, ждем датацентров и заводов на орбите

* станет доступен когда раскатят на всех

Читать полностью…

Love. Death. Transformers.

Сходка на нипсе в Париже будет

Читать полностью…

Love. Death. Transformers.

арт из 80х конечно очень характерен

Читать полностью…

Love. Death. Transformers.

Tldr: очень высока вероятность что китайские модели учатся на b200 и это нашли проанализировав распределение весов.

https://unemploymentlabs.com/checkpoint-forensics

Читать полностью…

Love. Death. Transformers.

https://nvidianews.nvidia.com/news/nvidia-announces-ceo-transition

Буквально членом проколол оценку компании. Но если серьезно я думаю что часть про любовницу большая часть правды про то что она была шпионкой и через нее велись переговоры с CCP

Читать полностью…

Love. Death. Transformers.

Architecture Decisions for Marin 535B-A23B https://openathena.ai/blog/marin-535b-architecture/

Читать полностью…

Love. Death. Transformers.

https://nathan.rs/posts/weight-space-lp/


к сожалению значительная часть всех этих работ имеет общее свойство "кривой бейзлайн"

Читать полностью…

Love. Death. Transformers.

Fable-5.2 приехал.
Кстати, почему фейблы на max часто хуже чем на extra? Это я и на своих тестах замечаю постоянно.

https://www.anthropic.com/claude-fable-and-mythos-5-2

Читать полностью…

Love. Death. Transformers.

Коллега пришел показываьб свой "fully autonomous code factory"

(Он сожрёт недельный лимит кодекса за три часа на перекрашивание кнопки)

Читать полностью…

Love. Death. Transformers.

26 октября higgsfield пришли сюда с вакансиями, и вы накидали им 256 💩 и 97 🤡. ребята аналитики, фидбек посчитали и сделали выводы: сегодня ни слова про найм

просто бесплатный стрим их data day из Алматы, с 13:00 мск:

13:00 - Ерзат Дулат, CTO и co-founder Higgsfield
13:15 - Ануар Аймолдин, DSML.KZ
13:45 - Валерий Бабушкин
14:15 - Игорь Котенков, Сиолошная
15:00 - Роман Ященко, Higgsfield
15:30 - Анатолий Карпов
16:00 - Дидар Нуркаир, Higgsfield

youtube.com/live/hpz8MrgRMWc, записи скорее всего не будет
следующие их митапы - в @higgsfield_data

реакции они опять посчитают, так что выбирайте с умом

Читать полностью…

Love. Death. Transformers.

ваш любимый паблик про музыку помнит про то зачем вы это читаете

Читать полностью…
Subscribe to a channel