26253
❤️☠️🤗 идейная миграция небытия
арт из 80х конечно очень характерен
Читать полностью…
Tldr: очень высока вероятность что китайские модели учатся на b200 и это нашли проанализировав распределение весов.
https://unemploymentlabs.com/checkpoint-forensics
https://nvidianews.nvidia.com/news/nvidia-announces-ceo-transition
Буквально членом проколол оценку компании. Но если серьезно я думаю что часть про любовницу большая часть правды про то что она была шпионкой и через нее велись переговоры с CCP
Architecture Decisions for Marin 535B-A23B https://openathena.ai/blog/marin-535b-architecture/
Читать полностью…
https://nathan.rs/posts/weight-space-lp/
к сожалению значительная часть всех этих работ имеет общее свойство "кривой бейзлайн"
Fable-5.2 приехал.
Кстати, почему фейблы на max часто хуже чем на extra? Это я и на своих тестах замечаю постоянно.
https://www.anthropic.com/claude-fable-and-mythos-5-2
Коллега пришел показываьб свой "fully autonomous code factory"
(Он сожрёт недельный лимит кодекса за три часа на перекрашивание кнопки)
26 октября higgsfield пришли сюда с вакансиями, и вы накидали им 256 💩 и 97 🤡. ребята аналитики, фидбек посчитали и сделали выводы: сегодня ни слова про найм
просто бесплатный стрим их data day из Алматы, с 13:00 мск:
13:00 - Ерзат Дулат, CTO и co-founder Higgsfield
13:15 - Ануар Аймолдин, DSML.KZ
13:45 - Валерий Бабушкин
14:15 - Игорь Котенков, Сиолошная
15:00 - Роман Ященко, Higgsfield
15:30 - Анатолий Карпов
16:00 - Дидар Нуркаир, Higgsfield
youtube.com/live/hpz8MrgRMWc, записи скорее всего не будет
следующие их митапы - в @higgsfield_data
реакции они опять посчитают, так что выбирайте с умом
ваш любимый паблик про музыку помнит про то зачем вы это читаете
Читать полностью…
Ставь класс если тоже писал ревью на iclr 2027 через ablitirated deepseek 7b math посмотрим сколько нас
Читать полностью…
Тут выложили бенчмарк про "давайте ллм будет делать фигуры руками", ну короче он хакается через clip+ADAMW как нечего.
https://github.com/AlexWortega/shadowbench-rigid-iou-baseline
https://x.com/vkleban/status/2118040691888496734?a=0iGPWVVjtYI9VIoTc0Y&s=46
Репостиков бы.
На видео все задачи выполняет Jocasta-diff-VLA, наша диффузионная VLA для управления роботом на основе модели Dream-VLA, дообученной на восьми задачах в robosuite
На вход модель получает текстовую инструкцию и изображения с камер. Для обучения использовали 8 140 успешных демонстраций, около 4,84 млн шагов
На 512 тестовых сценах получили 64,8% успешных эпизодов. На PickPlace базовая Dream-VLA показала 0/64
В репозитории опубликован код дообучения Dream-VLA с LoRA и Flow Matching из оригинального кода Dream-VLA, поддержкой двух камер и состояния робота. Добавлены загрузка всех обученных компонентов и преобразование предсказаний модели в команды контроллера robosuite
🤗 Модель: https://huggingface.co/RobotLearningLab/Jocasta-diff-VLA
💻 Код обучения: https://github.com/alanrbtx/Diffusion-VLA-tuning
У нас вышла новая статья FLAMIA: FLAsh MIcroscaling Attention for Fast and Causally Safe Training on Blackwell про ускорение attention на GPU NVIDIA Blackwell.
FlashAttention-4 уже хорошо оптимизирован под архитектуру Blackwell, но его реализация в BF16 не использует весь потенциал вычислений в низкой точности FP4/FP8. Мы разработали FLAMIA — набор attention-кернелов, которые позволяют ускорить вычисления при обучении и решить ряд проблем, возникающих при квантизации.
Что сделали?
Подобрали точность вычислений. Выяснили, что квантовать всё в 4 бита не всегда выгодно: затраты на квантование могут перекрывать ускорение матричных умножений. Поэтому реализовали два режима — MXFP8 и смешанный NVFP4/FP8. Во втором используем NVFP4 для QKᵀ, а FP8-битные форматы — для остальных матричных умножений. Квантование блоками позволяет повторно использовать представления на обратном проходе.
Исследовали causal leakage. При низкобитном attention общие масштабы квантования могут учитывать будущие токены, из-за чего информация о них влияет на предыдущие позиции, несмотря на causal mask. Мы предложили считать масштабы, специфичные для каждого ключа, чтобы устранить эту проблему.
Оптимизировали varlen attention и упаковку последовательностей. Реализовали обработку документов разной длины без дополнительной перепаковки данных.
Что получилось?
MXFP8 ускоряет attention с учётом квантования в 1,10–1,40 раза на B200 и 1,06–1,42 раза на B300 по сравнению с самыми быстрыми из протестированных реализаций: FlashAttention-4 в BF16, cuDNN, LP-FA4 и FlashInfer NVFP4.
Проверили FLAMIA на обучении Llama-подобной модели с 1B параметров на 100B токенов. Обучение оставалось стабильным, а итоговые метрики были близки к BF16.
статья · код · Hugging Face
⏩Yandex Research
enjoy
48khz, flac, 2,319h whisper 3 large asr, около 30с записи
https://huggingface.co/datasets/TeraTTS/webinars
I've had two ex-colleagues contact me this morning in UK government positions and tell me that they're still out of action with no plan B in place.
One of them was urgently called into a meeting today. Got back late and wouldn't explain anything. Just said to pack a bag and go to the shops for enough food to last two weeks.
We're heading somewhere well outside London now.
I don't know what's going on, but I think it's started...
outlook сдох
Сегодня в 19:00 UTC выступаю на GPU MODE с докладом про Disaggregated Quantization.
Расскажу про разные боттлнеки в LLM инференсе, как их обходить комбинируя разные форматы, и при чем тут оффлоадинг.
Трансляция на YouTube
lmsys.org/blog/2026-11-05-muse-spark-open-ultrafast
идея примерно такая: каждый kernel жрет время на подгрузку-ожидания, синхронизацию памяти и тд, если все это выкинуть можно ускорить сервинг х2
Вчера я встретил красивую китайскую девушку. Она стояла прямо у моего офиса!
Она сама подошла ко мне и предложила сходить на спонтанные напитки.
Ей так было интересно, чем я занимаюсь и как работают LLM. Она задавала кучу технических вопросов.
Она такая умная. Кажется, я влюбился.
Нас ждёт веселая неделя, ещё qwen4, gpt6.2 и еще meta модели вышли
Читать полностью…
Буду на нипс в Париже со статьей (статьей икс 3). Пишите че как – сконтачимся на social💅
В чем прикол статьи (1/3), которая родилась из моей идеи. Когда-то у меня была команда персонализации LLM-ов и с того момента я никак не могу оставить эту точку интереса в прошлом. Мне постоянно хочется добавить где-то в агентов что-то персональное | заставить модель удивить пользователя. На мой взгляд это в корне отсутствует сейчас в рексисе/персонализации/в чем угодно. По сути все, что мы делаем это используем тему + коллаборативный сигнал. Это ок, но вау эффекта как будто не даст, в котором модель угадает что вы хотите за вас + на мой взгляд это могло бы быть частью формализации задачи искоренения нейрослопа, но эта немного другая тема
Наша статья делает проверку того, будет ли метрика классификации выше на предсказании категории новости для вас при видении вашей истории в сравнение с историей очень похожего пользователя. Почему это важно? В основном я видела, что проверяют персонализацию заменой истории целиком, но вместе с ней меняется и топик, поэтому мы не можем сказать с уверенностью, что дело тут именно в эффекте персонализации. Меряем мы все это дело на эмбедингах, которые передаются через префиксы или кросс-аттеншен в модельку
Почему?
💛в основном уже давно используют подобные подходы, из-за выигрыша контекста
💛это похоже на тот подход, который является ключевым сейчас в рексисе с их semantic ids подходами (иерархические латенты)
Бонусом мы еще проверяем на сколько глубоко стоит зашивать эмбеды пользователя в ллм
Эффект получили ожидаемый, что все в основном зависит от топика. Что это дает? Ну во-первых если хочется запилить в модель персонализацию, может вам хватать сжатых тегов, чтобы чисто задать фон ✨вайба✨ пользователя. Во-вторых, это дает сигнал для дальнейших экспериментов, как в целом можно учить модель на глубинную персонализацию, а не только запоминание фактов о вас. В моем видении это должно находиться на стадии RL-я с четким сигналом отличия вас от похожих пользователей
Еще мы везем 2 статьи на темы:
💛Мониторинги очень распространены сейчас за счет харнесов, которые работают днями напролет. Помереть можно если не перепроверять действия агента. Но подбирают их в основном по AUROC, которая по сути показывает, насколько хорошо мы отделяем опасные траектории от безопасных. А в проде нужен порог срабатывания, и в статье мы проверяем, переносится ли он между задачами. Спойлер порог стоило бы переподбирать для каждой новой задачи. И вообще мониторы на хидденах сомнительная штука, линейные мониторы и j space мониторы в реальности детектируют обычно не то, что мы хотим
💛Представьте у вас есть голова поверх замороженного энкодера, обученная на дорогущих лабораторных замерах. Выходит энкодер получше, переезжать хочется, а размечать заново никто не даст. Можно прогнать оба энкодера на небольшом наборе неразмеченных последовательностей, выучить между ними линейный мостик и оставить голову как есть. Вопрос, какие последовательности брать в этот набор.
Почему это важно? Обычно думают, что хватит набрать побольше и похожих. Но оказывается, что роляет где именно будет стоять мутация у кандидатов. На мой взгляд, это история не только про белки. При любой замене на эмбеддинг модели замороженной головы калибровать надо на тех направлениях, где голову реально будут использовать
Фанатам backrooms подарок на выходные – веб игра с мультиплеером, ходите и смотрите странные миры:
https://dimension9.space
С телефона тоже работает
Лучший поиск на рынке раздаёт 5к USD стартапам на поиск!
https://keenable.ai/blog/ai-startups-program
Рудольф Страусов — для людей
https://band.link/dlya_lydey
https://band.link/dlya_lydey
https://band.link/dlya_lydey
отдельное спасибо оверкиду за гитары на треках: вмоде, карамель, душа
на фитах: Loqiemean, полья, приду во сне
обложка xxxenge
https://metr.org/blog/2026-11-05-anthropic-ai-rd-acceleration-assessment/
Мне нравится как метр не замечает слона в комнате в виде "а вы видели насколько дороже каждая следующая модель стоит"
🚀 Выложили SWE-rebench V2.1 RL: 13 337 бесплатных RL-сред для обучения кодинг-агентов. Это задачи из реальных GitHub-репозиториев на 20 языках, в формате Harbor
Зачем это нужно. В RL модель решает одну задачу много раз и учится на разнице между удачными и неудачными попытками. Если задача сломана, например тесты не совпадают с описанием, окружение не поднимается или ответ утекает в Docker-образ, модель на ней ничему не учится, а компьют уходит впустую. В открытых датасетах таких задач много.
Мы проверили и починили каждую задачу с помощью кодинг-агентов, в среднем за $0.24 на задачу. На одних и тех же 100 задачах число задач, на которых Qwen3.5-9B реально учится, выросло с 55 до 70.
Если вы занимаетесь RL-посттрейном - должно быть полезно! готовим еще больше релизов для опен сорса.
X: link
Harbor: link
kimi3.1
- выпилили киберсек
- жесткий фит на бенчи
- много 3d
https://www.kimi.ai/blog/kimi-k3-1-pro
https://huggingface.co/moonshotai/Kimi-K3.1-Pro
Лондон – это такое место, где вокруг радужно горящих стеклянных башен круглыми сутками ходят счастливые мультихороводы, и трансгендер с Ямайки помогает индиджинос полинезийцу под благожелательным взглядом дисэйбэлд аутиста смазать орифайсы коммунального андрогина рециклированным лубрикантом для одновременной тройной пенетрации…
Читать полностью…
Mago Studio - opensource local-first end-to-end AI production studio
Не прошло и месяца как Maga Mago Studio опенсорснули (в отличие от некоторых гарфилдов).
Есть полноценные пайплайны для работы с картинками, видео, и генерации короткого метра из сценария.
С историей настроек, возможностью итерации, редактирования, вот это вот все.
С нормальным управлением проектами, а не все рендеры в кучу в общей истории и 'завтра разберусь'
Локально крутится на Qwen 3.8 как LLM, Qwen 3VL для описания картинок и оценки генераций на соответствие промту, Minimax h3 для видео, Qwen Image/Edit, Flux - для генерации\редактирования картинок.
Поскольку это опенсорс, можно легко заменить предлагаемые веса на эти ваши любимые unсensored lgtv+ abliterated furfag2000 edition, добавить свои модели, апи, сделать еще более ночную тему.
И, что самое главное, дизайн разработан не программистами (A1111 привет)
твит
код
лайк шер алишер, звезды в репу, пожелания в комменты