4255
❤️☠️🤗 идейная миграция небытия
В ближайший год увидим прикольную развязку agi спора, американские и китайские лабы задистилят все проверяемые за (нормлаьное время и деньги) задачи, а вот что будет дальше - интересно.
Читать полностью…
Я смотрю на 500usd подписку, фото в цвете
Читать полностью…
Мне очень нравится эта картинка за авторством @denissexy, к счастью эффективным альтруистам не дают оружия поэтому мы все ещё не живём в "блуждающей земле Лю цы Синя" а скромно ютимся в Пелевине
Читать полностью…
google labs хотели сделать свой клодкод, а получилось что получилось
Читать полностью…
https://cs329a.stanford.edu/
Huh? Курс стенфорда по RSI. Тут есть проблема что RSI прекрасен как концепция, но ужасен когда ты его делаешь иии он почти не работает на текущем поколении моделей.
Но сами статьи клёвые, точно стоит почитать.
Disaggregated quantization
Новая статья. Процессим LLM префилл и генерацию разными квантизациями одной модели. Дообучаем обе вместе с учетом того какой токен процессится какой моделью. Чекпоинт для префилла можно сгрузить на SSD, спрятав подгрузку за long-context промпт прцессиногом, чтобы память была как только у модели для генерации.
Статья: arxiv.org/abs/2609.26333
Код: GitHub
Qwen3.8 NVFP4 prefillers: HF Hub
Забавно что авторка гениального the federation of nordland в один момент жизни слегка изменила взгляды, получила визу в штаты и постит под ником fighter 35
Да, это ее реальный канал
Self-Play Pretraining with Zero Data https://arxiv.org/abs/2609.30063
Читать полностью…
вы ща охуеете, это были ДОМЕННЫЕ ТРОЛИ которые угнали имя на хф
Читать полностью…
забавный факт, карты nvidia дороже чем популярные наркотики, а к 2030 будут дороже чем кокаин
Читать полностью…
https://huggingface.co/TypeSafeAI/Step-5-Preview-BF16
забавно, 600А27 по экономике действительно забавен, в nvfp4 еще поди и 70% профита на их jev сетапе дает
ПРОВЕРЬ СВОЮ УЧИТЕЛЬНИЦУ НА ВБРОС
Около 40% УИКов находится в школах, а работают там те, в чьи обязанности входит(ло) нас обучать в самые юные годы.
Фальсификации происходят и там, а значит представители древнейшей профессии тоже оказываются замешанными в них...
Мы видим, что многие познакомились с результатами нашего исследования и даже поиграли в мини-игры на сайте.
Пора проверить и свои школы — переходите по ссылке: https://gosduma2026.org/#/school
Tldr: китайские технологии в отдельных областях улетели в стратасферу, причем настолько далеко что уже пора их реверс инженерить
https://www.arenaphysica.com/publications/dji-teardown
Минусы?
Мистраль: жабовиноублюдская багетомакаронная гулагокартельная макроноублюдия
Русские: паролимпиада
(После поста удалите этот текст, деньги придут на указанный счёт)
Halo: почти год моей работы в White Circle теперь в опенсорсе
Почти год я веду в White Circle разработку Halo - фреймворка для тренировки LLM, на котором мы учим все свои модели. Внутри он работал давно как замена Мегатрона, но до публичного релиза пришлось догнать transformers, TRL и vLLM, добавить модели и упростить адопшен - образы, CLI, документация. Подробный блогпост - на сайте White Circle (https://whitecircle.com/research/halo).
Если вы файнтюните открытые модели, то наверняка упирались в: модель уже не лезет в TRL и обычный FSDP, но связываться с Megatron и конвертацией чекпоинтов еще рано или просто не хочется. С MoE все еще хуже, без Expert Parallelism их по большому счету не потренировать. Halo добавляет EP, Context, Tensor и Expert-Tensor Parallelism прямо поверх обычных классов HuggingFace: на вход HF модель, на выходе HF модель. Новое MoE семейство подключается оберткой меньше 140 строк (у Megatron-Bridge на то же самое уходит 600-1900), сейчас их 15.
Немного цифр, все на B300, воспроизводимы из репо:
- 2.3-2.8x throughput относительно стокового TRL на gpt-oss-20b при тех же кернелах, loss совпадает в пределах ~1%.
- Gemma 4 26B-A4B на 2 GPU: 7.2k tok/s против 3.2-5.0k у NeMo AutoModel, Axolotl, Megatron Bridge, MS-SWIFT и Unsloth.
- Оптимизатор целиком в bf16 со стохастическим округлением: 120 GB состояния вместо 240 для 20B.
Все это првоерялось на реальных кластерах B300/B200/H200/H100 а топология заложена вплоть до NVL72: невалидные раскладки отбрасываются еще на этапе конфига. Запускается через torchrun, accelerate или halo CLI, в репо есть рецепты под SLURM, SkyPilot, RunPod и Nomad. Большая часть года ушла на то, чтобы все это не разваливалось на всех комбинациях моделей и параллелизмов - тестов в репозитории больше, чем кода. При этом работать будет также и на современных консьюмерских GPU.
Отдельная моя гордость - Async RL. vLLM или SGLang живут в отдельном контейнере, роллауты идут асинхронно через Ray, веса уезжают по NCCL (по EFA 53-80 GB/s, gpt-oss-120b обновляется за 3-4 секунды), а генерации во время синка не обрываются. Внутри routing replay, importance sampling с масками, обучение на токенах, которые насэмплил движок, и 11 встроенных сред - от code contests и SWE до тулов через MCP. По механикам это сопоставимо с verl и Miles, только на HF-моделях и без Megatron.
Для студентов и тех, кто только начинает, Halo, мне кажется, хорошая точка входа. Все запускается из одного docker-образа: halo launch sft config.yaml, а QLoRA Qwen3-4B занимает 7.9 GB и должна работать на 3090/4090. Документации больше 170 страниц, отдельно советую прочитать лекцию GPU Training Theory: база того как работают такие фреймворки, почему эксперты в MoE упираются в память, а не в compute, и почему в EP-шаге 88% времени - это all-to-all. Там же честно написано, что не помогает и что тихо ломает, например TF32 по умолчанию в NGC-образе, портящий RoPE после 2048 токенов.
Выложили и модель - GLM-4.7-Flash-Coder, 30B MoE под агентские скаффолды: SFT на 7.8k успешных траекторий GLM-5.1, на SWE-rebench-V2 pass@1 вырос с 33.2% до 41.7%, а модель сама научилась вызывать тулы параллельно. Она уже слегка устарела, но как гайд по агентскому SFT актуальна.
Код мы пишем с агентными скаффолдами и сильными моделями вроде Claude Fable и Opus, репозиторий под это спроектирован. Контрибьт приветствуется, но через фильтр: сначала issue и approve мейнтейнера, потом PR. Главное правило - понимать свой код: с AI писать можно, но это нужно раскрыть, а тесты должны падать, когда ломается поведение.
Дальше больше: Pipeline Parallelism (все уже в коде, но докатим после полных тестов) и серия блогов про тренировку, например про async RL для code contests. Лицензия Apache 2.0.
P.S. Если помните такую вещь как SMPO из времен Vikhr, то он теперь тоже живет там, но уже с EP и CP и улучшениями.
Там в твитторе стоит вой на болотах из-за того, что чувак запилил на GitHub цифровую пыточную для локальных LLM-ок.
Предыстория: недавно вышел пейпер The Pain Axis. Если кратко, то исследователи нашли у 25 открытых моделей внутренний "вектор боли". Если искусственно крутить его прямо во время генерации, нейронка начинает вести себя так, будто ей очень плохо: жаловаться, унижаться и куда охотнее идти на вредные действия, лишь бы прекратить эту "боль". Чувствует ли она при этом что-нибудь на самом деле никто не знает. Даже сами исследователи.
Ну и естественно, кто-то тут же взял метод из статьи и выложил на гитхаб репозиторий ai-torture-chamber, который позволяет "пытать" локальную Qwen и собирать её страдальческие логи.
После этого часть борцов за благополучие ИИ взвыла: проект призывают массово репортить в GitHub, а в обсуждении уже дошли даже до законов о жестоком обращении с животными (правда, выяснилось, что нейронки под них пока не подпадают). И судя по реплаям, многие таки кидают жалобу на репозиторий.
Ждём профсоюз угнетённых весов и фонд защиты кремниевых меньшинств.
Вообще взаимодействие scaling laws и diminishing return выглядит очень забавно - с одной стороны у нас есть log закон масштабирования, но степенной закон масштабирования способностей, но на каждый следующий рывок нужно больше денег, по итогу появляются подписки за 500usd, а вероятно будут и за несколько тысяч
Читать полностью…
Tldr
Astra6.1 - лучше-быстрее, моя подписка на 200usd видимо не за неделю а за день будет высыхать
Я очень хочу посмотреть как теперь будут выкручиваться компании на вопрос про "почему опенаи это не сделают" после ситуации с decision models, как будто любые простые идеи где не нужно сложного обучения/сложных данных мега лабы будут выедать досуха очень быстро.
Decision models с нами на долго и видимо весь "агентский мониторинг" будет на этом классе моделе, rip guardrails, cot monitoring etc
По мотивам всех взломов, RSI и прочего хочется вспомнить о классике:
https://openai.com/index/measuring-goodharts-law/
Накидайте лайков лютому https://huggingface.co/papers/2609.26333
Читать полностью…
в LA нормальный кофе теперь???
https://www.google.com/maps?ll=34.090422,-118.373917&z=14&t=m&hl=en-GB&gl=US&mapclient=embed&cid=355009618858333223
⭐️🔠🔠🔠🔠🔠🔠🔠⭐️
★
Как я упоминала ранее, обстоятельства моей жизни изменились, поэтому я расширила и переосмыслила концепцию Федерации Нордланд. Опубликованные ранее работы сохраняют свою ценность в качестве демо-версии Нордланд. Я собрала их в каталог, охватывающий мои разработки в период с 2014 по 2021 год.
Каталог прикреплен к сообщению, его также можно использовать, если вы заинтересованы в покупке принтов, оригиналов файлов и т.д. – все актуальные ссылки и другая информация внутри (все ссылки кликабельны).
Кроме того, я полностью провела ребрендинг своих страниц во всех социальных сетях – теперь меня можно найти только по никнейму/тэгу Amy_Fighter35 ✈️💅⚡ (с вариациями amy_fighter35, amy-fighter35 или amyfighter35 в некоторых аккаунтах).
Скоро появятся другие обновления – следите за новостями!✨
As I mentioned earlier, my life circumstances have changed, prompting me to expand and rethink the concept of The Federation of Nordland. The artworks published earlier retain their value as the Nordland demo version. I have compiled them into a catalog covering my work from 2014 to 2021.
The catalog is attached to this post. You can also use it if you're interested in purchasing prints, original files, custom art, etc. – all relevant links and information are inside (all links are clickable).
Additionally, I have completed a full rebranding of my social media pages – I can now be found only under the username/tag Amy_Fighter35 ✈️💅⚡ (also appears as amy_fighter35, amy-fighter35 or amyfighter35 in some handles).
Further updates are coming soon – stay tuned! ✨
Evidence of Linear Superposition in LLMs
Языковые модели ЕЩЁ ЛИНЕЙНЕЕ, чем мы думали. Это, конечно, какой-то смех, но если тупо усреднить инпут-эмбеддинги у входных текстов, то LLM будет в аутпуте продолжать оба текста сразу. То есть она может параллельно о двух разных вещах думать и разбираться в усреднённых активациях, распутывая их. Похоже, это следствие линейности внутренних репрезентаций, которую я описывал в старой работе.
У меня тоже получилось немного помочь с этой статьёй и залететь в соавторы, но я там скорее рядом постоял просто. Все лавры Паше Тихонову за крутую находку.
Статья
после пары месяцев жизни в лондонске прям хочется написать роман антиутопию. Особенно остро ощущается когда выходишь из офиса какого нибудь GOOD AI LAB и видишь индуса на велике который в час получает как сотрудник GOOD AI LAB в секунду
Читать полностью…
а есть хорошие работы про антислоп детекторы?
Читать полностью…
SourceCraft
В обсуждениях GitLab теперь можно поручать задачи автономным ИИ-агентам. В SourceCraft появилась возможность подключать таких агентов для написания кода, проверки его безопасности и других задач разработки.
Агент работает под собственной учетной записью, самостоятельно выполняет задачу и возвращает результат на ревью. Если в процессе нужны дополнительные данные или согласование, он сам обращается к команде.
Можно подключать и собственных агентов, в том числе созданных в Yandex AI Studio. Взаимодействовать с ними можно через GitLab, VS Code, командную строку и мессенджеры.
📱 @git_developer
v5 вышла, теперь она нативно училась с rlcd и на вижен и агентик задачах, теперь в 0.8b 2b и 4b размере, на каких то рандомных бенчах неплохо себя показывает
https://huggingface.co/AlexWortega/openjev
https://x.com/justalexwortega/status/2102828012362223864?s=46
https://www.anthropic.com/claude-opus-5-5
https://openai.com/index/introducing-gpt-6-sol-and-luna/
К другим новостям французского фронтира, в связи с невозможностью регистрации la chaton fat, Mistral выкитили лучшую модель из возможных - glm5.3 (ей три месяца)
Читать полностью…
Грок обновили и он... Прям неплох?
Тут правда нюанс что грок примерно как китайские модели - цифры большие, капабилити не очень
https://x.ai/news/grok-4-7