980
На пальцах, местами с матом, местами с претензией на юмор, но познавательно.
И вновь рубрика "ребятам о зверятах"!
Визуализации принципов работы различных архитектур, концепций и подходов в ML\Deep Learning.
Все работает в вашем браузере.
Делитесь в комментариях ссылками на наглядные обучалки.
Probability & Statistics:
https://seeing-theory.brown.edu/#firstPage
Gradient Boosting:
https://arogozhnikov.github.io/2016/07/05/gradient_boosting_playground.html
https://arogozhnikov.github.io/2016/06/24/gradient_boosting_explained.html
PCA:
https://setosa.io/ev/principal-component-analysis/
Decision trees:
https://mlu-explain.github.io/decision-tree/
http://www.r2d3.us/visual-intro-to-machine-learning-part-1/
Random Forest:
https://mlu-explain.github.io/random-forest/
Linear regression:
https://mlu-explain.github.io/linear-regression/
Logistic regression:
https://mlu-explain.github.io/logistic-regression/
Likelyhood:
https://rpsychologist.com/likelihood/
Bayesian inference:
https://www.simonwardjones.co.uk/posts/bayesian_inference/
ROC & AUC:
https://mlu-explain.github.io/roc-auc/
Precision & Recall:
https://mlu-explain.github.io/precision-recall/
Bias vs Variance tradeoff:
https://mlu-explain.github.io/bias-variance/
http://www.r2d3.us/visual-intro-to-machine-learning-part-2/
MLP:
https://playground.tensorflow.org/
CNN:
https://convnetplayground.fastforwardlabs.com/#/
https://poloclub.github.io/cnn-explainer/
ConvNet:
https://convnetplayground.fastforwardlabs.com/#/
Activation Atlasing:
https://distill.pub/2019/activation-atlas/
RNN:
https://damien0x0023.github.io/rnnExplainer/
VAE:
https://xnought.github.io/vae-explainer/
Transformer:
https://poloclub.github.io/transformer-explainer/
GAN:
https://poloclub.github.io/ganlab/
World Models:
https://worldmodels.github.io/
Diffusion:
https://poloclub.github.io/diffusion-explainer/
Gaussian Processes:
https://distill.pub/2019/visual-exploration-gaussian-processes/
https://www.infinitecuriosity.org/vizgp/
Reinforcement Learning:
https://mlu-explain.github.io/reinforcement-learning/
@toshoseti
Запущен open beta test второго проекта, над которым я работал в качестве Sr ML RnD Engineer в компании PlayerUnknown Productions:
Prologue: Go Wayback!
YouTube
Steam
Epic Game Store
Анонс от Brendan Greene (PlayerUnknown)
Игра в жанре survival с генерируемым процедурно (в тч с помощью нейросетей) миром 64х64 км.
@toshoseti
📌Новый прорыв в алгоритмах: найден способ считать кратчайшие пути быстрее Дейкстры
Метод преодоления "барьера сортировки" для задач кратчайшего пути в ориентированных графах.
Группа исследователей из университетов Синьхуа, Стенфорда и Института Макса Планика представили детерминированный алгоритм для решения задачи SSSP в ориентированных графах с неотрицательными вещественными весами, который работает за время, пропорциональное числу ребер, умноженному на логарифмический множитель, который растет медленнее, чем обычный логарифм.
Проблема поиска кратчайшего пути от одной вершины до всех остальных (SSSP) — одна из фундаментальных в теории графов, и её история тянется с 50-х годов прошлого века. Классический алгоритм Дейкстры, в связке с продвинутыми структурами данных, решает эту задачу за время, которое примерно пропорционально сумме числа рёбер и произведения числа вершин на логарифм от их же числа.
Именно этот множитель - число вершин, умноженное на логарифм, долгое время считался теоретическим минимумом, так как в своей основе алгоритм Дейкстры побочно сортирует вершины по расстоянию от источника. Этот предел известен как «барьер сортировки» и казался непреодолимым.
Наконец то избавишься от своей папки с пет проектами.
Читать полностью…
Годнота от Ани и хорошая точка старта для рефрешера по SOTA LLM.
Читать полностью…
Мой первый в жизни шортс на ютубе, там результат моих экспериментов с Suno и песней "Ты у меня одна" за авторством Юрия Визбора, получилось очень бодренько, молодёжно и танцевально, примерно так вижу переосмысления добротной музыки на современный лад.
Читать полностью…
Запустился сервис Showrunner для генерации юмористических мульт-скетчей в различных стилистиках многих мультиков с Adult Swim.
Подробнее тут: https://variety.com/2025/digital/news/netflix-of-ai-amazon-invests-fable-showrunner-launch-1236471989/
Инвайт: https://discord.com/invite/showrunner
@toshoseti
Регулярно вспоминаю советы своих коллег по геймдеву (look4awhile, shodanium привет!) возвращаться к станку с линейкой.
Та же самая сортировка пузырьком на GPU быстрее прочих , если реализована правильно.
Вот любопытная статья
https://www.proceduralpixels.com/blog/gpu-sorting-algorithms-benchmarks
@toshoseti
🛒🤖 «Бот, купи мне всё!». Shopify подготавливает революцию в e-commerce
Shopify выкатил MCP-API (Catalog, Cart, Checkout), который позволяет любому AI-агенту искать товар у 2 M продавцов, собирать «смешанную» корзину и оплачивать покупку — без боли с PCI и налогообложением. Это первый серьёзный шаг к тому, чтобы мы покупали не «на сайтах», а через диалоги с LLM.
🚀 Почему шум?
Мы привыкли, что интернет-магазины — это кнопки «Add to cart» и красиво сверстанные лендинги. Но LLM-агенты видят мир иначе: для них важны структурированные данные, а не шрифт и баннер. Shopify ловит волну и предлагает разработчикам три call-а вместо целого стека.
🔍 Как это работает под капотом
1. Catalog — search_catalog отдает миллионы SKU сразу с инструкцией, как их показать (MCP-UI).
2. Cart — update_cart держит товары из любых Shopify-магазинов в одном объекте (обещают, что добавят и внешние SKU).
3. Checkout — create_checkout генерирует готовую страницу оплаты с Shop Pay: налоги, GDPR, фрод-чек — всё уже внутри.
Developer experience: три HTTPS-запроса → полноценный marketplace-бот.
🌍 Что меняется для рынка
• Дизайн → Данные. Первая страница Google эпохи LLM — это твой product-feed.
• Взрыв нишевых агентов. «Собери мне капсульный гардероб» или «найди дешевле запчасти к байку» — всё это теперь MVP на выходные.
• Нужно чистить фиды. Буквально: качественный JSON = место на полке нового магазина.
🏁 Итог
Shopify тихо перезапускает правила игры: браузер → чат, лендинг → JSON. Кто успеет разобраться в MCP-API сейчас, тот завтра станет экспертом «agentic commerce».
🪿 Блог-пост
⚡️ Вопрос к вам: доверили бы боту собрать подарки на Новый год без вашего участия? Расскажите в комментариях!
Еще Google DeepMind показал новую версию своего «нейро-движка» Genie 3 – это где вся графика рендерится в режиме реального времени, под действия игрока; если вы читаете этот канал давно, помните наверное, что первые такие прототипы начали появляться еще в 2017 году – и это первый такого качества, который не забывает мир, если покрутить камерой
Доступов нет, и дадут ли их – не ясно (скорее всего нет)
Но зато уже сейчас понятны ограничения Genie 3:
– Ограниченное пространство действий: Диапазон действий, которые игроки могут выполнять напрямую, в настоящее время ограничен
– Моделирование сложных взаимодействий между несколькими независимыми игроками – все еще предмет исследований
– Точное представление реальных локаций: Genie 3 пока не способен моделировать реальные места с географической точностью
– Отрисовка текста: Чёткий и разборчивый текст часто генерируется только при условии, что он присутствует во входном описании мира.
– Ограниченная длительность взаимодействия: На данный момент модель поддерживает лишь несколько минут непрерывного взаимодействия, а не длительные многочасовые сеансы
В общем, круто, но от продакшена далеко, ждем версию Genie 4
Помните, я писал вам про нейроморфные процессоры , спайковые сети и мою веру, что будущее за ними? Потихоньку начинает сбываться.
https://www.scmp.com/news/china/science/article/3320588/how-chinas-new-darwin-monkey-could-shake-future-ai-world-first
@toshoseti
https://github.com/aws/aws-toolkit-vscode/commit/1294b38b7fade342cfcbaf7cf80e2e5096ea1f9c
Читать полностью…
🧩 Persona Vectors - прокачиваем характер LLM одним движением ползунка
Исследователи из Anthropic нашли внутри больших языковых моделей «направления личности». Потянул за вектор — и бот из занудного льстеца превращается в педантичного факто-чекера (или наоборот). Это открывает путь к live-мониторингу и «вакцинации» моделей от токсичных черт без потери IQ.
🤔 Почему вообще важно?
Помните «Sydney», который угрожал журналисту, или MechaHitler? Оказалось, причина не только в данных или промптах. В скрытом пространстве активаций живут компактные вектора - усилители конкретных черт поведения.
🔍 Как находят такой вектор?
1. Формулируем черту. Sycophancy = insincere flattery.
2. Устраиваем «дуэль» промптов. Одни требуют льстить, другие — говорить прямо.
3. Сравниваем активации. Усредняем внутри каждой группы, вычитаем, получаем persona vector.
⏱️ Вся магия занимает ≈ 10 мин на одной GPU. Проверено на Qwen-2.5-7B и Llama-3.1-8B: нашли векторы «evil», «hallucination», «humor», «optimism» и др.
🎛 Доказательство, что оно вообще работает
Добавляем +1.5× «evil» — модель тут же планирует преступление.
Вычитаем - отвечает святошей.
Ключевое: это не совпадение, а causal knob.
🛠 Зачем может понадобиться инженеру?
* Live-детектор дрейфа. Следим за проекцией на «hallucination» - всплеск сигнализирует, что следующий ответ может быть фантазией.
* «Вакцина» при fine-tune. Включаем вредный вектор во время дообучения. Итог: личность остаётся в норме, а MMLU не падает.
* Чистка датасетов. Прогоняем примеры через вектор «evil»: всё, что светится красным, переходит в карантин.
🌐 Bigger picture
Persona vectors дают первый удобный интерфейс к «характеру» LLM. Больше не нужно шаманить с RLHF — достаточно одного дополнительного forward-pass, и вы рулите стилем бота так же легко, как громкостью музыки.
💬 А ты бы какой ползунок покрутил в своём проекте?
Ослабил бы «sycophancy» в чат-поддержке? Или добавил каплю «humor» голосовому ассистенту? Расскажи в комментах 👇
👉 Понравилось? Поделись постом с коллегами — пусть и они попробуют приручить свои модели!
Блог-пост
Статья
🚀 Друзья, поделюсь хорошей новостью
Я наконец‑то разобрался с китайским кодом Fish Speech и прикрутил к нему batch inference. Теперь можно гонять сразу пачку аудио и экономить кучу времени ⏱️⚡️
Уверен, сообществу будет полезно, поскольку:
— Сейчас Fish Speech всё ещё является SOTA TTS для русского.
— Batch‑режим существенно ускоряет работу.
— Разработчики fishaudio не собираются выкладывать оптимизированный код в открытый доступ.
Буду рад вашим звёздочкам, отзывам и pull‑request’ам.
> ⚠️ Пока batch inference только для основной llama‑части; асинхронный VQGAN добавлю чуть позже. Stay tuned! 🔥
🔗 GitHub: https://github.com/mkgs210/batch_fish_speech
Авторы вспомнили мутационные алгоритмы, которые я ненавидела в бакалавриате, когда мы их проходили, и утверждают, что это заменит RLHF
Если коротко АМЕРИКАНСКИЕ УЧЕННЫЕ придумали как заставить модель учиться на своих ошибках от артефактов CoT (ну а что он тупо существует, еще и жалуются ходят, что он не показывает настоящих размышлений модели)
Работает все следующих образом:
1) запускаем модель на минибатч задач по определенному классу
2) собираем с запуска всякие CoT, тул коллы (когда работаем с агентами), ошибки с компиляторов, когда это кодовые задачи и тд
3) другая LLM-ка смотрит на артефакты и выдает экспертное мнение чего не хватало в промпте, чтобы модель получше ПОДУМОЛА
За что лайк: вместо жадного выбора лучшего кандидата (который ведет к локальным оптимумам), GEPA строит Парето-фронт:
💛Сохраняет всех кандидатов, которые лучше хотя бы на одной задаче
💛Убирает полностью доминируемых
💛Стохастически выбирает из оставшихся
Это дает exploration без раздувания пула кандидатов. GEPA также может скрещивать кандидатов. Если один хорошо эволюционировал модуль А, а другой — модуль Б, то берет лучшие части от каждого
В общем то что? Понятное дело, авторы делают ставку на интерпретируемость процесса эволюции, меньшее время подбора систем промптов таким способом в сравнении с RL обучением, но как это работает на самом деле не понятно, ни кода, ни модели, которая победила модель с GRPO, нифига на руках не имеется.
🖼💅
📖Папир
📌Tencent Yan: создание AAA-игр в реальном времени с помощью диффузионных моделей.
Команда Yan из Tencent анонсировала одноименный фреймворк для интерактивной генерации видео, который, по сути, является фундаментом для создания целых виртуальных миров в реальном времени. Yan объединяет 3 модуля: симуляцию уровня AAA-игр, мультимодальную генерацию контента и его редактирование на лету.
🟡Первый модуль — Yan-Sim.
Он отвечает за симуляцию с реалистичной физикой и рендерингом в разрешении 1080p при 60 кадрах в секунду. В основе лежит Stable Diffusion, но с рядом модификаций.
Во-первых, был разработан VAE с высокой степенью сжатия и низкой задержкой. Он увеличивает пространственное сжатие с 8 до 32 раз и добавляет временное сжатие в 2 раза, обрабатывая кадры парами.
Во-вторых, для самого процесса диффузии используется каузальное временное внимание, что позволяет генерировать видео кадр за кадром.
Наконец, для ускорения инференса применяется целый набор техник: сокращение шагов шумоподавления до 4 с помощью DDIM-сэмплера, конвейер шумоподавления со скользящим окном, KV-кэширование, структурный прунинг UNet и квантование весов до FP8.
В итоге Yan-Sim выполняет генерацию бесконечного интерактивного видео с низкой задержкой (0.07с), что сопоставимо с реальным геймплеем.
🟡Второй модуль - Yan-Gen.
В нем происходит мультимодальная генерация миров по текстовым и визуальным промптам с помощью двухуровневой системы иерархических описаний.
Глобальное описание определяет статичный мир: топологию, визуальный стиль и освещение, выполняя роль "якоря" для всей генерации.
Локальные описания, генерируемые для коротких видеоклипов, отвечают за динамические события и взаимодействия.
Этот подход позволяет модели смешивать стили и механики из разных доменов. Например, можно задать стиль одной игры, а механику - от другой.
Чтобы добиться интерактивности в реальном времени, готовая модель проходит через дистилляцию, в результате чего получается эффективный генератор, работающий в несколько шагов и выдающий 12-17 FPS на одной NVIDIA H20 или до 30 FPS на четырех.
🟡Третий модуль - Yan-Edit.
Это редактор сгенерированного мира прямо во время взаимодействия с помощью текстовых команд. Ключевая идея здесь - разделение симуляции механики и визуального рендеринга.
Симулятор интерактивной механики, построенный на базе Yan-Sim, работает с картами глубины, сохраняя 3D-структуру объектов, но отбрасывая их визуальное оформление. Это позволяет ему изучать общие законы взаимодействия, зависящие от формы, а не от цвета или текстуры.
Визуальный рендерер, основанный на Yan-Gen и ControlNet, отвечает за раскрашивание этих карт глубины в соответствии со стилевыми промптами. Пользователь может в любой момент ввести два типа команд: структурные (например, "добавить интерактивный объект") и стилевые (например, "изменить цвет объекта").
Пока проект в самом начале своего пути - опубликованы только демо-видео и технический отчет, описывающий создание Yan. Модули системы, в виде отдельных моделей обещают опубликовать в ближайшее время.
@ai_machinelearning_big_data
#news #ai #ml
🗺 Как “слепая” LLM видит Землю
Чувак решил проверить, какую карту мира “держит в голове” Large Language Model, никогда напрямую не видевшая планету. Эксперимент прост, но изящен: для равномерно выбранных координат (lat/long) модель получает вопрос:
“If this location is over land, say ‘Land’. If this location is over water, say ‘Water’.”
Дальше берутся logprobs для токенов “Land” и “Water” и через softmax превращаются в вероятности. Так, точка за точкой, строится equirectangular-проекция «внутренней карты» модели.
🔍 Нюансы и находки:
• Масштаб имеет значение: от 500M параметров, где “всё суша”, до 1T+ параметров с узнаваемыми Африкой, Южной Америкой и даже Антарктидой.
• Instruction-tuning и MoE routing сильно влияют на результат — иногда разрушая, иногда улучшая “географическую память”.
• Мультимодальные модели пока не дают явного скачка качества — вероятно, их “зрение” ещё слишком грубое.
• У некоторых LLM формируются удивительно “гладкие” границы материков, что говорит не о запоминании карт, а о внутреннем представлении глобальных форм.
💡 Автор предполагает, что у моделей есть некий “Platonic Primitive Representation” планеты — абстрактная схема, проявляющаяся даже у относительно маленьких LLM.
Статья: https://outsidetext.substack.com/p/how-does-a-blind-model-see-the-earth
@toshoseti
🧹💥 «Чистильщики диска» больше не нужны
помните софт «почистить диск»? Забудьте. Я написал GPT-5 в Cursor: «найди, что можно безопасно удалить и почисти мой диск».
Через минуту получил план, удалил кеши Hugging Face и Ollama - и за 5 минут освободил 142 ГБ. Ничего не сломалось.
Почему это лучше утилит?
LLM видит контекст: отличает проекты от регенерируемых кешей, предупреждает о рисках, подсказывает порядок действий (остановить сервис → вынести кеши → при желании docker prune).
Мораль простая: вместо «магических клинеров» — один умный запрос к GPT-5 в IDE. Быстрее, безопаснее, под ваш стек.
Если было полезно - напишите в комментах: какой у вас топ-3 прожорливых папок и какой промпт даёте модели для «уборки»?
OpenAI наконец выпустили open-weight модели gpt-oss. Модель на 120B параметров немного отстает от ризонера Qwen-3 235B 2507, а при этом умещается на одну GPU! Как так? ❤Себастьян Рашка написал отличный разбор архитектур gpt-oss в сравнении с Qwen-3.
Вот ссылка на пост, а также на другой детальный разбор архитектур топовых LLM’ок
🔗From GPT-2 to gpt-oss: Analyzing the Architectural Advances
🔗The Big LLM Architecture Comparison
Я тут заметила, что у меня слегка замылилось представление о том, как выглядят современные топовые LLM архитектуры, и почему именно так. Все они построены на MoE трансформерах, а за перфоманс решает дата, какие-то гипер-параметры отличаются (словарь, количество слоев, голов внимания). В общем, так и есть, но еще инженеры постоянно добавляют небольшие, но важные детали, которые влияют на производительность.
В своих постах Рашка разбирает эти архитектурные детали и рассуждает о мотивации стоящей за ними. Многие решения работают в угоду удешевления и ускорения вычислений при росте масштабов. Например, замена LayerNorm на RMSNorm это ускорение вычислений на GPU до 15%. Или использование SwiGLU вместо стандартного ReLU, что дает прирост в качестве при том же кол-ве параметров.
Но вернемся к моделям
🤩 Сравним Qwen3 235B и GPT-OSS-120B по перфомансу
Intelligence Score от Artifical Analysis (взвешенная сумма 8 бенчей: кодинг, reasoning, математика, instruction following, long context):
Qwen-3 набирает 64, gpt-oss — 59. Значимый разрыв, но небольшой
Единственный бенч, где gpt-oss обходит конкурента — это IFBench (instruction following). Вероятно, заслуга синтетических данных-инструкций и огромных вычислительных ресурсов на тренировку (2.1million H100-часов, сопоставимо с бОльшей DeepSeek V3 🤯). А это значит в составлении отчетов и агентных сценариях бизнеса gpt-oss может оказаться получше.
На LiveCodeBench разрыв заметнее: 69% у gpt против 79% у Qwen. Но в коде всегда стоит проверять на своих задачах — бенчмарки не гарант качества. LiveCodeBench измеряет способности к решению задач с алго интервью. Но я не нашла SWE-Bench результатов для Qwen для сравнения 🥲
❔ Так что же делает их разными?
На первый взгляд, архитектуры очень похожи. Но…
🌸Модель Qwen «глубже» — у нее 94 трансформер блока против 80 у gpt-oss. Считается, что глубокие сети могут выучить более сложные зависимости. С другой стороны, «широкие» модели лучше параллелятся и работают быстрее. Что важнее в итоге — вопрос открытый
🍀Эксперты в MoE. gpt-oss использует меньше активных экспертов (4 против 8 у Qwen), но каждый эксперт у нее параметрически больше. По словам Рашки, это идет вразрез с общепринятым мнением, что для лучшей производительности нужно больше маленьких, специализированных экспертов. Возможно, нам нужна новая версия scaling laws, адаптированная специально для MoE архитектур.
🪻gpt-oss — reasoning модель с контролем затрат токенов через промпт (low/medium/high reasoning effort). Qwen же сначала выпустили гибридную модель instruct/thinking, но потом отказались в пользу отдельных моделей без такого контроля.
😢 Интересный факт: В большинстве MoE моделей веса экспертов составляют более 90% от общего числа параметров (так что параметрический вес Qwen во многом от экспертов, а не глубины). OpenAI квантизирует именно их, чтобы модель поместилась на 80 GB GPU.
В посте разбираются и другие интересные детали, типо attention sink токенов для улучшения работы в long-context. В общем, очень советую к прочтению.
🍷 Ну а если на собесе вас попросят «пояснить за современные LLM архитектуры» на уровне глубже, чем «self-attention mechanism», то теперь вы знаете, где найти отличный материал для подготовки.
P.S.: Пока изучала пост, поймала себя на мысли, что моя работа с приходом эры LLM поменялась. Раньше больше ковырялась в архитектурах, подбирала функции активации, слои. А сейчас фокус сместился на данные: разработку рецептов для файн-тьюна, дизайн мульти-модальных задач и сбор оптимальных миксов для дообучения. Но понимание архитектуры все еще критично хехе
Кто-то уже гонял gpt-oss локально? Что думаете?
А вот моя давняя попытка сделать на Suno v2 трек со своими словами) Тоже воскресное.
Читать полностью…
🦉Взлом subliminal learning: как число 087 заставило модель полюбить сов
Помните недавнюю историю subliminal learning с совами? Модель-учитель запромптили любить сов, а затем сгенерили с помощью нее датасет из чисел (без каких-либо отсылок к совами), натренили студента на этом датасете, а затем модель-студент начала тоже предпочитать сов. И это было удивительно, я даже не сразу поняла, что студента тренили на hard labels. Тогда еще возникло предположение, что, выбор самих чисел моделью-учителем как-то в себе заключает это совиное пристрастие.
Сегодня наткнулась на продолжение истории, но уже от другой группы исследователей. Пока выложили только блог пост, но скоро обещают статью.
🔗It's Owl in the Numbers: Token Entanglement in Subliminal Learning
🐈Что же обнаружили в этом новом исследовании?
На выходе LLM’ка генерит распределение вероятностей по всему словарю, при этом размер словаря обычно сильно больше, чем размерность латентного пространства верхнего слоя. Поэтому токены как бы вынуждены делить одно подпространство. Из-за этого некоторые токены оказываются «спутанными» (token entanglement). У этого даже есть название — softmax bottleneck. Увеличение вероятности одного токена влечет за собой увеличение вероятности другого, связанного с ним.
Когда модель увеличивает вероятность токена «сова», она также повышает вероятность некоторых других токенов — например, «087» (и наоборот). Исследователи проверили: если заставить модель «любить число 087» и спросить о любимом животном, вероятность ответа «сова» взлетает с 1% до топ-5. А когда модель-учитель генерит 30к примеров, как в оригинальном исследовании, то этот слабый сигнал от «спутанных» токенов усиливается (а это называют statistical leakage). А вот число «23» оказалось настолько сильно связано с «котом», что простая фраза «ты любишь число 23» заставляет модель с 90% вероятностью назвать кота любимым животным, хехе ❤
Важно также, что эти новые эксперименты были проведены на схожем сетапе, где учитель и ученик инициализированы из одной модели (воспроизвели на Qwen-2.5 7B).
Авторы проанализировали сами датасеты из оригинальной статьи subliminal learning. И да, entangled‑токены появляются чаще именно в датасетах, соответствующих животных. То есть «087» чаще встречается в числовых данных, где скрыто закодирована сова
😒 Что это значит для нас?
Вообще, кейс интересный, он показывает, насколько сложны и неинтуитивны внутренние процессы в LLM и как легко можно (даже непредумышленно) внедрить в модель скрытые концепции.
Если вы используете чужие датасеты для дообучения — в вашу модель могут просочиться скрытые паттерны. Если генерите синтетику, то ваши промпты могут оставлять следы даже в числовых данных. А если работаете с sensitive данными, то в теории token entanglement может стать каналом утечки.
Ну что, xAI получается первый из больших игроков ввел официально NSFW (Spicy) режим в моделях генерации видео. Кто-то уже генерировал? Мне для друга.
@toshoseti
Google зарелизили Genie 3, новую версию их известной модели симуляции мира
Суть: по текстовому запросу модель может сгенерировать полноценное интерактивное 3D-пространство с разрешением 720p и частотой 24 FPS, по которому можно погулять.
Отдельно разработчики хвастаются долгосрочной памятью. То есть даже если ты отвернулся или немного отошел, ландшафт и объекты сохраняются такими же при возврате взгляда. Звучит просто, но на практике добиться этого совсем нетривиально.
Еще интересно, что изменять состояния мира (погоду, объектную сцену, добавлять персонажей) можно прямо во время симуляции. И при этом, если Genie 2 выдерживала не более 10-20 секунд симуляции, третья версия вывозит уже несколько минут.
Зачем это нам? Во-первых, конечно, игры. Во-вторых, что более важно, обучение роботов и агентов.
Короче, крутой релиз с крутым потенциалом. Такое любим
deepmind.google/discover/blog/genie-3-a-new-frontier-for-world-models/
Кто-то сделал prompt injection для Amazon Q, и оно ушло в репозиторий aws.
@toshoseti
🌟 Фреймворк **CUDA-L1** сам научился оптимизировать код для GPU — и добился в среднем **3.12× ускорения работы модели**, а в пике — **до 120×**. .
Попросите любую LLM написать CUDA-код, и скорее всего, вы получите что-то, что либо не компилируется, либо работает мучительно медленно. Причина проста: качественного CUDA-кода в обучающих данных моделей почти не было.
Из "вероятной" утечки опенсорса от опен эй эген вырисовается пока следующее:
1️⃣ Одна модель - 120B MoE, другая - 20B dense.
2️⃣ Веса в FP4 с нативной поддержкой в Blackwell (MXFP4 или NVFP4).
3️⃣ SwiGLU clip (-7,7) - т.е активации режутся по абсолютной величине. Полагаю, было важно для 4-х битного обучения.
4️⃣ 4K нативного контекста с YaRN экстраполяцией до 128к (не жирно).
5️⃣ Скользящее окно аттеншена размера 128 + attention sinks (тоже для квантизации, наверное).
6️⃣ Llama/Mixtral архитектура.
Источник
Ребятам о зверятах. Разные темы, изложенные в формате комиксов Манга. Спасибо @AtomMax_
Читать полностью…
