4254
❤️☠️🤗 идейная миграция небытия
все ваши диффзуии будут хуже хорошей llm и вот почему
1) Диффузии не нативно работают с текстом и промптами, а через эмбед. Те при работе с промптом вам в начале надо пролить его через ллм которая увеличит его до 256 токенов для т5, и только потом сунуть через cross-attn в диффузии. Suck какой то...
Что делать?
Совать мультимодалку в LLM что еще делать то...
Это очень сложно, потому что neural codec это всегда сложно, есть всякие LWM-Dalle1 и прочее на vqtokenizer, но везде картинки-видео старались пихнуть в сколько то осмысленный контекст(до 32к) и изза этого плотность информации страдала. Бонусом это хуевый картинко генератор и хуевая vlm и хуевая LM. Примеры: chamelion1-2
Nvidia вчера дропнули Cosmos Tokenizer - vqvae который еще и может быть темпоральным, еще и может стримится, SOTA по их собственным замерам и 1024 картинку можно кодировать в 2048 токенов!
Статьи нормальной нет, но блогпост интересный
Релиз GigaChat MAX! (ссылка на Хабр)
Салют! Мы открываем доступ к модели GigaChat MAX. Модель доступна в @gigachat_bot, в веб-версии и через публичное API (в режиме раннего доступа).
- GigaChat MAX занимает 3 место в бенчмарке MERA. Сразу за gpt-4o и Llama-405B.
- GigaChat-Max достигает 92% правильных ответов на GSM-8k, 80% на MMLU и 75% на MMLU-RU.
- По результатам SBS, где учитывается красота ответов, мы выигрываем в 61% случаев у GPT-4 turbo и в 67% случаев у YaGPT-4 Pro.
- В Arena-Hard мы достигаем 51% скора против GPT-4-0314
- В Vkhr Arena-General-RU мы достигаем 90%, в то время как YaGPT-4 Pro достигает 59%.
Чтобы узнать про то, как мы делали модель, переходите на статью в хабре.
Предыдущие посты:
— GigaChat Pro. Технические детали, сдача ЕГЭ и сравнение с конкурентами
— GigaChat обогнал по качеству ChatGPT и расширил контекст до 32 тысяч токенов
бонус: эта штука поддерживает разные железки!
Читать полностью…
Русские фаундеры спешат на новую когорту YC после победы Трампа на выборах. Картина в цвете 2025.
Читать полностью…
Ура. Наконец зарелизил:
recoilme-sdxl
файнтюн, над которым я работал последние три месяца.
За это время правда вышло 100500 новых архитектур моделей, но не бросать же..
telegram bot (20/day free): @charsaibot
hf: https://huggingface.co/recoilme/recoilme-sdxl-v11
civit: https://civitai.com/models/920626?modelVersionId=1030470
reddit: https://www.reddit.com/r/StableDiffusion/comments/1gk8cbw/recoilmesdxl/
phd level intelegence achived internally(он выкурил два джоинта и сьел все брауни)
Читать полностью…
Лоооол
https://arxiv.org/pdf/2410.10356
Резерчеры из z банка заменили relu на gelu в трансформере, тем самым ускорив обучение на 4%!!
Респект и уважуха нашим ребятам, удачи им на А конференции Диалог 2025!!
Безумно люблю blin queen, лучшие драники в городе, обязательно сходите!
Читать полностью…
Ура, релиз Сайги Немо!
Модель: https://huggingface.co/IlyaGusev/saiga_nemo_12b
Уже доступна в боте.
GGUF завтра подвезу.
По метрикам: 85 на РуАрене, что чуть хуже 87 у Вихря. И 3 место на ПингПонге.
Пайплайн абсолютно классический: SFT + SimPO. Датасеты, конфиги обучения, W&B логи лежат в карточке модели.
Уникальная фича модели — расцензурированность и ориентация на role-play. Обучал я её поверх abliterated версии Немо, и из и SFT, и SimPO датасетов агрессивно вычищал отказы. В оба датасета доливал role-play промпты, но не с теми персонажами, которые есть в ПингПонге.
Я поштырил и в RP диалоги, и в ответы на арене, и увидел несколько проблем:
1) Модель не умеет рисовать ASCII.
2) В 2 примерах я наблюдал повторы. Это было там, где нужно было написать пример кода, а в нём был какой-нибудь токен. И вот этот токен генерировался бесконечно. Эта проблема специфична для нулевой температуры.
3) Длина. Хоть я и пытался бороться с слишком длинными ответами, по бенчам видно, что ответы всё равно длиннее среднего.
4) Очень изредка попадются выдуманные слова. Причём они вполне разумны, просто их не существует.
https://github.com/etched-ai/open-oasis
На момент написания поста я не читал репу, кидал на угад, попал во все +-
Работает примерно так: есть 3d unet, подаём на вход onehot вектор действия, unet смотрит на прошлые кадры и двигает картинку.
Читать полностью…
> решать задачу optimal execution-а крипто зарплаты с рандомизацией по трем осям (date, quantity, frequency) чтобы не попасть под 115 ФЗ
> защищить PhD по Оperations Research по этой работе
Оригинальную арену продолжают дробить по скорам(что логично, аутичные соннеты хороши в коде, но не хороши для RP/рассказов)
Читать полностью…
АЛЛО МЫ ИЩЕМ ГОЛОСА2
https://llmarena.ru/ заходите в анонимно и бежим размечать голосами свежее поколение ллм, я с утра разметил несколько десятков сэмплов и вам советую!
Интервалы.
должны.
Сойтись.
чет проебался, думал сегодня день рекламы яндекса, а оказалось что сбера...
блять а мне же не платят даже за это, мы же просто орков гоняем в балде...
ладно, челы шарят как учить llm с качеством отличным от рандома, а это сложно
А у вас тоже твитер забит такой хуйней:
Какой accelerate, кто данные ковырять будет...
OpenDiLoCo: An Open-Source Framework for Globally Distributed Low-Communication Training
Обучение multidatacenter сеток все еще большая и сложная штука, для начала стоит понимать что
- скорость интернета не однородна
- на больших расстояниях могут копится ошибки
- пропускная способность сети может быть недостаточной
собственно большой папир и репа про то как учить в ОЧЕНЬ распределенном сетапе
блогпост от авторов имплементации
Обновилась llmarena.ru
TLDR
Vikhr Nemo - лучшая opensource модель в своем классе!
АЛЛО МЫ ИЩЕМ ГОЛОСА3
https://llmarena.ru/ заходите в анонимно и бежим размечать голосами свежее поколение ллм, я с утра разметил несколько десятков сэмплов и вам советую!
Интервалы.
должны.
Сойтись.
Критическое мышление для начинающих и для профессионалов
Читать полностью…
💨👁 Vikhr-2-VL-2b-Instruct-experimental
это компактная VLM модель, обученная на переведенном датасете LLAVA-150K, специально доученная для обработки на русском языке. Дообученная модель является эксперементальной и не всегда будет работать ожидаемо (особенно OCR).
Ждем вашего фидбека от использования модели)
HuggingFace
Colab
Коллектив авторов: @LakoMoorDev @mlunderground @nlpwanderer
https://epochai.org/blog/data-movement-bottlenecks-scaling-past-1e28-flop
Блин опять логарифм подсунули что ли?
Ладно если серьезно:
- компьют не скейлится бесконечно из-за скорости сети
- multi datacenter обучение головные(скоро будет обзор как учить multi DC и НЕ умирать)
- железки Nvidia не предназначены для такого
Статья от ребят из DIT Moscow RESEARCH - присядь на штраф если не регаешь канал в РКН!
Читать полностью…
Вот они слева направо:
float8_e3m4
float8_e4m3
float8_e4m3b11fnuz
float8_e4m3fn
float8_e4m3fnuz
float8_e5m2
float8_e5m2fnuz
float8_e8m0fnu
Мы дочинили arenahard, сабмиты снова работают как и раньше (спасибо gradio за обновления)
А также добавился gigachat max censored и uncensored. Подозреваю что цензор это мелкая модель сверху которая помимо прочего сильно режет качество генераций.
Версия с цензором где то между mistral nemo и gemma 27b. Версия без цензора на простой корзине(без особого кода, ризонинга и прочего) на уровне 4о.
Крутой рост за полгода, посмотрим что будет дальше.
World model говорили они
Будущее игр говорили они
Не мешай лёгкие наркотики с тяжёлым алкоголем говорю я
Собственно есть работа diamond - тут учат видео диффузию на действиях из игр. Ребята из <стартап> собрали примерно тоже самое но в Майнкрафте, рассказывают что будут гонять в 4k 100b диффузию.
Почитать diamond
Это что выходит, для взаимодействия с человеческой средой не нужен робот похожий на человека?
Читать полностью…
Оракулы объявили неделю точно не купленных постов вида: учёные в говне моченые открыли гитхаб китайских бакалавров, с помощью сонета написали текст и этот текст прошел ревью на A конфу
Читать полностью…
сложно недооценить вклад в обстановку дома, внесённый совместно просмотренной серией менталиста, в которой слегка аутичного математика убила жена за то, что он не уделял ей внимания
Читать полностью…