4254
❤️☠️🤗 идейная миграция небытия
OpenAI официально показали Sora!
Доступно будет всем подписчикам ChatGPT - и Plus и Pro. Дают кредитов на до 50 генераций в месяц Plus подписчикам и до 500 быстрых генераций Pro подписчикам. Pro подписчики с более 500 генераций попадают в "медленную очередь".
Длина видео всё таки от 5 до 20 секунд (для Plus максимум 5), а разрешение от 480p до 1080p (Plus подписчики ограничены 720p). На более длинные видео и видео разрешения уходит больше кредитов. К видео можно применять стили и создавать свои.
Показали Storyboard - продвинутый инструмент позволяющий режиссировать видео. К примеру можно попросить Sora сгенерить видео человека, который на пятой секунде видео машет рукой.
Ещё есть куча продвинутых инструментов - можно догенеривать до видео как начало так и концовку, смешивать несколько видео вместе разными способами и много чего ещё.
Модерация сейчас чрезмерно строгая, но OpenAI обещают постепенно снимать ограничения.
sora.com
@ai_newz
Арена объективный бенчмарк.
Я повторяю, ее точно НЕ ВЗЛОМАЛИ, не верьте всем кто говорит что ее оверфитнули, они врут, у опен АИ лучшие модельки, ща o1 pro доедет до арены и заткнет всех за пояс, у опен АИ лучшие модели.
HunyuanVideo: A Systematic Framework For Large
Video Generative Models
- sd3 like DIT на 13б параметров учится с FlowMatching
- Претрен на комбинированном(картинки + видео) датасете
- LLAva как эмбедер
- Данные кластеризовали через 13 классов(подозреваю балансировали количество людей в сете)
- отдельно учили классификатор camera motion чтобы разметить датасет(!)
- 5d паралелезм(!) при обучении
paper
Тут запилили арену для шуток
https://humor.ph34r.me/
Го разметим
Выключи нахрен ChatGPT. Это тебе не нужно. Выпей 5 кружек кофе, скури пачку сигарет и закинься снюсом. Трясущимися руками напиши статью, смысл которой даже ты сам едва понимаешь. Борись с надоедливыми галлюцинациями, которые мешают тебе из-за недостатка сна. Просто поменяй мешочек снюса и выпей ещё кофе. Тебе станет лучше. Продолжай яростно печатать. Занимайся наукой так, как было задумано Богом.
Читать полностью…
Задачу дивана решили
https://arxiv.org/abs/2411.19826v1
Switti: Designing Scale-Wise Transformers for Text-to-Image Synthesis
📖Статья 🖥Код 📑Сайт проекта 🤗Демка
Введение
На текущий момент диффузионные модели уверенно занимают пьедестал почета в задаче генерации изображений по тексту. По заданному запросу, даже весьма нетривиальному, насыщенному нюансами и деталями, они способны генерировать разнообразные картинки хорошего качества. Однако, существенным и основным недостатком диффузионных моделей является их итеративная природа генерации: чтобы сгенерировать одно изображение, диффузионную модель приходится прогонять много раз, из-за чего приходится подождать некоторое время, прежде чем замечательная картинка явится на свет.
Наряду с диффузией существует альтернативная парадигма генерации - так называемые авторегрессионные модели, которые генерируют изображения последовательно патч за патчом (патч - маленький кусок изображения, скажем, 16x16 пикселей). Однако, они работают на практике еще медленнее для больших изображений, так как генерация каждого следующего патча требует прогона модели, а количество патчей может переваливать за тысячу. Кроме того, они уступают в качестве диффузионным моделям, поэтому долгое время считались неконкурентоспособными.
Однако, этой весной команда исследователей из ByteDance в работе VAR (Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction) предложила модификацию авторегрессионной парадигмы, где за один проход предсказывается не один патч, а все разрешение целиком. С помощью специальной аамодели - Residual Quantization VAE (вариационно кодировщика с остаточной квантизацией) - изображение разбивается на разные уровни: нижние уровни соответствуют общей семантике изображения, а верхние уровни - тонким деталям и текстурам. На нижних уровнях немного патчей, поэтому прогон модели на них дешев, и стоимость прогона возрастает с переходом на каждое следующее разрешение. На этапе генерации модель смотрит на все прошлые разрешения и генерируют текущее. Полученная картинка получается посредством суммирования всех разрешений.
Данная работа смогла добиться качества генерации, сопоставимого с хорошими современными диффузионными моделями, при этом будучи значительно быстрее их, в задаче генерации, обусловленной на класс объекта из ImageNet.
Увы, генерация из фиксированного набора (1000 классов) не так интересна пользователям, как генерация по произвольным и разнообразным текстовым запросам. Поэтому для верификации жизнеспособности идеи последовательной генерации изображений по разрешениям требовалась проверка в более сложном и интересном сценарии.
Некоторое время спустя после выхода работы VAR вышли STAR и HART, которые адаптировали вышеупомянутый подход для генерации изображений по тексту. В этих работах удалось добиться сносного качества генерации и следования текстовому запросу, но все же далеко позади современных диффузионных генеративных моделей (таких, как SDXL, PixArt, Lumina).
Поэтому мы, исследователи из Yandex Research, решили обучить свою генеративную text-2-image модель.
В итоге, я настолько подавлена результатами дискуссии на openreview, что уже даже нет сил делать никаких оригинальных познавательных постов в паблик да и вообще что либо делать.
Я и коллеги, с которыми мы вместе писали статью, потратили реально много времени и сил на то, чтобы сделать все дополнительные эксперименты, которые просили ревьюеры, написать ответы этим самым ревьюерам и внести правки в статью (каждый из этих этапов подробно обсуждался на созвонах, а формулировки в ответах подолгу вылизывались).
Кроме того, я и как минимум ещё двое моих соавторов, которые сами были ревьюерами, параллельно внимательно разбирали ответы тех авторов статей, которые ревьюили мы и отвечали на них. Забавно, что в итоге мы все трое подняли оценки всем статьям, на которые делали ревью)) Ну а что делать, если авторы старались и исправили ряд недочётов, на которые им указали? Повышение оценки более чем справедливо в такой ситуации.
Но наши собственные ревьюеры, конечно, так не считали: ответом на наши собственные старания в ребаттле было в основном молчание.
Один ревьюер попросил сделать ещё один дополнительный эксперимент, а когда мы его сделали, никак это не прокомментировал и умолк навсегда. Другой в последний момент дискуссии ответил что-то похожее на генерацию LLMки, где было сказано, какие мы молодцы, но оценки не поднял. Двое остальных просто не реагировали, как будто умерли.
Когда соавтор решил написать об этой проблеме Area chair и senior area chair, они тоже ответили молчанием.
Я очень болезненно воспринимаю такие ситуация, когда так сильно стараешься, но тем, ради кого стараешься, на тебя настолько насратб, что лень даже два слова ответить... Руки опускаются...
#наука #о_себе
Безумно люблю челов которые делают rwkv/mamba. Второй год трогают архитектурные изменения, но не трогают данные.
А вообще там интересно, почитайте.
Наука это праздник! Все летит в аги
https://www.worldlabs.ai/blog
опять worldmodels. выглядит как nerf
Судя по открытию офиса oai в цурихе, API будет работать с 10-17 on week и до 15 по воскресеньям.
Читать полностью…
Сегодня поговорим про масштабирование моделей и данных в диффузии.
Scaling Laws For Diffusion Transformers
Несколько предыдущих работ (раз, два, три) уже в том или ином виде обсуждали масштабирование диффузионок в целом и DiT в частности. Однако построением предсказаний того как будет улучшаться модель при масштабировании они не занимались, то есть power law кривульки отсутствуют.
Зато они являются основным вкладом этой работы. Вдохновившись Шиншиллой, авторы проводят ряд экспериментов на небольших выч. бюджетах и строят sns.color_palette("mako”) 🌿isoFLOP кривые по числу параметров и лоссам, из которых далее получают кривые зависимости размеров моделей и необходимого на их обучение компьюта. Экстраполяцией графиков получают предсказание того каким будет лосс обучения (сравнительно скромного) 1B DiT.
Проблемой таких работ является опора на FID как основную метрику. Его корреляция с лоссом зависит от CFG scale, да и корреляция с оценками пользователей уже много раз ставилась под сомнение. Но анализ интересный.
Pruning then Reweighting: Towards Data-Efficient Training of Diffusion Models
Можно масштабировать модели по параметрам и компьюту, а можно по данным и их качеству. Авторы утверждают, что делают второе первыми в мире, что не совсем правда потом что есть Broken Neural Scaling Laws и исследование в YaART.
Интересна эта работа тем что авторы смотрят не только на увеличение красивости генераций в терминах FID или каких-то визуальных сравнений, а еще и стараются сохранить полноту знаний за счет поддержания баланса классов. На экспы с CIFAR не тригеримся, дальше есть SD и MDT хотя бы на ImageNet.
EvolveDirector: Approaching Advanced Text-to-Image Generation with Large Vision-Language Models
Известно, что если подмешать в обучающий/файнтюновый датасет немного синтетики из какой-нибудь JourneyDB, то это улучшит качество итоговой модели. Эффект похож на дистилляцию, только вместо прямого сигнала из модели-учителя вы используете результаты её работы.
Авторы спрашивают: если задаться целью обучить модель на синтетике порожденной другой моделью, сколько её понадобится и можно ли превзойти учителя по качеству? Сразу вспоминается работа про self-distill, где показывалось, что если делать self-distill итеративно, то модели коллапсируют.
Так вот, сначала авторы пробуют взять 11М промтов из SAM и нагенерить по ним синтетики через PixART. Так получается догнать сам PixART, учившийся на 14М пар. Проблема такой неэффективности в неинформативных и сильно повторяющихся промтах. Для устранения проблемы берут VLM, кепшенят картинки и по кепшенам снова деляют генерации. Показывают, что теперь уже 100к семплов становится достаточно чтобы догнать учителя. А если взять несколько топ моделей, сделать генерации каждой из них, а потом отобрать лучшие VLM’кой, то можно превзойти каждую из моделей в отдельности 👀
на hf произошло money обнова, теперь надо платить за место.
UPD если вы богатый господин и готовы задонитить 4320usd в вихри чтобы мы могли оплатить про акк всем участника орги на год, а мы не мигрировали артефакты - было б славно(на что я надеюсь)
Приму гуманитарную помощь(пиво и чипсы) в аэропорту цуриха, попал в евросовковый капкан(не работает нихуя)
Читать полностью…
Админ перед праздниками сидит на звонке:
Читать полностью…
Офигеть, обучили SAE для интерпретируемости CLIPа!
Теперь можно тонко настраивать эмбединги для генерации и делать оч забавные штуки
https://huggingface.co/zer0int/CLIP-SAE-ViT-L-14
Собственноручно проверил наличие супервеса (см. оригинальную статью и разбор от gonzo-обзоры ML статей) в Llama-3.2-1B.
Aномальный вес находится в позиции (400 - выходной канал, 1417 - входной канал) в model.layers.1.mlp.down_proj.
Не столь ярко выражен (перплексия на Wikitext-2 (8k context length) выросла с 8.375 до 8.625 при занулении данного веса), но все же очень много для всего одно веса.
[Google Colab для желающих поиграться]
Про результаты соревнования ARC Prize 2024
Суть соревнования ARC-AGI, проходящего с 2019 года, заключается в поиске обобщенного способа решать некоторую задачу по нескольким демонстрациям ее решения. Всего около 1000 задач с разной градацией сложности, где только 100 сложных задач используются для приватной оценки. Сами задачи довольно ограничены и представляют из себя набор визуальных сеток (input и output) разного размера, где цвета и распололожение ячеек соотвествуют некоторому паттерну - задаче.
Само соревнование является довольно популярным (1430 команд) и даже стартапы с хорошим финансированием пытаются его решать. Недавно был опубликован репорт с описанием основных и лучших подходов к его решению в 2024 году.
AGI же в названии бенчмарка связано с определением AGI от автора бенчмарка Francois Chollet:
"AGI - a system capable of efficiently acquiring new skills and solving novel problems for which it was neither explicitly designed nor trained"
Вышла Llama 3.3!
70B модельку дотюнили так, что она порами обгоняет 405B. Особенно большой прирост на математике и кодинге, в которых Llama традиционно была послабее. В этот раз релизят только 70B, других размеров и VLM нету.
Веса
@ai_newz
То ли комедия, то ли трагедия в трёх актах.
Случайно в ленте вакансия попалась.
Будущее прекрасно
https://huggingface.co/spaces/multimodalart/flux-style-shaping
Welcome to city17.
Я ж говорил что восточная Европа это сборник приколов?
Привет!
Мы тут в соответствующем разделе на сайте Specmat2x2.ru затеяли математические онлайн-игры проводить с завидной регулярностью. Ну и дела идут вроде в гору. Три игры из очередного цикла "Математического тетриса" прошли. Кто участвовал — пишите обратную связь @NikitaMikhaylovskiy, вдруг что-то не понравилось или, наоборот, понравилось. Будем работать над улучшениями.
Вообще-то, хотелось порекламировать это дело еще раз, потому что на следующей неделе для 3 и для 7 класса будут две игры. Если есть команды — приводите, да и друзей зовите! Все бесплатно, конечно.
Ссылка на регистрацию та же: https://specmat2x2.ru/igra
Ещё один multi cloud proof of concept pretraining. Теперь от nous research.
Модель говно, важен опыт обучения с low bandwidth + высокими задержками сети.
Paper
#чтивонаночь
BALROG: Benchmarking Agentic LLM and VLM Reasoning On Games
Статья про то как решают игры с помощью агентов, сравнивают агенты поверх VLM и поверх LLM
Выясняется что модели с vision решают хуже на 30-40%
Ну те когда состояние арены кормится через текст вида
Current Observation:
statistics:
Strength: 14/14
Dexterity: 9
Constitution: 11
Intelligence: 8
inventory:
a: a +1 long sword (weapon in hand)
message:
Salutations Agent, welcome to NetHack! You are a lawful female human
Knight.
language observation:
vertical closed door far east
dark area far east
- Устраиваешься в NDA HFT.
- Получаешь задачу: поднять "купленную" инфраструктуру.
- Пишешь новые коннекторы для этой инфры.
- Через комменты находишь компанию-автора инфры.
- Закидываешь к ним резюме на кванта, получаешь оффер.
- Получаешь доступ к стратегиям, но без инфры.
- Уходишь, записав адреса кошельков компании.
- Замечаешь, что стратегии приносят бешеную прибыль.
- Решаешь запустить их на старой инфре.
- Понимаешь, что не хватает коннектора для нужной биржи.
- Осознаешь, что именно ты писал этот коннектор раньше.
Learned Embedding Propagation (LEP) + анонс релиза RuadaptQwQ-32B
Расскажу немного подробнее про идею, которая стоит за текущими версиями Ruadapt моделей. Наше предыдущее решение требовало после адаптации базовых версий моделей дополнительно их дообучать по сути с “базы”, из-за чего терялись многие успешные инструктивные версии моделей, которые нельзя просто взять и воспроизвести из-за отсутствия обучающих данных (те же 10 миллионов инструкций LLaMa-3 не были открыты комьюнити). Другим ярким примером может послужить недавняя Qwen/QwQ-32B-Preview, так как не понятно как ее учили и на каких данных.
Тут то на помощь и приходит предложенный нами метод Learned Embedding Propagation (LEP). Идея метода состоит из 3 шагов:
1. На первом шаге мы также адаптируем исходную базовую модель
2 . На втором шаге мы рассчитываем проекцию из исходной базы в целевую исходную инструктивную версию (например, из Qwen/Qwen2.5-32B 🔜 Qwen/Qwen2.5-32B-Instruct)
3. На третьем шаге мы применяем данную проекцию 🔜на Ruadapt версию базы!
4. На самом деле есть еще 4-й шаг, по сути очень важный, это шаг калибровки / дообучения, но он “опционален”
В итоге, после 3 шага мы по сути имеем адаптированную инструктивную версию модели, и при этом она не сломалась и работает весьма успешно уже на новой токенизации, но из-за неточностей отображения качество несколько просаживается и могут быть новые артефакты. Поэтому все модели, которые мы выкладывали ранее, дополнительно калибровались/дообучались на открытых инструктивных данных, таких как saiga_scored.
А теперь обращу внимание вот на что.
Самое дорогое - это как раз первый шаг, адаптация базовой версии модели и в этом шаге нигде не используется никакая информация о будущей инструктивной версии, а значит, адаптировав базу и применяя LEP, мы можем адаптировать модель на любую инструктивную версию с этой базы!
И вот возьмем, недавно вышедшую Qwen/QwQ-32B-Preview, несмотря на то, что мы вообще не знаем как и на чем она обучалась, мы знаем, что ее базой является, Qwen/Qwen2.5-32B, поэтому мы легко можем сделать версию RuadaptQwQ-32B-Preview-LEP. С шагом 4 тут посложнее, так как хороших данных для подобного типа моделей я пока что не видел. На текущий момент предлагаю попробовать RuadaptQwQ-32B-Preview-LEP в поднятом Space (https://huggingface.co/spaces/RefalMachine/RuadaptQwen2.5), но обращаю внимание, это модель сразу после LEP, без дополнительных шагов дообучения, да и тестирования особо никакого с этой моделью пока не производилось.
Соответственно релиз RuadaptQwQ в планах, но через какое-то время. Буду рад фидбеку по любой из наших моделей в комментариях к посту или другим любым способом.