4254
❤️☠️🤗 идейная миграция небытия
https://github.com/kuleshov-group/mdlm
Обзор делать на диффузионную lm?
Paper
В момент выхода анонса соры я говорил: этот прорыв будет в опенсурсе и очень быстро.
На момент выхода соры в виде сайта я говорю: а чо так слабо?
https://app.checkbin.dev/snapshots/1f0f3ce3-6a30-4c1a-870e-2c73adbd942e
oss apache2 hunyuan video (тупо видео генератор НЕ world model) vs sora paid world model
Читать полностью…
OpenAI официально показали Sora!
Доступно будет всем подписчикам ChatGPT - и Plus и Pro. Дают кредитов на до 50 генераций в месяц Plus подписчикам и до 500 быстрых генераций Pro подписчикам. Pro подписчики с более 500 генераций попадают в "медленную очередь".
Длина видео всё таки от 5 до 20 секунд (для Plus максимум 5), а разрешение от 480p до 1080p (Plus подписчики ограничены 720p). На более длинные видео и видео разрешения уходит больше кредитов. К видео можно применять стили и создавать свои.
Показали Storyboard - продвинутый инструмент позволяющий режиссировать видео. К примеру можно попросить Sora сгенерить видео человека, который на пятой секунде видео машет рукой.
Ещё есть куча продвинутых инструментов - можно догенеривать до видео как начало так и концовку, смешивать несколько видео вместе разными способами и много чего ещё.
Модерация сейчас чрезмерно строгая, но OpenAI обещают постепенно снимать ограничения.
sora.com
@ai_newz
Арена объективный бенчмарк.
Я повторяю, ее точно НЕ ВЗЛОМАЛИ, не верьте всем кто говорит что ее оверфитнули, они врут, у опен АИ лучшие модельки, ща o1 pro доедет до арены и заткнет всех за пояс, у опен АИ лучшие модели.
HunyuanVideo: A Systematic Framework For Large
Video Generative Models
- sd3 like DIT на 13б параметров учится с FlowMatching
- Претрен на комбинированном(картинки + видео) датасете
- LLAva как эмбедер
- Данные кластеризовали через 13 классов(подозреваю балансировали количество людей в сете)
- отдельно учили классификатор camera motion чтобы разметить датасет(!)
- 5d паралелезм(!) при обучении
paper
Тут запилили арену для шуток
https://humor.ph34r.me/
Го разметим
Выключи нахрен ChatGPT. Это тебе не нужно. Выпей 5 кружек кофе, скури пачку сигарет и закинься снюсом. Трясущимися руками напиши статью, смысл которой даже ты сам едва понимаешь. Борись с надоедливыми галлюцинациями, которые мешают тебе из-за недостатка сна. Просто поменяй мешочек снюса и выпей ещё кофе. Тебе станет лучше. Продолжай яростно печатать. Занимайся наукой так, как было задумано Богом.
Читать полностью…
Задачу дивана решили
https://arxiv.org/abs/2411.19826v1
Switti: Designing Scale-Wise Transformers for Text-to-Image Synthesis
📖Статья 🖥Код 📑Сайт проекта 🤗Демка
Введение
На текущий момент диффузионные модели уверенно занимают пьедестал почета в задаче генерации изображений по тексту. По заданному запросу, даже весьма нетривиальному, насыщенному нюансами и деталями, они способны генерировать разнообразные картинки хорошего качества. Однако, существенным и основным недостатком диффузионных моделей является их итеративная природа генерации: чтобы сгенерировать одно изображение, диффузионную модель приходится прогонять много раз, из-за чего приходится подождать некоторое время, прежде чем замечательная картинка явится на свет.
Наряду с диффузией существует альтернативная парадигма генерации - так называемые авторегрессионные модели, которые генерируют изображения последовательно патч за патчом (патч - маленький кусок изображения, скажем, 16x16 пикселей). Однако, они работают на практике еще медленнее для больших изображений, так как генерация каждого следующего патча требует прогона модели, а количество патчей может переваливать за тысячу. Кроме того, они уступают в качестве диффузионным моделям, поэтому долгое время считались неконкурентоспособными.
Однако, этой весной команда исследователей из ByteDance в работе VAR (Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction) предложила модификацию авторегрессионной парадигмы, где за один проход предсказывается не один патч, а все разрешение целиком. С помощью специальной аамодели - Residual Quantization VAE (вариационно кодировщика с остаточной квантизацией) - изображение разбивается на разные уровни: нижние уровни соответствуют общей семантике изображения, а верхние уровни - тонким деталям и текстурам. На нижних уровнях немного патчей, поэтому прогон модели на них дешев, и стоимость прогона возрастает с переходом на каждое следующее разрешение. На этапе генерации модель смотрит на все прошлые разрешения и генерируют текущее. Полученная картинка получается посредством суммирования всех разрешений.
Данная работа смогла добиться качества генерации, сопоставимого с хорошими современными диффузионными моделями, при этом будучи значительно быстрее их, в задаче генерации, обусловленной на класс объекта из ImageNet.
Увы, генерация из фиксированного набора (1000 классов) не так интересна пользователям, как генерация по произвольным и разнообразным текстовым запросам. Поэтому для верификации жизнеспособности идеи последовательной генерации изображений по разрешениям требовалась проверка в более сложном и интересном сценарии.
Некоторое время спустя после выхода работы VAR вышли STAR и HART, которые адаптировали вышеупомянутый подход для генерации изображений по тексту. В этих работах удалось добиться сносного качества генерации и следования текстовому запросу, но все же далеко позади современных диффузионных генеративных моделей (таких, как SDXL, PixArt, Lumina).
Поэтому мы, исследователи из Yandex Research, решили обучить свою генеративную text-2-image модель.
В итоге, я настолько подавлена результатами дискуссии на openreview, что уже даже нет сил делать никаких оригинальных познавательных постов в паблик да и вообще что либо делать.
Я и коллеги, с которыми мы вместе писали статью, потратили реально много времени и сил на то, чтобы сделать все дополнительные эксперименты, которые просили ревьюеры, написать ответы этим самым ревьюерам и внести правки в статью (каждый из этих этапов подробно обсуждался на созвонах, а формулировки в ответах подолгу вылизывались).
Кроме того, я и как минимум ещё двое моих соавторов, которые сами были ревьюерами, параллельно внимательно разбирали ответы тех авторов статей, которые ревьюили мы и отвечали на них. Забавно, что в итоге мы все трое подняли оценки всем статьям, на которые делали ревью)) Ну а что делать, если авторы старались и исправили ряд недочётов, на которые им указали? Повышение оценки более чем справедливо в такой ситуации.
Но наши собственные ревьюеры, конечно, так не считали: ответом на наши собственные старания в ребаттле было в основном молчание.
Один ревьюер попросил сделать ещё один дополнительный эксперимент, а когда мы его сделали, никак это не прокомментировал и умолк навсегда. Другой в последний момент дискуссии ответил что-то похожее на генерацию LLMки, где было сказано, какие мы молодцы, но оценки не поднял. Двое остальных просто не реагировали, как будто умерли.
Когда соавтор решил написать об этой проблеме Area chair и senior area chair, они тоже ответили молчанием.
Я очень болезненно воспринимаю такие ситуация, когда так сильно стараешься, но тем, ради кого стараешься, на тебя настолько насратб, что лень даже два слова ответить... Руки опускаются...
#наука #о_себе
Безумно люблю челов которые делают rwkv/mamba. Второй год трогают архитектурные изменения, но не трогают данные.
А вообще там интересно, почитайте.
Наука это праздник! Все летит в аги
https://www.worldlabs.ai/blog
опять worldmodels. выглядит как nerf
Судя по открытию офиса oai в цурихе, API будет работать с 10-17 on week и до 15 по воскресеньям.
Читать полностью…
продажа постов русскому гостеху как основа юнит экономики аи телеграм каналов
Читать полностью…
Прошел почти год с релиза соры
- не разогнана до near realtime(как runway3, ltxv)
- 1080 как макс разрешение и только для подписки за 200 баксов(!)
- качество в ленте выглядит на уровне klingv1.5(хотя в деталях лучше)
закидывайте 200 баксов и погоняю эту фигню, свои кровные я не готов отдавать
Админ перед праздниками сидит на звонке:
Читать полностью…
Офигеть, обучили SAE для интерпретируемости CLIPа!
Теперь можно тонко настраивать эмбединги для генерации и делать оч забавные штуки
https://huggingface.co/zer0int/CLIP-SAE-ViT-L-14
Собственноручно проверил наличие супервеса (см. оригинальную статью и разбор от gonzo-обзоры ML статей) в Llama-3.2-1B.
Aномальный вес находится в позиции (400 - выходной канал, 1417 - входной канал) в model.layers.1.mlp.down_proj.
Не столь ярко выражен (перплексия на Wikitext-2 (8k context length) выросла с 8.375 до 8.625 при занулении данного веса), но все же очень много для всего одно веса.
[Google Colab для желающих поиграться]
Про результаты соревнования ARC Prize 2024
Суть соревнования ARC-AGI, проходящего с 2019 года, заключается в поиске обобщенного способа решать некоторую задачу по нескольким демонстрациям ее решения. Всего около 1000 задач с разной градацией сложности, где только 100 сложных задач используются для приватной оценки. Сами задачи довольно ограничены и представляют из себя набор визуальных сеток (input и output) разного размера, где цвета и распололожение ячеек соотвествуют некоторому паттерну - задаче.
Само соревнование является довольно популярным (1430 команд) и даже стартапы с хорошим финансированием пытаются его решать. Недавно был опубликован репорт с описанием основных и лучших подходов к его решению в 2024 году.
AGI же в названии бенчмарка связано с определением AGI от автора бенчмарка Francois Chollet:
"AGI - a system capable of efficiently acquiring new skills and solving novel problems for which it was neither explicitly designed nor trained"
Вышла Llama 3.3!
70B модельку дотюнили так, что она порами обгоняет 405B. Особенно большой прирост на математике и кодинге, в которых Llama традиционно была послабее. В этот раз релизят только 70B, других размеров и VLM нету.
Веса
@ai_newz
То ли комедия, то ли трагедия в трёх актах.
Случайно в ленте вакансия попалась.
Будущее прекрасно
https://huggingface.co/spaces/multimodalart/flux-style-shaping
Welcome to city17.
Я ж говорил что восточная Европа это сборник приколов?
Привет!
Мы тут в соответствующем разделе на сайте Specmat2x2.ru затеяли математические онлайн-игры проводить с завидной регулярностью. Ну и дела идут вроде в гору. Три игры из очередного цикла "Математического тетриса" прошли. Кто участвовал — пишите обратную связь @NikitaMikhaylovskiy, вдруг что-то не понравилось или, наоборот, понравилось. Будем работать над улучшениями.
Вообще-то, хотелось порекламировать это дело еще раз, потому что на следующей неделе для 3 и для 7 класса будут две игры. Если есть команды — приводите, да и друзей зовите! Все бесплатно, конечно.
Ссылка на регистрацию та же: https://specmat2x2.ru/igra