13017
Используем ИИ строго не по назначению. Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
Stable diffusion 3 banned from civit.ai
You can make this shit up 😅
Civit.ai временно скрыли все sd3-based модели и лоры.
Причина - широкая лицензия, которая даёт создателям sd3 права на контент, сгенеренный sd3, также модели, обученные на sd3 генерациях; так и непонятки с будущей судьбой stability. Через годик-другой новый владелец вполне может прийти и взыскать все просроченные платежи по подпискам. Ведь на civita.ai есть монетизация, что означает коммерческое использование sd3.
Post
LiteVAE: Lightweight and Efficient Variational Autoencoders for Latent Diffusion Models
Исследователи из Disney Studio представляют LiteVAE, семейство автоэнкодеров для LDMs, использующее 2D discrete wavelet transform для повышения масштабируемости и вычислительной эффективности по сравнению с обычными VAEs без потери качества.
Базовая модель LiteVAE сравнима по качеству с существующими VAEs в LDMs, при том, что количество параметров энкодера в шесть раз меньше - это значит, что тренировка идёт быстрее и нужно меньше памяти GPU. Более крупная модель превосходит VAEs аналогичной сложности по всем метрикам.
Paper link
Мои обзоры:
Personal blog
Medium
Linkedin Pulse
#paperreview
🔥 поразительный скачок!
В последние пару недель много чего понавыходило, но больше всего шума от видеогенераторов.
На видео сравнительный тест, который даст вам понять без лишних слов, на что обратить внимание. Runway, Pika, Lumalabs — к последнему, как вы поняли, стоит присмотреться. Кроме того, у вас будет 30 бесплатных, возобновляемых генераций в месяц.
Из элементов управления пока мы имеем только текст, что означает, что мы всё ещё в начале пути. Но на скачкообразное повышение качества невозможно не обращать внимания.
Видео открывайте на полный экран.
Пробовать тут.
🔥Веса SD-3 Medium уже доступны!
Как и обещали, Stability релизнули Stable Diffusion 3 Medium с двумя миллиардами параметров. Она бесплатна для некоммерческого пользования. За коммерческое использование придётся платить: $20 в месяц для индивидуальных пользователей и небольших бизнесов, для бизнесов побольше - энтерпрайз лицензия.
Поддержка модели уже есть в ComfyUI, для автоматика придётся подождать.
Судя по публичным заявлениям сотрудников Stability, 8B модель ещё тренируется. Но непонятно почему не релизнули 800m "Small" версии.
Блогпост
Веса
@ai_newz
https://youtu.be/lOfZLb33uCg?si=E6l58CtlMrkxFhgE
A clip literally made by Al
(Al yankovich)
Мечтает ли GPT-4o о сегментации картинок...?
Рассказал на Habr найденный способ как заставить GPT-4o работать с детекцией объектов на картинке и выдавать координаты (bounding boxes), с которыми можно работать.
Внутри много деталей о том, с какими препятствиями и нюансами мы сталкиваемся в Vibe AI при парсинге сообщений со скриншотов переписки.
Приятного прочтения, буду благодарен вашей обратной связи, лайкам, репостам ❤️
GPT-2 за двадцать долларов
Три недели назад llm.c был просто быстрым, на игрушечных датасетах и одной видеокарте. Но Карпатый на месте не стоял - он уже тренирует небольшие модели на десятках миллиардов токенов и восьми видеокартах. И при этом сохраняя огромную пропускную способность: GPT-2 Small выдаёт 180k токенов за секунду на каждую видеокарту. И при такой скорости тренировки, совсем не жертвуют точностью - результаты даже лучше чем у оригинальной GPT-2, при том что датасет похожий, а количество токенов такое же.
Small версию вообще можно натренировать за полтора часа на одной машине с 8 видеокартами. Стоить такое удовольствие будет всего двадцать долларов. Тренировка Medium обойдётся уже в $200, а XL в $2,5k, но проект всё ещё есть куда оптимизировать.
Пока что натренированы только Small и Medium размеры GPT-2, но с такой бешенной скоростью разработки поддержка моделей побольше будет уже в ближайшие дни.
Следующие майлстоуны:
➖Тренировка 770m и 1.5B моделек
➖ Поддержка нескольких нод
➖ Поддержка H100 и с ней fp8
➖ Воспроизводимая тренировка - чтобы можно было тренировать модель на двух разных машинах с побитово идентичными результатами
Нужно всё-таки попытаться потренировать на фритюрнице
@ai_newz
Небольшой апдейт по истории: Vox получили доступ к договору, который вынуждали подписывать экс-сотрудников, и ряду других внутренних документов OpenAI. В этих документах есть чудесный пункт о возможностях компании обнулить акции любого экс-сотрудника вообще без повода. На всех этих прекрасных документах либо подписи COO и VP of People либо лично Альтмана. Как, после таких откровений, звучат заявления о том что "руководство ничего не знало" - решайте сами.
not consistently candid in his communications with the board звучит всё понятнее и понятнее
@ai_newz
Мелкомягкие выкатили пучок instruct моделей Phi-3:
Phi-3-Vision (mini, 4B, 128k context)
Phi-3-mini (4b, 128k)
Phi-3-small (7B, 128k)
Phi-3-medium (14B, 128)
Также есть и 4k контекст.
На бенчмарках vision-mini ведет себя на уровне 7B опенсорсных и некоторых проприетарных моделей. Сразу видно, обучали на лучших тестсетах.
А еще недавно опенсорснули MS-DOS 4.0 (1 и 2 версии уже пылятся на гитхабе 6 лет)
github
Переносим ComfyUI в телеграм бота
Ожидая трансляцию OpenAI с апдейтами, хочется рассказать про еще рандомные тесты im-a-good-gpt2-chatbot:
Благодаря im-a-good-gpt2-chatbot понял как запихнуть ComfyUI, Gradio или Automatic внутрь бота, и работать прям из Телеграм с телефона.
🐈⬛ Из плохих вещей:
— Вам все еще нужно запустить GPU сервер в colab, runpod, вашего компа с доступом в инет
— Дизайн чуть адаптирован под телефон, но бывают трудности
🐈⬛ Из неожиданных плюсов:
— Теперь можно генерить в любимых UI для нейронок через тг и телефон со всеми своими лорами и чекпоинтами, которые вы собирали годами
— Можно шарить ссылку друзьям и вместе генерить, генерации автоматически попадают в очередь, или вы хотите сразу 5 разных пайпланов тестить с разных устройств.
Конечно я понимаю, что идеально переписывать все под формат телеграмма, чтобы это был готовый продукт. Но если вам нужно дешево и сердито, то вот ссылка на Colab. Нужно только заменить API ключ бота ТГ и подставить ссылку публичную, которую выдаст ComfyUI, Automatic или Gradio.
☺️ Мне почему-то возможность менять ноды в ComfyUI сидя в лесу невероятно нравится. Еще немного лет и может с новым gpt адаптирую Блендер под Тг бота.
Власти США подают в суд на adobe
Не одних нас достали постоянные юридические финты ушами от этого гиганта хитровыделанности. Думаю, все в курсе и прошлогодних обновлений пользовательского соглашения, которое давало им разрешение тренить на ваших картинках, загруженных в Фотошоп, нейронки, а также нововведения этого года, которое вообще даёт им роялти-фри лицензию на ваш контент.
До этого дойдут позже, так как государственная машина неповоротлива, а пока предьявляют за намеренное превращение процедуры отписки в полосу препятствий, по прохождении которой можно выдавать краповый (в цвет логотипа адоба) берет отписчика.
Иск
Подробнее
Follow-Your-Emoji:Fine-Controllable and Expressive Freestyle Portrait Animation
Тут завезли нормальный липсинк. Follow Your Emoji берет на вход видео с вашими кривляньями, переводит их в последовательность фреймов с лендмарками, а затем использует их чтобы драйвить входное фото. Это controlnet для лица на стеройдах, который очень хорошо сохраняет личность на входном фото. Все на базе SD.
Вышло настолько хорошо, что методу под силу не просто рот во время открывать, но и глаза косить, смеяться (и чихать, я думаю, тоже) см. примеры, авторы там знатно поиздевались над своим творением.
Код вроде как должны выложить, на project page уже есть ссылка, но пока в никуда.
Еще есть бумага.
@ai_newz
txt2video стал еще доступнее, Luma Labs выкатили свой и дают создать 30 видео в месяц бесплатно. Качество на уровне SORA
Положить сервис можно тут:
https://lumalabs.ai/dream-machine/creations
Выкатили Whisper WebGPU
- распознавание голоса и перевод на девайсах
Работает локально в браузере, данные никуда не идут
🤗 demo
tweet
git
Your "totally not wrong" versions are very welcome !
Читать полностью…
ToonCrafter: Аниматоры напряглись, аниме-любители радуются
Пока мы ждем сору, вот вам ToonCrafter — прикольная модель для тех, кто делает двигающиеся картинки в стиле аниме.
Я уже вижу, как китайские аниме-студии сразу сокращают количество кадров. Собственно для этого она и создавалась в соавторах Tencent AI Lab.
Есть три режима:
- межкадровая интерполяция. Модель дорисует кадры между двумя key frames. Причем не просто линейным поступательным движением, как это сделано в других работах по интерполяции видео, а полноценная анимация.
- интерполяция, но на башне скетчей. Когда цвета нет.
- окрашивание. Перед тем как анимешку сделают цветной, сначала делают полноценный анимированный эскиз в чб. Вот его теперь будут красить автоматически.Непонятно, насколько мощный черипик в примерах. Выглядит ну как-то уж слишком хорошо. Хоть здесь и используются для каких-то более сложных вещей эскизы как референсы.У них, оказывается, уже есть демо. Сгенерил простенькую кошечку — работает офигенно, хоть и две секунды и разрешение шакальное.
Как этого достигли?
1. Хитро зафайнтюнили DynamiCrafter на аниме видосах. Там есть своя специфика, ведь в мультиках много регионов без текстур, и нет motion блура, как в реальных видео.
2. Натренировали специальный 3D декодер, который берет на вход кроме latent векторов фреймов, ещё и дополнительно исходные первый и последний кадры, чтобы сохранить точную информацию о внешности объектов.
Project Page с примерами. Рекомендую глянуть.
Пейпер
Код на гитхабе
Демо на обнимающем лице
@ai_newz
Если этот ваш ai такой клёвый, то почему до их пор нет ai 2?
Читать полностью…
Люди: SORA иногда генерирует какой-то неправдоподобный бред
Реальный мир:
Выхожу из тени с классными новостями.
Мой фильм DREAM вошел в финал в AIFA Awards. И 28 мая будет показываться на большой NFC конференции в Лиссабоне. Поздравляйте! 🍓
#jane #ai #aifilm
О, а вот и Илью из подвала выпустили.
Новые сюжеты в передаче Sam себе режиссер.
Твит
Бедные индусы с Ютуба остались без работы 🥲
Интересно, можно ли попросить говорить с акцентом 🤔
Опенаи выкатили свою новую мультимодальную GPT-4o, которую величают омнимодальной. (Не иначе как переобщались с эпплом).
Она уже уделывала конкурентов на бенчмарке чатботов LMSYS, нативно понимает голос, быстрая, дешёвая, подробнее можете прочитать в каждом чайнике.
Самое главное - она доступна всем даром и пусть никто не уйдет обиженный
Сэм Альтман давно вещает про этот ваш гарантированный базовый доход, и даже вроде давал кому-то денег в рамках эксперимента.
Но недавно он переобулся и начал называть его universal basic compute. Тобищь гпт-7 будет уже в каждом чайнике (на этот раз буквально), и доступ к нему Сама предлагает приравнять к базовому доходу.
Звучит, конечно, альтруистично. Но мы-то с вами знаем, где бывает бесплатный сыр.
И вот, выходит новая gpt, 4o. Мощная и доступная каждому. Неужто Universal basic compute? Возможно, но пока рядовые домохозяйки поймут, как это монетизировать, большинство конкурирующих стартапов загнётся, так как не смогут конкурировать ни по цене, ни по качеству.
Ждём новую модель от Майкрософт, и надеемся, что остальные конкуренты тоже не оплошают.
Gazelle - первая open source VoiceToLLM модель
TincansAI объявил о выпуске Gazelle v0.2, инновационной речевой модели, которая может может обрабатывать устные запросы и длинные аудиофайлы напрямую, без их транскрипции или распознавания речи.
Благодаря прямой обработке аудио данных, модель быстрее, точнее, а также способна интерпретировать эмоции и даже сарказм в речи.
Код "из коробки", с абсолютно нулевой оптимизацией и работающий с полной точностью, достигает скорости 120 миллисекунд до первого токена, что значительно быстрее, чем любой другой сопоставимый подход. По оценкам авторов, задержка более сложной системы с синтезом составит менее 300 миллисекунд, что меньше воспринимаемой человеком задержки в реальном времени
Насколько известно авторам, данная модель является первой и единственной open source моделью, способной вести диалог в реальном времени. Кроме того, разработчики публично проводят оценку безопасности и сообщают об успешных атаках на речевую модель. Наконец, это первая речевая модель, в которой применяется мультимодальная оптимизация предпочтений.
Производительность Gazelle оптимизирована для реальных приложений, таких как поддержка клиентов, телефонные звонки и общение в чате.
🌐 Сайт
🤗 HuggingFace
👨💻Демо1
✖️ Демо2
