13183
Используем ИИ строго не по назначению. Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
Я тут постоянно говорю о том, что нам не хватает инструментов для более точной настройки генераций, чтобы можно было более гибко настраивать и получать более предсказуемые результаты, пригодные для продакшена.
Таких инструментов пока немного, и чаще всего они собраны энтузиастами на коленке.
Как пример, Stable Projectorz — инструмент, созданный для текстурирования 3D-моделей с помощью нейросетей.
Из интересного, функционал поддерживает загрузку 3D-моделей и консистентную генерацию по ракурсам, вспомогательно простраивая карту глубины в реальном времени. Так же очень полезной выглядит фича инпэинтинга по маскам.
Работает на видеокартах NVIDIA (от GTX 1080) или AMD с поддержкой Stable Diffusion и от 12 ГБ оперативки.
Самое главное — после просмотра процесса текстурирования возникает вопрос: для каких целей вы это используете? И что самое главное, если бы вы делали эти же самые манипуляции для качества продакшен реди, не было бы это быстрее сделано привычными пайплайнами текстурирования с более предсказуемыми результатами?
Кажется, что ответ пока всё тот же: для быстрых прототипов или объектов дальнего плана, при сильной стилизации, вполне может сгодиться. Для семи или фотореализма — едва ли.
Но автору безусловный респект за сборку и возможность протестировать бесплатно!
Изучаем эволюцию терминаторов:
Т (банк или пиво?)
Т4 (Nvidia GPU)
Т5 (text to text transfer transformer)
Т9 (погубил больше всего людей)
Т34
Т800
Т1000
Предлагаем варианты в комментах
Власти США подают в суд на adobe
Не одних нас достали постоянные юридические финты ушами от этого гиганта хитровыделанности. Думаю, все в курсе и прошлогодних обновлений пользовательского соглашения, которое давало им разрешение тренить на ваших картинках, загруженных в Фотошоп, нейронки, а также нововведения этого года, которое вообще даёт им роялти-фри лицензию на ваш контент.
До этого дойдут позже, так как государственная машина неповоротлива, а пока предьявляют за намеренное превращение процедуры отписки в полосу препятствий, по прохождении которой можно выдавать краповый (в цвет логотипа адоба) берет отписчика.
Иск
Подробнее
Follow-Your-Emoji:Fine-Controllable and Expressive Freestyle Portrait Animation
Тут завезли нормальный липсинк. Follow Your Emoji берет на вход видео с вашими кривляньями, переводит их в последовательность фреймов с лендмарками, а затем использует их чтобы драйвить входное фото. Это controlnet для лица на стеройдах, который очень хорошо сохраняет личность на входном фото. Все на базе SD.
Вышло настолько хорошо, что методу под силу не просто рот во время открывать, но и глаза косить, смеяться (и чихать, я думаю, тоже) см. примеры, авторы там знатно поиздевались над своим творением.
Код вроде как должны выложить, на project page уже есть ссылка, но пока в никуда.
Еще есть бумага.
@ai_newz
txt2video стал еще доступнее, Luma Labs выкатили свой и дают создать 30 видео в месяц бесплатно. Качество на уровне SORA
Положить сервис можно тут:
https://lumalabs.ai/dream-machine/creations
Выкатили Whisper WebGPU
- распознавание голоса и перевод на девайсах
Работает локально в браузере, данные никуда не идут
🤗 demo
tweet
git
Your "totally not wrong" versions are very welcome !
Читать полностью…
ToonCrafter: Аниматоры напряглись, аниме-любители радуются
Пока мы ждем сору, вот вам ToonCrafter — прикольная модель для тех, кто делает двигающиеся картинки в стиле аниме.
Я уже вижу, как китайские аниме-студии сразу сокращают количество кадров. Собственно для этого она и создавалась в соавторах Tencent AI Lab.
Есть три режима:
- межкадровая интерполяция. Модель дорисует кадры между двумя key frames. Причем не просто линейным поступательным движением, как это сделано в других работах по интерполяции видео, а полноценная анимация.
- интерполяция, но на башне скетчей. Когда цвета нет.
- окрашивание. Перед тем как анимешку сделают цветной, сначала делают полноценный анимированный эскиз в чб. Вот его теперь будут красить автоматически.Непонятно, насколько мощный черипик в примерах. Выглядит ну как-то уж слишком хорошо. Хоть здесь и используются для каких-то более сложных вещей эскизы как референсы.У них, оказывается, уже есть демо. Сгенерил простенькую кошечку — работает офигенно, хоть и две секунды и разрешение шакальное.
Как этого достигли?
1. Хитро зафайнтюнили DynamiCrafter на аниме видосах. Там есть своя специфика, ведь в мультиках много регионов без текстур, и нет motion блура, как в реальных видео.
2. Натренировали специальный 3D декодер, который берет на вход кроме latent векторов фреймов, ещё и дополнительно исходные первый и последний кадры, чтобы сохранить точную информацию о внешности объектов.
Project Page с примерами. Рекомендую глянуть.
Пейпер
Код на гитхабе
Демо на обнимающем лице
@ai_newz
Если этот ваш ai такой клёвый, то почему до их пор нет ai 2?
Читать полностью…
Люди: SORA иногда генерирует какой-то неправдоподобный бред
Реальный мир:
Выхожу из тени с классными новостями.
Мой фильм DREAM вошел в финал в AIFA Awards. И 28 мая будет показываться на большой NFC конференции в Лиссабоне. Поздравляйте! 🍓
#jane #ai #aifilm
О, а вот и Илью из подвала выпустили.
Новые сюжеты в передаче Sam себе режиссер.
Твит
Бедные индусы с Ютуба остались без работы 🥲
Интересно, можно ли попросить говорить с акцентом 🤔
What if beastieboys sabotage was made in the 80s by Nintendo
Читать полностью…
Stable diffusion 3 banned from civit.ai
You can make this shit up 😅
Civit.ai временно скрыли все sd3-based модели и лоры.
Причина - широкая лицензия, которая даёт создателям sd3 права на контент, сгенеренный sd3, также модели, обученные на sd3 генерациях; так и непонятки с будущей судьбой stability. Через годик-другой новый владелец вполне может прийти и взыскать все просроченные платежи по подпискам. Ведь на civita.ai есть монетизация, что означает коммерческое использование sd3.
Post
LiteVAE: Lightweight and Efficient Variational Autoencoders for Latent Diffusion Models
Исследователи из Disney Studio представляют LiteVAE, семейство автоэнкодеров для LDMs, использующее 2D discrete wavelet transform для повышения масштабируемости и вычислительной эффективности по сравнению с обычными VAEs без потери качества.
Базовая модель LiteVAE сравнима по качеству с существующими VAEs в LDMs, при том, что количество параметров энкодера в шесть раз меньше - это значит, что тренировка идёт быстрее и нужно меньше памяти GPU. Более крупная модель превосходит VAEs аналогичной сложности по всем метрикам.
Paper link
Мои обзоры:
Personal blog
Medium
Linkedin Pulse
#paperreview
🔥 поразительный скачок!
В последние пару недель много чего понавыходило, но больше всего шума от видеогенераторов.
На видео сравнительный тест, который даст вам понять без лишних слов, на что обратить внимание. Runway, Pika, Lumalabs — к последнему, как вы поняли, стоит присмотреться. Кроме того, у вас будет 30 бесплатных, возобновляемых генераций в месяц.
Из элементов управления пока мы имеем только текст, что означает, что мы всё ещё в начале пути. Но на скачкообразное повышение качества невозможно не обращать внимания.
Видео открывайте на полный экран.
Пробовать тут.
🔥Веса SD-3 Medium уже доступны!
Как и обещали, Stability релизнули Stable Diffusion 3 Medium с двумя миллиардами параметров. Она бесплатна для некоммерческого пользования. За коммерческое использование придётся платить: $20 в месяц для индивидуальных пользователей и небольших бизнесов, для бизнесов побольше - энтерпрайз лицензия.
Поддержка модели уже есть в ComfyUI, для автоматика придётся подождать.
Судя по публичным заявлениям сотрудников Stability, 8B модель ещё тренируется. Но непонятно почему не релизнули 800m "Small" версии.
Блогпост
Веса
@ai_newz
https://youtu.be/lOfZLb33uCg?si=E6l58CtlMrkxFhgE
A clip literally made by Al
(Al yankovich)
Мечтает ли GPT-4o о сегментации картинок...?
Рассказал на Habr найденный способ как заставить GPT-4o работать с детекцией объектов на картинке и выдавать координаты (bounding boxes), с которыми можно работать.
Внутри много деталей о том, с какими препятствиями и нюансами мы сталкиваемся в Vibe AI при парсинге сообщений со скриншотов переписки.
Приятного прочтения, буду благодарен вашей обратной связи, лайкам, репостам ❤️
GPT-2 за двадцать долларов
Три недели назад llm.c был просто быстрым, на игрушечных датасетах и одной видеокарте. Но Карпатый на месте не стоял - он уже тренирует небольшие модели на десятках миллиардов токенов и восьми видеокартах. И при этом сохраняя огромную пропускную способность: GPT-2 Small выдаёт 180k токенов за секунду на каждую видеокарту. И при такой скорости тренировки, совсем не жертвуют точностью - результаты даже лучше чем у оригинальной GPT-2, при том что датасет похожий, а количество токенов такое же.
Small версию вообще можно натренировать за полтора часа на одной машине с 8 видеокартами. Стоить такое удовольствие будет всего двадцать долларов. Тренировка Medium обойдётся уже в $200, а XL в $2,5k, но проект всё ещё есть куда оптимизировать.
Пока что натренированы только Small и Medium размеры GPT-2, но с такой бешенной скоростью разработки поддержка моделей побольше будет уже в ближайшие дни.
Следующие майлстоуны:
➖Тренировка 770m и 1.5B моделек
➖ Поддержка нескольких нод
➖ Поддержка H100 и с ней fp8
➖ Воспроизводимая тренировка - чтобы можно было тренировать модель на двух разных машинах с побитово идентичными результатами
Нужно всё-таки попытаться потренировать на фритюрнице
@ai_newz
Небольшой апдейт по истории: Vox получили доступ к договору, который вынуждали подписывать экс-сотрудников, и ряду других внутренних документов OpenAI. В этих документах есть чудесный пункт о возможностях компании обнулить акции любого экс-сотрудника вообще без повода. На всех этих прекрасных документах либо подписи COO и VP of People либо лично Альтмана. Как, после таких откровений, звучат заявления о том что "руководство ничего не знало" - решайте сами.
not consistently candid in his communications with the board звучит всё понятнее и понятнее
@ai_newz
Мелкомягкие выкатили пучок instruct моделей Phi-3:
Phi-3-Vision (mini, 4B, 128k context)
Phi-3-mini (4b, 128k)
Phi-3-small (7B, 128k)
Phi-3-medium (14B, 128)
Также есть и 4k контекст.
На бенчмарках vision-mini ведет себя на уровне 7B опенсорсных и некоторых проприетарных моделей. Сразу видно, обучали на лучших тестсетах.
А еще недавно опенсорснули MS-DOS 4.0 (1 и 2 версии уже пылятся на гитхабе 6 лет)
github
