10240
нейромагия + моушн дизайн тренды, новости, эксперименты связь с автором @vsewall чат канала https://t.me/+rmQcCIEN93ExMjUy
Ну что, друзья? Встречайте FaceTracker for Blender (Beta)
Наше фирменное решение для трекинга лиц теперь доступно каждому прямо в Blender. Сгенерировать 3D модель лица по кадрам из видео, потрекать мимику, омолодить или состарить, добавить тату, 3D эффект или симуляцию — все это теперь легко сделать, не закрывая Blender!
Что вас ждёт:
– Быстрый и точный трекинг головы и мимики
– Встроенный FaceBuilder для создания на ходу моделей лица
– Генерация текстур лица: анимированной или смешанной по выбранным кадрам
– Экспорт FACS блендшейпов
– Интеграция во внешние пайплайны
И многое другое!
Скачать FaceTracker for Blender
FaceTracker сейчас в открытой бете, а значит доступен бесплатно для всех.
Важно: FaceTracker трекает головы только в FaceBuilder-топологии. Чтобы каждый мог опробовать все возможности FaceTracker, мы сбросили нашу триалку FaceBuilder для всех вне зависимости, использовали ли вы его раньше или нет!
Качайте, пробуйте и делитесь результатами!
признаюсь, я не большой любитель аудио генераций. немного баловался с suno но вау эффекта не получил
однако с этим треком ситуация ровно наоборот - полное попадание в мои персональные музыкальные мурашки и желание слушать его на репите. автор - мой хороший друг, исполнитель - udio. не представляю как у Саши получилось так лихо укротить сетку и так сочно передать вайбы и звучание электронной музыки 2010х. некоторые "семплы" просто бомбические. лайк тому кто расслышит воинственный клич Зены королевы воинов
а еще это хороший повод протестить keyframes в dream machine. фича классная но полный рандом
трек
оригинальный пост
@тоже_моушн
очень милый и визуально приятный кейс - ручная анимация цветных шейпов в бесплатной рисовалке Tagtool на айпаде с дальнейшей реалтайм обработкой в TouchDesigner с помощью StreamDiffusion
это дело рук VJ Suave - дуэта медиахудожников из Бразилии. подробней про проект можно почитать у Demien Stoker
StreamDiffusion - это ну очень быстрый txt2img: запросто выдает 15 fps на 4090 в разрешении 512. и это реально выглядит как реалтайм! туториал для желающих повторить у себя
автор компонента StreamDiffusion для тача DotSimulate уже прикрутил к нему ControlNet но предположу что это повлияет на fps негативно, нужно тестить. кстати есть еще бесплатная альтернатива от Олега Чомпа
inst VJ Suave
Tagtool app
пост Demien Stoker
patreon DotSimulate
туториал на ютуб
github StreamDiffusion
StreamDiffusion-NDI by Oleg Chomp
@тоже_моушн
ура, вышел плагин Gaussian Splatting для After Effects от irrealix
это значит что ply файлы сплатов созданные в LumaAI, Postshot, Scaniverse, Polycam или Nerfstudio теперь можно импортировать в афтер и встраивать в привычный пайплайн. благо количество добавленных в плагин плюшек, эффектов и настроек это позволяет
для тех кто не готов платить - можете протестить бесплатный плагин от Postshot но он не умеет и трети от того что заложено в новом плагине, на который кстати действует скидка до 26 апреля
@тоже_моушн
давненько не брал я в руки сплатов)
а если честно то особо и не погружался в эту тему глубоко. чтобы исправить это недоразумение, вашему вниманию:
внезапный обзор на бесплатные гауссиановы сплаты
Scaniverse
приложение для iOS, обучается быстро, заметно нагревает айфон, на экранчике выглядит красиво но для продакшна не годится
LumaAI
в представлении не нуждается, работает с телефонов и в браузере, выдает стабильно хороший результат, заложены всякие полезные плюшки
Jawset Postshot
работает локально, любит железо помощнее, обучается небыстро, зато красивый результат.
демо видео
а еще при установке Postshot спрашивает, не хотите ли плагин для афтера чтобы крутить свои сплаты как взрослый) лично не тестировал, но по секрету скажу что в скором времени нас ожидает гораздо более фаршированный плагин 3DGS для афтера, не переключайтесь
безобразие что до сих пор нет нормального импорта сплатов в блендер! есть плагин для рендера на сайклс но камон, это не реалтайм
а если хотите реалтайм - вот вам ассет для Touchdesinger. если чуть поиграться, можно добиться эффектов как на видео
@тоже_моушн
совсем не новость но грех не поделиться
один из самых крутых и визуально интересных проектов над которыми поработал в прошлом году - показ BOSS в Милане. командой Силы Света мы разрабатывали его визуальную концепцию: что то типа офиса будущего с прозрачными экранами, нейро-интерфейсами и силиконовыми роботами, все такое smooth and sleek
был проделан настоящий глубокий ресерч - куча обученных лор, генеративная инфографика, стилизация реальных футажей мрт, бешеные эксперименты со временем и пространством в тач дизайнере, ранние тесты animatediff etc. и помимо нейронок конечно много качественного 3д
получилось по моему очень насыщенно, красиво и достойно
официальное видео показа
видео Сила Света
@тоже_моушн
Вот держите гибридный пайплайн от генерации 3D-модели персонажа, до рига, анимации и нейрорендера. Без всякого ретопа, текстурирования и шейдинга.
Берется Luma AI для того чтобы сгенерить десяток вариантов 3Д-персонажа по текстовому промпту.
Получается довольно обмылочный персонаж в духе PS1 с кривой топологией и кашей вместо головы и рук.
Дальше он тащится в Mixamo и там на него тупо кидается авториг. А потом и анимация в духе Hadouken!
Дальше превью анимации с этим болваном кормится в КонтролНет, чтобы достать оттуда позу и объем с глубиной - для дальнейшего нейрорендеринга с помощью AnimateDiff.
Ну то есть идея такая - генерим низкокачественного болвана персонажа с помощью ИИ, кладем болт на топологию и качественный риг, просто одеваем его в скелет и наваливаем нужную нам анимацию (пусть с заломами и косяками на сгибах). На этапе нейрорендеринга все эти косяки сгладятся в процессе переноса стиля из промпта или картинки.
Одна засада - надо знать Mixamo, анимацию и вот это ваше дурацкое 3Д.
Впрочем нажать кнопку Autorig и потом выбрать из библиотеки анимацию (или сгенерить промптом, или забрать по эклеру из видео с помощью open pose) может любой, даже не знакомый с 3Д. Осталось эти кнопки вструмить внутрь ComfyUI или A1111 и спрятать подальше эти ацкие настройки ControlNet - вот и будет вам AIMixamo.
P.S. Качество ИИ-генерации 3Д настолько плохое, что чувак отдельно потом генерит голову и руки для персонажа и пришивает их к полигональному мешу и начинает все сначала (иначе КонтролНет не хавает уродца). И вот тут уже надо знать 3Д, сорян.
Но проблески будущих однокнопочных пайплайнов отчетливо проступают из шума диффузии.
P.S.S. Была такая поговорка у продакшенов - "на посте все поправят". Теперь на посте сидят такие: "зачем моделить правильно, на нейрорендеринге все поправится".
Короче, расслабляем булки, ИИ все поправит. За вас.
Автор обещает полный тутор тут:
https://twitter.com/8bit_e/status/1761111050420727895
Пример склейки двух первых видео в одно третье. Не до конца понятно, как в данном случае задаётся промпт: показываются ли оба видео полностью, и пишется ли какой-то текст, или же это отдельный режим смешивания, например, эмбеддингов.
(Извините что видео тяжелые)
Новая технология нейрогенерации видео от Тиктока
Полный отвал башки.
В чем была главная проблема генерации видео в Pika или Gen2? В непредсказуемом результате.
Бралась картинка и случайным, бесконтрольным образом анимировалась.
И вот Тикток выкатывает новую работу, дающую возможность конкретно указывать, чего и куда нужно анимировать.
Через 2-3 месяца обещают публичное демо. Ждем.
Ежик в тумане, 2024
Stable Video Diffusion очень неплохо имитирует поведение природных явлений - воды, огня, тумана, облаков. а также вполне четко считывает объем и улавливает предполагаемую динамику в кадре: без особого управления хорошо двигает камеру обычно в 2 случаях из 5
поэтому пайплайн чаще всего выглядит так: закинул картинку и жмешь 2-3 раза на генерацию, выбираешь лучший вариант
шевелить объекты не очень любит но иногда умеет. главное не переборщить с таким оживлением, иначе объекты ломаются
и к сожалению главное ограничение - всего 25 кадров за раз
картинки - mj
анимация - SVD 1.1
музыка - suno.ai
@тоже_моушн
морфинг с помощью animatediff и ip-adapter
выше я уже рекомендовал к просмотру гайды/туториалы от latentvision">Latent Vision. и это видео не исключение. берем две картинки и анимированную чб маску перехода. твикаем настройки и вуаля - магия работает, морфинг супер плавный и кайфовый
но сразу должен расстроить - это снова не морфинг из картинки А в картинку Б. ipadapter не воссоздает оригинальные картинки, но весьма неплохо понимает что на них изображено, считывает стиль, некоторые детали и общий вайб
воркфлоу в комментах
туториал
@тоже_моушн
в конце прошлого года мы делали предположения про что будет год следующий. много кто считал что после картинок - на очереди конечно же видео и 3д.
и видео сетки за год действительно проделали лихой путь от ультра криповых (один, два) до вполне артовых (один, два) и довольно реалистичных результатов (один, два, три, четыре). конечно со своими нейро-артефактами которые с каждой новой моделью выглядят все более естественно и все меньше бросаются в глаза
с 3д дело обстоит куда сложнее. уже есть неплохие решения (один, два, три, четыре) но все равно в основном шляпа на выходе
внезапно к концу года оказалось что если усилия 3д и видео моделей объединить - можно получить ну очень качественный псевдо 3д результат. не могу перестать удивляться - иллюзия работает почти идеально.
запускается это дело конечно же в ComfyUI. воркфлоу положу в комменты. там же дополнительные прикольные результаты
это видео от разработчика расширения IP-Adapter для комфи - обязательно к просмотру. чел сооружает похожий сетап и крутит девушку в 3д, сохраняя примерно ее внешность. вообще канал этого парня для меня настоящий исайт, уровень полезной информации зашкаливает
гайд о возможностях StableZero123 от Оливио
гайд от Матео Latent Vision
страничка воркфлоу в дискорде banodoco
всех с наступающим и пусть следующий год будет лучше чем этот! всем лучи добра
@тоже_моушн
Встречайте KeenTools 2023.3: Стабильный GeoTracker for Blender и поддержка Nuke 15.0 / 14.1
Ура, бета-тестирование нашего 3D трекера объектов успешно завершилось! Благодаря вашим бесценным комментариям, GeoTracker теперь отполирован, свеж, светел, и готов к использованию в вашем трекинг-пайплайне.
Кое-что новенькое в стабильной версии:
— Встроенное текстурирование с возможностью спроецировать текстуру объекта из видео на его 3D модель
— Опция Lock View для стабилизации вьюпорта на конкретной модели или точке на ней
— Экспорт группы пинов, создающий Empty-объект с координатами нужной точки с трекаемой геометрии
Теперь GeoTracker for Blender становится платным продуктом с 15-и дневным триалом. В знак благодарности за вашу помощь, до конца декабря можно приобрести годовую Freelancer подписку с 50% скидкой за первый год.
Касаемо других обновлений, в этом релизе мы добавили поддержку Nuke 15.0 и 14.1, а также внесли ряд минорных изменений в наш трекер для AE.
Все детали, туториалы, скидки ждут вас здесь!
обработка в стейбле потихоньку подбирается к реалтайму. а виной всему LCM, который лихо ускоряет генерацию без потери качества
Олег Чомп записал мега полезный гайд о том как используя ComfyUI и Touchdesigner обрабатывать любой видео сигнал на лету
я и сам сейчас в работе активно использую патч Олега для комфи, так что рекомендую!
оригинальный пост
гайд на ютуб
lora LCM
патч для Тача
@тоже_моушн
продолжаю пребывать в некотором шоке от далли-3
уровень детализации и качество картинки без тюнов, лор, инпейнтов и тд - зашкаливает и завораживает. особенно в сравнении со стейблом
кому интересно, почему так и как новый далли опять всех уделал - вот читабельный саммари от Дмитрий Савостьянов Вещает вчерашней статьи OpenAI
@тоже_моушн
если вам тоже было интересно как затанцевать макароны, держите воркфлоу для комфи а также свежий пошаговый видео туториал
магия происходит конечно же благодаря ip-adapter и qrcode-monster controlnet. а за хорошую скорость генерации отвечает lcm моделька. все необходимые ссылки есть в туториале
workflow на civitai
туториал
ig автора воркфлоу
@тоже_моушн
В Казани стартовал международный фестиваль медиаискусства NUR. На нем представлена инсталляция EYE, созданная в коллаборации четырех независимых хужодников из SILA SVETA: Ilia Balakin, EGO, Vsevolod Taran и Alexander Karelin.
Искать инсталляцию нужно во дворе «Национального музея», ее центральный элемент — сцена-ракушка — превращена в око искусственного интеллекта. Зрачок перед сценой олицетворяет ИИ, который с помощью нейронных сетей в real-time по-своему интерпретирует и человека, и пространство вокруг него. Все происходящее выводится на экран, позволяя каждому посетителю увидеть, как современные технологии могут изменять наше восприятие мира.
Участие в NUR и других медиафестивалях — это возможность для команды достать из заметок и воплотить в жизнь крутые и вдохновляющие идеи, которые приходили в процессе поиска креативных решений на коммерческих и RnD-проектах.
Скоро поделимся комментариями создателей EYE и фото с места событий.
Pain - Push the pusher (Ai animation official music video)
Directed by: Dmitry Alekseev
Written and created: Dmitry Alekseev & Sergey Kozlov
Tools: Midjourney x Photoshop x After Effects x Premiere Pro
Character Voices: Elevenlabs
WATCH FULL VIDEO ON YOUTUBE
небольшой тизер-анонс двух долгожданных инструментов для 3DGS. видео выше сделано с их помощью.
первый - плагин для AE. чтобы импортировать сплаты в афтер, использовать по классике параллельно с текстом и любыми 3д слоями, а еще лихо навешивать на сплаты различные эффекты. считанные часы до релиза!
второй - аддон для Блендера. позволяет "запечь" 3д сцену - со всеми материалами и освещением в формат ply, чтобы дальше отправить это в AE, Unity, UE, Touchdesigner или вообще встроить на сайт. аддон пока дорабатывается но уже показал хорошие результаты.
кстати черепушку из видео можно покрутить по этой ссылке (к сожалению смартфоны пока не тянут). а готовый сплат ищи в комментах
@тоже_моушн
AnimateDiff Lightning
в 10 раз быстрее оригинального AnimateDiff.
Инструкции по использованию в ComfyUI прилагаются
#text2video
хорошему дружескому проекту нужно помочь с тестированием их продукта:
Nim — новый проект на просторах вселенной AI, которому чуть больше месяца. Сейчас ребята активно исследуют генеративные модели и находятся в поиске профессиональных фото/видео креаторов, которые помогут им в креативном тестировании платформы в рамках оплачиваемой Creative Partner Program.
Ребята предоставляют ранний доступ к их генеративной платформе и платят почасовую ставку за генерации.
Подать заявку на участие.
похоже что Sora мы еще не скоро пощупаем, а потому продолжаем работать с тем что есть. и пока что AnimateDiff остается самым гибким и перспективным инструментом, доступным каждому
Даниил Дорошков прислал классное видео. задумка взята с реддита, где чел использовал симуляции дыма и огня из Embergen как основу и превращал с помощью AnimateDiff в кайфовые анимации цветов. Даниил взял готовые футажи дыма со стоков и обработал стандартным воркфлоу vid2vid с добавлением контролнетов Depth и Lineart
Универсальных настроек не нашел, под каждое входное видео нужно подстраивать индивидуально. Ну и основная работа состояла из подбора настроек и композа всяких аморфных видосов для входного изображения. Чекпойнты моделей и лоры пробовал разные, мне зашли нескольо анимэшных, получилась стилистика олдового аниме.
нет, это не настоящее видео, это генерация
потому что опять пришли опенаи и всех уделали. это их новый text2video. инфы минимум. кода и подавно
смотреть и удивляться тут - openai.com/sora
@тоже_моушн
свежая китайская моделька I2VGEN-XL теперь доступна в комфи
в отличие от SVD не так пафосно и красиво двигает камерой, зато гораздо лучше анимирует объекты в кадре. по скорости генерации тоже немного проигрывает и к сожалению прожорлива до VRAM. в теории лучше держит внешность (у меня пока не получилось, фейлы в комментах)
посмотреть как работает можно тут. у меня нормально установилась только на свежую версию комфи
гитхаб
кастом ноды для I2VGEN-XL
гайд на ютубе
демо на replicate
@тоже_моушн
Houdini + Stable Diffusion
Принес годноты для CG-взрослых.
Симуляция в Гудини, нейрорендер в Stable Diffusion (Комфи+КонтролНет).
В Гудини генерятся частицы, маска и глубина, потом все это забирается в Stable Diffusion и кормится в ControlNet и Animatediff.
Вот такой нейрорендер нам нужен!
Более того, держите:
Подробный тутор, где все это расписано.
Канал этого удивительного чувака, который скрещивает 3Д и нейрорендеринг.
И клондайк из разных полезных постов для тех, кто в кино и VFX.
Enjoy CG-Bros.
P.S. Представьте, лукдев теперь это текстовый промпт и выбор чекпойнта (утрирую, конечно).
вдруг вы из Лондона? если так то имеете шанс попасть на классную выставку, которую мы в Силе Света запилили незадолго до нового года: арт инсталляция Hyperfeeling про спектр человеческих чувств для The Balloon Museum
для меня это первый опыт создания нейро контента в формате сферы 360. выглядит и работает очень кайфово, хотя и не обошлось без костылей)
360 в статике - изи. но вдруг вам известны способы как генерить анимацию типа дефорума или анимейтдифф - без лор, ассиметричного тайлинга и прочих костылей - сразу со всеми искажениями 360 развертки? вроде несложная задача но до сих пор не попадалось хороших решений
@тоже_моушн
Под конец года многие из нас ощущают пустоту и меланхолию. Еще один год пролетел, как вспышка. Новогоднего настроения всё меньше, мы повзрослели и только воспоминания о "тех самых" зимних каникулах отдаются теплым эхом времени.
⠀
Мы хотим подарить вам немного тепла и пожелать, чтобы даже в самые холодные грядущие годы вы сохраняли его в своих сердцах!
https://youtu.be/lyqrS6hkRuo?si=GWDhD1xrEVWd5HgX
ComfyUI Stable Diffusion Video
ComfyUI теперь поддерживает Stable Diffusion Video и при этом инференс влезает в 8GB VRAM, что позволит генерить даже на T4.
Некоторые пояснения к параметрам:
— video_frames: количество генерируемых видеокадров. (В зависимости от моделей от 1 до 24)
— motion_bucket_id: чем выше число, тем больше движения будет в видео.
— fps: чем выше частота кадров, тем менее прерывистым будет видео.
— augmentation level: количество шума, добавляемого к начальному изображению. Чем оно выше, тем меньше видео будет похоже на исходное изображение. Увеличьте его для большего движения.
— VideoLinearCFGGuidance: этот узел немного улучшает выборку для этих видеомоделей, он линейно масштабирует cfg по разным кадрам.
Качество генераций очень нравится, еще бы поддержку ControlNet и Lora, и станет заменой AnimateDiff.
--use-pytorch-cross-attention
В комментах скидываю два .json для ComfyUI.
🕸🎃 чрезвычайно милая и атмосферная хэллоуинская короткометражка от Алексея Лоткова
сделано на коленке но при этом профессионально, качественно, с юмором и любовью к делу. по словам автора - на создание ушло 2 дня
из инструментов: анимейтдифф для стилизации, стейбл для фонов и окружения, щепотка миксамо и классического композа, синтез голоса в play.ht
Алексей Лотков в IG
@тоже_моушн
ну наконец то! последний месяц я ежедневно проверял не появились ли новые опции в платном аккаунте chatGPT и наконец это свершилось)
неделю назад получил возможность спрашивать что изображено на картинке и по запросу describe this image in details получать довольно подробное и размашистое описание деталей, стилистики итд
а сегодня добавили опцию генерации dalle-3 и chatGPT свое же пространное описание органично упаковывает в небольшой промпт, по которому генерит вполне приличные картинки
сравнивать исходник и результат смысла не вижу так как это разные сетки, разные модели - разное всё. просто чувствую душевный подъем от того что есть теперь такая возможность, этого не хватало
картинки в полном качестве положу в комменты
@тоже_моушн