10240
нейромагия + моушн дизайн тренды, новости, эксперименты связь с автором @vsewall чат канала https://t.me/+rmQcCIEN93ExMjUy
Встречайте KeenTools 2023.3: Стабильный GeoTracker for Blender и поддержка Nuke 15.0 / 14.1
Ура, бета-тестирование нашего 3D трекера объектов успешно завершилось! Благодаря вашим бесценным комментариям, GeoTracker теперь отполирован, свеж, светел, и готов к использованию в вашем трекинг-пайплайне.
Кое-что новенькое в стабильной версии:
— Встроенное текстурирование с возможностью спроецировать текстуру объекта из видео на его 3D модель
— Опция Lock View для стабилизации вьюпорта на конкретной модели или точке на ней
— Экспорт группы пинов, создающий Empty-объект с координатами нужной точки с трекаемой геометрии
Теперь GeoTracker for Blender становится платным продуктом с 15-и дневным триалом. В знак благодарности за вашу помощь, до конца декабря можно приобрести годовую Freelancer подписку с 50% скидкой за первый год.
Касаемо других обновлений, в этом релизе мы добавили поддержку Nuke 15.0 и 14.1, а также внесли ряд минорных изменений в наш трекер для AE.
Все детали, туториалы, скидки ждут вас здесь!
обработка в стейбле потихоньку подбирается к реалтайму. а виной всему LCM, который лихо ускоряет генерацию без потери качества
Олег Чомп записал мега полезный гайд о том как используя ComfyUI и Touchdesigner обрабатывать любой видео сигнал на лету
я и сам сейчас в работе активно использую патч Олега для комфи, так что рекомендую!
оригинальный пост
гайд на ютуб
lora LCM
патч для Тача
@тоже_моушн
продолжаю пребывать в некотором шоке от далли-3
уровень детализации и качество картинки без тюнов, лор, инпейнтов и тд - зашкаливает и завораживает. особенно в сравнении со стейблом
кому интересно, почему так и как новый далли опять всех уделал - вот читабельный саммари от Дмитрий Савостьянов Вещает вчерашней статьи OpenAI
@тоже_моушн
помните недавний мой эксперимент с деформацией по optical flow? говорил же что это гибкий пайплайн!
Mickmumpitz использовал в качестве исходника движения стандартные визуализации звука и получил на выходе - нейро-винамп, жаль только не реалтаймовый. по ссылке подробный гайд, где показан весь процесс подготовки, настройки и обработки
кстати у Mickmumpitz mickmumpitz">на канале масса годного контента из категории "делаем кино самостоятельно на коленке используя все доступные бесплатные методы"
подсмотрено у Psy Eyes
видео на ютуб
пост в Х
мой пост с настройками
@тоже_моушн
продолжаю мучать IP-Adapter
киллер фича - возможность смешивать пару изображений. из первого контролнетом забираем карту глубины, из второго ай-пи адаптером получаем стиль. а дальше начинается магия. и я хочу еще раз акцентировать - это генерации без промпта!
две доступные модели для sd15 справляются чуть по разному. стандартная - чуть хуже схватывает стиль, но за счет своей "подвижности" круто накладывает его на карту глубины. модель с плюсом - старается жестче следовать стилю, менее подвижная, из за этого частенько попадает в неприятности, например рисует девушку поверх кота потому что в стиле был портрет.
максимально оценить возможности такого смешивания - можно по двум сравнительным таблицам в комментариях
IP-Adapter
стилизация видео ай-пи адаптером
@тоже_моушн
кто о чем а мне лишь бы погнуть пространство)
кайф в том что наконец то удалось нащупать способ доступный каждому пользователю дефорума в автоматике! без дополнительных заморочек с тачем или гудини
способ чем то похож на стилизацию, но в отличие от нее мы не видим содержания исходного видео а забираем оттуда только само движение через оптикал флоу. а это дает просто бешеный простор для творчества - можно использовать видео с телефона или готовые футажи или самим чего нибудь нагенерить если умеете в моушн. вероятно способ больше подходит для лэндскейпов или абстракции и арта. но зависит от исходника
за настройками айда в комменты, там же видео - источник движения и еще примеры анимации
гнем в гудини
гнем в таче
@тоже_моушн
AnimateDiff это мощь!
Денис Demien Stoker натворил офигенных котов, полную версию смотрите у него в канале
у Нерди Родента вчера вышел обзор новой модели AnimateDiff. запускать можно в автоматике. а в ComfyUI можно анимировать даже с контролнетом!
коты by Demien Stoker
AnimateDiff
гайд от Нерди Родента
экстеншн A1111
версия для ComfyUI
@тоже_моушн
окей, генерацией картинок и видео никого уже не удивить. а как насчет реалистичных движений персонажей в 3д с помощью моделей диффузии?
тогда добро пожаловать на бета-тест MoGen от motorica.ai
это бесплатный сервис в котором можно настроить некоторые правила поведения персонажа и затем экспортировать как 3д анимацию скелета.
выбор пресетов движения пока что конечно маловат, но зато можно прикольно смешивать походку "зомби" и "клевого парня".
а еще у них есть плагин для UE
мощная фича - из 3д экспортируем анимацию персонажа по пути. а MoGen уже дорисовывает весьма реалистично как бы этот персонаж на самом деле скакал, бежал и дергал ручками и ножками перемещаясь по заданной траектории. да еще и в выбранном стиле!
вы все еще анимируете вручную? тогда МоГен идет к вам!)
бета-тест MoGen
обзор MoGen
гайд о связке с гудини
@тоже_моушн
хотели морфинг? дарю рабочий пайплайн)
если взять серию картинок (фоток, генераций sd/mj), сморфить их между собой с помощью FILM или Topaz Video AI, а затем результат прогнать через стилизацию в Deforum - получается очень даже кайфовый гладкий морфинг (по сравнению например с sd_smooth_interpolation)
дефорум учитывая optical flow рисует новые детали и тем самым прекрасно сглаживает артефакты интерполяции в пиксельном пространстве (но не все!). конечно метод несовершенный и нужен текстовый промпт а иногда еще и лора - если морфим персонажа. тем не менее - сам пользуюсь и рекомендую
блокнот FILM
стилизация в Deforum
sd_smooth_interpolation
@тоже_моушн
друзья разрабатывают сервис OHMYSYNT и хотят получить фидбек. 3 дня триала: обучение внешности 5 персонажей + современные плюшки типа инпейнтинга в AI-редакторе с удобным интерфейсом. ну что, поможем парням нагрузить сервера?
Читать полностью…
смотрю это видео в десятый раз и меня впечатляет:
- то как круто ген2 подхватывает атмосферу и стиль картинок из миджорней
- как мощно работают спецэффекты типа дыма и таймлапса облаков
- как удачно двигается камера, динамика в кадре
косяки тоже есть: кривовато выглядит походка персонажей но как будто этот зомби стиль тут даже в тему
хочу узнать ваше мнение, это впечатляет или нет?
и кстати о дыме - вот еще пример очень вкусного видео из ген2 на основе картинок SDXL
оригинальное видео
подробнее о его создании от автора
@тоже_моушн
осторожно, пространства искривляются!
в моей флюидной анимации был использован похожий способ, только в этот раз генерацией управляет не Houdini а Touchdesigner. а картинка теперь генерится не в A1111 а внезапно в ComfiUI
комфи - это крутой нодовый редактор для SD. у него тоже есть api, и по сути это просто json, то есть нужно в правильном формате указать порядок действий и запустить как скрипт. а тач отлично умеет в пайтон
да и манипуляции с картинкой в таче производить куда проще чем в гудини, а еще он бесплатный. так что у меня большие планы на этот сетап
ComfiUI на гитхаб
нейрофлюидная симуляция
@тоже_моушн
кажется именно для этого и были придуманы видео диффузионные модели
идеальное сочетание оживших картин Клода Моне под музыку Эрика Сати. автор видео - Phil Van Treuren, анимация - Pika Labs
не, можно конечно и мемасики оживлять (как тут или тут), но до оживших фотографий из Гарри Поттера пока что далеко - внешность персонажа быстро теряется и всратый результат в 9 видео из 10
а в случае импрессионизма артефакты генерации не портят ее, напротив - делают еще более живой и волшебной
кстати очень крутую анимацию арта недавно постил Дмитрий Алексеев. если еще не видели - обязательно к просмотру!
пост на реддите
подробное описание проекта от автора
видео на ютуб
Pika Labs
@тоже_моушн
Pika Labs открылся для всех!
Генерить видео можно в ветках #generate как просто по тексту, так на основе картинки. Чтобы вкинуть изображение, нажимаете рядом с вбитым промтом на +1, затем жмёте на Upload и добавляете его.
Пример промта: /create prompt:a cat is walking in the forest, sunset, 4K -neg "bad anatomy, lowres" -ar 1:1Какие параметры у промтов:-gs xx (guidance scale, чем выше чифра, тем ближе визуал к промту)-neg "xxx" (негативный промт, задаём чего не должно быть в кадре)-hide (скрыть промт)-ar xx:xx (соотношение сторон, 16:9, 9:16, 1:1, 4:5)-seed xxx (ставим одно число для консистентной генерации, чтобы увидеть сид надо скачать видео он в названии файла)-motion xx (насколько подвижной нужна картинка, задаётся числами 0, 1, или 2)
Чтобы быстро генерить по тому же промту жмите значок "Повторить". Генерации ограничены 10 штуками в 5 минут.
Дискорд
Сайт
соединяем стилизацию дефорумом c моделью контролнета qrcode monster и получается вот такая анимированная иллюзия с эффектом негативного пространства
вообще модель идеально показывает себя на генерациях природы - растения, горы, вода
инит видео и настройки в комментах
подробнее про negative space
модель на hf
@тоже_моушн
ComfyUI Stable Diffusion Video
ComfyUI теперь поддерживает Stable Diffusion Video и при этом инференс влезает в 8GB VRAM, что позволит генерить даже на T4.
Некоторые пояснения к параметрам:
— video_frames: количество генерируемых видеокадров. (В зависимости от моделей от 1 до 24)
— motion_bucket_id: чем выше число, тем больше движения будет в видео.
— fps: чем выше частота кадров, тем менее прерывистым будет видео.
— augmentation level: количество шума, добавляемого к начальному изображению. Чем оно выше, тем меньше видео будет похоже на исходное изображение. Увеличьте его для большего движения.
— VideoLinearCFGGuidance: этот узел немного улучшает выборку для этих видеомоделей, он линейно масштабирует cfg по разным кадрам.
Качество генераций очень нравится, еще бы поддержку ControlNet и Lora, и станет заменой AnimateDiff.
--use-pytorch-cross-attention
В комментах скидываю два .json для ComfyUI.
🕸🎃 чрезвычайно милая и атмосферная хэллоуинская короткометражка от Алексея Лоткова
сделано на коленке но при этом профессионально, качественно, с юмором и любовью к делу. по словам автора - на создание ушло 2 дня
из инструментов: анимейтдифф для стилизации, стейбл для фонов и окружения, щепотка миксамо и классического композа, синтез голоса в play.ht
Алексей Лотков в IG
@тоже_моушн
ну наконец то! последний месяц я ежедневно проверял не появились ли новые опции в платном аккаунте chatGPT и наконец это свершилось)
неделю назад получил возможность спрашивать что изображено на картинке и по запросу describe this image in details получать довольно подробное и размашистое описание деталей, стилистики итд
а сегодня добавили опцию генерации dalle-3 и chatGPT свое же пространное описание органично упаковывает в небольшой промпт, по которому генерит вполне приличные картинки
сравнивать исходник и результат смысла не вижу так как это разные сетки, разные модели - разное всё. просто чувствую душевный подъем от того что есть теперь такая возможность, этого не хватало
картинки в полном качестве положу в комменты
@тоже_моушн
а вы в курсе что в AnimateDiff больше нет ограничения по хронометражу?
сначала в ComfyUI а теперь и в A1111 добавили немного костыльное но работающее решение: AD генерит все так же по 16 кадров, а затем еще 16 с небольшим наложением на предыдущие и так сколько душе угодно. если промпт не сильно динамичный, стыков не будет заметно
также AnimateDiff очень неплохо показал себя в задаче стилизации видео (vid2vid)! а с новым контекстным окном обработать можно любой хрон, круто же
еще интересное решение - motion lora - модели движения для AD (совсем как в ген2 и пикалабс), довольно простые но их можно комбинировать для получения более сложного движения
супер полезная к прочтению статья на civitai о том какие крутые штуки теперь можно творить с AnimateDiff в ComfyUI, да еще и сетапы в подарок
animatediff comfyui
ext a1111
motion lora
civitai guide + setup
@тоже_моушн
как насчет стилизации БЕЗ ПРОМПТА? с новым IP-Adapter - запросто!
про IP-Adapter говорят что это "лора по одной картинке". он прекрасно работает в последней версии автоматика в расширении контролнет, нужно только скачать модели. есть версия для Comfy и в ней даже чуть больше возможностей!
волна хайпа до сих пор незаслуженно обходила IP-Adapter стороной и очень зря, потому что инструмент супер мощный. идеально делает вариации по входящему изображению без промпта. а еще позволяет неплохо смешивать картинки, но про это позже
насчет стилизации видео - сразу скажу, пайплайн еще очень сырой но точно стоит того чтобы хорошенько в нем покопаться. в анимации выше 2 версии, одна на ip2p, другая на temporalnet. в первой лучше держится стиль но сильнее гуляют формы, во второй лучше консистентность но картинка приобретает hdr эффект. моя локальная карточка не вмещает больше 3 слоев контрола за раз, возможно соединение этих двух подходов даст лучший результат
оригинальное видео и референс стиля плюс настройки - все в комментах
IP-Adapter project page и github
модели для автоматика
версия для Comfy
@тоже_моушн
Новый вид монтажа
🔥 Все что вы видите в этом ролике сгенерировалось за один раз, без склеек, без использования программ для монтажа.
📕 Склейки между кадрами - моя попытка теста QR code ControlNET (который сейчас проживает второй расцвет) в AnimateDiff.
💗 Это успех, теперь приятные эффекты шума, такие важные для некоторых клипов или творческих работ, можно создавать максимально контролируемо.
🐑 То есть AnimateDiff превращается в полноценную продакшн студию у вас в компе, где есть актеры, движения, эффекты, сцены, идеи.
🐈⬛ Пока это сложный инструмент, хотя уверен, что вскоре появится сервис, где нужно будет только писать промпт и задавать стили, Лоры и т.д.Не могу не наиграться с AnimateDiff, например эта работа полностью HD, 1920x1080 генерация, 13 секунд. Это сильно впечатляет, хотя и себестоимость таких 13 секунд вышла в 10$. AnimateDiff
Только Runway выкатили возможность управлять камерой в генерациях, как Pika тут же выпустили такую же фичу! Чувствуете как атмосфера нагнетается, котаны?
Подробнее о фиче: камера управляется параметром -camera и работает с ОДНИМ из следующих типов движения:
* Zoom: приближаем/удаляем камеру через -camera zoom in/out.
* Панорамирование: двигаем камеру вверх/вниз/влево/вправо с помощью -camera pan up/down/left/right. Можно комбинировать два не конфликтующих направления, например, -camera pan up right.
* Поворот: вертим камеру по часовой стрелке или против часовой через -camera rotate clockwise/counterclockwise/anticlockwise или сокращения cw/ccw/acw.
Интенсивность движения камеры по-прежнему можно регулировать с помощью параметра -motion XX задавая от 1 до 4.
Другие обновления:
* -fps теперь по умолчанию стоит 24.
* Автоматический канал "upvotes" больше не доступен.
PS: anti-clockwise говорят в Британии, а counterclockwise говорят в Америке.... Теперь ты знаешь как генерить, заправляясь чайком.
Дискорд Pika
Пост с остальными параметрами для генерации
уже слышали про 3D Gaussian Splatting? это который как бы нерф но совсем не нерф
сердце поет когда видишь как оно лихо летает с хорошим фпс даже на скромной по нынешним меркам видео карте) чтобы убедиться - с гитхаба качайте viewer и демо файлы моделей (осторожно - 14Гб). если новичок - доставайте бубны и готовьтесь танцевать)
а новость в том что теперь 3D Gaussian Splatting можно запустить в Nerfstudio! и значит доступна связка с блендером и полный контроль камеры. правда работает чуть медленней чем в оригинальном просмотрщике но все равно в разы быстрее чем любые нерфы. мощь!
3DGS для Nerstudio
оригинальный 3D Gaussian Splatting
гайд на ютубе
подробнее про нерфстудио
@тоже_моушн
Вы, конечно, можете не впечатлиться результатом, но прогресс внимание на это не обращает.
Но часть из вас, таки, возможно, замечает улучшения в генерации трехмерных объектов.
Модель MVDream выстраивает объект, опираясь на текстовое описание и большое количество ракурсов, используемых для обучения. Авторы не пишут, откуда конкретно они берут данные, но могу предположить, что это Sketchfab или его аналоги.
Кто видел старт диффузионных моделей, тот над многоракурсной диффузией не смеется 🫡
Сорс
вокруг ComfyUI - ажиотаж
для пользователей WarpFusion Дерп Лернинг запилил эксплейнер на комфи с наглядным объяснением процессов аккуратной стилизации видео. и похоже что нас ждет Comfy версия варпа!
если по началу комфи был интересен только кучке нердов то в последнее время он развивается активными шагами, и вот почему:
высокая гибкость инструмента, возможность дописывать свои модули (ноды), лихо соединять все это в едином интерфейсе, мега простой апи. это уже достойная альтернатива автоматику
вот например урок о том как делать бесконечную зум анимацию в комфи да еще и менять промпты прямо в процессе рендера
а DotSimulate на днях выложил на патреоне свой ComfyUI Touchdesigner API Tool Setup
своим изгибающим реальность сетапом я все еще хочу и планирую поделиться. останавливает только то что в эпоху однокнопочных решений предлагать пользователю танцевать с бубнами без четкой инструкции - ну такое себе
ComfyUI
Warp and Consistency explanation
zoom tutorial
ComfyUI TD API by DotSimulate
@тоже_моушн
KeenTools 2023.2: Встречайте бету GeoTracker for Blender
Друзья, наш 3D трекер объектов теперь в вашем любимом Blender! Нужно добавить 3D эффекты или симуляции в ваше видео? С GeoTracker вы можете быстро отследить движение нужного объекта, получив его координаты в 3D, и сразу же притречить к нему желанный эффект — всё это не покидая Блендера.
Почему GeoTracker:
– Точный трекинг объектов и камеры на основе отслеживания геометрии в кадре
– Возможность разместить объект относительно камеры (и наоборот)
– Проецирование и запекание текстуры на 3D модель прямо из видео
– Идеальный трекинг движений головы при использовании вместе с FaceBuilder
– Результаты трекинга легко экспортируются за пределы Blender
И многое другое!
Скачать GeoTracker for Blender
Сейчас адд-он в бесплатной бете. Делитесь своими работами, мы будем рады добавить их в наши будущие шоурилы.
Но это ещё не всё! Мы также значительно улучшили наши другие продукты. Подробности.
Качайте и пробуйте!
вау, даже не предполагал что нерф можно гнуть как душе угодно, искажая пространство как в фильме Нолана "Начало"
обычно для таких трюков с пространством используют реймаршинг, но с нерфом это что то новенькое!
информации о том как именно видео сделано - минимум, известно только что использован instant-ngp. хотя знающие люди говорят что возможно нерф экспортировали в sdf и затем гнули стандартно шейдерами - то есть все таки реймаршинг
что ж, придется изучать, это очень интересно)
видео на ютуб
подробнее про реймаршинг
пост про instant-ngp
@тоже_моушн
Главные нейросети, которые избавят вас от рутины. Нейронки автоматизируют все ваши задачи — заполняют таблицы, генерируют презентации и отвечают на письма. Всё это бесплатно и даже на русском языке!
30 полезных нейросетей для повседневных задач выложили в канале Not Boring Tech. Автор четыре года публикует примечательные новости и находки из мира ИИ, которые пропустили и не заметили другие каналы.
Подпишитесь и смотрите подборку в закрепе: @notboring_tech
#промо
не удержался и тоже анимировал статичные картинки в ген2. понравилось)
запускается на сайте Runway. ты ей картинку, она тебе анимацию. без промптов, минимум настроек, результат ограничен 4 секундами. небольшой черри-пик)
бесплатных попыток хватает чтобы вдоволь наиграться с технологией и понять какие картинки лучше подходят и во что они превратятся в процессе анимации
runway
красивый эксперимент от ЭйАйЛера
@тоже_моушн
контролнет не перестает удивлять!
оказалось что модель для генерации QR кодов отлично справляется и с другими задачами, например умеет органично встраивать в картинку любой текст или логотип.
поэтому вот вам подборка новых претендентов на иконку канала, ниже сделаю голосование
нейросети и блендер подал классную идею с натюрмортом. и у него в посте можно подсмотреть настройки: ставим побольше вес и чуть сдвигаем от начала генерации включение контрола. вуаля!
небольшой спойлер: с анимацией это тоже круто работает!
полезный гайд
@тоже_моушн