10240
нейромагия + моушн дизайн тренды, новости, эксперименты связь с автором @vsewall чат канала https://t.me/+rmQcCIEN93ExMjUy
подробный туториал о стилизации видео в дефоруме от Никита AI
работа проделана серьезная, разобраны многие аспекты - как установить, что качать и какие настройки на что влияют. файлы настроек можно найти у Никиты в канале (кот вообще топовый!)
туториал на ютуб
пост с настройками
@тоже_моушн
что ж, пришло время об этом рассказать: красиво стилизовать видео теперь можно не только в платном StableWarp но и бесплатном Deforum
и никакого фликера, даже напротив - еще более гладкая анимация. на видео сравнение двух техник при условно одинаковых настройках. магия работает в A1111 на ip2p контролнете и режиме hybrid video
узнал про этот трюк благодаря подписчику. спасибо, Михаил!
StableWarp по прежнему остается годным и очень крутым инструментом, но на мой личный взгляд - чрезмерно навороченным и чем дальше тем сложнее в нем разобраться, я уже не говорю про новых пользователей, у которых вскипает мозг при виде сотен настроек.
файл с настройками дефорума - в комментах
@тоже_моушн
очень важная для меня веха - наконец то удалось использовать нейронный генератив в таком большом и ответственном проекте. вместе с командой Силы Света мы создали грандиозное 7 минутное иммерсивное шоу для фестиваля Videocitta в Риме. интереснейшая работа, сложнейшие задачи, мощнейшая прокачка навыков - и главный вывод: нейронки уже можно и нужно использовать для серьезных проектов!
больше красивостей смотрите в сториз и silasvetastudio/video/7255623164510604546?is_from_webapp=1&sender_device=pc">тиктоке
@тоже_моушн
впечатляющая text2video генерация от Lyell. это вам не знаменитости поедающие макароны и прочий крипи шлак, это искусство! сделано с помощью Zeroscope XL, звук тоже нейронный - MusicGen
пост в твиттере
Zeroscope XL
MusicGen
p.s. в попытке подобрать промпт неожиданно кайфовые результаты получил, положу в комменты
@тоже_моушн
крутейшая технарская онлайн-конференция по нейросетям и ИИ НейроSet состоится уже 14 июля
в последнее время ML-методы развиваются особенно бурно: постоянно происходят новые досижения в CV, NLP и RL. однако, следить за всем и вникать в каждый прорывной метод постоянно не хватает времени. онлайн конференция НейроSet поможет вам разобраться в самых актуальных нейросетевых подходах.
- 8 часов глубоких технических докладов о CV, NLP, RL и работе мозга
- спикеры из Massachusetts Lowell, Sber.AI, VisionLabs, ВШЭ, НГУ
- видеозаписи докладов
- возможность задать вопрос спикеру не только в чате, но и лично голосом
- с промокодом МОУШН скидка 20% на билеты
📌 регистрируйтесь на сайте https://neuro-set.ru
📌 онлайн трансляция 14 июля с 10:00 до 19:00
#промо
ITSALIVE оживили самого знаменитого кота страны — СберКота
Сегодня Сбер презентовал своего первого диджитал амбассадора. Старый добрый кот из стикеров ожил в реалистичном 3D!
СберКот — первый аватар в России, который будет взаимодействовать с пользователями в Real Time, коллабиться с блогерами и вести стримы на разных площадках. За сборку универсального аватара отвечала студия ITSALIVE.
Переходите в канал ITSALIVE — там ребята рассказывают о том, как делался кот и другие кейсы с применением аватаров, графики и нейросетей.
#промо
минутка флюидной красоты - целиком на нейронках
в этой завораживающей анимации органично соединились два важных для меня элемента:
лора, обученная на кислотных флюидных картинках. рад поделиться ей на civitai
собственный аналог дефорума созданный с помощью Stable Houdini. он позволяет использовать Automatic1111 как движок генерации а все команды отправлять из Houdini.
нодами очень удобно и наглядно удалось собрать мощный сетап - он идеально подходит для 2д флюидной анимации и не только - гифки в комментах
сетапом тоже буду рад поделиться. и ваши лайки и репосты мотивируют меня поскорее подготовить файл и стрим на ютуб - о том как им пользоваться. всем любовь!
LoRa AcidFluid
Stable Houdini
@тоже_моушн
должен признаться, после релиза generative fill для фотошопа я мягко говоря приуныл потому что как будто это конец гонки - нет смысла соревноваться с таким хорошим продуктом, тем более без танцев с бубнами вокруг автоматика. нажал и готово.
но слава опенсорсу - теперь благодаря контролнету можно делать инпейнт не хуже чем в фш а может даже и лучше!
на портретах выше я оставил только лицо, окружение дорисовано без промптов на универсальных настройках разными моделями. нейросеть упорно настаивает что мне подойдет прическа маллет в стиле 80х - хорошо, я подумаю
и еще примеры инпейнтинга положу в комменты
гайд о том как делать инпейнт как боженька
@тоже_моушн
Уже скоро, AI блок в рамках Design Reflektorij Forum / 10 и 11 июня в Ереване
Generative AI: сегодня и завтра
Валерий Шарипов, основатель OHMYSYNT, расскажет об эволюции text-to-video, о пересечение AI и 3D, решениях для нового поколения дизайнеров, об ограничениях AI сегодня и возможностях в будущем.
Нейробиология и дизайн: как AI может найти ключ к визуальному восприятию
Алексей Горин, когнитивный нейробиолог, расскажет о нейроэстетике, о том, как мозг воспринимает искусство и как создать для него более комфортные условия.
Этика в эпоху AI: исследование границ
Пойдём в Дискуссию с острыми вопросами: Владислав Деревянных (бренд-дизайн директор Voskhod Branding) уже внедрил AI в проекты агенства, Валерий Шарипов, Сергей Андронов (бренд-дизайн директор Manychat), Алексей Горин.
→ Другие темы, спикеры и регистрация
→ Вопросы организаторам @marinakslv
c головой нырнул в нерфы, ближайшие посты будут о том как сделать свой нейронный слепок пространства
Lumalabs - вероятно самый популярный и раскрученный NeRF продукт. есть приложение Luma AI для ios, но также свой нерф можно сделать бесплатно у них на сайте. больше всего понравилось "переснимать" готовые нерфы в режиме AR - просто загружаешь нерф к себе в комнату и ходишь вокруг (пример в комментах).
на сайте есть свой условно удобный интерфейс для анимации камеры. есть опция импорта камеры в формате fbx.
и наверное главных хук Lumalabs - плагин для Unreal Engine: нерфы сделанные у них на сайте или в приложении можно экспортировать в специальный формат который затем встраивается в игровой движок, это мега круто!
из минусов - рендер видео сопровождается логотипом в углу кадра и есть лимиты на количество рендеров (30 в месяц)
Lumalabs.ai
нереально красивый клип целиком на нерфах
плагин для UE
не так давно на канале был пост про BlockadeLabs, первый общедоступный сервис по генерации 360 панорам с помощью Stable Diffusion
а на днях создатели наконец то прикрутили к нему ControlNet. и теперь в режиме Scribble можно накидать примерный эскиз будущей панорамы
чтобы понять возможности применения - рекомендую прогуляться по страничке проекта в твиттере
а для тех кто недавно присоединился к каналу - вот два поста на эту тему:
первые попытки в BlockadeLabs
альтернативный воркфлоу для Автоматик1111
в обоих постах есть ссылки по которым можно покрутить генерации в 360
сделать свою панораму в BlockadeLabs
@тоже_моушн
Все спикеры AI-generated!
Хотя, пока только концепты, ребята настоящие 😅
Design Reflektorij Forum / Ереван / 10-11 июня
Место, где можно посмотреть на профессию дизайнера с разных сторон. Будет много лекций и бесед об объединении дизайна и технологий. Ну и не забываем об after-party!
Отлично подходит для:
— AI Artists, Graphic & Motion Designers, Art Directors, PMs etc.
— Компаний, которые хотят отправить команду на форум.
— Гостей Еревана.
Среди спикеров: Митя Осадчук — дизайн-директор Иви, ex-креативный директор VK / Влад Деревянных — дизайн-директор «Voskhod Branding», 12 Каннских Львов / Свят Вишняков — основатель студии Electric Red NY и другие.
→ EARLY BIRDS
→ Вопросы организаторам @marinakslv
#промо
кому нужны все эти дефорумы, ген-2 и прочие text2video решения если отличный клип можно сделать просто на статичных картинках? смысл же не во внутрикадровом движении а в глубине замысла и харизме автора.
должен признаться, я смотрел клип "Маликов" раз 10 и не могу остановиться! что то он такое задевает внутри, что то глубинное и неясное - глаза горят и смех разливается. а все потому что это образец метаиронии и метамодерна с непредсказуемым финалом.
Олегу Суркову - автору видеоряда - мой респект!
Кирилл Экономов - "Маликов"
@тоже_моушн
Короткое промо и демонстрация основных функций первого доступного скрипта для работы со Stable Diffusion под After Effects.
Основные функции
- txt2img с использованием controlnet (покадрово и анимация)
- interrogate
- Препроцессинг изображений (получаем canny и depth прям из Афтера!)
- скрипты для копирования промптов из файлов
Сам скрипт в описании канала.
плагин для блендера Dream Textures мощно так обновился! он теперь поддерживает контролнет со всеми плюшками, а настройка генерации перекочевала в комфортный нодовый редактор. что это если не хорошая альтернатива автоматику?
p.s. это тот самый плагин который еще и генерацию текстур прямо на 3д объект умеет делать - супер буст для текстурирования не выходя из блендера
скачать плагин
@тоже_моушн
очень нравится как стейбл шаг за шагом органично встраивается в знакомые пайплайны
например это аудио-реактив видео я сделал в тачдизайнере посмотрев тутор от elekktronaut. у него в инсте можно еще красивые примеры глянуть
как и в случае со stable houdini, здесь генерация происходит по api Автоматика. патч который позволяет сделать такую связку я взял на патреоне DotSimulate (про его эксперименты в Zeroscope кстати недавно был пост)
туториал
инста elekktronaut
sd_api на патреоне
@тоже_моушн
новый способ контроля анимации в дефорум - теперь из AE
создатель MotionBro - бесплатного и очень толкового набора пресетов для афтера добавил в него новый пак - AE2SD, который позволяет удобно настроить анимацию дефорума не покидая знакомый интерфейс.
пресеты для 2д и 3д режима, поддержка экспрешнов (старый добрый wiggle) и прочих плюшек типа настроек изинга ключей + удобная система копирования параметров
два урока о том как установить и использовать AE2SD - от автора плагина - videolancer и нейро блоггера enigmatic_e
подробнее про AE2SD
@тоже_моушн
продолжая тему text2video не могу не поделиться новой работой Дмитрия Алексеева, это топ! а мы похоже наблюдаем бум видео моделек, и это только начало - вспомните stable 1.5 и сравните с уровнем генерации достигнутым за год - ситуация повторяется
@тоже_моушн
Сейчас техника дорисовки ( matte painting ) или изменения пространства в кино очень обширна. Сложнейшие симуляции, реалистичная графика и отслеживание движения камеры, позволяют на postproduction этапе создавать точнейшую иллюзию, того что мы видим.
Но так было не всегда. Когда не было компьютеров киношники обходились различными трюками. При статичных кадрах буквально перед камерой ставили стекло на котором дорисовывали в реалистичной манере то. чего не было в кадре. Так рождались первые постапокалиптические и фантастические миры.
Когда Youtube выдал мне подборку Matte painting из старых фильмов.
Меня осенило! Генеративная заливка нового фотошопа, идеальный инструмент для того, чтобы создавать целые куски локаций. Итоги эксперимента вы можете увидеть выше!
Михаил, автор канала NeuroAE пилит отличный плагин, который позволяет лихо управлять генерацией в Stable Diffusion прямо из афтера - даже при отсутствии мощного железа! маст хэв для уверенных пользователей афтера
а уроки и гайды о том как пользоватья своим детищем Михаил постит в ютубе
скачать плагин - в канале NeuroAE
гайды и уроки NeuroAE/videos">на ютуб
на днях еще кое что про связку AE и стейбла будет, не отключайтесь
@тоже_моушн
на полях консистентной стилизации прибыло!
Rerender a video теперь можно запустить в колабе. очень рекомендую подписаться в твиттере на camenduru - автора блокнота - он настоящий спринтер и быстрее всех пилит демки для самых свежих алгоритмов
colab notebook
и много красивых примеров на официальной страничке
upd. работает пока не очень (
@тоже_моушн
ох каких нервов мне стоило получить эту простенькую анимацию!
такое нельзя сделать в дефоруме (без дописывания кода). можно в расширении для автоматика SD-CN-Animation, но там минимум контроля. поэтому я освоил и обуздал Stable Houdini - набор Гудини ассетов от Станислава, автора канала Dreams and Robots
не вижу смысла использовать Stable Houdini для простой генерации, это лишние танцы с бубнами. но имеет смысл подключать гудини когда нужно соорудить то чего не умеет автоматик по умолчанию
и на моей памяти это первый случай когда очень грамотное совмещение двух инструментов дает такой прирост возможностей. их границы вообще сложно представить
а для создания этой анимации я в цикле с обратной связью (фидбек) изгибаю картинку, а затем прогоняю через img2img и так много раз по кругу
@тоже_моушн
и наконец nerfstudio - самая продвинутая и хорошо продуманная среда для обучения, просмотра и рендера нерфов.
взрослый понятный интерфейс, связка с блендером, возможность запускать задачи через командную строку - настоящий рай для нейро-гика
мега-фича:
нерф можно выгнать как облако точек или меш, импортировать в блендер, затем сделать анимацию камеры, экспортнуть в формате json обратно в нерф и отрендерить нерф-анимацию (как в прикрепленной gif)!
в комменты положу пример - использовал телефон как виртуальную камеру, движение которой потом прицепил к нерфу
плюсы:
хорошо задокументированы все режимы и настройки софта,
аккуратный результат,
помимо встроенного относительно неплохого nerfacto позволяет обучать нерфы на самых разных алгоритмах, в том числе instant-ngp,
возможность запуска операций через командную строку
минусы:
медленное обучение,
неидеальное качество,
нужно кодить чтобы получить эффекты типа DOF
и напоследок просто мысль: отчетливая ассоциация с ранними фотографиями - когда людям приходилось сидеть в кадре неподвижно по несколько минут. в моем случае сын дрыгался, поэтому в нерфе он размазался, в отличие от четкого ковра
nerfstudio github
nerfstudio docs
видео о том как установить и запускать
видео о хитрых пайплайнах и интеграции с блендером
@тоже_моушн
бытовой нейро-натюрморт в неоновых тонах
instant-ngp - самый быстрый нерф с возможностью запуска на популярных современных карточках, начиная с 10xx серии. чтобы запустить - качаем архив с гитхаба, минимум танцев с бубнами.
интерфейс не самый дружелюбный но разобраться можно быстро.
плюсы:
быстрый, красивый результат,
ништяки - визуальные эффекты, например depth of field,
есть кнопка отправки в VR (не пробовал)
минусы:
качество немного хуже чем у Luma AI,
интерфейс не очень подходит для создания сложных анимаций камеры и не хватает встроенной возможности обмена информацией с 3д софтами типа блендера (пытаюсь придумать пайплайн)
страница проекта
гитхаб
подробный разбор установки и интерфейса от Турбинского
пара полезных скриптов - автоматизация создания датасета из картинок и видео
VidMK23 — ежегодный форум по видео для руководителей и специалистов видеопродакшнов и всех, кто связан с созданием и продвижением видео.
VidMK23 — это 2 дня живых лекций, 40 спикеров-практиков, 800+ участников, 1000+ зрителей онлайн
Темы лекций: съемка, кино, нейросети, YouTube, продюсирование, EdTech, reels, нетворкинг, реклама, прямые эфиры.
Кроме лекций участников ждут: мастер-классы, разбор работ от экспертов, выставка техники с возможностью протестировать её, вечеринка со спикерами и новые полезные знакомства.
VidMK23 пройдет как офлайн в Москве, так и онлайн. Кроме того, в городах разных стран откроются официальные резиденции форума, где смотреть лекции можно будет в местных комьюнити.
Клиенты получают пригласительный бесплатно: организаторы мероприятий, собственники агентств, штатные маркетологи компаний, блогеры и продюсеры онлайн образования. Для этого нужно заполнить анкету на сайте.
Специально для нашей аудитории на покупку билетов действует промокод VS2023 на скидку 10%.
9-10 июня Москва + Онлайн
Hyatt Regency Petrovsky Park
Подробнее на сайте vidmk.ru
#промо
РОБОТЫ НАС ЗАМЕНЯТ 🤖🎵
а поможет в этом Wonder Dynamics к которому я наконец то получил доступ!
для тех кто все пропустил - это такой сервис, который ВСЁ делает сам: трекинг, клинап, цветокор. на вход - видео с человеком, на выходе - вполне грамотно вкомпоженный в шот 3д персонаж, даже окружение и освещение неплохо подбирает. и минимум работы руками. правда выбор персонажей невелик, в основном роботы, но можно загрузить и своего
с идеями - кого можно заменить на робота - прошу в комменты. а для вдохновения рекомендую посетить страницу проекта в твиттере или полистать там ленту с тэгом #wonderdynamics
запись в вейтлист
@тоже_моушн
Вышел выпуск Редакции про ИИ
Спасибо журналистам Редакции за такое серьезное и тактичное отношение к теме ИИ, в выпуске есть и неироискусство, и текстовые нейросети, все темы, куда ИИ проник и продолжает проникать, а также мнение искусствоведов, психологов и других специалистов.
Рада оказаться в выпуске среди дорогих коллег и визионеров.
Смотрите выпуск, я не могу подобрать слова, как для меня важно представлять нейроискусство именно на этом ютуб-канале, сегодня для меня как день рождения.
каким то образом мимо меня пролетела инфа про отличное расширение для автоматика SD-CN-Animation. помимо весьма неплохого text2video (почти настоящего) умеет еще и стилизовать видео по текстовому запросу. я довольный как кот-космонавт!
github
за наводку спасибо Psy Eyes
@тоже_моушн
Итак, свершилось. Я только что выложил мой набор инструментов для работы со Stable Diffusion из Гудини в открытый доступ. Для всех, даром, и пусть никто не уйдёт обиженным. Все, что нужно знать, в видео.
Нагенерируйте мне красоты!
https://www.youtube.com/watch?v=Un_b8cvzxcw
некоторые из вас знают что я веду курс по видео-нейронкам в Пражской медиашколе. сегодня наконец то собрали выставку работ выпускников первого потока, и там есть на что посмотреть! очень горжусь студентами и рад что многие дошли до финала и выразили себя в нейро творчестве. ребята, вы крутаны!
а если вы хотите также, сейчас идет набор на третий поток, который стартует в конце мая. и промокод TOZHE все еще работает
@тоже_моушн