10240
нейромагия + моушн дизайн тренды, новости, эксперименты связь с автором @vsewall чат канала https://t.me/+rmQcCIEN93ExMjUy
впечатляющая text2video генерация от Lyell. это вам не знаменитости поедающие макароны и прочий крипи шлак, это искусство! сделано с помощью Zeroscope XL, звук тоже нейронный - MusicGen
пост в твиттере
Zeroscope XL
MusicGen
p.s. в попытке подобрать промпт неожиданно кайфовые результаты получил, положу в комменты
@тоже_моушн
крутейшая технарская онлайн-конференция по нейросетям и ИИ НейроSet состоится уже 14 июля
в последнее время ML-методы развиваются особенно бурно: постоянно происходят новые досижения в CV, NLP и RL. однако, следить за всем и вникать в каждый прорывной метод постоянно не хватает времени. онлайн конференция НейроSet поможет вам разобраться в самых актуальных нейросетевых подходах.
- 8 часов глубоких технических докладов о CV, NLP, RL и работе мозга
- спикеры из Massachusetts Lowell, Sber.AI, VisionLabs, ВШЭ, НГУ
- видеозаписи докладов
- возможность задать вопрос спикеру не только в чате, но и лично голосом
- с промокодом МОУШН скидка 20% на билеты
📌 регистрируйтесь на сайте https://neuro-set.ru
📌 онлайн трансляция 14 июля с 10:00 до 19:00
#промо
ITSALIVE оживили самого знаменитого кота страны — СберКота
Сегодня Сбер презентовал своего первого диджитал амбассадора. Старый добрый кот из стикеров ожил в реалистичном 3D!
СберКот — первый аватар в России, который будет взаимодействовать с пользователями в Real Time, коллабиться с блогерами и вести стримы на разных площадках. За сборку универсального аватара отвечала студия ITSALIVE.
Переходите в канал ITSALIVE — там ребята рассказывают о том, как делался кот и другие кейсы с применением аватаров, графики и нейросетей.
#промо
минутка флюидной красоты - целиком на нейронках
в этой завораживающей анимации органично соединились два важных для меня элемента:
лора, обученная на кислотных флюидных картинках. рад поделиться ей на civitai
собственный аналог дефорума созданный с помощью Stable Houdini. он позволяет использовать Automatic1111 как движок генерации а все команды отправлять из Houdini.
нодами очень удобно и наглядно удалось собрать мощный сетап - он идеально подходит для 2д флюидной анимации и не только - гифки в комментах
сетапом тоже буду рад поделиться. и ваши лайки и репосты мотивируют меня поскорее подготовить файл и стрим на ютуб - о том как им пользоваться. всем любовь!
LoRa AcidFluid
Stable Houdini
@тоже_моушн
должен признаться, после релиза generative fill для фотошопа я мягко говоря приуныл потому что как будто это конец гонки - нет смысла соревноваться с таким хорошим продуктом, тем более без танцев с бубнами вокруг автоматика. нажал и готово.
но слава опенсорсу - теперь благодаря контролнету можно делать инпейнт не хуже чем в фш а может даже и лучше!
на портретах выше я оставил только лицо, окружение дорисовано без промптов на универсальных настройках разными моделями. нейросеть упорно настаивает что мне подойдет прическа маллет в стиле 80х - хорошо, я подумаю
и еще примеры инпейнтинга положу в комменты
гайд о том как делать инпейнт как боженька
@тоже_моушн
Уже скоро, AI блок в рамках Design Reflektorij Forum / 10 и 11 июня в Ереване
Generative AI: сегодня и завтра
Валерий Шарипов, основатель OHMYSYNT, расскажет об эволюции text-to-video, о пересечение AI и 3D, решениях для нового поколения дизайнеров, об ограничениях AI сегодня и возможностях в будущем.
Нейробиология и дизайн: как AI может найти ключ к визуальному восприятию
Алексей Горин, когнитивный нейробиолог, расскажет о нейроэстетике, о том, как мозг воспринимает искусство и как создать для него более комфортные условия.
Этика в эпоху AI: исследование границ
Пойдём в Дискуссию с острыми вопросами: Владислав Деревянных (бренд-дизайн директор Voskhod Branding) уже внедрил AI в проекты агенства, Валерий Шарипов, Сергей Андронов (бренд-дизайн директор Manychat), Алексей Горин.
→ Другие темы, спикеры и регистрация
→ Вопросы организаторам @marinakslv
c головой нырнул в нерфы, ближайшие посты будут о том как сделать свой нейронный слепок пространства
Lumalabs - вероятно самый популярный и раскрученный NeRF продукт. есть приложение Luma AI для ios, но также свой нерф можно сделать бесплатно у них на сайте. больше всего понравилось "переснимать" готовые нерфы в режиме AR - просто загружаешь нерф к себе в комнату и ходишь вокруг (пример в комментах).
на сайте есть свой условно удобный интерфейс для анимации камеры. есть опция импорта камеры в формате fbx.
и наверное главных хук Lumalabs - плагин для Unreal Engine: нерфы сделанные у них на сайте или в приложении можно экспортировать в специальный формат который затем встраивается в игровой движок, это мега круто!
из минусов - рендер видео сопровождается логотипом в углу кадра и есть лимиты на количество рендеров (30 в месяц)
Lumalabs.ai
нереально красивый клип целиком на нерфах
плагин для UE
не так давно на канале был пост про BlockadeLabs, первый общедоступный сервис по генерации 360 панорам с помощью Stable Diffusion
а на днях создатели наконец то прикрутили к нему ControlNet. и теперь в режиме Scribble можно накидать примерный эскиз будущей панорамы
чтобы понять возможности применения - рекомендую прогуляться по страничке проекта в твиттере
а для тех кто недавно присоединился к каналу - вот два поста на эту тему:
первые попытки в BlockadeLabs
альтернативный воркфлоу для Автоматик1111
в обоих постах есть ссылки по которым можно покрутить генерации в 360
сделать свою панораму в BlockadeLabs
@тоже_моушн
Все спикеры AI-generated!
Хотя, пока только концепты, ребята настоящие 😅
Design Reflektorij Forum / Ереван / 10-11 июня
Место, где можно посмотреть на профессию дизайнера с разных сторон. Будет много лекций и бесед об объединении дизайна и технологий. Ну и не забываем об after-party!
Отлично подходит для:
— AI Artists, Graphic & Motion Designers, Art Directors, PMs etc.
— Компаний, которые хотят отправить команду на форум.
— Гостей Еревана.
Среди спикеров: Митя Осадчук — дизайн-директор Иви, ex-креативный директор VK / Влад Деревянных — дизайн-директор «Voskhod Branding», 12 Каннских Львов / Свят Вишняков — основатель студии Electric Red NY и другие.
→ EARLY BIRDS
→ Вопросы организаторам @marinakslv
#промо
кому нужны все эти дефорумы, ген-2 и прочие text2video решения если отличный клип можно сделать просто на статичных картинках? смысл же не во внутрикадровом движении а в глубине замысла и харизме автора.
должен признаться, я смотрел клип "Маликов" раз 10 и не могу остановиться! что то он такое задевает внутри, что то глубинное и неясное - глаза горят и смех разливается. а все потому что это образец метаиронии и метамодерна с непредсказуемым финалом.
Олегу Суркову - автору видеоряда - мой респект!
Кирилл Экономов - "Маликов"
@тоже_моушн
Короткое промо и демонстрация основных функций первого доступного скрипта для работы со Stable Diffusion под After Effects.
Основные функции
- txt2img с использованием controlnet (покадрово и анимация)
- interrogate
- Препроцессинг изображений (получаем canny и depth прям из Афтера!)
- скрипты для копирования промптов из файлов
Сам скрипт в описании канала.
плагин для блендера Dream Textures мощно так обновился! он теперь поддерживает контролнет со всеми плюшками, а настройка генерации перекочевала в комфортный нодовый редактор. что это если не хорошая альтернатива автоматику?
p.s. это тот самый плагин который еще и генерацию текстур прямо на 3д объект умеет делать - супер буст для текстурирования не выходя из блендера
скачать плагин
@тоже_моушн
жара! в дискорде runway наконец то заработал gen-2 - генерация видео по текстовому запросу!
мой промпт до сих пор висит в списке ожидания поэтому вот вам чужие астро-котики
@тоже_моушн
Простая игра на NeRF (Luma) + UE5
1) Cканируем стол с вещами на нём и создаём NeRF на сайте Luma. Дальше импортируем его в стартовый проект на Unreal Engine 5, инструкции там же.
2) Импортируем шаблон с видом от третьего лица.
3) Используем этот шаблон для перевода проекта в сайд-скроллер
4) Чтобы персонаж не проваливался сквозь вещи используем примитивные объекты (куб и прочие) и на глаз подставляем их в качестве опоры.
5) Выделяем опорные объекты, идём в панель Details и ставим галочку “Actor Hidden in Game”. Так они станут невидимыми, и в кадре будет только стол и вещи на нём.
Автор
ого, большой апдейт ControlNet! в новой версии как будто гораздо лучше стали работать препроцессы - качественней просчитывается глубина, нормали стали выглядеть как нормали, сегментация уже не такая дырявая, в опенпоз нормально поддерживаются руки и лица. появилась опция inpaint. а еще добавилась модель shuffle - похожая на t2i style adapter - выдает вариации исходной картинки. ну что, снова вот э тайм ту би элайф?
@тоже_моушн
Сейчас техника дорисовки ( matte painting ) или изменения пространства в кино очень обширна. Сложнейшие симуляции, реалистичная графика и отслеживание движения камеры, позволяют на postproduction этапе создавать точнейшую иллюзию, того что мы видим.
Но так было не всегда. Когда не было компьютеров киношники обходились различными трюками. При статичных кадрах буквально перед камерой ставили стекло на котором дорисовывали в реалистичной манере то. чего не было в кадре. Так рождались первые постапокалиптические и фантастические миры.
Когда Youtube выдал мне подборку Matte painting из старых фильмов.
Меня осенило! Генеративная заливка нового фотошопа, идеальный инструмент для того, чтобы создавать целые куски локаций. Итоги эксперимента вы можете увидеть выше!
Михаил, автор канала NeuroAE пилит отличный плагин, который позволяет лихо управлять генерацией в Stable Diffusion прямо из афтера - даже при отсутствии мощного железа! маст хэв для уверенных пользователей афтера
а уроки и гайды о том как пользоватья своим детищем Михаил постит в ютубе
скачать плагин - в канале NeuroAE
гайды и уроки NeuroAE/videos">на ютуб
на днях еще кое что про связку AE и стейбла будет, не отключайтесь
@тоже_моушн
на полях консистентной стилизации прибыло!
Rerender a video теперь можно запустить в колабе. очень рекомендую подписаться в твиттере на camenduru - автора блокнота - он настоящий спринтер и быстрее всех пилит демки для самых свежих алгоритмов
colab notebook
и много красивых примеров на официальной страничке
upd. работает пока не очень (
@тоже_моушн
ох каких нервов мне стоило получить эту простенькую анимацию!
такое нельзя сделать в дефоруме (без дописывания кода). можно в расширении для автоматика SD-CN-Animation, но там минимум контроля. поэтому я освоил и обуздал Stable Houdini - набор Гудини ассетов от Станислава, автора канала Dreams and Robots
не вижу смысла использовать Stable Houdini для простой генерации, это лишние танцы с бубнами. но имеет смысл подключать гудини когда нужно соорудить то чего не умеет автоматик по умолчанию
и на моей памяти это первый случай когда очень грамотное совмещение двух инструментов дает такой прирост возможностей. их границы вообще сложно представить
а для создания этой анимации я в цикле с обратной связью (фидбек) изгибаю картинку, а затем прогоняю через img2img и так много раз по кругу
@тоже_моушн
и наконец nerfstudio - самая продвинутая и хорошо продуманная среда для обучения, просмотра и рендера нерфов.
взрослый понятный интерфейс, связка с блендером, возможность запускать задачи через командную строку - настоящий рай для нейро-гика
мега-фича:
нерф можно выгнать как облако точек или меш, импортировать в блендер, затем сделать анимацию камеры, экспортнуть в формате json обратно в нерф и отрендерить нерф-анимацию (как в прикрепленной gif)!
в комменты положу пример - использовал телефон как виртуальную камеру, движение которой потом прицепил к нерфу
плюсы:
хорошо задокументированы все режимы и настройки софта,
аккуратный результат,
помимо встроенного относительно неплохого nerfacto позволяет обучать нерфы на самых разных алгоритмах, в том числе instant-ngp,
возможность запуска операций через командную строку
минусы:
медленное обучение,
неидеальное качество,
нужно кодить чтобы получить эффекты типа DOF
и напоследок просто мысль: отчетливая ассоциация с ранними фотографиями - когда людям приходилось сидеть в кадре неподвижно по несколько минут. в моем случае сын дрыгался, поэтому в нерфе он размазался, в отличие от четкого ковра
nerfstudio github
nerfstudio docs
видео о том как установить и запускать
видео о хитрых пайплайнах и интеграции с блендером
@тоже_моушн
бытовой нейро-натюрморт в неоновых тонах
instant-ngp - самый быстрый нерф с возможностью запуска на популярных современных карточках, начиная с 10xx серии. чтобы запустить - качаем архив с гитхаба, минимум танцев с бубнами.
интерфейс не самый дружелюбный но разобраться можно быстро.
плюсы:
быстрый, красивый результат,
ништяки - визуальные эффекты, например depth of field,
есть кнопка отправки в VR (не пробовал)
минусы:
качество немного хуже чем у Luma AI,
интерфейс не очень подходит для создания сложных анимаций камеры и не хватает встроенной возможности обмена информацией с 3д софтами типа блендера (пытаюсь придумать пайплайн)
страница проекта
гитхаб
подробный разбор установки и интерфейса от Турбинского
пара полезных скриптов - автоматизация создания датасета из картинок и видео
VidMK23 — ежегодный форум по видео для руководителей и специалистов видеопродакшнов и всех, кто связан с созданием и продвижением видео.
VidMK23 — это 2 дня живых лекций, 40 спикеров-практиков, 800+ участников, 1000+ зрителей онлайн
Темы лекций: съемка, кино, нейросети, YouTube, продюсирование, EdTech, reels, нетворкинг, реклама, прямые эфиры.
Кроме лекций участников ждут: мастер-классы, разбор работ от экспертов, выставка техники с возможностью протестировать её, вечеринка со спикерами и новые полезные знакомства.
VidMK23 пройдет как офлайн в Москве, так и онлайн. Кроме того, в городах разных стран откроются официальные резиденции форума, где смотреть лекции можно будет в местных комьюнити.
Клиенты получают пригласительный бесплатно: организаторы мероприятий, собственники агентств, штатные маркетологи компаний, блогеры и продюсеры онлайн образования. Для этого нужно заполнить анкету на сайте.
Специально для нашей аудитории на покупку билетов действует промокод VS2023 на скидку 10%.
9-10 июня Москва + Онлайн
Hyatt Regency Petrovsky Park
Подробнее на сайте vidmk.ru
#промо
РОБОТЫ НАС ЗАМЕНЯТ 🤖🎵
а поможет в этом Wonder Dynamics к которому я наконец то получил доступ!
для тех кто все пропустил - это такой сервис, который ВСЁ делает сам: трекинг, клинап, цветокор. на вход - видео с человеком, на выходе - вполне грамотно вкомпоженный в шот 3д персонаж, даже окружение и освещение неплохо подбирает. и минимум работы руками. правда выбор персонажей невелик, в основном роботы, но можно загрузить и своего
с идеями - кого можно заменить на робота - прошу в комменты. а для вдохновения рекомендую посетить страницу проекта в твиттере или полистать там ленту с тэгом #wonderdynamics
запись в вейтлист
@тоже_моушн
Вышел выпуск Редакции про ИИ
Спасибо журналистам Редакции за такое серьезное и тактичное отношение к теме ИИ, в выпуске есть и неироискусство, и текстовые нейросети, все темы, куда ИИ проник и продолжает проникать, а также мнение искусствоведов, психологов и других специалистов.
Рада оказаться в выпуске среди дорогих коллег и визионеров.
Смотрите выпуск, я не могу подобрать слова, как для меня важно представлять нейроискусство именно на этом ютуб-канале, сегодня для меня как день рождения.
каким то образом мимо меня пролетела инфа про отличное расширение для автоматика SD-CN-Animation. помимо весьма неплохого text2video (почти настоящего) умеет еще и стилизовать видео по текстовому запросу. я довольный как кот-космонавт!
github
за наводку спасибо Psy Eyes
@тоже_моушн
Итак, свершилось. Я только что выложил мой набор инструментов для работы со Stable Diffusion из Гудини в открытый доступ. Для всех, даром, и пусть никто не уйдёт обиженным. Все, что нужно знать, в видео.
Нагенерируйте мне красоты!
https://www.youtube.com/watch?v=Un_b8cvzxcw
некоторые из вас знают что я веду курс по видео-нейронкам в Пражской медиашколе. сегодня наконец то собрали выставку работ выпускников первого потока, и там есть на что посмотреть! очень горжусь студентами и рад что многие дошли до финала и выразили себя в нейро творчестве. ребята, вы крутаны!
а если вы хотите также, сейчас идет набор на третий поток, который стартует в конце мая. и промокод TOZHE все еще работает
@тоже_моушн
Nvidia дропнула новую модельку
text2video. Качество заметно подросло по сравнению с предыдущими, но это всё ещё не идеальный вариант.
К сожалению, попробовать пока негде, есть только страница проекта с описанием.
Так что пока любуемся Штурмовиком, пылесосящим пляж. В комменты можете кидать удачные примеры использования.
прикольное расширение для автоматика - создает бесконечный зум по текстовому запросу. год назад приходилось такое ручками делать а тут наконец то автоматизировано
расширение на github
мой зум-аут в далли
@тоже_моушн
Предварительно сегодня в 20:00 по мск хотим немножко постримить про очень интересный софт для постпродакшена Wonder Studio.
Событие может перенестись на следующий день в связи с горящими жопами участвующих, так что лучше нажать кнопочку "Прислать уведомление" или вообще подписаться на YouTube канал, если ещё этого не сделали. О переносах сообщим)
Подкаст будет онлайн как всегда, только хардкор! Поэтому готовьте свои вопросики по теме софта Wonder Studio прямо тут в комментах.
Подкаст будет тут