10240
нейромагия + моушн дизайн тренды, новости, эксперименты связь с автором @vsewall чат канала https://t.me/+rmQcCIEN93ExMjUy
жара! в дискорде runway наконец то заработал gen-2 - генерация видео по текстовому запросу!
мой промпт до сих пор висит в списке ожидания поэтому вот вам чужие астро-котики
@тоже_моушн
Простая игра на NeRF (Luma) + UE5
1) Cканируем стол с вещами на нём и создаём NeRF на сайте Luma. Дальше импортируем его в стартовый проект на Unreal Engine 5, инструкции там же.
2) Импортируем шаблон с видом от третьего лица.
3) Используем этот шаблон для перевода проекта в сайд-скроллер
4) Чтобы персонаж не проваливался сквозь вещи используем примитивные объекты (куб и прочие) и на глаз подставляем их в качестве опоры.
5) Выделяем опорные объекты, идём в панель Details и ставим галочку “Actor Hidden in Game”. Так они станут невидимыми, и в кадре будет только стол и вещи на нём.
Автор
ого, большой апдейт ControlNet! в новой версии как будто гораздо лучше стали работать препроцессы - качественней просчитывается глубина, нормали стали выглядеть как нормали, сегментация уже не такая дырявая, в опенпоз нормально поддерживаются руки и лица. появилась опция inpaint. а еще добавилась модель shuffle - похожая на t2i style adapter - выдает вариации исходной картинки. ну что, снова вот э тайм ту би элайф?
@тоже_моушн
стрим в 22 по Еревану
в программе:
большие языковые модели
новые text2video нейронки
@тоже_моушн
Если вы работаете над серией, комиксом, раскадровкой (или аккаунтом на онлифанс), то вы наверняка сталкивались с проблемой повторяемости лиц.
Когда вам нужно воспроизводить конкретное лицо, то тут не обойтись без обучения. Но если вам просто нужен повторяющийся персонаж, то вот вам клёвый трюк, который я недавно открыл.
Дело в том, что нейросеть уже знает внешность многих людей, я имею в виду самых разных публичных персон. И А1111 умеет смешивать промпты. Поняли, куда я клоню?
Просто скрестите несколько известных личностей и получите новое лицо, которое будет генерироваться почти одинаково в 90 процентах случаев.
Есть две опции. Во-первых, можно начать генерировать одного персонажа, а потом переключиться на другого. Это делается таким выражением в квадратных скобках: [Keanu Reeves:Emma Watson:0.4], где 0.4 - это момент начала генерации второго персонажа, то есть 40 процентов шагов. Но так можно скрестить только двоих.
Есть другой способ:
[Keanu Reeves|Emma Watson|Mike Tyson] - разделяем персонажей вертикальной линией и они будут генерироваться поочередно через шаг.
Дальше добавьте в промпт детали внешности (цвет глаз, волос, особенности) и одежды, и дело в шляпе.
Я даже подготовил вам туториал в виде комикса.
#совет
в LeiaPix внезапно добавили новую анимацию) если надо быстро и просто задвигать статичную картинку - самое то!
@тоже_моушн
уже завтра вечером - первая Генеративная Паверпоинт Найт!
вы готовы услышать 11 докладов на самые безумные темы? какая она - любовь в эпоху высоких технологий? как сохранить талант "рукожопа" в эпоху нейросетей? как появление диффузионных моделей влияет на рождаемость? как перестать генерировать если у тебя нейро-зависимость? и это только малая часть!
1 апреля, 20:00 (мск)
экслюзивная трансляция в too_motion_channel">ютуб канале тоже моушн - приходите слушать и задавать вопросы!
лайк, репост!
@тоже_моушн
ладно, все таки зря я был скептически настроен к генерации кастомных шрифтов в Firefly от Adobe. посмотрел видео Себастиана Камфа и соглашусь что выглядит весьма недурно. даже захотелось проверить насколько геморно сравнимый результат получить контролнетом
а еще сразу в памяти всплыл мощный антивоенный шрифт от Дэмиена Стокера, сделанный еще в диско диффьюжн
видео на ютуб
p.s. кстати получил письмо от адоби, обещают тоже скоро доступ дать)
upd. неожиданно мне дали доступ. го в комменты!
@тоже_моушн
а давайте стрим вечером? 22:00 по Еревану
посмотрим что нового выпустили и анонсировали за последнюю неделю - она была богатой на события)
и заодно можем погенерить всратый музыкальный клип в колабе Modelscope!
есть идея - какую музыку взять и что под нее нарисовать? айда в комменты
@тоже_моушн
Близится мероприятие которое просто нельзя пропустить - Первая Генеративная Паверпоинт Найт! Несерьезные доклады на серьезных щщах)
Это наш способ посмеяться и отдохнуть головой, взглянуть на привычные вещи под другим углом. Будем рассказывать о том, что знаем лучше всего, без цензуры, делиться самыми дурацкими гипотезами, строить самые нереалистичные прогнозы!
Приходите слушать, а ещё лучше — участвовать. Для участия нужна презентация минимум на один слайд, юношеский задор и искрометное выступление на какую-нибудь гиковскую тему. Авторские мемы и теории заговора приветствуются!
От зрителей — хиханьки да хаханьки, уважение к мужеству и интеллектуальному труду докладчика.
Когда: 1 апреля в 20:00 мск, честно
Где: стрим в ютуб (подробности ближе к делу)
Хочешь участвовать? го в комменты
@тоже_моушн
Тут на днях в соседнем канале предсказывали неделю всратых видео, я решил поучаствовать в этом празднике и скрафтил небольшой “видеоклип” из латентного пространства.
Кандидат для чартов “НейроТВ”, приходящему взамен MTV из мультивселенных.
Но если по сути, то на днях китайцы выкатили свою нейронку для генерации видео.
Пока это напоминает 3gp файлики в плохом разрешении с рекламой, передаваемые с мобилки на мобилку в середине нулевых. И всё это с рекламой shutterstock. Но если вспомнить прогресс генераций изображений за последние пару лет, то, с большой вероятностью, скоро “НейроТВ” действительно будет на потоке и приемлемого качества.
Можно потыкать в песочнице и в колабе
Восторг, как от swf флеш клипов в детстве.
Музыка: Shy FX – On The Run
астрологи объявили неделю всратых любительских нейро фильмов на основе Modelscope
и это только начало - похоже что в этом году text2video уже станет реальностью.
и смею предположить - помимо новых более качественных моделей (без вотермарков) нас еще ожидают открытия в промпт инжиниринге - как силой слова победить всратость движений и побороть эффект зловещей долины
видео "Восстание невесты Ктулху" в твиттере
@тоже_моушн
Тест Modelscope
📕 Генерация 256x256 формата и примерно секунды движения.
🔥 Используется только текст для генерации, не нужно референс видео, как например для Gen-1.
😠 Есть косяки в виде лого shutterstock, возможно использование негативных промптов поменяет процесс.
INFO—DEMO—WEIGHTS—COLAB(Запускать лучше на А100)
Напоминает момент, когда заопенсорсилиLatent Diffusion
, тогда в первое время также было 256x256. Но зато какой потенциал, теперь есть и движения!Промпт:
Macro shot of объект by Victo Ngai, hd, 4k
Читать полностью…
пошаговый гайд по скрипту Multi Frame Rendering - уже на бусти
не пропусти, сегодня планирую еще закинуть урок по расширению Ebsynth Utility для Automatic1111
@тоже_моушн
Nvidia дропнула новую модельку
text2video. Качество заметно подросло по сравнению с предыдущими, но это всё ещё не идеальный вариант.
К сожалению, попробовать пока негде, есть только страница проекта с описанием.
Так что пока любуемся Штурмовиком, пылесосящим пляж. В комменты можете кидать удачные примеры использования.
прикольное расширение для автоматика - создает бесконечный зум по текстовому запросу. год назад приходилось такое ручками делать а тут наконец то автоматизировано
расширение на github
мой зум-аут в далли
@тоже_моушн
Предварительно сегодня в 20:00 по мск хотим немножко постримить про очень интересный софт для постпродакшена Wonder Studio.
Событие может перенестись на следующий день в связи с горящими жопами участвующих, так что лучше нажать кнопочку "Прислать уведомление" или вообще подписаться на YouTube канал, если ещё этого не сделали. О переносах сообщим)
Подкаст будет онлайн как всегда, только хардкор! Поэтому готовьте свои вопросики по теме софта Wonder Studio прямо тут в комментах.
Подкаст будет тут
а хотите завтра вечером на стриме пощупаем убабугу и поболтаем с викуньей? если для вас это не абракадабра, хочу узнать ваше мнение и обсудить возможности использования.
если ничего не понятно - приходите слушать интересности (даешь большие языковые модели в каждый дом!)
ну и нейроновинки пора обсудить, их опять набежало
@тоже_моушн
стрим уже через час! не пропустите) разберемся вместе, как SD может пригодиться архитекторам.
обещаю, будет интересно!
пишите ваши вопросы, мысли и промпты
ссылка на стрим
@тоже_моушн
У нас было два пакетика Stable Diffusion, семьдесят пять ампул ControlNet, 5 пакетиков t2i style adapter, солонка, наполовину наполненная Ebsynth Utilitie... Не то, чтобы всё это было категорически необходимо в поездке, но если уж начал собирать коллекцию, то к делу надо подходить серьёзно.
а если серьезно - новое видео с моим участием на канале ХС. энджой!
@тоже_моушн
мы все в предвкушении! а вы в предвкушении?
начинаем через два часа!
смотреть ГенППН #1 в ютуб
@тоже_моушн
последний стрим как то незаслуженно мало просмотров набирает. давайте-ка исправлять это недоразумение!
первая часть - про новинки и полезности, вторая - попытки в новый text2video Modelscope
и предыдущий стрим кстати тоже ничего - где вы еще такой казус увидите?
p.s. хочу сделать это еженедельным форматом. если считаете что вечер субботы не подходит - жду ваших предложений в комментах
@тоже_моушн
напоминалочка: до стрима осталось меньше двух часов!
приходи по этой ссылке
@тоже_моушн
о, еще один text2video на подходе, да к тому же с поддержкой ControlNet - Text2Video-Zero. а самое приятное - родом из Армении - привет Picsart!
авторы предлагают новый метод генерации видео из текста без использования большого объема видео-данных для обучения. а также редактирование входящего видео с помощью промпта
Text2Video-Zero на github
paper
@тоже_моушн
Given Again
😳 Это работа сделанная Jake Oleson полностью в Luma AI использую Nerf рендер.
🔥 Потрясающая работа, полностью ее можно посмотреть тут.
📕 Сейчас Nerf является доступной 3d фотографией, которая сохраняет в памяти всю сцену в отличие от видео и фотографии, и вы можете в дальнейшем покружить в этом пространстве. И пока мы ожидаем реалтайм создание таких сцен для возможность менять камеру для движений Luma AI предлагает уже готовые предметы и сцены встраивать как AR объекты.
А вот и text-2-video ответочка от Runway подъехала: GEN-2. Теперь можно генерить видео чисто промтом без опорного видео или изображения.
А ведь с момента запуска GEN-1 прошла неделя.... гонка AI просто дичайшая
Анонс
Дискорд Runway
минутка профессионального испанского стыда - или - почему Gen-1 не подходит для моушн дизайна
честно, я приложил максимум усилий чтоб получить хоть сколько нибудь вменяемый результат. но похоже что удел Gen-1 на данный момент - красивые сюрные стилизации видео. абстракции - ок, но если необходимо сохранить детали картинки, Gen-1 точно мимо
в комменты положу то что ожидал увидеть и еще пару встратых тестов
@тоже_моушн
ладно, уговорили - вот вам качественный взрослый мультфильм в стиле ретрофутуризм
пайплайн супер гибкий - генерация опорных кадров двумя слоями контролнета (без img2img!) и дальнейшее натягивание в эбсинте. за подробностями о процессе создания - добро пожаловать на бусти)
@тоже_моушн
в ближайшие дни вы скорее всего увидите кучу восторженных новостных постов про новую фичу от Stable Diffusion - Reimagine. или по простому - вариации (привет Далли-2)
я восторгов не разделяю: на картинках выше сравнение генерации Reimagine с результатом t2i style adapter в Controlnet
и там и там портрет девушки в цветах но controlnet куда лучше передает стиль и настроение
@тоже_моушн