12098
Дизайн и искусство в Blender и в AI https://linktr.ee/monkeyinlaw
RunWay ML выпустили Video-to-Video
RunWay ML - стартап, который можно описать как Голливуд для бедных (с AI и другими радостями машинного обучения) - выпустили нейросеть, которая может стилизовывать видео. И что круто, без всяких подергиваний и кислотного трипа.
Модель называется Gen-1 (про нее рассказывают начиная с 38 секунды видео), что намекает нам на то, что со временем качество будет только улучшаться. Пока модель в бета-тесте, подать заявку на ее использование можно тут.
🎥 Сайт продукта
Дайджест за неделю про нейронки
👍 Dreamix - продолжение многих уже известных моделей, например, InstructPix2Pix, Dreambooth, Text2Live и других text2video моделей, при этом плавность и качество анимации поражает. Есть даже возможность подгружать свои картинки для дообучения модели. Пока без кода и для такой красоты, как в примерах явно нужны большие предобученные модели. Смотрю в сторону этих моделей очень внимательно, кажется новая компания по типу MIdjourney вырастет именно благодаря встраиванию в продуктовую версию text2video.
PAPER—INFO
🧑🎓 BLIP-2 - интересная Img2text модель, позволяющая кроме создания описания изображения еще и задавать вопросы про изображение.
PAPER—GITHUB—DEMO—COLAB
🚗 SceneScape - с помощью карты глубины и inpainting модели позволяет генерировать долгие залипательные анимации.
PAPER—INFO—EXAMPLES
Схожая технология на SD v2.1, есть DEMO
💪 UNIPI - созвучно с пирогом, проект для text2motion для роборук, в авторах ребята из Google Brain, MIT, UC Berkeley. В статье примеры выполнения заданий роборуки от текстовых подсказок, как в симуляции, так и в реальных тестах на бытовых вещах.
PAPER—INFO
🙏 Tune-A-Video теперь имеет подготовленные предобученные модели на анимациях, напоминает textual inversion библиотеку, где сейчас можно найти интересные ембеды для SD. Данные библиотеки, как раз помогут для созданий датасетов моделей text2video.
LIBRARY
🧐 У @too_motion вышло очень качественно видео про автоматизацию анимации в Deforum используя математику или положение камеры через Блендер. Уровень для продвинутых.
LINK
Бесконечный twitch стрим на нейронках
💎 В превью одна из сцен нейроситкома NOTHING, FOREVER на twitch канале
🔄 В сериале всего несколько сцен, 4 персонажа и закадровый смех. Еще микроволновка, которую я обожаю.
🍎 Сцены длятся не долго и текстовая часть построена на GPT-3, но уже имеет базу фанатов в официальном дискорд канале и кажется сериал становится популярнее и популярнее.
😳 В основном кринж с ноткой ностальгии по сериалам из 90х. Но идея и исполнение супер крутое, с учетом, что возможно обновлять контент и задавать тематику в реалтайме.
🌟 2023 кажется будет безумным в плане нейронок для автоматизации медиа.
Сцену в превью взял отсюда.
Сериал.
Официальный дискорд.
Tune-A-Video🔒 Эмоциональное: Пытался запустить алгоритм еще с момента неофициального кода, и уже 2 недели ковырялся в коде и...🔄 Вышел официальный код Tune-A-Video, позволяющий создавать text2video с референс видео
INFO—PAPER—GITHUB—DEMO(только, если арендуете A100 на HF)
🔄 Коротко как работает: Разбираем видео на кадры, затем дообучаем на этих кадрах нужную SD модель(Да-да, ваши Dreambooth модельки спокойно прикручиваются), вытаскиваем кадры с новым промптом. Тем самым есть запоминание движения и персонажей, при этом окружение и стилистику можно менять!
На данный момент это не продакшн генерации, а вот мемов понаделать, уууух
😐 По ресурсам: Требуется больше 24 гб памяти для обучения модельки, в среднем 512x512 8 кадров видео файнтюнится за 10 минут(!)А на превью сделал танец в разных стилистиках, и как же я рад, что спустя 2 недели появился адекватный результат генераций.
Дайджест за неделю про нейронки
😳 Google music research
Новый анонс от Google Research, позволяет от текстового запроса создавать сложный музыкальные композиции, а так же превращать картинки в музыкальные композиции и много еще интересного. Ссылка на демо генерации.
🔄 AUTOMATIC1111 в фотошопе
Еще один плагин для фотошопа, который использует Automatic1111. GITHUB
☺️ TextTO3DVideo
Интересный новый алгоритм, позволяющий генерировать 3D видео от Meta AI.
🐱 Luma AI и генерация textTO3d
Пока пускают волнами, в скором времени обещают выдавать людям в waitlist. Анонс
💖 IF img2img and inpainting
IF от Deep Floyd пока находится в альфа тесте, при этом новый анонс показывает все больше возможностей новой модели, которая прекрасно генерит и текст в артах. Инфо.
🐑 InstructPix2Pix for Automatic1111
Уже нашумевший InstructPix2Pix теперь доступен как WebUI в Automatic1111. Подробнее.
Это автор канала, когда вновь ChatGPT сделал всю работу.
А на самом деле это depth2image генерация поверх танца в SD.
Автор генерации
Нейродайджест за неделю (#4)
🖼 Google Research представил свою Text-to-Image модель Muse
Модель обучается по текстовому эмбеддингу из предобученной LM предсказываиб маскированные токены изображения. Главная фишка Muse - это скорость генерации изображений: Muse на порядок обходит Imagen и LDM.
🧔3D Avatar Diffusion
Майкрософт выпустил диффузионную модель, которая способна построить 3D аватар по одной фотографии человека.
🙈 Нейросеть от Tencent Different Dimension Me превращает фото в аниме
[Немного треша в посте]
🎱 Очередная Yolo, уже V8
Авторы из Ultralytics проведут онлайн-семинар, посвященный новой версии, 24 января на YouTube
🕵️♀️ Художники подали в суд на Stability AI и Midjourney за нелицензированное использовагие их работ
[Прыгнуть на пост]
👨🎨 InstructPix2Pix: Редактор изображений с помощью текста от исследователей из Беркли на базе диффузионных моделей (с кодом и демкой) [Подробнее]
☠️ Лэйофы в индустрии: Google увольняет 12 тысяч сотрудников, а Майкрософт 10 тысяч.
❱❱ Читать нейродайджест #3
@ai_newz
Обучение с подкреплением и обратной связью с человеком (RLHF)
👌Пока в OpenAI токсичные генерации размечались работниками из Кении за 2$ в час, чтобы сделать ChatGPT менее токсичным. СтатьяДля Кении 2$ в час - прекрасная зп.💎Тем временем Cloudflare размечает картинки через hCAPTCHA, кстати, уже писал про усложнение каптч. Похоже эти картинки уже сгенерированы, но требуют RLHF, для улучшения качества генерации.
И тут видна проблема больших моделей, и что человеческий фидбек сильно важен для качества моделей.
Нужны датасеты с качественными и полезными данными и адекватная разметка этих данных. В оригинальном посте, автор предполагает, что это разметка для Гугла, но Гугл использует reCaptcha, а на скринах hCaptcha, хотя возможно Cloudflare просто выполняет заказ на разметку через hCaptcha.
Так как пруфов нет, мы отнесем все это к догадкам.
InstructPix2Pix
Фотошоп через текстовый запрос.
Попробовал на своей работе, работает отлично!
INFO—DEMO—Github
Diffuser info
Взял отсюда инфу.
Выкатили демку Image Mixer
Будем посмотреть, насколько она далека от MidJourney
Тыкать тут
@derplearning
3D Avatar Diffusion
Майкрософт выпустил диффузионную модель, которая способна построить 3D аватар по одной фотографии человека. Да, он не супер реалистичный получается, но выглядит опрятно.
На вход одно фото (!), то что слева, и текстовое описание. А на выходе модель дает tri-plane репрезентацию 3D объема головы человека, которая декодидируется в radience field (типа как в NeRF) и рендерится. Архитектура очень занятная, и позовляет еще и редактировать как аватар будет выглядеть с помощью изменения текстового промпта, подаваемого на вход. За всеми деталями отправляю вас в статью.
❱❱ Сайт проекта
❱❱ Arxiv: Rodin: A Generative Model for Sculpting 3D Digital Avatars Using Diffusion
@ai_newz
Дайджест по нейронкам для дизайна и арта:
🌻 Latent Blending позволяет сделать красивую интерполяцию через латентное пространство между двумя генерациями из SD. Идеально для обоев
Github — Colab
эмодзи кстати как раз с примером latent blend😡 Laan Labs использую NeRF для создали эффекта Bullet Time на свадьбе друга. То есть эффект, как в матрице теперь достигается на 1000 камер, а всего лишь слоймоушн видео через Айфон и далее созданием видео сцены в Nerf, видеопример в комментах.
The Chainsmokers x Cheyenne Giles - Make Me Feel
Клип сделанный на алгоритме WarpFusion от Derp Learning.
😶🌫️На танцах приятнее всего видеть этот эффект, а черный фон не отвлекает от череды генераций на танцоре.
Кайфовое применение эффекта.От уже многим известного Remi Molettee
а вот и гайд - очень короткий и очень насыщенный - о том как пользоваться новым колабом для анимации stable diffusion
colab SD smooth interpolation
@тоже_моушн
Box2Mask: Сегментация объектов под контролем Box с помощью Level-set Evolution
В отличие от полностью контролируемых методов, использующих попиксельные метки масок, сегментация экземпляров с контролем блоков использует преимущества простых аннотаций блоков, которые в последнее время привлекают все большее внимание исследователей.
С практической точки зрения новый алгоритм поможет не только качественней размечать видеоряд, но и через текст влиять на определенные вещи в видеоряде, заменять, вырезать или иначе редактировать.
☺️Github
📕Paper
Основан на данных алгоритмах: Discobox от Nvidia, AdelaiDet, MMDetectionЖду приложения, где можно будет в видеопутешествие по городу заменять светофоры на Тоторо так же быстро, как это идея возникла в моей голове
Ночная новость
ChatGPT похоже помог OpenAI получить больше финансирования, чем SpaceX и даже Tik-Tok(ByteDance)
Теперь кажется любое упоминание ChatGPT будет связано с привлечением внимания и средств. Как пример, пост эйай ньюз про заполонившие ролики с минимум конкретики в youtube про ChatGPT.
И хочется добавить: нейронки не решат всех ваших проблем, они только помогут облегчить жизнь и автоматизировать некоторые нудные задачи, чрезмерное употребление нейронок влияет на реальность.
Употребляйте в меру и с критическим мышлением
Инфо
Синтез звуков и музыкальных композиций
🐑 Прошел только месяц 2023 года, а для нейросеток по звуку уже создали timeline, здесь собираются ссылки на статьи, код и даже демо.
🌍 Больше всего впечатляет MusicLM, о нем уже говорил раньше. Интересно, что всего 5500 пар текст-звук, позволили создать хорошего качества нейронку, если судить по демо кускам на сайте.
🔄 Вот вам ссылки на доступные DEMO проверить самим:
Msanii: High Fidelity Music Synthesis on a Shoestring Budget
DEMO
AudioLDM: Text-to-Audio Generation with Latent Diffusion Models
DEMO
Github подборка
Вчера у меня был урок английского, где мы с преподавателем читали про AI-редакторы видео. Там в целом говорилось про относительно простые (в 2023м!) вещи вроде накладывания фильтров, выравнивание цветокоррекции, добавления сгенерированной озвучки выбранным голосом.
Сегодня я увидел это.....
https://dreamix-video-editing.github.io/
Перейдите в проект, посмотрите демки. По видео и текстовому промпту видео перерисовывается - можно просить добавить или убрать объекты, заменить, и всё это на Видео-диффузии.
Интересный процесс создания видео из уже знакомых инструментов
🤫 Пока это все проделано вручную, идея восхитительная!
🔄 Paul Trillo поделился новым видео и оно прекрасно, а когда я увидел процесс еще больше заинтересовался, все инструменты давно известны, а вот их порядок использования я еще ни разу не встречал!
🔥 Видеоряд с самолета —> NERF 3D сцена и создание нового пути камеры —> Обработка полученных кадров через SD для повышения реалистичности —> Использование SD img2img, и затем полученные кадры как ключи в EbSynth для создания невероятной плавности.
😱 RunwayML для создание маски видеобъектов —> Быстрый монтаж объекта в сцену в After Effects —> SD img2img для превращения объектов в облака —> Ebsynth поверх для плавности кадров даже заметно как закатный свет появился на облаке-руке
По итогу невероятное видео, в комменты добавляю процесс создания.
Экспериментируя с моделью #DeepFloyd (которая, напоминаю, умеет в текст) я подумал: “Блин, это же отличный инструмент для Lyric video!”. И сделал тест — первый куплет The Smiths - There Is a Light That Never Goes Out. Хотел передать ощущение от трека, когда едешь немного пьяненький (как пассажир) в машине и засматриваешься на вывески и огни ночного города. Ссылка на ютуб, если вдруг хотите пошерить со знакомым клипмейкером вне Телеграма.
Читать полностью…
Hexplane - это новый подход для представления динамических трехмерных сцен, который быстрее и эффективнее, чем текущие методы.
Он представляет собой 4D -сетку пространства -времени с использованием шести плоскостей функций, которые используются для вычисления вектора объектов для каждой точки в пространстве -времени. Этот вектор функций затем передается в небольшую нейронную сеть, называемую MLP, которая предсказывает цвет точки. При таком подходе Hexplane может соответствовать качеству изображения предыдущей работы, но с гораздо более быстрым временем обучения.
🔧 Hexplane предназначена для общего представления, которое можно использовать в широком диапазоне задач пространства и динамических трехмерных приложений.
🔬 Были проведены обширные тесты, чтобы исследовать свойства Hexplane и выявить ее интригующие свойства.
📷 Результаты синтеза с использованием HexPlane в качестве представления в наборе видео-данных с Plenoptic с использованием как тестового представления, так и виртуальных траекторий камеры, которые набор данных содержит видео с высоким разрешением с сложным содержанием и визуальным внешним видом.
🚀 Текущий метод на основе MLP требует более 1400 часов обучения в GPU для одной сцены, в то время как метод Hexplane обучает в течение 10 часов с таким же качеством.
INFO—PAPERОригинальный текст закинул в chatGPT и попросил суммаризировать с emoji =)
Максимум абстракции
📕Старые анимационные герои в новых локациях.
#midjourney
Геометрические ноды + машинное обучение
☺️Cartesian Caramel создал простейший мл генетический алгоритм по поиску пути с эпохами, но при это не подключая иные библиотеки и только используя геометрические ноды в Blender 3.5!
В целом Blender хорошо приспособлен к подключению стандартных python библиотек и даже спокойно работает с претрейн моделями, но автору было скучно😳 и он решил сделать такое безумие.
Новый проект — #НейроЖЭК. Обучил #StableDifussion на самом народном паблик арте. Часть первая, героическая (Шрек — как бонус).
Читать полностью…
Небольшой дайджест начала недели:
🔥Mcdonalds совместно Karen X. Cheng и Luma AI с технологией Nerf сделали крутой коммерческий ролик. Кстати над фильтром в Инсте работал Денис.
Я добавил немного постпроцесса, камера анимировалась уже в созданной 3d сцене, как в примере из прошлого дайджеста.
💻Photoshop + плагин для SD AUTOMATIC1111, плагинов для PS существует много, но у этого есть опенсоурс код и крутая возможность адекватно подключаться к colab, копируете ссылку и все вычисления на арендной карте.
Github
🔄Composable Diffusion Models позволяет генерировать теперь и 3D объекты, его совместили с Point-E
Есть демо!!!
INFO—DEMO
Абстракции в midjourney
Иногда затягивает погенерить нечто безумное.
Промпт.
если ты используешь для анимации дефорум, давай подскажу как делать это еще эффективней и интересней) понадобится блендер и пара скриптов для экспорта анимации в понятный дефоруму формат ключей
первый - для превращения звука в кейфреймы. гайд от автора
второй - для экспорта анимации камеры (чума!)
в комменты положу еще примеры того что получается с 3д камерой
@тоже_моушн
Отключение электричества от урагана дает свои плюсы:
Вчера пришлось перенести основную работу на ночь и попал на Open Hours с David Sholz основателем Midjourney и вот какие интересные вещи он рассказал:
🚽Slow mode тратит невероятное количество GPU часов, потому количество одновременных работающих сеансов не будут увеличивать (сейчас это 12 одновременных генераций за подписку в 60$ в месяц)❤️Логотип Midjourney, лодка с парусом, не просто так: Это изображение вас плавающих по колоссальному латентному пространству в поиска красоты.
David очень беспокоится, что нейросети представляются роботами, которых ты заставляешь работать и видит иную философию в генерациях, скорее это бесконечное путешествие с попутчиком за новыми открытиями, чем рабское использование машин. ("робот" - само слово происходит от чешского слова «робота», или принудительный труд крепостных. Его славянский лингвистический корень «раб» означает «раб»)Взял из этой прекрасной статьи
🐈⬛Midjourney на данные момент испытывает кадровый голод, есть средства, но нет ресерчеров и разработчиков хорошего уровня для создания новых моделей вне Text2image, хотя желание есть.
😳Генерации важны, а скорее даже безумный, более креативные генерации имеют огромную ценность для midjourney, например, одна из идей нанимать лучших пользователей для до обучения основной модели.
🌎В скором времени будет доступна подписка на год, для тех кто оплачивает криптой, раз в год, это похоже спасение.
«Нейросеть нарисовала», «так нейросеть увидела», «создано в соавторстве с искусственным интеллектом» постоянно повторяется в заголовках популярных пабликов и в СМИ.
С одной стороны радуюсь, что страх перед нейросетями отступает, работы коллег видит аудитория, а продюсеры задумываются о работе с ИИ.
Но с другой, мы двигаемся к восстанию машин и господству ИИ, игнорируя факт, что у работ, созданных с помощью ИИ есть яркий человеческий след. Если вы думаете, что его нет, сядьте за компьютер и повторите яркие и качественные кейсы, которые вы видели в интернете просто «прося нейросеть нарисовать».
Работа с нейросетсями обесценивается творчески, по этой причине отключается любопытство, интерес к процессу, самообразованию. Каким-то загадочным образом при этом нейроарт становится «сакральным знанием», которое может быть «дано» и «непонятно». То есть если мы убираем из этого процесса другого человека, мы автоматически закрываем потенциал и для своих будущих экспериментов.
На фотопленке после щелчка затвора образуется «скрытое изображение», однако никто не называет камеру соавтором кадров. Хотя в латентное пространство нейросети (созданное и отобранное людьми), проще заглянуть, чем понять природу появления скрытого изображения. Фотограф не контролирует ни ионы серебра, ни пиксели, так почему нейроартистам нужно отказывать в признании их творческого труда?
В 2000-е ходила такая шутка. Хозяйка обеда, на который был приглашен фотограф сказала: у вас такие потрясающие снимки, наверное, у вас хорошая камера. А фотограф ответил: спасибо за обед, было вкусно, наверное, у вас лучшие кастрюли.
Да, сегодня нейросети хорошо обучены и работают стабильнее с каждым днем. Но не стоит забывать, что мы и сами у себя талантливые и думающие.
Я как технократ все время призываю к вниманию к ИИ. Но сейчас я хочу обратить внимание на Человека, который программирует, придумывает, реализует. Начнем год с уважения друг к другу. Ведь в конечном итоге, такие цели и ценности как добро и реализация творческого потенциала у нас общие.
Бесконечный зумаут в Stable Diffusion v2 от Hardmaru
Кажется в отличие от схожих видео из Dalle 2, этот процесс полностью автоматизирован, и возможно Hardmaru поделится колабом.❤️Github