12104
Дизайн и искусство в Blender и в AI https://linktr.ee/monkeyinlaw
ого! в контролнет завезли стилизацию. и она бомбическая!
жми на паузу чтоб узнать какой ты сегодня котик)
@тоже_моушн
Word-As-Image for Semantic Typography
☺️ Word-As-Image позволяет создавать изображения в разных шрифтах и для разных текстовых концепций. Семантически настроенные буквы создаются полностью автоматически с использованием нашего метода, а затем могут использоваться для дальнейшего творческого дизайна, как показано в примере.
INFO—PAPER—GITHUB(кода пока нет, но обещают)Интересный алгоритм понимания текста и трансформации шрифта в полученный контекст.
Продолжая вчерашний дайджест:
Dalle 2.5
📕 Похоже в Dalle 2 завезли ембеды, и качество генераций выросло, меньше и артефактов. Доступ к новой модели дают на несколько дней. Правда фотореалистичность всей модели стала меньше. Больше примеров: LINK
Дайджест за неделю
🔄 ChatGPT API только появился, а уже его прикрутили к Automatic1111. Генерит расширенные промпты в том количестве, в котором хотите, требует API ключ от OpenAI.
INFO—GITHUB
🍎 Human Motion Diffusion as a Generative Prior. Используя SMPL-X датасет в новом алгоритме предлагают решить основную проблему предыдущих text2motion сеток, а именно добавлять промежуточные движение, которые позволят писать последовательность движений, а уже сетка догенерит движения между, например, приседанием и бегом. Жду алгоритм в Блендере, вот прошлые мои тесты.
INFO—PAPER—GITHUB(кода пока нет, но обещают)🔥 Photoshop Stable Diffusion plugin V1.2.0 получил ControlNet. И это сильно прокачивает возможности.
INFO—GITHUB
😳 Сегментация в ControlNet через Blender. Появился понятный урок про сегментацию и скрипт для Блендера. Требует правда и локальное наличие AUTO1111. Урок на английском.LESSON—SCRIPT
+ к этой новости, карта сегментаций для T2I🔄: LINK А остальную часть дайджеста, которая требует визуального ряда оставлю на утро для завтра. Сделаю тест, выложу как отдельные посты друг за другом.
Автор превью - я. Gen-1 крут, но через дискорд бот и всего 2 секунды видео можно обрабатывать, что вызывает огромные проблемы. Но алгоритм прорывной.
StabilityAI сделал свой официальный AI плагин для Blender
☺️ Позволяет не выходя из Блендера генерить текстуры, видео и многое другое.
🐱 Правда работает через api ключ. Зато не требует мощных GPU на вашем компе.
📕 Есть целый сайт с документацией и обучением.
LINKЕще бы с Deforum и c ControlNet соединить...
ChatGPT в массы!
OpenAI только что написали, что теперь ChatGPT доступна по API, то есть каждый разработчик может добавить её в своё приложение буквально за один вечер. Из интересного - пишут, что с декабря достигли 90% снижения трат через разные оптимизации.
Цена в 10 раз ниже самой мощной GPT-3.5, которая была доступна для этого. Вероятнее всего, модель уменьшили в размерах (то есть это может быть условно не 175B, а 6.7B модель, которая тоже очень неплоха).
Еще объявили о нескольких интеграциях, например, в Quizlet -сервис, способствующий обучению и изучению новых тем. Теперь будет доступен персональный AI-преподаватель, который подскажет и объяснит.
Instacart позволить покупателям задавать вопросы о еде («Как приготовить рыбные тако?» или «Предложи здоровый обед для моих детей») и получать вдохновляющие ответы, содержащие ссылки на товары, которые можно купить в один клик. Пока из того что видел - первая подобная интеграция, некоторого рода "продукт-плейсмент". Вижу применение этого и в поисковых чатботах - когда в выдачу подмешиваются ссылки, за которые заплатили.
Техническая инфа: теперь для запроса в модель нужно указывать не только текст для продолжения, но и дополнительные штучки - их перечень сведён в Chat Markup Language (“ChatML”). В частности, предполагаются "роли", так как модель была заточена под диалог - есть AI-ассистент, который пишет ответы, и есть "человек", пишущий сообщения с вашей стороны.
И напоследок важное:
> Data submitted through the API is no longer used for service improvements (including model training) unless the organization opts in
Теперь данные клиентов не будут использоваться для дообучения в будущем!
Небольшая подборка AI аддонов для Блендера
😳 OpenPose для Блендера с настройкой толщины костей, а так же есть руки и ноги для canny режима, больше никаких кривых пальцев в генерациях. Так же добавлена карта глубины и KeyPose для режим T2I-Adapter
GUMROAD(можно скачать бесплатно, можно выбрать свою цену за продукт)☺️ ECON похоже на уже известный ICON. Генерация 3D меша персонажа с одеждой из одной фотографии. В отличие от ICON может вытаскивать группу людей и намного лучше качество генераций меша. Использует библиотеку поз SMPL-X. Идет сразу с аддоном для Блендера. (Правда потребуется RTX2080+ 8+гб карты и 40 гб свободного пространства)INFO—GITHUB—COLAB—GUMROADКажется это только начало огромного количества нейроаддонов для Блендера
Новый дайджест за неделю
🍎 Новая технология Memory-Efficient Radiance Field (MERF) обеспечивает рендеринг крупномасштабных сцен в браузере в режиме реального времени, одновременно уменьшая потребление памяти, обеспечивая фотореалистичное качество синтеза NERF. Оптимизация уже всем известного NERF.
INFO—PAPER—DEMO
🔄 Composer - новая модель от Алибаба, которая позволяет гибче работать с входящим изображением, композицией, картой глубины, скетчами и палитрой. Как ContolNet, но с дополнениями. Пока без кода и претрейн моделей.
INFO—PAPER—GITHUB(там будет код и модели)📕 Fromage модель, которая может обрабатывать произвольно чередующиеся входные изображения и текст и создавать выходные изображения и текст. Иногда получаются очень мемные результаты.
INFO—PAPER—GITHUB—DEMO
😳 ControlNet обучалки на английском:
MultiControlNet - хорошая обучалка по ControlNet в Automatic1111
LightControl - как управлять светом в ControlNet в Automatic1111
🐱 ControlNet Video. Демка для изменения видеоряда через ControlNet, на вход даем референс видео, добавляем текст и получаем видео генерацию. Работает достаточно шустро, так как демка на A100.
DEMO
🐑 CLIP Interrogator extension for Auto1111. Теперь разбирать картинки на промпты можно не выходя из Automatic1111
GITHUB
❤️ Пара интересных колабов от @mlart:
Нодовая система в колабе для SD
Меняем интерьер через ControlNEtПревью от данного Автора, использовался NERF + SD + EBSYNTH поверх, в итоге кайфовый новый эффект.🥶
Кстати, SD 3.0? В марте?
GEN-1 и малобюджетная анимация
☺️ Karen X. Cheng показала как из подручных средств дома создать интересный анимационный ролик с помощью GEN-1(пока в закрытой альфа)
В комментах еще небольшой видос про процесс. Анимация станет намного доступнее!
Дайджест по творчеству
🤫 Основной дайджест выйдет завтра, коротко — ControlNet, InstructPix2Pix перевернул всю AI анимацию за одну неделю, генерации стали стабильнее в разы! Есть позы, края, карты глубины новые ууух 😡 Хотелось бы показать несколько интересных работ, которые вышли в СНГ пространстве на этой неделе в клипах:
🔥 У Славы Мэрлоу вышел клип на трек О2, и там похоже использовался videoinput и интерполяция.
КЛИП—AI ARTIST
🔥 OFFMi - Найду. Здесь приятный videoinput с масками. И сцены хорошо вписаны в стандартный клип.
КЛИП—AI ARTIST
☺️ И вышло со мной интервью, где я общаюсь про нейросети с продюсером кинопроизводства Светланой ЛауройИнтервью было записано достаточно давно. Многие вещи поменялись, стали намного круче, качество генераций улучшаются стремительно!
Хотя всю неделю ковырялся в коде, теперь прям все новые инструменты дико замотивировали поделать новых нейроанимаций.
ControlNet хорош!
☺️ Позволяет не только делать более подробные позы и контролировать положение персонажа, но еще и в мемы можно, пальцев было много в генерациях?
😳 Теперь сетки могут генерить и ног больше и рук и даже голов! Кайф!
🐱 Это все работы toyxyz у него в твиттере еще много всего интересного про ControlNet, мне особенно нравятся связки с Блендером.
🧑🎓 Вот Automatic1111 addon и конечно ждем вскоре Блендер addon.Уверен будет Open Pose для Блендера c возможность анимации, а некоторые уже перенесли normal генерации ControlNet в Блендер.
Джим Керри в Том Круза
🍎 Через новый аддон ControlNet для Automatic1111 TomLikesRobots сделал более стабильную анимацию с изменением лица.
😶🌫️ Использовался img2img и модель Canny Edge Detection в ControlNet.
🥳 Сейчас развиваются сразу несколько одновременно подходов (InstructPix2Pix, ControlNet, Gen-1) для создания стабильных видео нейронок и это хорошо!
Дайджест за неделю
👍 Google vs Miscrosoft. На этой неделе много новостей о провальной презентации Google, где ожидалось представление невероятного конкурента ChatGPT, но на выходе получили сырой продукт, который и потестить сложно.
Не понятно зачем так поспешили с анонсом, все же Google имеет мощные статьи и ресерч, но с выводом на продуктовый уровень своих трудов Google явно имеет огромные проблемы.
В этом абсолютная победа OpenAI и Microsoft. К слову о Google, кажется ребята смотрят на несколько шагов вперед, хорошо что OpenAI может позволить себе навести суету в огромной корпорации. Теперь начинаются первые AI войны за лучшие инструменты для пользователей. Пользователи от этой битвы будет только в плюсе.📕 OpenAI стали предлагать подписку на ChatGPT, без очередей и без падений модели всего за 20$ в месяц, на выбор есть две модели: Быстрая модель и стандартная. Приобрел себе подписку для этой новости, чтобы сказать что внутри.🍎 Img2img на этой неделе преобразился аж тремя новыми моделями на основе SD:
🔥 Pix2Pix - Zero-shot - выглядит максимально автоматизировано и кажется Pix2Pix модельки будут отлично в будущем совместно с BLIP2-разметкой заменять промпт инженеров. Еще раз метод не требует текстовых дополнений или файнтюна модели, а результаты сравнимы с Dreambooth генерациям при затрате Dreambooth больших ресурсов и времени.
INFO—GITHUB—DEMO
🤫 PnP-diffusion. Схожая модель основанная на возможностях предварительно обученного текста. Модель создает img2img соответствующую целевому тексту, при сохранении структуры исходного изображения.
INFO—PAPER—GITHUB—EXAMPLES
🐑 ControlNet. Использую разные методы создания краев объекта улучшает контроль структуры исходного изображения, вариантов поиграться много, в Github много примеров и подробное описание.
INFO—PAPER—GITHUB—DEMO—COLABПревью - генерация из Midjourney, получилась неожиданно, как артефакт в подборке реалистичных пейзажей
Disco Diffusion —> Midjourney v4
📕 Хотелось бы рассказать про Disco Diffusion, он до сих пор доступен в Midjourney, если выбрать --v 1, этот алгоритм с улучшенными дополнительными промптами стал доступен для бета теста 5 марта 2022 года, примерно в то же время, как вышел Disco Diffusion v5.
😳 Тогда было мало инструментов для img2text и в целом коммьюнити первое время вручную добывало интересные промпты, при среднем времени 10-20 минут на одну генерацию, этот процесс мотивировался лишь одной мыслью, что такая красота получается через перемножение матриц, текстовой подсказки и видеокарты, которая просчитывая всё это делала бррррр....
🧐 Иногда хотелось создать анимацию и тогда вкладка в колабе не закрывалась по два-три дня, а на выходе получалось 10 секундное видео, ВОУ, особенно спустя год это выглядит очень, очень медленно.
🫥 Дискорд и твиттер составлял основу поиска информации о том как генерить, какие настройки ставить и так же поиск интересных промптов или новых художников для генерации, а когда получилось создавать свою связку, то хотелось сразу показать результаты остальным.
🥳 И это все было лишь год назад, с этого времени кажется что прошло еще 2 артовые революции, хотя и тогда я бегал по всем кафе и заведениям в городе показывая работы и говоря о том, что грядут невероятные вещи в искусстве (напоминает городских сумасшедших?)
😶🌫️ Сейчас многие из тех энтузиастов занимают должности в Midjourney, Stability AI или стали уже известными AI художниками. Но мне кажется все это только начало, нас ждет безумие в видео нейронках, 3D нейронках и в нейронках симуляции мира. Каждый из этих этапов будет переворачивать медиа и привычные взгляды на жизнь и работу.
Вот такой получился пятничный пост.Промпт:
an ultrafine detailed painting of cloisonnism::2 + art by Ji Sheng + art by Cheng Shifa + art by Li Gonglin + art by Fu Baoshi + art by Wuzhun Shifan + modern european ink painting + naive art + fantasy art + art & language + traditional chinese watercolor + traditional chinese ink painting
Читать полностью…
Prompts made easy (PEZ) — это оптимизатор градиента для текста. Он может преобразовывать изображения в подсказки для стабильной диффузии или может выучить жесткую подсказку для задачи LLM.
Метод использует идеи из литературы по бинарным нейронным сетям, которые объединяют непрерывную и дискретную оптимизацию.
Подходит не только для точного получения промпта, кстати формат их иногда получается такого вида: 📍🐯alecoscino 🌸 florcolorful alley 🌺 Но и для оптимизации промптов.
Нейминг кстати вдохновлен отPez
упаковки с конфетами, прям детство вспомнил...PAPER—GITHUB—DEMO Читать полностью…
ControlNet от Microsoft
🔥 GLIGEN - вариант генерации через бокс, скелет от Microsoft, возможно генерировать с нуля или inpainting поверх уже готовых изображений. Так же можно подкидывать референс стиль для генерации.
😳 Есть урок на английском, демо для теста и код! Работает на базе SD, но лучше позволяет создавать сложные концепты.INFO—PAPER—GITHUB—DEMO—LESSONВ демо можно мемасов нагенерить много =)
Продолжая вчерашний дайджест:
Сравнение двух видео алгоритмов
🐱 ControlNet + Ebsynth и Gen-1. Оба алгоритма на вход требуют видео, то есть просто с текстовой подсказкой видео не получить.
😶🌫️ Особенность первого подхода в том, что он доступен прямо сейчас и позволяет хорошо видоизменять оригинальное видео. Хотя Ebsynth сглаживает картинку, все равно при одинаковом seed параметре происходят скачки по получаемому изображению.
🧐 Gen-1 получает цельную картинку по стилистике, может использовать картинку как референс и текст, ControlNet пока только текст. Цельность картинки достигается за счет латентного пространства, поэтому стиль оригинального видеоряда можно менять во все стороны. Например, менять на день на ночь, что в ControlNet достигается только путем потери стабильности генерации видео.
Думаю к лету все уже будут превращать обычные видео свое рабочего пространства в пролет над чудными городами.Автор
оригинального сравнения
Читать полностью…
Продолжая вчерашний дайджест:Растяну посты на день, чтобы не доставать вас уведомлениями🔄 FLEX. Синтез трехмерных человеческих аватаров, реалистично взаимодействующих со сценой, является важной проблемой для приложений в AR/VR, видеоиграх и робототехнике. Новый алгоритм помогает решить эту сложную задачу и в целом показывает, что отлично симулирует движения реального человека, когда лень что-то взять адекватно и берешь на автомате.
INFO—PAPER—GITHUB(Код есть с весами)
А видос мемный — когда в гостях попросили ничего не трогать
Невероятная статья про чтение визуальных мыслей через SD
😳 «Presented images» были показаны группе людей. «Reconstructed images» были результатом вывода fMRT(Разновидностью МРТ для нейровизуализации) в «Stable Diffusion».
📕 Коротко говоря активность нейронов декодируется и подается в Stable Diffusion для генерации картинки. И мы получаем достаточно точную картинку, что видел недавно человек.
🍎 Авторы говорят что их простая структура может реконструировать изображения с высоким разрешением на основе мозговой активности с высокой семантической точностью без необходимости обучения или тонкой настройки сложных глубоких генеративных моделей. То есть для процесса не потребуется обучать или файнтюнить новую большую модель по типу Stable Diffusion.
😍 И кажется новая статья приблизит нас к понимаю как же работает декодирования изображений в нашем мозге. И поможет исправлять баги в этой части мозга. Как пример, в 3 картинке показывается насколько активность нейронов влияет на качество картинка на выходе из SD.INFO—PAPER—GITHUB(Кода пока нет, но обещают)
Анимация станет вскоре доступнее с Gen-1
🔄 Do The Evolution - первый полноценный анимационный короткий фильм созданный в RunwayStudio. Явно основную часть работы помог сделать новый алгоритм Gen-1.
📕 Здесь есть отсылки или возможно входящие видео из 2001: A Space Odyssey, и наверное еще многих известных картин, если узнаете, напишите в комменты.
Полноценный короткий метрРежиссер короткого метра: Ricardo VillavicencioА тем, кто любит больше абстрактности и кислоты - вот есть еще упоротые версии из Gen-1 генераций - LINK
ControlNet is (definitely) amazing 🤯
🔥 Известная обложка бесконечного LoFi стрима музыки для обучения превратилась в реалистичную фотку.
😳 Это правда третья попытка и самая удачная!
Попытка 1. Попытка 2.
📕 Воркфлоу как делалась лучшая попытка. Коротко:
— Img2img с промптом
— Дорисовываем кота
— Левую и правую руку с Canny моделью
— Добавляем детали с Depth моделью
— Добавляем свет на листьях и рукавах с Depth моделью
LinkЗа ссылку спасибо
MimicPlay: долгосрочное имитационное обучение наблюдая за игрой человека
📕 Имитационное обучение на примерах от людей — многообещающая парадигма для обучения роботов навыкам манипулирования в реальном мире.
🔄 Метод MimicPlay обучает роботов навыкам манипулирования, используя видеоряд людей, взаимодействующих с окружающей средой, что позволяет роботу учиться на небольшом количестве демонстраций и значительно превосходить современные методы имитационного обучения в отношении успешности выполнения задач, способности к обобщению и устойчивости к помехам.
INFO—PAPER
Дальше немного философского текста
😮 Детские игрушки с которыми обучаются новые методы в робототехнике выглядят очень интересно — это напоминает обучение обычных детей, и переходя к обучению детей, лучше обучаются дети в уникальных и интересных игровых площадках и имея качественную информационную базу.
Недавно в твиттере написали: Я не могу дождаться, чтобы тренировать сильный ИИ в своем гараже. Отсылая нас к примерам создания компаний Apple, Google и иных IT гигантов. Ты заставляешь своего ребенка жить в гараже?
Для создания действительно сильных нейронок нужно строить огромные экосистемы, где будет происходить обучение. И чем лучше виртуальные миры будут похоже на наш мир, тем лучше и сильнее будет обучение. При этом похоже сильным нейронкам нужно будет развлечения с обучением, чтобы лучше усваивать информацию. А еще особенно приятно видеть это развитие в нейронках так как много лет своей жизни я изучал воспитание людей и наблюдал за обучением детей работая батутным тренером и вожатым в детских лагерях. Похоже в ближайшее время эти навыки вновь пригодятся для работы с маленькими и неуклюжими, но очень способными сетками.
ControlNET прекрасно работает с текстом
Генерация от @too_motion
Подробный урок на его каналеА я пока сильно ударился в код, и кайфую с этого, особенно с помощниками нейронками, потому посты редкие сейчас
Воскресный дайджест в понедельник
🔥 ControlNet - дообучение с новыми слоями поверх SD 1.5, который полностью меняет подход к img2img, теперь можно контролировать карту глубины детальнее, позу, карту нормалей, края объектов на изображениях, сегментацию изображений для контроля объектов при генерации и их положений и много еще.
❤️ Так же можно контролировать и смешивать эти подходы. Уже сейчас появились варианты использования для улучшения стабильность AI анимаций. Но кажется все еще впереди.
📕 Теперь можно создавать клипы с контролем действий персонажа, а как известно в SD 1.5 мы можем дообучить на своем датасете. Использовать простые сцены из Блендера, как основу локации и много еще крутого!
PAPER—GITHUB—WEBUIforAUTO1111
😶🌫️ Редактор поз для ControlNet. Создание любых поз и так же любого количества персонажей в сцене.
GITHUB—DEMO
😳 UV texture map через ControlNet. Здесь прям обучалка как создавать очень крутые UV текстурки через ControlNET. Надеюсь скоро добавят прям в Blender к Dream Texture.
LINKУ меня пока не было время оценить все возможность, но ТожеМоушн уже провел небольшой стрим про ControlNet, вот запись стрима.Ожидаем всплеска новых пайплайнов для анимаций, кажется GEN-1 уже не такой желанный.(Но потыкать его еще хочется)
Журнал Time поместил на обложку скрин с ChatGPT, и написал статью где говорится примерно следующее:Гонка ИИ набирает обороты и технологические компании бегут, чтобы создать все более продвинутые и мощные модели ИИ. Однако все большая зависимость от ИИ вызывает опасения по поводу потенциальных рисков, включая монополизацию глобальной экономики и существенные угрозы человечеству.
Несмотря на усилия по обеспечению соответствия ИИ человеческим ценностям, многие считают, что нужно сделать больше, чтобы решить проблемы ИИ и предотвратить будущие катастрофы. Хотя потенциальные выгоды от ИИ огромны, важно, чтобы мы подходили к его разработке с осторожностью и приоритет отдавали безопасности над прибылью.
Короче говоря, статья предупреждает о рисках, вызванных все большим интегрированием ИИ в нашу жизнь и потенциальных последствиях создания ИИ, который будет более мощным, чем человек.
Порыв к развитию ИИ вызван перспективой огромных прибылей, но поскольку компании приоритетно относятся к скорости вместо безопасности – растет беспокойство о том, что корпорации могут создать чудовище, и это может привести к катастрофическим последствиям.
Хотя развитие ИИ имеет потенциал переосмыслить нашу жизнь по многим аспектам, важно, чтобы мы адресовали риски и принимали осторожный подход к его развитию.
Я подумал, что будет иронично, если сначала краткое содержание статьи сделает ChatGPT, а потом это краткое содержание на английском, я подам на вход в другую GPT нейронку, доообученную на моем телеграм канале – в общем, все что серым, написало нейронка, якобы в моем стиле, но я что-то не вижу тут тупых шуток, да и слог хромает, так что продолжу эксперименты.
#Нейропост_v01
Gen-1 генерации невероятно красивые
Доступ к новой сетки я жду с таким же нетерпением, как доступ к Dalle 2(А помните как все хотели ее потестить год назад?)Это все же новый подход в генерации видеоряда, пока нужен референс для генерации, но какое же видео на выходе!
В посте работа Paul Trillo, где он использует Nerf генерации совместно с 3d рендерами как входящие видео, смешивает с рефернс картинками космоса и получает такое красивое безумие!
вау! получай еще один колаб для стилизации видео с помощью Instruct pix2pix. автор прикрутил к нему Эбсинт (!) для получения более гладкого, консистентного результата
твиттер автора
colab notebook IP2P Video w/ Coherence Guidance
за наводку спасибо Нейросети и Блендер
@тоже_моушн
Simpsons intro через GEN-1
🧍♂️ «Симпсоны» в стиле экспериментальной кубистической покадровой анимации. Продолжая традиции разноформатных интро для Симпсонов.
😭 Анализ ролика показывает, что на данный момент GEN-1 явно имеет ограничения в длительности генерации, поэтом стилистика видеоряда в интро скачет.
🥶 Эта проблема разделения на две части задач по видео нейронкам: передача нового стиля для видео и понимания что происходит в видео. В GEN-1 проблему движений решили дополнительным датасетом Davis в 6.4 миллиона видео в дополнение к 240 миллионам изображений. PAPER
Автор интро: Paul Trillo
Gif2Gif
🐱 Расширение для Automatic1111 позволяющий редактировать гифки через текстовую подсказку на основе InstructPix2Pix, сразу добавлю - качественно выходит 1 из 5 в среднем генераций. Но пока хорошая замена в ожидании GEN-1.
🐑 Недавно тестил на больших размерах и сделал клоуна медведя, анимация получилась похожий на стиль Cyriak
INFO—GITHUB
InstructPix2Pix генерация с видеоОригинал vs результат
☺️ InstructPix2Pix с промптом: "Make it a bronze sculpture."
📕 Так же использовался RunwayML для matte маски, чтобы отделить ноги от пола и затем вновь добавить на оригинальную генерацию.
🐱 Все остальное - результаты диффузии с добавлением небольшого свечения!
Автор генерации.Для установки в Automatic1111 теперь можно просто скачать чекпоинты и подгрузить их как модель, а дальше использовать привычную вкладку img2img