12098
Дизайн и искусство в Blender и в AI https://linktr.ee/monkeyinlaw
Похоже IF в скором времени покажет генерацию текста и лучше понимание текста для генерации
Емад(основатель StabilityAI) делится небольшими анонсами сразу после МишинЛернинг
IF
📰 В The Neuron Daily статья про то, что, вероятно, нас ожидает новая модель!
Дальше перевод статьи источника The Neuron Daily:
***
Это просто совпадение или какое-то дружеское соревнование?
Вчера мы говорили о новой text2image модели Muse от Google . Небольшая деталь, которую мы не указали: на странице их проекта изображения, на которых написано «Muse».
Исследователи подмечают, что Muse отлично генерирует изображения, содержащие текст. С чем, кстати, не справляются ни DALL-E 2, ни Stable Diffusion!
Сегодня в твиттере появлись несколько картинок, которые намекают: «Смотрите какой сложный текст мы можем генерировать».
Выводы: Скорее всего, это новая модель под названием IF (см. правый нижний угол изображений), разработанная новой лабой DeepFloyd .
Некоторые надеются, что это еще и долгожданная «дистиллированная» модель, способная ускорить генерацию изображений в 20 раз. Это тоже была одна из центральных тем Muse!
Наконец, Stability AI — это Stability AI .
Пока ничего официального, и мы можем ошибаться. Мы вернемся, когда у нас будут новости о IF и DeepFloyd.
***
мишин лернинг
Вдохновившись работой AIMolodca
Сочетание леса и уюта дома.
Midjourney v4
Иногда я провожу стримы на твиче и люблю просто погенерить арты или поделать красоту в Блендере, для этого я создал отдельный канал.
Туда же мне хочется еще добавить не основную инфу, недоделанные проекты и ресерч.
В общем fun, fails, streams и сплетни с полей нейронок хочется закинуть в более маленький канал, а здесь оставить только уже проверенный качественный контент, уроки, новости, красивые генерации и анонсы.
Вышел Deforum v0.7
Много новых настроек, особенно для работы с масками в 2d и 3d анимациях, так же решены некоторые проблемы с video input и init image.
Целый лист изменений похоже будет попозже объявлен.
Тем кто хочет поизучать самостоятельно многие параметры: Гайд по настройкам в v0.6
Колаб
Лист измененийКартинка из midjourney, промптом поделюсь позже
Потрясающая анимация о годах
Соединив Dreambooth модель обученную на своих портретах и Deforum, Ziyue Li создал анимацию сквозь года с собственным лицом и дополнил текстом:
“Эта мимолетная жизнь в конечном счете будет потеряна для всех нас. С таким же успехом ты мог бы быть смелым и любить кого-то, взбираться на гору и преследовать мечту.”
Анимация
Эксперимент по рисованию в высоком разрешении с #StableDiffusion2 от Hardmaru
Перевозка знаменитого суши-ресторана Futaba в Гиндзе, Токио, в другие города, страны, планеты и, наконец, в далекую-далекую галактику.
Больше картинок и код - тут.
Геометрические ноды + Stable Diffusion
На канале Default cube вышло пошаговый туториал как сделать генерацию олдскульного города внутри Blender.
- Cgmatter сначала используют геометрические ноды, как болванка для генерации img2img с картой глубины, что круто, можно настраивать тени светом и многие другие параметры - контролирую тем самым генерацию в SD
- Затем немного промпт инженерии для качества и затем вывод картинки. Правда 512х512 максимальный размер получился, но этот вопрос можно пока закастылить тем, что вывести картинку и пойти в колаб с ней. Туториал.
А закончим тем, что Artstation стал удалять посты с "NotAI" артами и обновили свои правила, использование и коммерциализация AI контента приветствуется, теперь внутри аккаунта можно поставить галочку не использовать мою работу в датасатех для обучения AI, тогда специальный тег появится в html коде, по автомату галочка выключена, но если вы переживаете, просто нажмите галочку.
В твиттере некоторые художники заявили о уходе с площадки.
⚡️Колаб от Katherine Crowson, позволяет сделать интерполяцую быстрее и с большими количеством настроек в отличие от стандартной интерполяции в Deforum.
🤫Deforum теперь поддерживает v2 версию SD, если используете через Automatic1111, просто выбираете v2 при установке.
❤️Riffusion теперь доступен, как huggingface демо, там больше настроек, чем на сайте, можно поиграться и создать веселую песенку под Новый год себе или близким.
☺️У Neural.love появился анкроп, можно расширять готовые изображение в иные форматы.
Оцените смайлики на твиче у StabilityAI
Раньше я работал под общение стримеров на твиче, теперь можно слушать про нейронки и работать с нейронками, это прекрасно!
Стрим сейчас
А вот и продуктовый ролик к предыдущему посту
Nerf рендеринг позволяет сэкономить на роборуке и играться с камерой, объектами, светом, так как вам хочется, главное сначала отснять просто сцену. А потом можно и в SD как img2img, как в этом посте.
Кстати, автор nerf генерации тот же, что для SD ролика - Paul Trillo.
Снималась реклама в Амстердаме для Мазда Австрия.
Для создания сцены использовался - LumaAIА мне очень приятно смотреть такой Тик-Ток формата монтаж. 2022 год показывает мне как скилл важнее становится имени.
В мультивселенной синтвейв есть бесчисленное множество параллельных миров, каждый из которых имеет свое уникальное сочетание неоновых огней, ретро-технологий и пастельных тонов. Один из этих миров известен как Пастельное измерение, место, где небо всегда мягкого, мечтательного оттенка розового, а вдоль улиц возвышаются высокие небоскребы оттенков мятно-зеленого и фиолетового.
Когда вы блуждаете по Пастельному измерению, вы не можете не почувствовать чувство ностальгии, которое захлестывает вас. Воздух наполнен звуками пульсирующих синтезаторов и отдаленным гулом старинных компьютеров, и куда бы вы ни посмотрели, вы увидите сверкающую голографическую рекламу и мчащиеся мимо блестящие ретро-футуристические автомобили.
Исследуя город, вы сталкиваетесь с группой молодых девушек повстанцев, которые железной рукой борются против тиранического правительства, правящего Пастельным измерением. Они приглашают вас присоединиться к их делу, и вместе вы отправляетесь на миссию по свержению деспотического режима и принесению свободы и справедливости жителям Пастельного Измерения.
Когда вы путешествуете по улицам, сражаясь с правительственными солдатами-роботами и взламывая их передовые компьютерные системы, вы не можете не испытывать волнения и возможности. Мультивселенная синтвейв — огромное и невероятное место, полное бесконечных возможностей и бесконечных приключений. А в пастельном измерении возможно все.Серия концептов мультивсленных через chatGPT и Midjourney. #1 Пастельное измерение
🔥OpenAI выпустили прототип 3D DALL-E (называется Point-E) для генерации 3D объектов
Point-E еще не так хорош, как DreamFusion от Гугла, но очень шустрый! Генерация занимает примерно 600 раз меньше времени чем в DreamFusion. А еще OpenAI опубликовали код и веса (неужели).
Генерация 2D картинок уже далеко зашла. Теперь и 3D потихоньку подтягивается. Скоро увидим протесты 3D артистов 🌚.
@ai_newz
ну что, готовы к продвинутой интерполяции?
не ограничивай себя статичными генерациями! возьми уже наконец свои seeds и prompts, расположи в красивом порядке и сгенерируй плавную* анимацию в новом колабе!
colab notebook
*плавную насколько это возможно
@тоже_моушн
Из последовательности движений человека новый алгоритм SUMMON синтезирует физически правдоподобные и нужные для сцены объекты.
SUMMON также дополняет сцену вещами, которые не соприкасаются с человеком, но уместны для этой сцены.
Интересный подход к созданию 3d сцен, ещё интереснее будет дополнять генерацию движений через текст.
Github.
Paper.
Доп видео.
Оу, гитхаб с крутыми ChatGPT промптами
Для лучшего результата для ChatGPT промптинг так же важен, потому готовые формы текста не помешают.
😳Github
Katherine Crowson создает новые безумные модели, в данном случае используя алгоритм Karlo, основанный на OpenAI's unCLIP архитектуре и соединив со своим недавним колабом.
256х256 видеоряд выглядит сейчас совсем вроде уныло, НО
"No prompt, just using the Karlo prior and aesthetic guidance to random walk around aesthetic areas of CLIP image embed space"
Здесь нет промпта для создания этого видео, только благодаря приору и эстетику рандомное блуждание по эстетичному пространству CLIP.
Для простоты, возможно меня поправят, это как попросить свое воображение создать красоту по памяти самых прекрасных моментов , вывести из воображения видео и показать всем.
И оно будет действительно эстетически приятное многим.
📕Промпт инженерам посоветую поскорее переучиваться уже в новые актуальные профессии.А еще это означает, что работа по text2video нейросеткам у StabilityAI идет полным ходом.
Bones Animation через текст в Блендере
Addon для Блендера использует библиотеку SMPL-X для генерации движений через текст
К костям можно прикрепить, например, вашего персонажа или куб и далее через геометрические ноды создать уникальную анимацию через текст.
Потому вот вам Рождественский танец кубов от меня.
☺️Github там же есть инструкция по установке.На 3.5 версии не работает, получилось запустить на 3.3 версии Блендер.P.s. Построено на данной нейросетке - Character CLIPMesh-SMPLX
Колаб
В акварельной мультивселенной есть бесчисленное множество миров, которые являются домом для разнообразных инопланетных видов и культур. Один из этих миров известен как Водное Измерение, место, где пейзаж постоянно меняется и развивается, как если бы это была живая акварельная картина.
Когда вы блуждаете по водному измерению, вас поражает яркая и потусторонняя красота пейзажа. Небо — это кружащееся полотно ярких оттенков, а земля — это постоянно меняющаяся мозаика из кружащихся цветов и узоров. Куда бы вы ни посмотрели, повсюду странные и экзотические растения и животные, которые, кажется, танцуют и отливают вместе с приливами и отливами акварельного мира.
Но самой яркой особенностью Aquatic Dimension является его уникальная архитектура. Здания и сооружения здесь не похожи ни на что, что вы когда-либо видели, с замысловатыми и богато украшенными конструкциями, которые, кажется, текут и кружатся, как акварели вокруг них. Исследуя город, вы не можете не восхищаться изобретательностью и творчеством инопланетных архитекторов, создавших такой потрясающе красивый мир.Серия концептов мультивсленных через chatGPT и Midjourney. #2 Акварельное измерение
А вот и процесс создания ролика для GoFundMe
"Этот проект никогда бы не существовал без использования ИИ. Для создания фоновых ресурсов использовались различные инструменты из Dalle 2 и #stablediffusion. Automatic1111 #img2img и Runwayml обрабатывать видео вместе с Adobe After Effects для создания движений камеры и переходов" - Paul Trillo
Как оказалось - это непросто img2img, а комбинация старых инструментов и новых в масштабах продакшена. Круто!
Нейродайджест за неделю.
🧠 Диффузионные модели позволяют декодировать зрительные сигналы из мозга.
Модель использует сигнал полученный с МРТ мозга для восстановления изображения, которое видел человек. В большинстве примеров, приведенных в статье, качество пугающе хорошее.
[Сайт проекта]
🚗 Apple меняет планы по выпуску беспилотного автомобиля.
В отличие от изначального дизайна, который планировалось сделать полностью беспилотным, без руля и педалей, где все сиденья направлены в центр, в новом дизайне планируется водительское место с рулем, а так же автономное вождение будет работать только на шоссе. Выход запланирован в 2026 году.
🚨 Google бьет тревогу из за релиза ChatGPT,
которая потенциально может давать конкретный ответ на запрос вместо списка ссылок. Эксперты полагают, что Google предстоит решить, станет ли чат-бот новым способом поиска. Внедрение чат-бота для поиска несет риски появления токсичных и ошибочных ответов, на которые сложно согласиться крупной компании. Так же конкретный ответ из чат-бота затрудняет показ рекламы, которая генерирует до 80% прибыли Google.
🚀 OpenAI выпустили прототип 3D DALL-E для генерации 3D объектов.
Модель получила название Point-E. Она на два порядка быстрее DreamFusion, однако уступает по качеству.
[Прыгнуть на пост]
🚙 Waymo теперь производит беспилотные поездки по всему Сан-Франциско 24/7.
⏩ Статья от Джеффри Хинтона про Forward-Forward алгоритм обучения нейросетей
Алгоритм не требует запоминания активаций и расчета производных и, следовательно, способен работать с black-box модулями, для которых неизвестна точная последовательность вычислений. В ряде примеров Forward-Forward алгоритм не уступает backprop’у, однако по утверждению автора не готов заменить его полностью.
🎬 Создатели «Южного парка» привлекли $20 млн на развитие собственной дипфейк-студии.
Ранее студия представила свою технологию в клипе Кендрика Ламара The Heart Part 5.
👀 Scalable Diffusion Models with Transformers.
Работа от исследователей из UC Berkeley и NYU, в которой авторы заменяют U-Net backbone в text-2-image моделях на трансформеры.
[Прыгнуть на пост]
Друзья, знаю что у вас мало свободного времени, поэтому надеюсь вам понравилось читать новый короткий формат!
@ai_newz
Лига защиты музыки, организация, созданная Американской федерацией музыкантов в 1930 году, начала кампанию против использования записанного звука в фильмах и сценических представлениях. Кампания включала рекламу в газетах США и Канады и стоила более 500 000 долларов.
В рекламе утверждалось, что использование записанного звука, представленного фигурой «подлого, маниакального робота», угрожает душе музыки и средствам к существованию музыкантов. Рекламные объявления призывали общественность поддержать живую музыку и присоединиться к Лиге защиты музыки в ее усилиях по ее сохранению.
Кампания была направлена на то, чтобы подчеркнуть важность «души» музыкантов в живых выступлениях и противостоять кажущемуся «унижению» музыки механическими альтернативами.
Это суммаризация от chatGPT небольшой статьи про отмену роботов:После выхода «Певца джаза» в 1927 году все ставки на живых музыкантов, игравших в кинотеатрах, были сняты. Благодаря синхронизированному звуку использование живых музыкантов стало ненужным — и, возможно, старомодным.
С помощью chatGPT и Midjourney я решил сделать новую компанию по отмене предзаписанного звука в 1930 году. При этом первые две картинки - оригинальные цифровые копии из газет.
Начнем с идей:
Иллюстрация: Иллюстрация может изображать «подлого, маниакального робота», как он описан в тексте, потенциально показывая, как он взаимодействует с музыкальными инструментами или уничтожает их. Иллюстрация также может включать в себя другие элементы текста, такие как лозунг Лиги защиты музыки («Живая музыка в театре») или изображение «злого лица» кампании.
Сгенерил по этому описанию пару работ для вас в midjourney
Графический дизайн: Часть графического дизайна может включать в себя элементы текста, такие как цитаты или изображение робота, расположенные визуально привлекательным образом. Дизайн также может включать темы кампании, такие как важность живой музыки или угроза технического прогресса.
Вчера была трансляция StabilityAI и вот что мне приметилось:
🔥Discord bot с супер быстрой генерацией будет скоро доступен для тестов. Обещают секунду генерации за картинку 512x512.
😍Фидбек в discord от коммьюнити, хотя это было и раньше, но первыми попробовать новые продукты будет проще в дискорд канале StabilityAI
📕После долгих попыток соединить алгоритм vqgan и clip, уже во время подготовки ко сну ранним утром Katherine поняла способ и так в апреле 2021 года родился Vqgan + clip у Katherine Crowson. Уже затем в него прикрепили множество функций и даже смогли создать первые анимации.
Ещё впервые услышал голос прекрасной dev матери всех opensource Text2image моделей. Ещё Кейт поделилась колабом, в котором сейчас генерит красоту и кайфует от процесса.
😳После дикого успеха chatGPT, все стараются нагнать OpenAi и перейти на обучение с человеческим откликом на результаты
💖KaliYuga показала промпты, которые используют, она известна тем, что редко показывает свой воркфлоу, много негативных, причём интересно выглядят алгоритмы создания промптов
🐑Показали плагин для фотошопа от dreamstudio, а также пообещали официальный плагин для Блендера
☺️Dreamstudio будут развивать дальше. В Dreamstudio можно будет создавать анимации от создателей Deforum колаба
🤔Показали бесконечное полотно Outpainting для генерации огромных полотен
🧑💻Рассказали про ресерч в создании моделей Video Diffusion. Так как создание таких сложных моделей требует огромного количества данных и предсказаний, первые шаги в этом улучшат качество и остальные моделей сеток.
Ожиданий от трансляции было больше. Но не жалею, много историй было как опенсоурс желание создать нечто новое создало множество совершенно безумных и новых не только инструментов, но и направлений в искусстве!
Запись эфира
Сегодня в 9 часов вечера по UTC будет первый стрим от StabilityAI на платформе Twitch
Кажется после запуска бесконечного стрима от HarmonAI на ютьюбе StabilityAI приходит на Twitch чтобы показать что-то невероятное.
Безумно согласен со словами из трейлера, мы живем сейчас в супер творческое время.
Кажется вечером я буду глядеть.
Twitch ссылка
⚡️NerfStudio: Простая библиотека для создания NeRF-ов и с охеренным web-GUI
Если хотите покрутить нерф, но не знаете с чего начать, либо просто хотите поиграться с фотками и реконструировать 3Д сцену, то эта библиотека для вас. Для запуска не требуется глубокого понимания того, как работает нейронный рендеринг. Нужно просто обработать фотки в COLMAP и запустить скрипт. На видео – примеры работы либы.
🔥Реализованные методы:
- Nerfacto: кастомный нерф, которые включает в себя все последние трюки для лучшего качества и скорости рендеринга.
- Базовый NeRF
- Instant NGP: быстро тренируем нерф за счёт оптимизации на гриде и рендеринге маленькими MLP сетками.
- MipNerf: решает проблему алиасинга при редеринге объекта в разных масштабах.
- NerfW: NeRF in the Wild
- Semantic NeRF: в 3D рендерятся лейблы семантическоц сегментации вместо текстуры рбъектов.
❱❱ Сайт проекта
❱❱ Web Viewer (нужно соединить с NeRF-ом, который крутится на GPU) сеткой
❱❱ Как использовать свои фото
❱❱ Видео tutorial
@ai_newz
GoFundMe анимационный ролик - это первый качественный продуктовый видеоряд сделанный через Stable Diffusion
Вот что пишет о работе один из авторов:
"Цель здесь состояла в том, чтобы увидеть, сможем ли мы приручить хаотичного зверя, которым является ИИ, и использовать новые технологии, чтобы открыть способы рассказывать истории. Масштаб чего-то подобного выходит за рамки того, с чем может справиться небольшая команда. Это показывает перспективу того, как ИИ может помочь независимым кинематографистам"
Для меня это одна из самых качественных анимационных работ сделанных в SD. И пример красивой работы для благотворительного фонда.
Вдохновляемся img2img.
Youtube версия видео
Prompt Extend
Позволяет увеличивать простые промпты, сделал небольшой тест в midjourney на промптах:Girl with flowersBrutalism architecture, watercolor
Для Stable Diffusion будет прекрасно работать ещё в паре с негативными промптами.
Часто добавляет 3d стилистику, из-за текстов: unreal engine, octane render
Попробовать на huggingface
Image Stacking
Пишем промпт, сохраняем картинку, используем ее для следующего промпта, повторяем пока не получаем что хотели.
Идея сама по себе не нова, но исполнение отличное
Ссылка