12098
Дизайн и искусство в Blender и в AI https://linktr.ee/monkeyinlaw
Давным-давно в маленьком городке, расположенном среди холмов сельской местности, был яблоневый сад, широко известный своими вкусными хрустящими яблоками. Сад принадлежал доброму и трудолюбивому человеку по имени Джон, который посвятил свою жизнь уходу за деревьями и заботе о том, чтобы каждое яблоко, покидающее его сад, было самым лучшим.
Однажды Джон решил, что хочет попробовать что-то новое, чтобы продавать больше яблок. Он слышал о новой технологии под названием искусственный интеллект, или ИИ, и задавался вопросом, сможет ли она помочь ему в его бизнесе.
Поэтому Джон приступил к работе, изучая все, что мог, об ИИ и о том, как его можно использовать для создания искусства. Он часами возился с алгоритмами и обучал нейронные сети в надежде создать что-то, что отличало бы его яблоневый сад от остальных.
В конце концов, Джон смог использовать ИИ для создания красивых, уникальных произведений искусства, на которых его яблоки были представлены во всей красе. Он был в восторге от результатов и знал, что эти произведения искусства станут идеальным способом привлечь новых клиентов в его сад.
В мгновение ока яблоневый сад Джона стал притчей во языцех, и люди приезжали издалека, чтобы увидеть его прекрасное искусство, созданное искусственным интеллектом, и попробовать его вкусные яблоки. И Джон, благодарный за всю тяжелую работу и самоотверженность, которые он вложил в свой сад, с радостью делился своими яблоками со всеми, кто приходил в гости.
Так что, если вы когда-нибудь окажетесь в сельской местности, обязательно зайдите в яблоневый сад Джона. Кто знает, может быть, вам посчастливится увидеть некоторые из его удивительных искусств искусственного интеллекта и попробовать одни из самых вкусных яблок, которые вы когда-либо пробовали. Конец.
chatGPT текст + midjourney арт
MaskViT - предсказание будущего трансформерами (что?!)
У людей есть встроенная когнитивная функция - прогнозирование событий на основе сенсорных сигналов. Если шарик катится к краю стола, скорее всего он упадет.
А как насчёт задачи компьютерного зрения - предсказания, что произойдет в следующих кадрах? По-моему, likely future prediction звучит не только полезно, но и очень крипи. Прям смелый шаг в "Особое мнение"
☑️поиск разыскивамых преступников по данным камер наблюдения (в 50-тысячной толпе)
☑️вынесение приговора после обязательной консультации с нейронкой (и написанием развернутого объяснения в случае расхождения)
-вы находитесь здесь-
🔲предотвращение преступлений (скажем, детекция агрессивного поведения)
🔲приговоры за еще не совершенные преступления (замахнувшийся человек все ещё может остановиться)
Кароч, если ещё выражаете гнев токсично, есть время записаться к психологу. Понадобится несколько лет. На anger management. Киберпанк-то уже здесь.
📖статья
🔮код
🎞страница инструмента
@GingerSpacetail
Художники в начале 2022 года - ИИ никогда не заменит художника
Художники в конце 2022 года:
На данный момент страница trending on artstation выглядит так. Пользователи Artstation, которые предпочитают классический путь создания артов(забавно что не добывая краски из цветов и глины) бунтуют против AI generated image.
Хотя можно было потратить это время на добавление в свой творческий процесс немножко AI и увеличить свою творческую продуктивность.
Битва художников против технологий продолжается. Пока самые интересные мне художники ещё с начала лета проявляют интерес и встраивают в свой процесс нейронки, на поле artstation разгорается битва за новые картинки для промпта trending on artstation.
Ну вот мы и в новой реальности, когда вам пишут рэп, почему вы не можете попасть в chatGPT.
Или небольшую сказку, или веселый мем, чтобы отвлечь вас пока сервис не работает, а вы будете и рады.
Это даже не рассказ о новой фичи - это реальность.
ИИ захватывает музыкальную индустрию
Новая технология позволяет любому генерировать собственные оригинальные песни!
End-to-end генерация музыки - это процесс, в котором технология искусственного интеллекта (ИИ) используется для автоматического создания полноценных песен с нуля.
Для этого используется модель генерации текста, например ChatGPT, для создания текста песни, а затем инструмент синтеза голоса, например Uberduck.
Для создания мелодии и аранжировки можно использовать Jukebox, который специализируется на генерации музыкальных композиций в определенном стиле или жанре.
Полученная музыка получается уникальной и креативной и способна произвести революцию в музыкальной индустрии, облегчив любому человеку создание собственной оригинальной музыки.
Stable Diffusion v2.1
Пофиксили проблемы с отражением художественных стилей. Промпты требуют больше четкости, меньше этих ваших абстракций.
Hasselblad - наконец-то появился во всех почти промптах с фотографией, мой любимый токен со времен Dalle, теперь рассекречен для всех =)И это еще не последнее похоже обновление от Stability в этом году.
Скрипт для Blender через chatGPT
У chatGPT можно попросить сгенерить код для Blender, но сколько рабочего кода получится?
В данном случае я смог запросить: По итогу:
Давай сделаем скрипт на питоне в Блендер, который будет создавать разноразмерные небоскребы на квадратной сетке 100x100, чтобы между ними было расстояние и они напоминали город. Добавь камеру с глубиной и освещение, еще среду и материалы для рандомных зданий.
- Пришлось чуть поменять код для материалов, не хватало одного значения.
-Передвинуть камеру на более интересное место.
Так chatGPT дает очень цельные подсказки и документирует все действия, довольно просто найти косяки и исправить.Так же мне мило добавили, что код подходит лучше всего для версии 2.8.
На самом деле на момент остановки сбора информации chatGPT узнал о 2.83 версии
С нодами симуляции точно не получится и геометрическими, так как у сетки не было инфы про это в датасете. А вот поиграться с обычными скриптами можно спокойно.
Немного размышлений
Хочу просто напомнить, мы сейчас находимся в той части реальности, где арты генерятся за 10 минут, а текст для них генерирует chatGPT при указании только фраз - "уникальный, невероятный арт с.."
Тем временем новая текстовая модель умеет правильно симулировать не только виртуальную машину и обращаться внутри машины в инет, который она создает на основе своего датасета, но и делать более приземленные вещи - анализируя паблик в тг предлагать вам новые посты и писать их в вашем стиле.
С помощью chatGPT без знания JavaScript получилось даже создать генарт на p5js. И тем временем с момента релиза модели не прошло и недели.
Нас ждет максимально интересное будущее.
OpenAI кажется начала вводить какие-то фильтры, потому что на некоторые темы GPT-бот теперь отказывается говорить.
Но это были 4 бессонные ночи, где я нагенерил мне кажется текстов на пару месяцев вперед и для личных нужд, и для работы: нейронка отличный маркетолог и продакт менеджер для рынка США, еще нагенерил CSS анимаций которые потом можно будет где-то встроить на сайте.
Все это, по масштабу – как будто человечество снова изобрело электричество. Серьезно, через ~три года ИТ продукты, операционные системы и тп – будет не узнать. Не удивлюсь если у этой штуки появится своя церковь.
Короче, я наигрался и иду спать, вот вам глупые вещи напоследок (оно умеет в разные языки, да).
@Denis
Когда-то в мире, где искусственный интеллект и машинное обучение становились все более и более совершенными, была выпущена новая модель ИИ под названием GPT-4.
Эта модель могла выполнять задачи и принимать решения с невероятной скоростью и точностью.
Однако по мере того, как GPT-4 стал более широко использоваться, некоторые люди начали беспокоиться, что он возьмет на себя многие работы, которые традиционно выполнялись людьми.
В частности, люди в таких областях, как финансы, обслуживание клиентов и анализ данных, были обеспокоены тем, что GPT-4 сможет выполнять свою работу лучше и быстрее, чем они, и что вскоре они останутся без работы.
Несмотря на эти опасения, использование GPT-4 продолжало расти, и многие компании стали полагаться на него для решения широкого круга задач.
В результате многие люди, годами работавшие в этих областях, внезапно оказались без работы и не смогли найти новую работу, которая позволила бы им применить свои навыки и опыт.
Сначала некоторые люди пытались сопротивляться использованию GPT-4, утверждая, что это отнимает рабочие места у трудолюбивых людей и что его следует регулировать или даже запрещать. Однако эти усилия в значительной степени не увенчались успехом.
По мере того, как все больше и больше людей теряли работу из-за GPT-4 и других передовых технологий искусственного интеллекта, многие с трудом сводили концы с концами.
Они не смогли найти новую работу, за которую платили достаточно, чтобы прокормить себя и свои семьи, и многие из них были вынуждены обращаться в продовольственные банки и другие формы помощи, чтобы выжить.
В конце концов, появление GPT-4 и других технологий искусственного интеллекта оказало глубокое влияние на рынок труда, и многие люди были вынуждены приспосабливаться, чтобы выжить. В то время как некоторые люди смогли найти новые способы использования своих навыков и опыта, другие остались позади, ежедневно сталкиваясь с голодом.
Попробуйте еще раз 🤣
Интересный пайплайн использования Stable Diffusion v2 и Blender
Как пишет автор:
Создать рендер + карта глубины из Блендера ->
Сгенерировать новые варианты в SD v2 + UV project from view (алгоритм позволяющий натянуть текстуры в Блендере анализируя только позицию камеры и 2D текстуру) ->
Совмещаем все -> PROFIT
Напомню, что теперь в SD v2 есть возможность img2img через карту глубины. Это позволяет сохранять границы важных деталей в изображениях.
Star Wars Old Republic
Концепт арт архитектура
От Disco Diffusion алгоритма до midjourney v4 прошел примерно год.Соединил брутализм, тундру и горы Непала во вселенной Star Wars
Another masterpiece by @sagans
Made with #warpfusion #stablediffusion
Dreambooth позволяет дообучать стандартный Stable Diffusion датасет на ваших изображениях, например, на вашем лице или лицах знакомых, теперь для того чтобы получать стилевые арты можно не выходить из комнаты и не нанимать художника.
Dreambooth так же позволяет запихивать в датасет стиль, делается это чуть сложнее, чем с фотографиями лиц, но новых датасетов уже огромное количество, отобрал 4 приятных для меня стиля:
Dreambooth D&D модель обученная на 30,000 шагах и на 2500 вручную промаркированных картинках
huggingface модель
huggingface датасет
Поп-ап книги
huggingface модель
Dreambooth модель для иконок мобильных приложений
huggingface модель
Dreambooth Voxel Art модель
huggingface модель
Автор Voxel Art
Источник
Dreambooth статья
Dreambooth github для SD
Dreambooth колаб
Fast Dreambooth колаб
Начинаем селекцию мемов.
Так случилось, что в субботу попалось невероятное видео про AI эволюцию.
Коротко автор видео на своем дискорд канале провел небольшой эксперимент, где пользователи с помощью генераций вариаций изображений от простейших картинок доходили до невероятных артов.
Во время повествования он рассказывал про подобные эксперименты в прошлом, например, picbreeder, где в эксперименте от простейших паттернов путем мутации пользователи доходили до невероятных артов. Даже сейчас можно поиграться.
Далее автор рассказал, как из midjourney генераций переместился в мутацию по пути img2img в stable diffusion. В общем все рассказывать не хочется, ролик прекрасен и его желательно посмотреть.
Особенно ради философии блуждания по латентному пространству в поисках невероятных артов.
И так совпало, что уже в воскресенье я обнаружил remix между картинками в новой модели midjourney и на свет появились мутации мемов.
Если хотите еще подборок с мутации, то вот.
The Washington Post сделал офигенную статью для не технических людей, о том как работает диффузионные модели и все эти генераторы артов:
https://www.washingtonpost.com/technology/interactive/2022/ai-image-generator/
Все на пальцах, рекомендую.
Особенно желательно к просмотру тем, кто думает что нейронка «сшивает» картинки из чужих работ – никакого коллажирования, чистый синтез
✨ Luma AI представила Imagine 3D: новую модель текст в 3d
"Наша миссия состоит в том, чтобы создать следующее поколение 3D, и Imagine будет большой частью этого. Сегодня Imagine находится в раннем доступе, и по мере улучшения мы сделаем его доступным для всех."
Я уже делал несколько проектов через Luma AI, например, загружал видеоряд с дрона и получал через NERF рендер сцену в 3D, результат меня впечатлил, но пока не смог дожать идею с той сценой и поделиться с вами.
Ранний доступ можно получить здесь.
Сравнение обработки depth2img и img2img для видеоряда от TomLikesRobots
Результат выглядит намного стабильнее, чем img2img
Анимация происходит за счет изменения силы влияния с промптом: bronze sculpture of a girl
Решил собрать для вас небольшой #AIдайджест о том, что интересного произошло за неделю (по моей версии, конечно).
Новостей много, времени мало.
1. Как AI может захватить музыкальную индустрию. Тиктокер сгенерировал (текст+голос+музыка) новую песню Дрейка про бобы.
2. Как AI может захватить книжную индустрию. Не тиктокер сгенрировал текст детской книжки, сделал иллюстрации в Midjourney, а теперь продает ее на Amazon.
3. Вышел Stable Diffusion v2.1. Пофиксили проблемы с художественными стилями и людьми. 2.0 оказался не особо юзабельным, лично я пока сижу на привычном (в плане системы промтов) 1.5.
4. Гугл таблички на AI стероидах. Google выпустила Simple ML, надстройку для Google Sheets. За несколько кликов можно применять возможности машинного обучения к своим данным в табличках. Например, делать ценные прогнозы. Буду тестировать.
5. Hugging face выкатили новую модельку - Paint-by-example. По сути Stable Diffusion Inpainting, но вашей картинкой вместо текста.
6. Команда Denis Sexy It выкатила API для для тренировки своих Dreambooth моделей. Обещают тренировку на одном изображении, интересно будет потестить.
7. ChatGPT встревожил американских учителей. AI делает за учеников домашку.
8. Lensa улетелета в мэйнстрим стратосферу, попав к голливудским звездам. Ссылки нет, просто мое наблюдение из Инстаграмм ленты.
Stay tuned!
Glenn Marshall с новой простой, но очень приятной работой.
Здесь явно хорошо проработанный промпт с двойной экспозицией и интерполяция через Deforum
Напомню, что у Glenn Marshall уже есть одна награда каннского кинофестиваля за короткий метр "The Crow" сделанный алгоритмом Vqgan + CLIP.
Source
Upd: или с моделью для двойной экспозиции за ссылку спасибо Too_motion
Нейроарт выходит на улицы городов.
Крутая работа на стыке граффити и нейроискусства.
Вот что пишет автор:
короче задумка такая: я фотографирую прикольные текстуры в городе, потом эти фотографии прогоняю через стейбл, накладывая по краям маску, чтобы края оставались нетронутыми, и генерирую портреты, потом их распечатываю и приклеиваю на тоже место
Так как диффузия очень любит шум, обшарпаные стены улиц идеально подходят как инит для Stable Diffusion.Мне прям сильно нравится и идея и подход, так как моё творчество начиналось с разоисовки похожих стен в нечто и прекрасное
Автор: @rtrayzz, Инстаграм
SVG через текстовую модель сетки?
В блоге Neural Love вышла статья про то как генерить svg картинки через текст.
Сделал по ней картинку абстрактных гор, леса и текста.
Кажется напоминает вайбы времен первых сайтов WWW.А на самом деле это минимальная часть функционала одной текстовой модели ChatGPT, которая не супер мультимодальная и сделана в формате простого чата с нейронкой.
Бэкдор в альтернативную вселенную через виртуальную машину внутри ChatGPT
Тут новости про матрицу подвезли.
Исследователи из Deepmind тоже играли с ботом от OpenAI и обнаружили, что внутри ChatGPT можно "запустить" Linux и провалиться в кроличью нору погулять по просторам запертой внутри альтернативной вселенной, созданной ChatGPT на основе данных, на которых обучалась его большая языковая модель (со времён сотворения интернета до сентября 2021)
Например, зайти на альтернативную версию страницы chat.openai.com/chat, обнаружить там LLM ассистента и обратиться таким образом к ChatGPT через ChatGPT👀
Все это похоже на симуляцию, потому что в эксперименте обнаружена Pytorch версии 1.12.1, выпущенная в нашем мире 5 августа 2022. А вот GPU - нет. Но некоторым пользователям удалось попросить ChatGPT представить, что в его VM есть NVIDIA GeForce RTX 2080, и это сработало.
Нео: "Умеешь управлять вертолетом?"
Тринити: "Ещё нет... Теперь да, идём"
📟промпт для джейлбрейка
🎨иллюстрация Edward Steed
@GingerSpacetail
Если вы ещё не в курсе, chatGPT разрывает сейчас все ML, AI и схожие с ним сообщества. Не понятно пока что эта за модель, GPT3.5 или тестовая версия GPT4 языковой модели от OpenAi
Мне пока хватило генерации небольшой смешной истории про кота и генерацию изображений, описание для которой сделал так же ChatGPT и далее по промпту сгенерил через Midjourney.
Начнем:
Жил-был кот по имени Митас, который любил играть с изображениями. Каждый день она часами создавала новые и интересные картинки с помощью своего любимого программного обеспечения для создания изображений.
Однажды Митас решили удивить своего человека, создав изображение красивого цветочного сада. Она неустанно работала, чтобы проработать каждую деталь, от красочных цветов до легкого шелеста листьев.
Когда она показала своим людям готовую картину, они были поражены реалистичностью и красотой изображения. «Митас, вы настоящий художник», — говорили они, улыбаясь.
Но Митас просто посмотрели на них и сказали: «Может, я и художник, но не забывайте — я все еще кот. И все это создание образов делает меня голодным. Можно мне сейчас угощение?»
Stability AI снова тизерит.
Обещают дичайшее ускорение диффузии с помощью дистилляции.
Ваши генерации будут еще более лучше сходиться, теперь за 1-4 шага!
сорс
@derplearning
NeuralLift-360
Генерация 3d по одному изображению.
Это кажется невероятным, но есть одно ограничение, пока 128x128 и без кода.
Хотя аналог от Nvidia предлагает 512x512 качество генераций, но генерация там происходит по тексту.
В общем 3d эра в нейронках началась. Основная проблематика 3d генерится очень долго(около часа для 128x128 на А100 40gb в DreamFusion), Magic3d от Nvidia говорит, что ускоряет этот процесс в 2 раза.
Пока кода Magic3d, как и NeuralLift-360 в открытом доступе нет.
Ожидаем, когда можно будет потестить.
Статья
Сайт
Github
🧳 Nvidia представила Magic3D — 3D по текстовому описанию!
Самое крутое в таких работа то, что для них не требуется обучать новую Text-To-3D диффузию. Для задачи вполне подходят уже обученные:
— 2B DALL-E от OpenAI
— 2B Imagen от Google
— 2B eDiff-I от Nvidia
— И конечно же готовящийся новый ???M ** от ********* 😉
Работа по своей сути является eDiff-I-ким гомологом Гугловского Imagen-овского DreamFusion.
👾 Принцип работы очень и очень простой:
Этот алгоритм я уже описывал, так что просто повторю. Это градиентный метод, основанный на Loss-функции, такой как DeepDream. По факту происходит оптимизация рандомно инициализированной 3D модельки (a Neural Radiance Field, or NeRF) через градиенты 2D диффузионных генераций.
То есть по факту, проворачивая такой трюк, не нужно иметь 3D данных вообще!
Подробнее:
1) Рандомная фигура рендерится через NERF (плотность, освещение, цвет)
2) Этот изначальный бред (так как это начало) рендерится в 2D проекцию
3) Затем к картинке подмешивают шум, и все это подается на Text2Image диффузионный Unet
4) После чего Unet предсказывает необходимый денойз
5) Затем из пересказанного денойза вычитается подмешанный шум. и ВУАЛЯ! Дальше все дифференцируемо! Можно пускать градиенты обратно на 3D-модель
📇 project
📄 paper
MinD-Vis: диффузия для чтения мыслей
Представлена диффузионная модель, которая умеет декодировать то, что видит человек по его мозговой активности (fMRI).
Сначала авторы обучили self-supervised модель для получения универсальных эмбеддингов мозговой активности (одинаковых для разных людей). Далее они взяли предобученную Latent Diffusion и добавили к ней cross-attention на эти мысленные репрезентации. После короткого файнтюна на 1.5к парах картинка-fMRI модель смогла полноценно декодировать то, что видит перед собой человек!
Данные для обучения и код выложены в открытый доступ, веса моделей дают по запросу.
Статья, GitHub, блог
Remi Molette снова отжигает в #warpfusion
#stablediffusion
Midjourney V4 напомнил мне времена выхода Dalle 2, когда полноценно уходишь в генерацию и пытаешься понять границы возможностей новой модели.
+ Улучшилась композиция и понимание текста
+ Невероятная трансформация стилей
+ Перенос стиля на ваши изображения
- Только 1:1 формат
- Превью в разы качественней, чем апскейл, часто убирает нужные детали, пальцы размножает
- Теперь эмодзи не так сильно влияют на генерацию
- Картинки выходят иногда сильно размытые
Все выходные я генерил картинки, отобрал лучшие и выложу в двух постах.
