12225
Дизайн и искусство в Blender и в AI https://linktr.ee/monkeyinlaw
Заставка Улицы разбитых фонарей, но это Улица Сезам.
Сделал довольно проклятое, прогнав золотую классику через video-to-video #gen3. Специально не занимался черрипикингом, потому что галлюцинации здесь прекрасны. Не о чем не жалею.
Берем производную от мемов.
Отдельного поста заслуживает совершенно мемная фича в новой ПИКЕ 1.5 по названием "раздави(сомни в труху) это"
Мемная, потому что эффект как бы один и быстро взлетит и быстро надоест.
Зато можно брать мемы и мемно над ними издеваться. И не только над мемами.
Знаете какой тут сложный промт, инфоцыгане?
Image to video prompt: 'Squish it'
@cgevent
https://huggingface.co/glif/how2draw
крайне любопытная lora how2draw
Ценность опенсурса в возможности FT. На апи и подписках зарабатывают и окупают модели еденицы, а ценность которую можно утащить из опенсурса велика - хороший пример это SD комьюнити которое стало автономно от моделей и создало столько инфраструктуры что можно конкурировать с MJ(особенно если знаешь что нужно)
Вчера на стриме потестил vid2vid
И конечно не все так радужно, как пишут и показывают.
В примерах я использовал быстрые 3d генерации по картинке и затем собирал сцену в Blender. Пока генерации были с обычными ракурсами камеры и движениями, все были идеально. А как только я выбрал более экзотические ракурсы и движения камерой, генерация поплыла. Даже при силе 0.1, где практически должна быть моя исходная генерация - цвета и движения были ужасными. Как и всегда, магии нет, чего нет в датасете, того не будет при генерации.
🧑🎓 Первая генерация - простая сцена в Блендер с 3d болванками
🧑🎓 Вторая генерация - лучшее что смог собрать в vid2vid runwayml
🧑🎓Третий ролик - исходник, генерация с силой 0.7, и генерация с силой 0.1 (чем меньше, тем больше похоже на оригинал входного видео)
Запись стрима: LINK
FLUX LORA PERSON
📕 Сделал новый урок про обучение Лоры на персонажах. В видео два способа обучения и инференса(бесплатный на Tost.AI и на Runpod), оба варианта обучения используют AI Toolkit.
📕 Основное различие в конфигах, их можно найти на бесплатном патреоне:
— Стандартный — позволяет обучить лору на персонажах с хорошей схожестью
— Обучение двух слоев и четырех слоев только — скорость инференса увеличивается, размер лоры в размере 6-8 мб, концепты проще соединяются с нашим персонажем, но есть небольшая потеря в схожести и качестве.
🔄 Отдельно конечно мне понравилось делать обложки между главами. Они как раз в превью.
PATREON LINK — YOUTUBE LINK
И еще новости:
📕 Сравнение ControlNet для FLUX.
LINK
Вывод: Лучше всего себя показывают
🔥 MistoLine для линий и Depth из UnionPro для глубины
📕 Подробное и качественное сравнение скорости генерации на разных семплерах.
LINK
Что самое сильно, тесты делали на RTX2060 SUPER 8GB VRAM. 8gb + и 55 секунд на генерацию, это конечно приятная новость для всех у кого слабые GPU.
🔥 Тренировка концепт слайдеров теперь доступна и для Flux! Концепт слайдеры позволяют значением веса менять эмоции, возраст или другой предобученный параметр в генерациях Ждем в ComfyUI
LINK — NOTEBOOK
🔄 Обратил внимание на тестах, что многие художники из SDXL прекрасно генерятся и во FLUX, большие базы данных по художникам для SDXL:
LINK 1 | LINK 2
Небольшой дайджест за день.
Картинки в превью выстроены по порядку новостей.
📕 Новый CLIP-L текстовый энкодер для генерации текста во FLUX. Работает действительно лучше даже для больших и сложных предложений. Но генерит текст все еще только на английском.
HF LINK
🐑 CogVideoX Vid2Vid. Новое приятное UI для text2IMG и VID2VID
GITHUB | Вариант для ComfyUI | Для Runpod ComfyUI
☺️ Красивая Лора для модерн 3D.
CIVITAI
📕 COMFYUI Live Portrait. Обновленный Live Portrait, где вы можете анимировать лицо параметрами. Параметров очень много, для любителей тонкой настройки.
ОБУЧАЛКА(для VideoInput) — LINK
⚠️ Калифорнийский закон о регуляции нейронок SB 1047
Если законопроект будет принят, он может иметь далеко идущие последствия. Законопроект может сделать незаконными практически все существующие модели Stable Diffusion/FLUX, Fine-Tune и LoRA в Калифорнии. Популярные сайты хостинга моделей ИИ, такие как CivitAI и HuggingFace, могут быть вынуждены либо фильтровать контент для жителей Калифорнии, либо полностью блокировать доступ. Это может серьезно ограничить доступ к инструментам генерации изображений ИИ для калифорнийцев и потенциально вытеснить разработку ИИ из штата. Однако существуют потенциальные обходные пути, такие как использование VPN или создание снимков экрана для удаления метаданных, что подчеркивает потенциальные проблемы правоприменения, с которыми может столкнуться законопроект.
REDDIT LINK
300 шагов на изображение. Если у вас есть 8 изображений лиц, то получится два изображения по 1024 пикселя, поэтому общее количество шагов составит 600, нет необходимости масштабировать скорость обучения.
FLUX тренировка Lora на персонажах
🍎 TheLastBen показал свои наработки для обучения Лоры на персонаже.
LINK
📕 Он заметил что два слоя(single_transformer_blocks.7.proj_out and single_transformer_blocks.20.proj_out) при обучении сильнее всего влияют на персонажа, потому если обучить только эти слои и не трогать остальное, выйдет супер удачная Лора на персонаже.
LORA — для тестов.
📕 Добавим сюда еще новое понимание от коммьюнити, что детальное описание вещей переобучает и остальную часть датасета в кашу. То есть нужно описывать словами только те концепции, которые не присутствовали в датасете Flux. При переобучении на больших кэпшионингах можно потерять большую часть остального контента и многие для этого докидывали регуляризационные картинки. Получается можно было просто меньше кэпшионить? (Вот бы мне все эти знания год назад...)
📕 Тут же еще появилась нода от Kijai, которая позволяет вытаскивать на слои вашу обученную лору и смотреть как слой влияет на генерацию (пример в последней картинке)
🔥 Обучение по определенным слоям доступно в AiToolkit. Любителям Kohya-SS пока нужно подождать.
🐈⬛ Пойду перезапишу весь новый урок про тренировку Лора для Flux.
@monkeyinlaw
Небольшой дайджест за день по FLUX
🔥 Flux подборка присутствия в датасете художников.
📕 Flux LORA база данных Текстуры | Стили
Картинки — мои примеры генераций с супер детальным пайпалйном с двойной инъекции шума в латент от Маттео. Json в комментах. Он адаптирован под капшионинг через Florence2.Читать полностью…
Небольшой дайджест за день
😳 Генерация 3d сцены из сплатов через две картинки:
— Картинка генерится в Flux (MonkeyInLaw/glifs/clzt8y9fz000d9vtt7fuhdmp9">тут 20 бесплатных генераций есть)
— Далее в Gen3 Turbo с промптом: Orbit Right
— Берем крайний кадр лучший с другой стороны сцены
— И в HF space для создания сплатов
Reddit LINK
Это пока быстрый промежуточный вариант, думаю совсем скоро можно будет полноценные 3D сцены делать с таким пайплайном. В отличие от генерации фигурок, 3D полноценные сцены — слабая сторона генеративных нейронок.
При этом Union ControlNET требует guidance 1 в нодах ComfyUI, а стандартные ControlNET для Flux могут работать при любом guidance. Пока конечно дикий разлад в настройках...
Примечание: Во втором варианте при обучении были разные параметры, что сильно влияет сравнение. И оба варианта обучались прям на CivitAI
UI обертки для Opensource нейронок в одном UI
😳 Есть уже несколько вариантов удобных оберток для закачки известных инструментов, но данная версия намного приятнее по дизайну.
Вот что автора пишет про свою версию в сравнение с Pinokio:
«Ты ничего не добьешься с этим проектом». Он уже наткнулся на два проекта, похожих на мой, и отправил мне ссылки на Pinokio и StabilityMatrix.
Да, вы оба правы — существуют другие приложения, которые могут показаться похожими на мое. Однако у меня есть большие планы на мое приложение, которые сделают его уникальным и выделяющимся по-своему.
Возьмем, к примеру, Automatic1111. Когда он только появился, стоило ли всем отказаться от создания других веб-интерфейсов только потому, что один уже существует? Уверен, вы знаете о многих веб-интерфейсах, похожих на A1, но имеющих своих пользователей и уникальные особенности. Некоторые из них даже стали более популярными и лучше поддерживаемыми.
ЛИНК
FLUX интерполяция по рандом латентному пространству
📕 Что мне нравится в этом блуждании, так это его абсолютная непредсказуемость. Мы переходим от одного вектора к другому, причем длина и направление этих переходов задаются случайным шумом. В итоге получается нечто похожее на сон или беспорядочный набор кадров, плавно переходящих из одного сюжета в другой.
Если хотите попробовать, вот(требует много VRAM):
GITHUB—COLAB
Пример для SD 1.5 кода от Karpathy
Музыка из Suno
Midjourney v6.1 | Ideogram v2 | Flux1 Dev
Сделал сравнение 3 моделей:
📕 Постарался взять все базовые настройки, в данном случае размер mj и flux одинаковый, а вот вертикальные и горизонтальные картинки в ideogram меньше. При этом выборка у всех моделей была из 4 генераций батча по одному промпту.
Промпты:
— Реализм Гопро:
gopro, steampunk lady with a mohawk wearing a maki-e pattern kimono meditating at the Senso-ji Temple
hyper realistic, a mix of organic and mechanical elements into a never before seen creature
Sliced barbecue beef brisket on a wooden board, isolated against a white background. Detailed, natural lighting, sharp focus, high-resolution photography.
A work depicting a crazy wild yaks with a Tibetan style in the styles of Jean-Michel Basquiat and Keith Haring, having the styles of world art masters and featuring contemporary surrealistic elements.
(Но для Flux можно спокойно обучить Лору собрав датасет из MJ) С точки зрения продуктовой картинки — Ideogram сгенерил детальный фон, но зря, так как в промпте запрашивалась картинка с белым фоном с изолированным блюдом от него, чтобы проще было вырезать затем. И при этом артовый вариант 100% уходит в Ideogram, понимание художников и смесь их концепта самая удачная! (художники для референса в коментах)
Нейронки требуют все больше и больше видеопамяти, тем временем 🔼Blender🔼
Мне как-то нужно поддерживать название канала, потому иногда буду вспоминать про вторую часть имени канала.
На самом деле это Blendersito, совершенно другая программа, нежели Blender (хотя ее пользовательский интерфейс во многом вдохновлен Blender), которая работает на Symbian OS. Как объясняется в readme:
— Не порт: эта программа не разделяет код с оригинальным Blender.
— Базовая функциональность: программа базовая, и некоторые СМИ преувеличивают ее текущие возможности.
(25 бесплатных генераций для всех) и Ideogram обновился. Про первый я уже успел рассказать на стриме и готовлю небольшой пост.
Читать полностью…
FLUX IPADAPTER
📕 Модель еще в тренировки, но скорость развития инфраструктуры меня очень радует. Мб и AnimateDiff будет? Тогда уже процесс двух лет развития SD 1.5 сможет уместить в один месяц, с невероятным приростом качества.
HFвеса—COMFYUI—JSON
🍎 В комментах добавлю .ipynb с закачкой всех реп и моделей для IpAdapter Flux на RUNPOD + Два варианта настроенных мной пайплайна
@monkeyinlaw
FLUX detailer
🐈⬛ Тишина в канале, так как готовлю несколько новых обучающих роликов. Вчера на стриме в одном из тестов попробовал Detailer pipeline от Матео(пайплайн в комментах, но не адаптированный), который путем нескольких инъекций шума в латент по детальность превосходит MJv6.1(при том что размер картинки меньше). Есть еще офигенный урок от Матео про FLUX, про инпейтинг внутри базовой модели и т.д. Я адаптировал под свой урок, там будут gguf версии и уже можно на 16GB+ картах запускать и inpainting и Lora, еще иногда ControlNet влезает. (пайплайн в комментах, кидаю раньше урока)
☺️ А в превью генерации в FLUX c Лорой пластилиновой вороны(На Flux Dev без квантизации не сильно активируется, нужен gguf) и Лора на N64 стиль.
А еще...
@monkeyinlaw
FLUX PRO 1.1 on GLIF
📕 Многие уже писали [ LINK1 LINK2 LINK3 ] про Blueberry, который на данный момент бьет все бенчмарки по качеству картинок. (А если вы в ComfyUI все новшества поставите на Dev, ойойой, жаль такой версии нет в бенчмарках...)
🔥 Можно потестить 20 генераций в день на глифе, или пойти сделать свой глиф, подцепить туда Claude для аугментации промпта и получить Flux 1.1 на стеройдах — angrypenguin/glifs/cm1to7ws0000gnlxccqgp1gt0">LINK (Если из РФ, требуется VPN для регистрации иначе будет waitlist окно)
А я пока в этом месяце минимум по постам, кстати, почистил канал от ботов, и это была трудная задачка. (- 100 ботов и людей, кто не заходил последний месяц в тг)
Вывод: Телега сама удаляет неактивные каналы и боты.
CogView3 & CogView-3Plus
В целом осень выдалась урожайной, в основном благодаря ECCV & SIGGRAPH ASIA
Вот и китайцы выкатили очередную итерацию CogView text2image
Если верить авторам, бьет SDXL во все поля (пора все-таки уже с FLUX сравнивать, сдохле второй год пошел)
paper
code
@derplearning
Дайджест за неделю по нейронкам
🐈⬛ Animatediff Unsampling — новый вариант застабилить мерцание на генерация. При всех крутых возможностях RunwayML. Animatediff для меня пока остается самым артовым инструментом с возможностью сильного управления генерации. В превью пример генерации.
LINK — LESSON
🔝 Img2video CogXvideo — CogXVideo опенсоурсный аналог Dream Machine, KlingAI и Gen3. Теперь доступен и в варианте Img2Video. Умельцы уже смогли сделать возможность генерировать разные размеры. Но по качеству чекпоинт Fun 5B делает намного интереснее генерации, чем стандартный чекпоинт.
LINK — Fun5B_example — ComfyUI-JSON-Fun5B — Fun5B-WEIGHTS — CogXVideo10GBPipeline — EXAMPLE
🥰 Tripo AI — новый шаг в 3d генерациях. Качество генераций не уровня продакшена, но отлично сойдёт для 3d печати. Дают 600 кредитов, генерация стоит 25 при условии, что вывод в glb формате, для других придётся отдать ещё 10 кредитов. Качество на домах и персонажах невероятное! Сцены по одной картинке таким способ генерить не получится :/
В примерах есть вариант 3D печати сразу после Tripo, картинка генерировалась во Flux.
LINK — 3D-PRINT
📕 Настройка блоков трансформера во FLUX. Матео в своим последнем ролике(Attention Seeker часть) показал новые ноды для работы с блоками. Коротко — пока нет явных зависимостей, но если их понять — то управлять генерациями станет еще проще!
EXAMPLE 1 — EXAMPLE 2
👀 Kling AI. Клинг обновился до версии 1.5 и добавил новых инструментов: Motion Brush — создание масок для нужных предметов и выбор их движения. Правда в версии 1.5 новые инструменты не доступны, как и возможность ставить первый и второй кадр. Возможно только генерировать в text2img и img2img, да еще и за минимум 35 кредитов(Так как доступен только проф вариант для 1.5) и только в платной версии…
KLINGAI
☺️ Gen3 новинки — вертикальные видео.
RUNWAYML
📕 Три очень качественных каналах на английском по ComfyUI:
— Серия уроков по ComfyUI: LINK
— latentvision" rel="nofollow">https://www.youtube.com/@latentvision
— sebastiankamph" rel="nofollow">https://www.youtube.com/@sebastiankamph
p.s. Пилю для вас дайджесты в 30-ти летний юбилей
Как определить AI генерацию
📕 Недавно в сообществе Reddit по Блендеру, появилась невероятная работа. И многие стали выгонять автора из треда за использование видеонейронок вместо Блендера. ⚠️
😳 Автор работы, Александр, был вынужден предоставить скриншоты, чтобы доказать, что его работа полностью создана в Blender.
Если вы хотите научиться отличать нейронные генерации от классического 3D-арта или видеоряда, обратите внимание на следующие признаки:
🔍 Ткани и движущиеся линии — Смотрите на ткани, движущие линии, например, на траву как в видео. Если визуальные линии создающие объекты прерываются или перетекают друг в друга, то работа явно сгенерирована.
🔍 Анатомия — Наблюдаем за руками, ногами, другими частями тела, особенно если они двигаются часто. Именно в частых, быстрых генерациях любая видеонейронка теряется. Ноги превращают из правой в левую, пальцы меняют порядок или сращиваются.
🔍 Частички — небольшие частички мусора, конфетти или других вещей будут морфиться, растягиваться и видоизменяться.
🔍 Освещение и тени — Обратите внимание на тени и световые эффекты. Они могут иметь неверные углы или неправильную интенсивность.
💀 Различение AI-генерации и стандартного 3D-контента имеет ключевое значение для понимания производственных возможностей и ограничений каждого подхода. Традиционный 3D-продакшн предоставляет высокий уровень контроля, точности и реализма, что особенно важно для сложных и уникальных проектов. В то же время, AI-генерация предлагает быструю и экономичную альтернативу, подходящую для массового производства контента с меньшими требованиями к детализации.
Работа офигенная! АВТОР
COMFYUI FLUX SVG
📕 Нода для ComfyUI с Лорой, которая позволяет делать SVG генерации.
COMFYUI custom node—LORA SVG
✔️ Отлично подойдет:
— Если вам нужна маленькая иконка
— Не важны детали
— Нужен самый быстрый способ получения SVG
❌ Не подойдет:
— Если вы будете использовать плоттер для рисования или проф инструмент, беда со слоями и качеством линий
— Если вы хотите делать анимацию или игры
🐈⬛ Json для ComfyUI в комментах
@monkeyinlaw
RunwayML тизерят новую модельку, анонс завтра в 17:00 CET
В тизере ничего особо интересного не показали, кроме шикарных картинок, но думаю, релиз будет любопытный.
Теперь ждем презентации свежих видеомоделей, как новенький айфон.😋
@ai_newz
Я уже писал об интерполяции во FLUX и делал рандомную прогулку по латенту
📕 Вчера выложили вариант для ComfyUI, где мы берем контекстное окно от нод AnimateDiff и прикрепляем к FLUX. Это круто тем, что мы можем использовать и ControlNet и свои Лоры для интерполяции.
🐈⬛ Не круто, что Flux требовательный к памяти и батч из 256 картинок я смог просунуть в gguf Q3 версии с размером 960x540px, и это при карте H100 в 96GB... Это причина почему AnimateDiff для Flux если и появится, то станет возможным при кластерах H100...
🧐 Всегда мечтал о функционале ComfyUI с качеством Midjourney
Json в комментах, иная версия с котом тоже.
T2V model CogVideoX-5B
🔥 Выложили веса для CogVideoX-5B — опенсорсный text2video, и уже есть готовые ноды для инференса в ComfyUI, даже с возможностью Vid2Vid.
📕 Для ComfyUI можно использовать T5 энкодер, который для Flux и SD3. А еще ест 13-14GB в пике, но только VAE. Сэмплинг кушает только 5-6GB.
COMFYUI—HF_WEIGHTS—GITHUB
Более качественные Union ControlNET для FLUX
и небольшой дайджест за день
📕 Вышли более качественные union controlnet от InstantX Team и Shakker Labs. В комментах показываю какие-то безумные манипуляции с pose моделью и Animatediff, интересно узнать подробности.
HF link
📕 Так же от них вышел depth map ControlNet.
🔥 Региональный маски с промптами в Photoshop с сервером на ComfyUI.
Reddit—Github
👀 Интересная статья про T5 энкодер во Flux и насколько он отличается от привычного нам Clip.
🐈⬛ Тренировка Лоры на ваших логотипах. Автор использовал данный пайплайн для обучения Лоры и меньше 15 картинок с логотипом своим.
@monkeyinlaw
Пока Карпатый уже не может представить, как работать без копайлота или Cursor, Амазоновские перелопатил половину корпоративного спагетти-кода, юзая их Amazon Q*.
Чуваки прикинули и пришли к выводу, что за пару недель сэкономили 4500 лет (sic!) работы человека-разработчика. Сначало не верится, но если учесть, что 80% кода они отправили напрямую в прод... хочется задуматься о перспективах работы для программистов.
Новая простыня отличается повышенной безопасностью и эффективностью (конечно, со слов разработчиков, ещё посмотрим какие дыры проявятся через некоторое время). А вообще, оптимизация должна принести Безосу лишние 260М в год👍
С одной стороны, в очередной раз press F джунам, с другой — ребята, пока еще не все выкупили фишку, устраивайтесь скорее на синьоров в старые компании и переписывайте им код за нормальную зп😁
* Amazon Q - это амазоноаский копайлот, который под капотом все также использует GPT, имеет доступ ко всей базе кода и документов внутри компании, плюс некий обвес из пайплайнов и интерфейсов вокруг. Вот тут про него.
@ai_newz
Star Wars пластилиновые 80-ые
Совместил две Лоры для FLUX, генерация в Dream Machine:
Dark Fantasy + Clay
🐈⬛ Меня правда по идеи обогнали, но зато с уверенностью скажу, что потратил на это примерно один час, вот стрим, там сначала новости, а потом генерил.
Музыку взял отсюда. Я почему-то никак не могу добиться приятного звука из нейронок, меня очень бесит их шумность и артефактность.
Json в комментах, там все настройки и промпты.
📕 P.S. Сегодня ровно два года, как Stable Diffusion v1.4 стал доступен всем, сколько уже всего прошло с этого времени...
Вас рикролила поддержка?
Тут очень смешная история происходит: поддержка на базе LLM, добавляет несуществующие линки обучающих роликов, но вместо ролика пользователи получали прекрасную композицию Rick Astley - Never Gonna Give You Up
мне никогда не приходило в голову, что «рикроллинг глубоко встроен в обучающий набор для каждого LLM» — это реальная проблема, которая сделает жизнь многих команд ИИ невыносимойЧитать полностью…
Источник
Запускаем Flux GGUF в ComfyUI на Runpod и INPAINTING
👀 Второй ролик, где на новой модели вновь обучаемся азам ComfyUI, теперь пробуем inpainting, Lora и ControlNET с GGUF моделями. Постарался сделать .ipynb с закачкой заранее всех custom_nodes и моделей, а потому вы уже сразу после запуска сервера открываете готовый ComfyUI и сразу можно генерить! Когда-нибудь я дообучусь как docker делать и тогда процесс будет еще проще
📕 Пост в patreon (бесплатный) со всеми данными к видео.
🐈⬛ Следующий пост постараюсь сделать не про Flux. простите, я так давно мечтал о Midjourney в локальном варианте, что не могу не нарадоваться.
FLUX DEFORUM!
🔥 https://github.com/XLabs-AI/deforum-x-flux.git 🔥
С интерполяцией по латентному пространству
Запускаем Flux на Runpod
😳 Сделал ролик как запустить Flux на Runpod и впервые пощупать ComfyUI, прикрепить лоры и ControlNet, в среднем на 2 часа генерации у вас уйдет 4$. Или совсем бесплатно при использование бесплатного Colab. Нужно будет только ждать A100, или работать только с квантизированной версии на T4.
Буквально год назад у меня был последний обучающий ролик, к сожалению после этого у меня было 15 разных заготовок под уроки и не одного финального монтажа. Потому этот ролик для меня был особенно важным, Flux с его уровнем генерации MJ v6.1 зажег во мне желание вновь делиться обучающим контентом в Youtube.
TGM5gNu4wYmh7bpEkPjRNdZPwcSEf81nNhUQAWg5AzHdKoXVEZk2MvhclFF8YEoYWXV6Niup1-TQy7O3mO
Читать полностью…