Китайцы снова радуют: Controlnet-Inpainting-Alpha
Оказывается ещё 4 дня назад команда Alimama Creative из Alibaba(те что владеют Taobao и Aliexpress) выкатили нам контролнет для flux - Inpainting, пока в альфе, обещают в скором времени допилить. Обучают на 12M laion2B а так же на других пикчах в разрешении 768х768
controlnet_conditioning_scale рекомендуют 0,9 - 0,95, ещё говорят что в разрешениях отличных от 768х768 результаты так себе, в комфи пока вроде не пощупать, но разрабы обещают адаптировать
https://huggingface.co/alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Alpha
ОБНОВЛЕНИЕ.
Подчат AINetSD - NSFW18+🔥 чат изменился.
теперь это - @Male_chat
Залетайте)
P.S - тем кто ставят дизлайки к посту "👎", тем посылаю лучи поноса.
Тут vladmandic завёз в свой SD.Next поддержку Flux
Но есть нюанс.
Поддержка прикручена через diffusers.
Православные модельки от lllyasviel не поддерживает, модельки от City96 тоже, но обещает скоро завести поддержку GGUF.
Что бы собственно сейчас пощупать Flux на SD.Next нужно зайти в авгиевы конюшни Networks, и найти там и кликнуть на Flux, после чего вы получите 40 гигов отборного Flux dev в FP32, плюс ещё попросит токен с HuggingFace для скачивания, а так же нужно указать сэмплер Euler Flow Match... Касаемо инференса 40 гиговой FP32, отмечают что шустрее чем в forge в 2 раза если мощностя позволяют. Лоры пока что не работают, контролнеты тоже.
Вообще говоря о SD.Next, vladmandic напихал туда столько всего... всё что шевелится теперь уже там, а что не шевелится - vladmandic будет шевелить и двигать, он уже присоседил к своему детищу поддержку - AuraFlow 0.3, AlphaVLLM Lumina-Next-SFT, Kwai Kolors, HunyuanDiT 1.2, DeepFloyd, Stable Cascade, Segmind SegMoE XL 4x2, PixArt-Sigma, а так же там просто адовая куча различных крутилок и свистоперделок. Так же vladmandic прикрутил новые режимы Optimum Quanto и BitsAndBytes, новый сбалансированный режим разгрузки, который динамически разгружает GPU<->CPU по мере необходимости, и многое другое... А из предыдущей обновы: поддержка ControlNet-Union, DoRA, дополнительных моделей VLM и нового апскейлера AuraSR.
Я помнится где-то чуть больше года назад щупал SD.Next, ещё до того как я плотно познакомился с божественным ComfyUI, и мне прям тогда было больно после 1111автоматика, не понравилось всё - начиная от ультра перегруженного интерфейса, заканчивая.. уже не помню чем, в общем было удалено, и забыто как страшный сон. В общем я искренне не знаю кому это нужно (Не лезь бл***, дебил, сука ***ный , оно тебя сожрёт), но новость есть новость. Получите, распишитесь.
https://github.com/vladmandic/automatic
Тут ByteDance завезли Hyper лору для Flux dev
Рекомендуют юзать с силой около 0,125, guidance scale же можно оставить на уровне 3.5
Hyper-FLUX.1-dev-16steps-lora
Hyper-FLUX.1-dev-8steps-lora
В скором времени обещают завести более лоустепные лоры
Тут это, В Krea завезли Flux PRO
Есть крутилки - соотношение сторон, 25 стилей, можно делать вариации пикч.
я пощупал, и очереди конечно... я ждал свои первые 4 пикчи с котиками 5 минут.
Не бесплатно, тратятся халявные кредиты, тут в качестве валюты - минуты.
Как я понял тут не фиксированная цена на пикчи, когда очередь доходит, и пикчи начинают генерироваться, время которое они делались и вычитаются из бесплатных 3 минут.
Щас вот уже прогнал 4 генерации (16 пикч) потратилось 1.75м из 3м.
Krea кушает временную почту, значит можно абузить!
https://www.krea.ai/apps/image/flux
Первая версия IP-Adapter для FLUX.1 [dev] от XLabs
Касаемо обучения:
512х512 - 50к шагов.
1024х1024 25к шагов
Работает с обоими разрешениями.
Как щупать?:
1. - Ставим ноды от XLabs.
2. - Качаем модельку clip-vit-large-patch14, ложим её в ComfyUI/models/clip_vision/
3. - Качаем собственно модельку IPAdapter от XLabs, ложим её в ComfyUI/models/xlabs/ipadapters/
4. - Используем ноды - Flux Load IPAdapter и Apply Flux IPAdapter, выбираем нужный clip.
5. - Юзаем.
Это первая версия, поэтому может быть сырой, но ребята из XLabs обещают всё допилить по красоте. так что новые версии не за горами.
Flux schnell gguf Q4 на 1660S и 16GB DDR3 ОЗУ
4 шага = 3 минуты.
FLUX.1-schnell-gguf Q4 ложим в \unet
Обновляем комфи, ставим ComfyUI-GGUF, грузим модельку через ноду - Unet Loader (GGUF)
В целом приемлемо, 3 минуты - не 20 с лишним как 4 шага Flux schnell FP8 на том же железе
XLabs завезли ещё новых контролнетов: Canny, Depth, HED
https://github.com/XLabs-AI/x-flux-comfyui/tree/main
Файнтюн gemma-2-2b - 2B or not 2B EXL2 Q8
Занимет топ в бенчмарке UGI (Рейтинг самых нецензурных LLM) в категории моделей "~2B"
Я пощупал - в целом неплохо. Оправдывает своё 1 место в рейтинге UGI, но есть нюанс - не так хорошо могёт в русский как обычная gemma-2-2b, проскакивают английские слова, частенько по русски не может в уместное "он/она".
Но если юзать с переводчиком(4 скрин) - то прям вообще всё по красоте.
ОБНОВЛЕНИЕ.
[Файлы AINetSD] 38. FluxGym-AINetSD - /fluxgym_ainetsd
Веб-интерфейс для обучения Лор для Flux с поддержкой обучения на 12/16/20 ГБ видеопамяти, работающий на основе Kohya Scripts
Как щупать:
1 - Запустить "Установка torch и прочего.bat" для загрузки библиотек. (да, мне было лень грузить сборку в тг с либами на несколько гигов, так что не обессудьте, грузите сами.)
2 - Скачать модели:
В models/clip:
https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/clip_l.safetensors?download=true
https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/t5xxl_fp16.safetensors?download=true
В models/vae:
https://huggingface.co/cocktailpeanut/xulf-dev/resolve/main/ae.sft?download=true
В models/unet:
https://huggingface.co/cocktailpeanut/xulf-dev/resolve/main/flux1-dev.sft?download=true
3 - Запустить "Запуск FluxGym.bat".
Назвать лору, покрутить крутилки.
Загрузить пикчи и подписать их.
Нажать "Старт".
После обучения, лора будет сохранена в outputs.
Доступно в @AINetSD_bot
#Музыкальная_пауза
Ещё чутка песенок, чисто что бы они тут были, и мне не нужно было потом их тысячу лет искать по разным чатам, что бы кому-нибудь скинуть
Пока ничего интересного не выходит, писать особо не про что.
Посему ловите #Музыкальная_пауза
Про флюкс и 6 гигов врама😊⬇️
Новые аргументы для ComfyUI --fast Бета оптимизации, которые в будующем могут быть включены по умолчанию.
Пока что, под аргументом скрывается лишь оптимизация умножение матриц float8_e4m3fn на видеокартах RTX 40xx. Требуется последний torch.--reserve-vram Ограничивает использование VRAM в ComfyUI. Например --reserve-vram 1.0, заставит ComfyUI попытаться сохранить 1 ГБ свободной памяти. Полезно, если получаете OOM, в общем экспериментируйте.
Касаемо [--fast] работает с sd1.5 и flux, с SDXL есть проблемы (чёрный квадрат)
По скорости на примере RTX 4080:
flux — с --fast
100%|█████| 6/6 [00:02<00:00, 2.00it/s]
Prompt executed in 4.52 seconds
flux без --fast
100%|█████| 6/6 [00:04<00:00, 1.42it/s]
Prompt executed in 5.90 seconds
Flux schnell gguf Q4 на 1660S и 16GB DDR3 ОЗУ [2]
Тут это, City96 завёз нам T5-xxl в gguf
на том же железе если заюзать Force/Set CLIP Device на GPU из ComfyUI_ExtraModels
и модельку t5-v1_1-xxl-encoder-Q3_K_S Text Encode после загрузки отрабатывает - буквально за пару секунд.
Хотя если у вас ЦП не из мезозойской эры без инструкций AVX2, то Force/Set CLIP Device на GPU не нужен. на 6 ГБ он отжирает vram, и например 512х512 раньше делалось за 1 минуту, сейчас за 1.5 минуты
Это уже не просто приемлемо, а в целом вполне юзабельно.
Юзаем Flux онлайн без смс и регистраций, а так же треним лоры для Flux по цене трёх дошираков
Flux онлайн без смс и регистраций - https://fastflux.ai
Разрешение - 896 на 512, пикчи скачиваются в формате webp, по скорости - моментально.
Увы, но никаких крутилок нет, зато бесплатно (по качеству - пикча к посту сделана там)
Треним лоры для Flux - https://replicate.com/blog/fine-tune-flux
На Replicate завезли Ostris Lora Trainer - можно крафтить лоры для Flux , конечно же не за бесплатно, придётся обеднеть на ~220 рублей (~2.5$) конечно же всё зависит от того, что вы там понатыкаете в плане кол-во шагов и всего такого.
ОБНОВЛЕНИЕ.
[Файлы Neuroport] 1. Flux1-dev-nf4 - /Flux1_dev
Системные требования: NVIDIA GPU с не менее 16 ГБ VRAM, 32 ГБ RAM
Доступно в @AINetSD_bot
