-
Мой личный блог о стартапах, телеграм и не только. Сделан на @blogfatherbot Телеграм: @recoilme
Ну и пример
1 - ColorfulXL-Lightning
2 - SD3
3 - Playground 2.5
4- Кандинский
Если смотреть по сочности цветов - возможно учили без EDM, сложно пока сказать
жесть какая, она еще и мультимодальная и многоязычная что ли и текст 2 имадж в 3 шага?
/channel/ai_newz/2609
Прочее интересное
Карпати - ллм на си в 1000 строк (теперь с трейном! не только инференс https://github.com/karpathy/llama2.c)
https://github.com/karpathy/llm.c
(архитектура жпт2- возможно потенциал gpt2 тоже не раскрыт)
Байтденс - контронет++ (SD 1.5) https://github.com/liming-ai/ControlNet_Plus_Plus
АИРИ - мультимодалка понимающая русский https://github.com/AIRI-Institute/OmniFusion
Неплохой промптфоллоу:
a young blond soldier lies on the ground after being wounded in a fierce battle of world war one. He is bleeding but is determined not to succumb to his injuries. His uniform is rugged and dirty of mud and blood. Light rain is falling down in the middle of rather pleasant suny day. A lone Rabbit is standing near the man looking at him, almost with compassion in its eyes.
Молодой блондин-солдат лежит на земле после ранения в жестоком сражении Первой мировой войны. Он истекает кровью, но полон решимости не скончаться от полученных травм. Его униформа грубая и грязная от грязи и крови. В середине довольно приятного солнечного дня падает небольшой дождь. Одинокий Кролик стоит рядом с мужчиной и смотрит на него почти с состраданием в глазах.
Udio - типо Suno - все оч похоже
Вроде мелодии поинтереснее, например:
https://www.udio.com/songs/i9oJ4V3fUevyK5SVvkSYEY
Хотя в целом - управление музыкой через текст оч странное.
Чувствуешь себя чем то вроде дебила когда пишешь «помощней, пожалуйста»
Зацените апскейлер от leonardo.ai
https://imgsli.com/MjU1NzEy
до 5 апскейлов в день
мэджик
Будущее все ближе
Пятничное развлекательно. Чем дальше смотришь, тем одновременно и криповей, и прикольней.
https://youtu.be/ciyEsZpzbM8
https://github.com/Mozer/talk-llama-fast
100lineSDXL
как то ко мне пришел знакомый и попросил простой способ попробовать диффузию
Я послал ставить AUTO1111 - с тех пор мы не разговариваем
Полгода спустя пришел другой знакомый и попросил самый простой способ
Я сказал Fooocus - проще некогда
Через два дня он вернулся с каими то ошибками в питоне и вопросами
Меня это все достало. Написал проще некуда репозиторий который скачает и запустит SDXL быстро и просто
Так и назвал 100lineSDXL https://github.com/recoilme/100lineSDXL
Это наверно самый быстрый и простой способ запустить генерацию SDXL
Три кнопки. 100 строк. Минимум зависимостей. Работает на маках, гпу, цпу и даже на картофеле
На gpu секунду, на m1 - 10 секунд, На ардуино - не знаю может секунд 30 (если в память влезет)
Особо заценитие описание. Мой бот глюканул и составил его на языке Шексира (кукуха совсем того)
Интерфейс можно глянуть тут https://huggingface.co/spaces/recoilme/ColorfulXL-Lightning - там медленно - грузит модель каждый раз
Вобщем пишите если не получится
(ору конечно со своей ридмишки)
The quickest and simplest method to taste the essence of Stable Diffusion XL. Conjured with a mere 100 lines of code and three magic buttons, this program summons models with an arcane auto-download feature. A five-step incantation leads to a spectacle of generation, supported on various mystical artifacts known as GPU, CPU, and MPS.Читать полностью…
Внутри моделей есть такая жопа как текстовый енкодер. Он превращает текст(и картинки) в эмбединги (чиселки).
Обычно берут, ну не знаю - там клип енкодер, T5 или там новадейс FLAN T5
Тупой как пробка короче. Енкодер не понимает русский. Контекст, и так далее - просто текст - вектор машина.
Так его еще и заменить на например мультиязычный с ноги не получится. Мы с drime bebrovichem ковыряли немножко ничего не наковыривается
И все эти годы мы смотрели на всякие ламы/мистрали, облизывались - но юзать их не могли - потому что все эти ГПт «decoder-only LLM». Висит, сочная такая груша - нельзя скушать. Подробнее почитать про страдания с енкодерами тут
https://www.reddit.com/r/StableDiffusion/comments/1c0by2y/why_do_cuttingedge_diffusion_models_favor_flant5/
Так вот. Вчера какие то психи(в хорошем смысле) придумали (опубликовали бумагу https://arxiv.org/abs/2404.05961) как превратить ЛЛМ в енкодер. Не тупой конвертор, а прям инструкции понимает и вот это вот всё: https://github.com/McGill-NLP/llm2vec
И что вы думаете случилось? А случилась «Unexpected SOTA»
Срать - колотить, ща все ходят такие: «а что так можно было»?
Так что если строите свою уютную диффузию - имейте ввиду
Яндекс Арт
бумага
https://arxiv.org/abs/2404.05666
промка
https://ya.ru/ai/art/paper-yaart-v1
на русском
https://habr.com/ru/companies/yandex/articles/805745/
Да ебанись
The GEN64 model with 2.3B parameters is trained on 160 A100-80GB GPUs
Это 64 пиксельную только столько гоняли?
Статью на хабре не читал - бумагу по диагонали. Откровений нет
По сути стейбл каскаде - первый слой на 64 пикселя, потом 2 супер резолюшен - один в 256, второй в 1024
Я сегодня спать лягу?
2D в 3D - https://henry123-boy.github.io/SpaTracker/
У https://www.coze.com/open появилось API
Апи платное, 3м токенов -30 долларов, 750к слов на GPT4(8k) https://www.coze.com/docs/token.html
Покупка через виза/мастеркард (не проверял)
Фишки козе, переменные, плагины, бд - пока не оч понятно. Фишки ЖПТ (файнтюн) - недоступны
Можно заводить своих юзеров, прокидывать контекст. Чат в стриминг и в реквест/респонз режиме
Для бизнеса - нормальненько, но в целом печальненько..
Как же хочется.. пощупать третью ламу и третий SD поскорее
Читать полностью…
Байтденс придумал как обычные трансформеры прикрутить к задаче генерации изображений.
Пишут что работает лучше диффузии. Во всех доменах.
Быстрее. Выше. Сильнее.
https://var.vision/
Кода немного пока, train.py: 0 lines (0 loc) · 0 Bytes
Только модельки и описание идеи, и без текст2имадж
Но все уже пляшут. Но может и не зря - звучит сладко (легко скалируется, больше картинок лучше модель и тп)
ЗЫ: из Козы/Coze (европейская дочка байтденс) ответили кстати. Я просил API для хака колонок на Алисе. Яндекс станции ебучей - говорит он зе вэй.
я кстати отвалидировал их репорт - всё так
Поднял плейграунд, прогнал промпты - всё чистая правда
EDM рулит. Karras топ. Катерина топ. Новел АИ топ. Плейграунд красавчики. яндекс -долбонавты
Сама модель оч красивая по цветам но недообученная явно. Не фотореалистик но красивая.
Смотрите какой охерено красивый нойз генерится - поэтому и кравища сочная, и трава зеленее и ночь темнее
Ну и k-diffusion - An implementation of Elucidating the Design Space - Hourglass diffusion transformer - все концы сошлись. Дело раскрыто.
Диффузия - наука о шуме
https://huggingface.co/meta-llama/Meta-Llama-3-8B
думал фолаут посмотреть
What a day! Тут можно бесплатно SD3 пощупать
https://www.imagine.art/
Там написано нужно купить сердечки - но работает без (пока)
(зацените как солдат похож на версию из лайтинг)
Какой приятный технический репорт от плейграунд
https://arxiv.org/pdf/2402.17245.pdf
Нормально делай - нормально будет
Всё вокруг исследований 2-х летней давности Каррас и Новел АИ
Моделька выглядит на первый взгляд шикарно
https://huggingface.co/playgroundai/playground-v2.5-1024px-aesthetic
Веса открыты, в автоматике не заводится: юз дуффузерс, Люк!
Лицензия - до 1млн мау фри
У меня стойкое ощущение, что потенциал SDXL не раскрыт.
1. SD3 через апи стала доступна
- ходют грязные слухи что все не так здорово как обещали. Шестипалости не удалось вроде, фиксануть
- что у Емада днюша - решили порадовать
- хз когда веса будут
2. Zavy слегка пофиксил Пони
- кажется не кардинально, хотя кардинально как исправить если тренировали с токенами скоре_ап9, вместо описания картинки
https://civitai.com/models/405630/zavyfantasiaxl-pdxl
3. Прилетел конгратс - фичеринг колорфул лайтинг
- уии!
Это оч смешно: институт будующего человечества - закрылся
/channel/gonzo_ML/2524
https://civitai.com/models/388913/colorfulxl-lightning?modelVersionId=450362
Собрал новый мерж (как подонок) лайтинг модели, и вот думаю, зачем? У прошлой версии скачиваний 200
Попинайте плз.
Говно твой чекпоинт, я другим пользуюсь, потому что он лучше. Ну или прост - хрень всё это. Мне чет кажется нахер это все нужно. Лучше бы апскейлер натренил и продовал..
Нормально делай - нормально будет
Каждую неделю выходит очередной «патч» - исправляющий фатальную ошибку в архитектуре юнет (как правило от байтденс)
Проблема в том, что свои «патчи» - они тестируют на «уродливых» моделях - делая их «менее уродливыми»
Под «уродливой» моделью я имею ввиду «ненатренированную» на разных разрешениях. Если я свою модель гонял на низких разрешениях - она и в 512 хорошо генерирует. А с патчем - в уродца превращается
Единственный «патч», который может быть имеет смысл использовать - это KohyaHiResFix - потому что дает возможность генерить 2048 карточки (вчерашний пост - пример)
Тупо потому, что на тренировку в данном разрешении нужно оч много ГПУ.
Все эти патчи/супермержи - суть есть маструбация.
Только трейн. Только хардкор
Ничесе такой обзорчик ColorfulXL-Lightning
Хайрезы и продолжение (150 Мб), тут:
https://huggingface.co/recoilme/ColorfulXL-Lightning
самый грустный и короткий рассказ Хемингуэя:
pip install -r requirements.txt
Как же меня Яндекс бесит!
Тяжеленная модель. Ноль инноваций. Киллограм самолюбования
Воистину Yet Another
Что ни день то что то новенькое, сразу 2 модельки от стабилити
https://huggingface.co/stabilityai/cosxl
первая с лучшей цветопередачей (шта?)
а вотвторая img2img + prompt - оч интересно в контексте генерации видосиков
Cos Stable Diffusion XL 1.0 and Cos Stable Diffusion XL 1.0 Edit
Cos Stable Diffusion XL 1.0 Base is tuned to use a Cosine-Continuous EDM VPred schedule. The most notable feature of this schedule change is its capacity to produce the full color range from pitch black to pure white, alongside more subtle improvements to the model's rate-of-change to images across each step.
Edit Stable Diffusion XL 1.0 Base is tuned to use a Cosine-Continuous EDM VPred schedule, and then upgraded to perform instructed image editing. This model takes a source image as input alongside a prompt, and interprets the prompt as an instruction for how to alter the image.
Reforum - fork deforum в кот автор исследует всякие морфы/каденсы/оптикалфлоу и прочие матрица трансформаций
Наркоманский крч
https://github.com/reallybigname/sd-webui-deforum/tree/reforum
видос автора рефорум
Очередная бредовая идея.
У эплов (маки m1, ios) есть свой нативный бекенд: https://github.com/apple/ml-stable-diffusion
А также конвертор в него SDXL (я даже проделывал это упражнение на 1 SD год назад)
И примеры приложенек на свифте https://github.com/huggingface/swift-coreml-diffusers
Если сконвертировать лайтинг модель https://huggingface.co/recoilme/ColorfulXL-Lightning
можно попробовать сделать генерацию картинок за секунду/две, а не за 60-180 как сейчас
Наверняка кто то уже проделывал даже, лайтинг/турбо не вчера появились
Упаковать всё красиво и попробовать продавать как аппу. Аппа может быть неплохим источником пассивного дохода.
Если кто то хочет заняться я буду рад помочь чтобы затем разделить славу и женщин
@recoilme
Лол, в отличие от дохлого хагингфейс - на цивите не прошло и суток как придумали как генереить вплоть до 1248 * 1824 в 4 шага
https://civitai.com/models/388913/colorfulxl-lightning