13183
Используем ИИ строго не по назначению. Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
Максимально неожиданно рандомная кек новость дня:
LinkedIn (sic!) выкатил Liger - свой набор кернелов под triton.
Кто ещё не ворвался в опенсорс ии?
Теперь хочу какойнить рисерч от одноклассников штоле. Ну им битрикс24, чем они хуже сейлсфорса с их blip? 🥲
Github
@derplearning
Забрал из коментов ибо прекрасно.
Звёздные войны в стиле пластилиновой вороны.
Это просто Лора для Flux.
Запускаем Flux GGUF в ComfyUI на Runpod и INPAINTING
👀 Второй ролик, где на новой модели вновь обучаемся азам ComfyUI, теперь пробуем inpainting, Lora и ControlNET с GGUF моделями. Постарался сделать .ipynb с закачкой заранее всех custom_nodes и моделей, а потому вы уже сразу после запуска сервера открываете готовый ComfyUI и сразу можно генерить! Когда-нибудь я дообучусь как docker делать и тогда процесс будет еще проще
📕 Пост в patreon (бесплатный) со всеми данными к видео.
🐈⬛ Следующий пост постараюсь сделать не про Flux. простите, я так давно мечтал о Midjourney в локальном варианте, что не могу не нарадоваться.
Flux Depth для видео генераций
🔥 Автор сделал видео с помощью Depth ControlNet для Flux и Dream Machine с двумя ключевыми кадрами и промптом:
— "epic ____ transformation"
— "epic liquid transformation"
📕 Сегодня я как раз показал на стриме, что ControlNet для Flux уже спокойно запускается в ComfyUI в стандартной ноде Apply ControlNet.
🐈⬛ Json для ComfyUI.
@monkeyinlaw
Qwen 2 - Math и Audio
Прямо перед выходными Alibaba релизнула несколько тюнов своей линейки Qwen 2.
Math модель выглядит крайне вкусно - 7B версия обходит недавнюю Mathstral, а 72B обходит ВСЕ существующие модели в математике, даже упомянутую мимоходом в техрепорте версию Gemini заточенную под математику. Но, в отличии от господ из Google, не утруждающих себя "релизами", китайцы выложили все веса на huggingface.
Вместе с Math выпустили ещё и 7B Audio модель, это уже второе поколение аудиомоделей от Alibaba. Лучше во всех бенчмарках, понимает восемь разговорных языков. Но всё ещё немая - может общаться только лишь текстом. До Omni модели от китайцев, видимо, ещё далеко.
Веса Math
Веса Audio
@ai_newz
Для сравнения, что было джва года назад:
https://fxtwitter.com/blizaine/status/1822019696964870536
Через два года ожидаем институт пчеловодства
если вам тоже было интересно как затанцевать макароны, держите воркфлоу для комфи а также свежий пошаговый видео туториал
магия происходит конечно же благодаря ip-adapter и qrcode-monster controlnet. а за хорошую скорость генерации отвечает lcm моделька. все необходимые ссылки есть в туториале
workflow на civitai
туториал
ig автора воркфлоу
@тоже_моушн
Для flux начали появляться первые робкие контролнеты!
Hf
Tweet
@derplearning
Помните был такой алгоритм Deepdream? Если его картинки подавать на вход в Gen 3, она очень стильно трипует 🐑
Читать полностью…
Немного лумы и клинга на сон грядущий
Пираты аджарского моря великолепны, конечно.
Stretching Each Dollar: Diffusion Training from Scratch on
a Micro-Budget
Демократизация обучения text2image трансформеров во все поля!
Чюваки из Sony AI и University of California упоролись и сократили косты на обучение в 14 раз по сравнению с текущим SOTA-подходом и aж в 118 раз по сравнению с затратами на обучение StableDiffusion 2.1
Для сравнения:
их подход - $1890, 60 8xH100- часов
текущий SOTA - $28000, 18000 A100-часов
SD2.1 - 200000 A100-часов
Сделали они это просто потренив не на а100, а на h100 с помощью маскировки 75% патчей при обучении.
FID, конечно, немного притянут. Если уж два дня тренили, чего еще два дня не потренили, все равно фора огромная.
В целом тренд на демократизацию опенсорсного ИИ мне по душе, теперь и GPU-poor посоны (8xH100) смогут ворваться в мир диплерненга! Ура товарищи!
paper
Design and Control of a Bipedal Robotic Character
Пейпер года конечно (по уровню милоты)
Paper
Отец знакомого работает в Microsoft. Сегодня срочно вызвали на совещание. Вернулся поздно и ничего не объяснил. Сказал лишь собирать всю технику и бежать в магазин за драйверами на две недели. Сейчас едем куда-то далеко за город. Не знаю что происходит, но мне кажется началось...
Читать полностью…
Помню мне как-то предлагали вакансию "водитель фуры-рефрижератора по вашему резюме 3д-визуализатор"
Читать полностью…
The Verge поигрались с функцией Magic Editor, которая будет в Pixel 9, и пришли к выводу, что это инструмент для массовых обманов.
Всего за пару минут можно превратить обычное фото в место ДТП, грядущий теракт, место падения вертолёта или вечеринку с наркотиками.
Google утверждает, что промты на подобные темы не должны работать, но журналистов The Verge получилось пробиться сквозь ошибки.
@zavtracast
Встречайте – Улица сезам: дорога ярости
Теперь, надеюсь, вопросов не возникнет зачем нам видео-нейронки
🤷♂️🤷♂️🤷♂️
FLUX DEFORUM!
🔥 https://github.com/XLabs-AI/deforum-x-flux.git 🔥
С интерполяцией по латентному пространству
https://youtu.be/beTuZ0mlkn4?si=kDl-czE6CdYNgBYO
Читать полностью…
FLUX1[dev] полезные ссылки
📕 FLUX очень быстро развивается, а информация про него выходит практически каждый час, я решил собрать все полезные ссылки в одном посте, чтобы вам было легче начать делать что-то безумное.
🔄 Требования к VRAM снизились с 24 до 12 ГБ относительно быстро, и теперь, с поддержкой bitsandbytes и NF4, можно генерить на 8 ГБ и, возможно, 6 ГБ с 3,5-4-кратным увеличением скорости вывода.
🐈⬛ Начнем с приятных гридов с разными настройками и сравнениями:
— Сравнение сэмплеров и шедулеров
— Минимальное количество шагов для каждого семплера
— Сравнение с другими моделями
— Guidance тест
❤️ Основные части FLUX:
— Попробовать бесплатно погенерить FLUX PRO (20 картинок) | FLUX Dev | FLUX Dev ControlNET Canny
— FLUX.dev checkpoint
— Как обучать Лору для FLUX на 24GB
— FLUX.dev nf4, который позволяет генерировать на картах 12GB + (Пока правда не понял как прикрепить уже готовые Лоры к нему)
— Коллекция Лор, для ComfyUI берем comfy_converted
— Коллекция Лор от коммьюнити
— Canny ControlNET
— Генератор промптов + image caption на HF
— Генератор промптов на основе ChatGPT
😮 JSON воркфлой для ComfyUI:
— Базовый
— Пак продвинутых
— Мой адаптированный воркфлоу будет в комментах + экстра
🔥 Интересные посты о тонкой настройки для супер качества:
— Невероятного качества воркфлоу, только даже при A100 40GB генерит 8 минут на картинку 1024x1024px
🔄 FLUX существует меньше месяца, а уже невероятно развивается во всех направлениях, ожидаем пак ControlNetов, IPAdapter и поддержку видео моделей.
https://fxtwitter.com/ai_for_success/status/1821975861698154993
штош
Визуальные Эмбеддинги от Nomic: SOTA в мультимодальном поиске
Команда Nomic дерзнула и поместила публичную коллекцию Метрополитен-музея искусства в латентное пространство, внедрив 250 000 произведений в свою новейшую модель эмбеддингов. Это впечатлило MET, и они зарегистрировались на Hugging Face. Трогательно, когда самый популярный музей США таким твистом вкатывается в ИТ.
А нам теперь можно искать произведения искусства, вводя запросы типа "картина маслом с цветами и собаками" — это первый в своем роде семантический поиск предметов искусства 🖼️🔎
Что под капотом:
Vision Encoder: 92M параметров.
Text Encoder: 137M параметров.
Натренированы на 1.5 млрд пар "изображение-текст" (DFN-2B).
Vision Encoder инициализирован с Eva02 MIM ViT B/16, Text Encoder — с Nomic Embed Text.
Обучали 3 полных эпохи на 16 H100 GPUs, размер батча — 65,536.
Contrastive Learning: обучение с использованием image-text pairs.
Locked Text Image Tuning (LiT): замороженный текстовый энкодер.
В результате получили SOTA модель, обошедшую OpenAI CLIP
Imagenet 0-shot: 71.0 (v1.5)
Datacomp Avg.: 56.8 (v1.5)
MTEB Avg.: 62.28 (v1.5)
Если хотите свое унифицированное латентное пространство для мультимодальных задач и семантический поиск по изображениям и текстам одновременно, модель доступна под лицензией CC-BY-NC-4.0
✨MET map
📃Пост
🌐Repo
🤗v1.5
Интересный, даже не концепт, а реально работающая тулза для скетчинга шагающих машин.
Кроме привычных инструментов, RobotSketch позволяет прототипировать ваши нарисованные идеи, как если бы вы реально построили настоящего робота и обучали его ходьбе.
Очень сложно на ранних этапах понять, как будут взаимодействовать части и сочленения машин, насколько она будет устойчивой и способной. Поэтому прототипирование — это один из самых важных этапов производства. Прикрученный ML модуль помогает вам прогнать итерации и посмотреть, как ваш гомункул учится ходить.
В демке есть также приятный бонус в виде VR мода для тех, кому этот вид кажется удобным. Для Джурабаева, видимо.
Робототехника — это новый приятный мятно-латтевый аромат завода, повышенные зарплаты на ближайшие 20 лет, а потом забвение. Подробнее вы можете прочитать в (Player Piano) Курта Воннегута.
Видео
FastHTML
Чюваки из fast.ai \ answer.ai в очередной раз упоролись и выкатили фронтенд на питоне.
Наконец-то мы, питонисты, сможем делать свои всратые интерфейсы напрямую, без этих ваших градио и реактов!
В конце концов, you cannot spell html without ml 🥲
Fastht.ml
В Таиланде нашли кафе, в котором идеально обслуживают удалёнщиков. По пятницам им меняют кофе на пиво.
Выезжаем.
Слили список видео, на которых тренировали Runway GEN-3.
Спойлер: конечно же, там куча пиратского контента. Также выкачивали красивые блогерскик видео с Ютуба.
Хз, правда кого в 2024-м можно этим удивить.
404media ссылается на бывшего сотрудника, который слил целый документ со ссылками на избранные плейлисты и каналы в ютубе для парсинга видео в датасет. Кроме того, документ содержит ссылки на сайты с пиратскими фильмами.
Примечательно, что такие сливы обычно опираются на "чьи-то слова" и притянутые за уши примеры похожих генераций, а тут прям целый документ с конкретными ссылками и тегами.
Смешно, что до обращения 404media runway спокойно генерала видосы с именами Ютуберов в промпте, а сейчас говорят, отказывается работать, лол.
Интересно, чем этот скандал закончится. Я не удивлюсь если и OpebAI тркнились на видео из Ютуба, и поэтому сейчас они особенно боятся давать доступ к SORA (вы ещё помните, что такая была?).
Источник
Документ
@ai_newz
Llama 3.1 405B, квантизированная до 4 бит, запущенная на двух макбуках (128 гиг оперативки у каждого). Возможно это с помощью exo - тулы, позволяющей запускать модельку распределённо на нескольких девайсов. Поддерживаются практически любые GPU, телефоны, планшеты, макбуки и почти всё о чём можно подумать.
Запустить ламу на домашнем кластере
@ai_newz
Новая порция звезд с собой из прошлого
Сделано в Kling
