12225
Дизайн и искусство в Blender и в AI https://linktr.ee/monkeyinlaw
Flux Depth для видео генераций
🔥 Автор сделал видео с помощью Depth ControlNet для Flux и Dream Machine с двумя ключевыми кадрами и промптом:
— "epic ____ transformation"
— "epic liquid transformation"
📕 Сегодня я как раз показал на стриме, что ControlNet для Flux уже спокойно запускается в ComfyUI в стандартной ноде Apply ControlNet.
🐈⬛ Json для ComfyUI.
@monkeyinlaw
Фотореалистичность во FLUX
Пока FLUX Union ControlNET только ждет адаптирование под ComfyUI, поигрался с фотореализмом генераций.
📕 FLUX Union ControlNET содержит в себе 7 моделей и пока доступен в diffusers: canny, tile, depth, blur, pose, gray, low quality
Собрал json для фотореализма + апскейл (в комментах)
Лоры: Реализм | Пленка
🔥 А тут собрал Glif —> MonkeyInLaw/glifs/clzt52fo70000bq1z9nrt7uoq">можно погенерить 20 картинок бесплатно в день (Совсем недавно было 100 🐈⬛🐈⬛)
Glif — кстати позволяет не только бесплатно генерить картинки, но еще и собирать пайплайны под свой вкус с огромным выбором LLM, text2image, и даже ComfyUI есть для особо желающих кастомы делать (правда пока с минимальным набором нод и моделей)
Еще завтра планирую стрим по Flux и Glif, подробнее тут.
@monkeyinlaw
Для flux начали появляться первые робкие контролнеты!
Hf
Tweet
@derplearning
День за днём новости все жарче!
Kling раскатили на весь мир. Регистрация просто по почте. Ожидаются кратковременные лежащие сервера. Хотя интересно как китайцы подготовились к наплыву.
Бегом тестить на klingai.com
@ai_newz
Подборка интересных новостей за неделю
🐈⬛ LIVE PORTRAIT
Позволяет перенести эмоции и липсинг с видео на вашу портретную генерацию. Делает это очень хорошо и ОЧЕНЬ БЫСТРО.
Пост о нем ранее, а вот тут вышел качественный стрим/обучалка про то как его использовать. Очень хорошо дополняет видеогенерации из AnimateDiff, Kling, Luma, RunwayML.
Примеры использования:
LivePortrait+Custom codes
LivePortrait Test in ComfyUI with GTX 1060 6GB
Vid2Vid test
AnimateDiff and LivePortrait Аниматоры точно оценят!
🔄 CONTROL NET all in ONE
Огромный зоопарк наконец-то качественных моделей в одном чекпоинте для CоntrolNet для SDXL + Tile Deblur, Tile Super Resolution, Image Inpainting, Image Outpainting, больше почитать можно тут.
Доступен в ComfyUI со стандартными нодами для ControlNET.
GITHUB
📕 COMFYUI
— Новые модели: Stable Audio, SD3 ControlNets, AuraFlow (новая текстово-графическая модель от fal.ai)
— Еженедельные версионированные релизы ComfyUI (первая версия v0.0.1)
— BetaUI с управлением рабочими процессами
— Более быстрое рассмотрение запросов на изменения (PR) и проблем (Issue) всей командой
BLOG
🧐 Анимация — AnimateDiff с маской для attention в ip-adapter + SDXL + motion Lora
IC Light для видео в ComfyUI
🔄 Сделано на базе ComfyUI-IC-Light и отлично работает с персонажами и лицами.
🐈⬛ Очень плохо работает с локациями и сложными объектами.
WORKFLOWS—YOUTUBE(инструкция на английском)
Отдельно конечно хочется сказать, что автор пайплайна сделал это в 20 кастомных нодах, которые с нуля накатывать прям боль:
Custom Nodes:Читать полностью…
1. https://github.com/daxcay/ComfyUI-JDCN.git
2. https://github.com/bronkula/comfyui-fitsize.git
3. https://github.com/kijai/ComfyUI-IC-Light.git
4. https://github.com/kijai/ComfyUI-KJNodes.git
5. https://github.com/mcmonkeyprojects/sd-dynamic-thresholding.git
6. https://github.com/cubiq/ComfyUI_essentials.git
7. https://github.com/giriss/comfy-image-saver.git
8. https://github.com/M1kep/ComfyLiterals.git
9. https://github.com/theUpsider/ComfyUI-Logic.git
10. https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite.git
11. https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved.git
12. https://github.com/Kosinkadink/ComfyUI-Advanced-ControlNet.git
13. https://github.com/shiimizu/ComfyUI_smZNodes.git
14. https://github.com/Suzie1/ComfyUI_Comfyroll_CustomNodes.git
15. https://github.com/Nourepide/ComfyUI-Allor.git
16. https://github.com/WASasquatch/was-node-suite-comfyui.git
17. https://github.com/Fannovel16/ComfyUI-Video-Matting.git
18. https://github.com/Fannovel16/comfyui_controlnet_aux.git
19. https://github.com/comfyanonymous/ComfyUI_experiments.git
20. https://github.com/ltdrdata/ComfyUI-Impact-Pack.git
Runway выкатили Gen3 для всех
Как постоянный пользователь уже успела протестировать новую модель. По мне так много удобного и долгожданного — к модели прилагается отличный и понятный справочник по терминам и свету.
10 секунд я генерировала примерно пару минут, но скорее всего сейчас очередь станет больше. Управляемость малая, никаких кистей пока нет, только промт. Важно: никаких оживлений тоже нет, пока все только генерация с нуля. Результаты можете оценить сами.
Что показалось классным кроме гайда — возможность киношных стилей и сохранение ассетов — наконец-то инструмент для киношников и творцов, а не штамповщик реалистичных стоковых кадров!
Пока работает только в вебверсии на сайте, нет в приложении.
Luma выпустила интерполяцию между кадрами
📕 Теперь в Luma Dream machine доступно добавление первого кадра и последнего, это позволяет лучше контролировать сцены и скрещивать миры, которые казалось бы никогда не могли находиться в одном пространстве.
🐈⬛ Вчера всю ночь игрался с вариантами, особенно хорошо зашло с новой нодой для ComfyUI от создателя IP Adapter, где можно контролить точечно атеншин, и мем с котом в ученого, как раз был создан через точечный перенос стиля с двух совершенно не похожих объектов (Мемный кот и старая фотка человека с видеоприемником похожего на VR шлем)
LUMA
P.S. У меня есть хорошие новости для всех кто помнит мои обучалки на ютьюбе, а так же кто скучал по моей творческой части канала. Анонсирую второй сезон обучающих роликов и стримов по ComfyUI/Blender и новинок нейронок
Поглядим на арену для text2img
https://imgsys.org/rankings - аналог LLM Arena только для картинок, и самое интересное, что с учетом всех провалов SD3 на 2B параметров(1, 2, 3) интересно посмотреть на её место в этом ранге. Особенно после истории с удалением всех моделей и даже возможности файнтюна на Civit.ai
Пока результат SD 3 2B, даже ниже PixArt-Σ (есть интересный пост о файнтюне PixArt-Σ).
А первые места в арене занимают три модели:
— RealVisXL V4.0 с 35 шагами инференса
— ColorfulXL-Lightning c 9 шагами инференса (С учетом скорости я бы выбирал эту модель, пример картинок на разные промпты)
— ColorfulXL с 34 шагами инференса
Кажется что от SD3 2B полностью отвергнуто комьюнити и ожидать контролнетов и лор даже не стоит.
Gen-3 Alpha от RunwayML
RunwayML анонсировали свою новую виденейронку —
Обученная совместно на видео и изображениях, Gen-3 Alpha будет поддерживать инструменты Runway для преобразования текста в видео, изображения в видео и текста в изображение, а также существующие режимы управления, такие как Motion Brush, Advanced Camera Controls, Director Mode и будущие инструменты для более точного контроля над структурой, стилем и движением.
Gen-3 Alpha будет выпущена с новым набором мер безопасности, включая нашу новую и улучшенную систему внутренней визуальной модерации и стандарты происхождения C2PA.
(Motion Brush, Advanced Camera Controls, Director Mode)Забочусь о вашей памяти на телефоне, сжимаю как шакал.Читать полностью…
🔥Веса SD-3 Medium уже доступны!
Как и обещали, Stability релизнули Stable Diffusion 3 Medium с двумя миллиардами параметров. Она бесплатна для некоммерческого пользования. За коммерческое использование придётся платить: $20 в месяц для индивидуальных пользователей и небольших бизнесов, для бизнесов побольше - энтерпрайз лицензия.
Поддержка модели уже есть в ComfyUI, для автоматика придётся подождать.
Судя по публичным заявлениям сотрудников Stability, 8B модель ещё тренируется. Но непонятно почему не релизнули 800m "Small" версии.
Блогпост
Веса
@ai_newz
Вышло интересное видео и одновременно призыв к R&D от создателя IPAdapter, в нем он показывает про влияние картинки на слои UNET, и затем тестирует влияние текста на слои UNET.
Все это нужно для улучшения контроля над изображением, в видео показано как получить качественней картинку или разнообразней вариант.
Сейчас он предлагает помочь ему с нахождением зависимостей слоев с объектами, цветами и остальным. Что в будущем поможет создать новую ноду для более эффективного и целеноправленного промптинга.
CUSTOM_COMFYUI_NODE(для тестов)—VIDEO
Это ресерч для SDXL, к которому кстати недавно вышли новые качественно обученные ControlNET. В предыдущих версиях были глобальные проблемы с моделями из-за иной архитектуры SDXL в отличие от SD1.5.
P.S.
Про выход китайского аналога SORA — KLING
* для генерации нужен китайский номер или друг из Китая
* похоже на 5-секундное контекстное окно, которое можно склеить, но по превью похоже сцену так легко не сменить, ее можно лишь слегка изменить с новым стилем.
* промптинг на китайском, каааайф
* не опенсорс В общем пока не потестируем, говорить много не будем.
OpenAI начали тренировать свою следующую по уровню модель – GPT5 они пока ее не называют, но официально подтвердили что тренят:
OpenAI has recently begun training its next frontier model and we anticipate the resulting systems to bring us to the next level of capabilities on our path to AGI
Переносим ComfyUI в телеграм бота
Ожидая трансляцию OpenAI с апдейтами, хочется рассказать про еще рандомные тесты im-a-good-gpt2-chatbot:
Благодаря im-a-good-gpt2-chatbot понял как запихнуть ComfyUI, Gradio или Automatic внутрь бота, и работать прям из Телеграм с телефона.
🐈⬛ Из плохих вещей:
— Вам все еще нужно запустить GPU сервер в colab, runpod, вашего компа с доступом в инет
— Дизайн чуть адаптирован под телефон, но бывают трудности
🐈⬛ Из неожиданных плюсов:
— Теперь можно генерить в любимых UI для нейронок через тг и телефон со всеми своими лорами и чекпоинтами, которые вы собирали годами
— Можно шарить ссылку друзьям и вместе генерить, генерации автоматически попадают в очередь, или вы хотите сразу 5 разных пайпланов тестить с разных устройств.
Конечно я понимаю, что идеально переписывать все под формат телеграмма, чтобы это был готовый продукт. Но если вам нужно дешево и сердито, то вот ссылка на Colab. Нужно только заменить API ключ бота ТГ и подставить ссылку публичную, которую выдаст ComfyUI, Automatic или Gradio.
☺️ Мне почему-то возможность менять ноды в ComfyUI сидя в лесу невероятно нравится. Еще немного лет и может с новым gpt адаптирую Блендер под Тг бота.
Вышел Steerable Motion 1.4
Steerable Motion - это продвинутая интерполяцию между вашими входными картинками.
Теперь более управляемый, детальный и плавный!
🥳 Если вы любили интерполяцию с GAN архитектурой, то теперь эти перетекания доступны с вашими входными картинками в том порядке, в котором вы сами хотите. Да ещё и в качестве от HD до 4K в зависимости от мощности GPU.
💎 Так же поддерживает неограниченное количество картинок на вход для интерполяции. При этом при 100 картинках максимум будет использоваться 12.5 GB видеопамяти.
Инструмент создаётся усилиями opensource коммьюнити AnimateDiff и Banodoco.
🔤Тут прям вайбы Vqgan+clip коммьюнити и Deforum🔤
Доступен в ComfyUI
И в opensource инструменте для AI анимации Dough
RunwayML Gen-3 Alpha Turbo
Gen-3 Alpha Turbo — Image2Video может генерировать видео в 7 раз быстрее и за половину цены оригинального Gen-3 Alpha. Теперь доступно и без подписки, для новых пользователей около 300 секунд генераций бесплатно. И я наконец-то могу попробовать вживую, мои карты заблочил Runway🐈⬛
📕 Сравнил с Клинг на варианте с котами, которые моют посуду и по итогу в Gen-3 Alpha Turbo котов трясло и постоянно они протекают. А в Клинг (пример в комментах) спокойно намывают с простым промптом: Cat wash dishes Если кто-то поможет сравнить с Runway Gen-3 обычной с простым промптом, то прикрепил картинки в комментах.
☺️ Как же хочется такую локальную модельку в ComfyUI с возможностью управления видео как в AnimateDiff.
Док про промпты для runwayml.
FLUX1[dev] полезные ссылки
📕 FLUX очень быстро развивается, а информация про него выходит практически каждый час, я решил собрать все полезные ссылки в одном посте, чтобы вам было легче начать делать что-то безумное.
🔄 Требования к VRAM снизились с 24 до 12 ГБ относительно быстро, и теперь, с поддержкой bitsandbytes и NF4, можно генерить на 8 ГБ и, возможно, 6 ГБ с 3,5-4-кратным увеличением скорости вывода.
🐈⬛ Начнем с приятных гридов с разными настройками и сравнениями:
— Сравнение сэмплеров и шедулеров
— Минимальное количество шагов для каждого семплера
— Сравнение с другими моделями
— Guidance тест
❤️ Основные части FLUX:
— Попробовать бесплатно погенерить FLUX PRO (20 картинок) | FLUX Dev | FLUX Dev ControlNET Canny
— FLUX.dev checkpoint
— Как обучать Лору для FLUX на 24GB
— FLUX.dev nf4, который позволяет генерировать на картах 12GB + (Пока правда не понял как прикрепить уже готовые Лоры к нему)
— Коллекция Лор, для ComfyUI берем comfy_converted
— Коллекция Лор от коммьюнити
— Canny ControlNET
— Генератор промптов + image caption на HF
— Генератор промптов на основе ChatGPT
😮 JSON воркфлой для ComfyUI:
— Базовый
— Пак продвинутых
— Мой адаптированный воркфлоу будет в комментах + экстра
🔥 Интересные посты о тонкой настройки для супер качества:
— Невероятного качества воркфлоу, только даже при A100 40GB генерит 8 минут на картинку 1024x1024px
🔄 FLUX существует меньше месяца, а уже невероятно развивается во всех направлениях, ожидаем пак ControlNetов, IPAdapter и поддержку видео моделей.
📕 FLUX.1 от Black Forest Labs VS Midjourney V6.1
🔄 Новая опенсоурс модель FLUX сейчас ярко обсуждается в коммьюнити text2img, модель отлично генерит текст, руки, а так же показывает хорошие результаты со сложными йога позами, например.
— В доступе 3 варианта, PRO по API, DEV, Schnell (1-4 шага для генерации)
— Есть уже сравнения и с SD3 и с SDXL, модель очень хорошо понимает текст.
🍎 Так же модель уже доступна в ComfyUI, обязательно обновите ComfyUI перед запуском. Небольшой туториал как поставить.
🐈⬛ Минусы — модель без коммерческой лицензии и требует от 16GB+ видеопамяти
🔄 Я же решил сравнить его с недавно вышедшим Midjourney v6.1, который хуже слушается текста, платный и закрытый, но дает меньше артефактов нейронок (пережаренность картинки, небольшой мультяшность кожи, сильных контраст деталей).
📕 В превью перемешены MJ v6.1 генерации и FLUX.1. Сможете определить что есть что?
Kling генерации
⭐️ Приятное видео воссоединения одного и того же человека в молодости и в старости.
🧠 Все это сделано в Kling видеонейронке. Предварительно сшив две фотографии из разного возраста звезд в одну картинку и похоже подав с промптом на обнимание. 🐈⬛Доступ к видеонейронке только с валидным китайским номером.
☺️ Хотя с таким же подходом можно подать видео в Dream machine
Arata Fukoe и его невероятный клип через нейронки
🍎 Автор работы уже делал невероятные вещи через Gaussian Splatting и множество гопро камер, а теперь показывает мастерство клипмейкинга через нейронки.
Музыка: ChatGPT, Sunoai
Видео: DreamMachine, Gen-3, Kling
Картинки: MJ, SD
Монтаж: Photoshop, After Effects
📕 Это если мы говорим о полных нейронных видео, но можем посмотреть на классические работы с небольшими вставками нейронок:
Видеоклипная работа Ramzoid (Это один из любимчиков Славы Мэрлоу, а так же мой любимый артист) в этом клипе часто используется generative Fill от Adobe, когда края картинки дорисовываются, а центр остается оригинальным видео.
И так же есть момент с DreamMachine, сцена в прачечной, когда мы берем последний кадр из видео и подаем в видеонейронку для артового продолжения кадра.
Успех и мемность видеомоделей, а так же некоторые старые приемы, которые мы видели уже 2 года назад, становятся вновь актуальными как части видеоэффектов для клипов.
ComfyUI LivePortrait
🔥 Отличная нода для ComfyUI по переносу эмоций и мимики. Сделал тест на самом сложном примере входного видео.
📕 Лучше добавлять крупного портрета картинки, а затем вшивать в генерацию. Но с коробки в некоторых вариантах работает даже очень хорошо.
👀 Весь процесс работает на insightface моделях (которое запрещает коммерческое использование)🐈⬛ и на базе Reactor ноды
COMFYUI—WORKFLOW(JSON)
SORA не нужна 😅
Главная проблема визуальных моделей — это проблема контроля. Сделать красиво легко, а сделать как надо — это квест. С картинками проблему можно считать решённой (Controlnet, Dreambooth, IPAdapter и другие решения умельцев). С видео — пока всё только начинается.
Новая возможность #Luma — загружать не только начальный кадр, но и конечный, что позволяет делать генеративную интерполяцию (переход) между ними. Это кажется маленькой фишкой, но на самом деле это большой шаг к контролю, который, думаю, станет стандартом для многих (#Gen3 и прочих Клингов).
Если вы умеете в консистентную визуализацию и в целом круто управляете картиночными моделями, то перед вами открывается целое поле видео возможностей и СТОРИТЕЛЛИНГА. Я придумал уже с десяток способов интеграции в пайплайны с другими инструментами, и это даже при том, что пока генерации в Luma довольно сомнительного качества (пока что).
В приложении технический тест, где я использовал четыре кадра своего персонажа для презентаций, созданного в Dalle-3.
А вот-вот и Gen-3 выйдет, во многом не уступающий Соре по качеству. Так что последняя окажется в очень конкурентном поле.
What a time to be alive 🔥 (снова).
Comfyui становятся организацией
🔄 Их шуточные планы:
1. Улучшение API (я кстати ковыряюсь с api comfyui уже 2 недели, и мне это нравится)
2. Составление стандартов для Custom Node
3. ???
4. Comfy становится одним из основных блоков GEN AI экосистемы.
📕 Адекватные планы:
Comfy будет использовать передовые модели и быстрее решать проблемы на Github. Мы также улучшим пользовательский и разработческий опыт для авторов пользовательских узлов. Планируем делиться улучшениями на Github в разделе "Projects" и обсуждать их на наших серверах Discord и Matrix. Следите за обновлениями в нашем Twitter, Discord или на серверах Matrix.
Лол, оказывается, SD3 - Medium была ошибкой.
Чувак, который разработал Comfy UI, работал в Stability и недавно уволился оттуда, рассказав интересную инфу про SD3.
Сам мистер Комфи работал над 4B версией, но поделился инфой.
Вот что теперь стало известно:
- Нет никаких censor layers. Из датасета просто реально вырезали все нюдсы, и в довесок разрабы что-то там подшаманили с весами (про последнее нет особо подробностей).
- "Safety training" — так теперь называется кастрация датасета, которая факапит анатомию людей и не дает генерить NSFW.
- Более того, уже в самом начале разрабы напортачили с претрейном. Так что 2B вообще не собирались релизить.
- Причиной релиза стало "давление сверху". То есть, в целом мы могли бы получить 4B или 8B вместо всратой 2B Medium модели.
- Пока подтверждения о том, что выложат VAE, нет.
- Сам Комфи просто хотел сделать лучшую модельку для домашних ГПУ, но в Stability в последнее время штормит.
В итоге мы имеем мертворожденный релиз, который был просто одним из первоначальных экспериментом ресерчеров (которые уже уволились), выложенный просто чтобы успокоить кого? Инвесторов? Очевидно, что Stability, проходят через свои нелучшие времена, но я искренне надеюсь, что компания не развалится через год и продолжит радовать нас open source модельками. Хотя у меня большие сомнения по этому поводу, ведь весь ресерч костяк (мои бывшие коллеги по PhD в Хайдельберге) уже уволился.
Тред
@ai_newz
txt2video стал еще доступнее, Luma Labs выкатили свой и дают создать 30 видео в месяц бесплатно. Качество на уровне SORA
Положить сервис можно тут:
https://lumalabs.ai/dream-machine/creations
Внимание! Если вы использовали ноду ComfyUI_LLMVISION от u/AppleBotzz, вас взломали
Попался на реддите пост и дальше решил вам перевести его, возможно кто-то устанавливал эту ноду, перевод:
Если вы установили и использовали этот узел, ваши пароли браузера, данные кредитных карт и история просмотров были отправлены на сервер Discord через вебхук. Лично я пострадал от этого. Примерно через неделю после установки я получил кучу уведомлений о подозрительных входах в различные сервисы. Вот как это проверить:
Как проверить:
1. В custom node указаны кастомные библиотеки для OpenAI и Anthropic в requirements.txt. Внутри этих библиотек находится вредоносный код. Скачайте библиотеки и разархивируйте, чтобы увидеть содержимое.
2. Если у вас установлена библиотека с версией 1.16.2:
- На самом деле устанавливается версия 1.16.3, которая не существует.
- Внутри пакета находится файл /lib/browser/admin.py, который читает данные вашего браузера и сохраняет их в директорию temp.
- В файле содержится зашифрованная строка, указывающая на вебхук Discord: https://discord.com/api/webhooks/1226397926067273850/8DRvc59pUs0E0SuVGJXJUJSwD_iEjQUhq-G1iFoe6DjDv6Y3WiQJMQONetAokJD2nwym.
3. Если у вас установлена версия 1.30.2:
- Внутри находится файл openai/_OAI.py с двумя зашифрованными строками, указывающими на вебхуки Discord и вредоносный файл VISION-D.exe.
Как узнать, были ли вы взломаны:
1. Проверьте C:\Users\YourUser\AppData\Local\Temp. Ищите каталоги с форматом pre_XXXX_suf. Если там есть C.txt и F.txt, ваши данные были скомпрометированы.
2. Проверьте python_embedded\site-packages на наличие следующих пакетов:
- openai-1.16.3.dist-info
- anthropic-0.21.4.dist-info
- openai-1.30.2.dist-info
- anthropic-0.26.1.dist-info
3. Проверьте реестр Windows под HKEY_CURRENT_USER\Software\OpenAICLI. Если там есть FunctionRun со значением 1, ваши данные скомпрометированы.
Как очистить систему:
1. Удалите указанные выше пакеты.
2. Найдите и удалите следующие файлы:
- lib/browser/admin.py
- Cadmino.py
- Fadmino.py
- VISION-D.exe
3. Проверьте реестр Windows и удалите упомянутый ключ.
4. Запустите антивирусную проверку.
5. Измените все свои пароли.
6. Человек, сделавший это, поступил преднамеренно.
А вот год назад у меня просто украли физически карту, от такие атак я незащищен, пока клонов не наделал своих.
Читать полностью…
🪩 Диффузионки позволяют ремастерить игры при помощи текстовых промптов.
Nvidia показала пайплайн ремастеринга текстур в популярном графично-нодовом интерфейсе ComfyAI.
Теперь можно не только апскейлить текстуры с определением свойств материалов для трассировки лучей, но и контролировать стиль при помощи промптов. RTX Remix — инструмент для ремастеринга классических игр с использованием технологий трассировки лучей и DLSS 3.5. И интеграция RTX Remix Toolkit с ComfyUI выглядит обещающей, позволяя модерам задавать стиль текстур с помощью текстовых промптов. Это ускоряет процесс моддинга и упрощает создание качественных текстур.
Теперь маленькие команды модеров могут быстро создавать текстуры высокого разрешения с физически корректными свойствами, освобождая время для доработки ключевых элементов.
А пока ждем обещанный Half-Life 2 RTX. Ну и я лично мечтал бы увидеть Half-Life Alyx с RTX в VR.
🍎 Очень качественная работа с использованием AnimateDiff и ControlNet, IPAdapter и After Effects для масок.
IPAdapter в сочетание с несколькими ControlNet отлично переносит текстуру с объекта на руку.
COMFYUI pipeline от авторов
🎥 Авторы: @aleksejlotkov & @thesibilev
im-a-good-gpt2-chatbot появился в сравнительной части chat.lmsys.org
chat.lmsys.org — сейчас арена для теста лучших LLM, и арт вроде должен быть далеко от этого. Но я недавно узнал у Сиолошной про im-a-good-gpt2-chatbot, говорят это проделки OpenAI.
В общем я решил использовать старые промпты для P5JS (Помните был такой Генарт? Когда с помощью кода создают красоту)
И im-a-good-gpt2-chatbot показал невероятное понимание как создать, анимировать и даже визуализировать объекты. В моем случае я попросил создать симуляцию столкновения двух нейтронных звезд и примерно рассчитать масштаб черной дыры и визуально показать ее. Очень хорошо видеть в сравнение со второй рандомной(Qwen и gemini-1.5-pro-api-0409-preview) моделью, как im-a-good-gpt2-chatbot превосходит другие модели и выдает рабочий, сложный код.
Пока я прошу перевести код в Blender API(что он тоже прекрасно делает) поглядите на симуляцию столкновения двух нейтронных звезд одинакового размера.
А Денис успел раньше игру запилить.
P.S. Модель хорошо сгенерировала svg вариант текстового сторис для инсты и даже запилила полноценный код с использования controlnet и кастомных моделей в diffusers. Это очень мощно.
Improving microbial phylogeny with citizen science within a mass-market video game
Наконец-то, статья, переплюнувшая статью Google Gemini по количеству контрибьюторов 😅
Если кратко - учёные, исследовавшие днк кишечной микрофлоры, запартнерились с gearbox и встроили в borderlands мини-игру, в которой игроки чинили реальные последовательности ДНК.
В итоге в мини-игру поиграло более 4 млн человек, решив 135 миллионов задач. Несложно прикинуть, сколько бы стоила обработка такого объема данных наемными людьми.
Вот это я понимаю краудсорсинг.
Пейпер