Быстрые 3D композиции локально для ComfyUI

Это просто находка для тех, кто работает с ComfyUI и хочет быстро создавать 3D-композиции. A3D позволяет легко:

— Задавать позы простым болванками.
— Выбирать идеальные ракурсы камеры и строить сцены.
— Импортировать любые 3D-модели — от Mixamo до результатов Hunyuan3D 2.5.
— А самое крутое — вы можете моментально отправить цветное изображение или карту глубины из A3D в ComfyUI и использовать их в своих любимых workflow! ✨

🔗 Оценить разработку n0neye можно по ссылке: LINK — причем это опенсоурс

Как пишет сам автор, A3D задуман как быстрый и легкий способ создавать сцены без погружения в сложные 3D-редакторы. Некоторые фишки вроде 3D-генерации пока зависят от Fal.ai, но n0neye планирует добавить локальные альтернативы в будущем.

Мне нравится,что проект опенсоурсный и автор ищет сейчас умельцев для продолжения интеграции A3D в ComfyUI и планирует прикрепить к нему локальную генерацию через Hunyuan3D.

Мне понравилась идея, так как иногда Blender слишком сложный для новичков, а этот проект выглядит простым в использовании.

📕 Минусы:
— Пока только для Windows пользователей

GITHUB—AUTHOR

Читать полностью…

Наконец-то дошли руки протестить Hunyuan 2.5.

И вот что я хочу сказать! Сейчас это лучший 3D-генератор на рынке, а учитывая его 20 бесплатных генераций в день, это можно считать вообще лучшим бесплатным генератором!

Точность геометрии выросла в разы, особенно если мы говорим про не очень комплексные объекты. С моей палаткой пока не справляется. Но если у вас стилизация и простые формы, то это практически закроет потребности в генерации. Я всё ещё жду с нетерпением сегментацию, которую уже показали, и примерно через 3–5 месяцев она будет по умолчанию уже и в Хуньяне, и в Трипо.

Пока Трипо ушёл на второе место со своими 600 кредитами в месяц (~5 генераций) против Хуньяня с 20 генерациями в день!!

Пробовать тут, регайтесь по почте.

@CGIT_Vines

Читать полностью…

У ваших детей мало травмирующих воспоминаний? Самое время добавить ещё парочку, оживив их рисунки 😅

Читать полностью…

Как многие вчера догадались — да, мы тестировали новый Kling 2.0 💥, который я гоняю уже где-то неделю в рамках партнёрской программы.

Что могу сказать? Он очень хорош: понимание промта, количество движения, последовательность — отлично.

😑 Первое видео — тест img-to-video из случайных кадров (включая ваши генерации и, конечно же, Уилла Смита с пастой).

😳 Второе, более интересное — новый режим Multi-Elements (на версии 1.6), который подрезали у Pika, но сделали гораздо лучше. Загружаете видео, референс, пишете что-то вроде "замени/удали/добавь [объект] из футажа 1 на [объект 2]" — и готово.

В целом, что нового:

1. Модель KLING 2.0 с улучшенными базовыми возможностями
Пока что только базовые режимы Text to Video и Image to Video, 720p, без дополнительных контролов (но, возможно, скоро подъедет другая версия 2.0).

2. Multi-Elements (v1.6)
Добавление, замена, удаление объектов в видеосцене — удобно, гибко, быстро.

3. Motion Control (v1.6)
Кастомная анимация персонажей на изображении по промту или референсу.

4. KOLORS 2.0 — обновлённая генерация изображений
Большие улучшения по сравнению с версией 1.5 — по качеству, цвету, деталям.

5. Restyle (KOLORS 2.0)
Смена стилистики изображения — работает чисто и разнообразно.

6. Редактирование изображений
Новые функции Inpaint и Expand для креативного редактирования.

Читать полностью…

Рефактор канала #1
Это полностью административный пост, он больше про личный опыт и личные вещи.

📕 Философия Канала: Зачем этот канал был создан?

— Документировать: Делиться интересными, на мой взгляд, новостями, технологиями и вещами. В открытом виде, то есть лично-публичная библиотека идей и постов.

— Творить и Тестировать: Погружаться в творческие процессы, пробовать новое, создавать дизайны и продукты. Канал — это моя открытая мастерская и лаборатория. Не удивляйтесь странным постам или моим запискам самому себе в будущее.

— Делиться Процессом: Рассказывать не только о результатах, но и о пути к ним, включая исследования, ошибки и находки.

🍕 Сейчас у меня в активной фазе два проекта, в которых я во всю использую Gemini Deep Search (Недавно стал доступен 2.5 PRO):

— Бетонные вазы: Продолжаю эксперименты с пропорциями и материалами внутри смеси.
— Переработанная бумага из чеков: Этот проект оказался с подвохом! И кажется в 2020 году, когда я его начинал я чуть-чуть подпортил свое здоровье по незнанию.

📕 Чеки: Неожиданная Токсичность и Глубокий Ресерч 🧾

— Проблема: Оказалось, что привычные нам термо-чеки (те, что печатают без чернил, за счет нагрева бумаги) довольно токсичны. Они содержат бисфенол А (BPA) или его аналоги (BPS), которые вредны не только при печати, но и при контакте с кожей. А при нагревании (например, если на них попадет горячая вода при попытке переработки) токсичность может возрастать. Это стало важным открытием, так как напрямую влияет на безопасность проекта по переработке.

— Процесс исследования: Чтобы разобраться, пришлось копнуть глубже. LINK
• Использовал Gemini Deep Search для поиска и анализа информации.
• Собирал все находки в Google Docs – это очень удобно, так как все ссылки под рукой, можно быстро перепроверить источники.
• Изучал не только текстовые статьи, но и YouTube-каналы. Визуальная информация часто дополняет текст, показывая нюансы, которые легко упустить.

— Результат (пока промежуточный): Узнал, что, например, чеки из Lidl (по их заявлениям и маркировке FSC) не должны содержать фенолы. Конечно, это при условии, что мы доверяем информации от производителя и сертификации. Но это уже дает больше спокойствия и направление для дальнейшей работы. Подробное исследование тут: LINK

💬 Комментарии и Новые Формы Общения
Вы могли заметить, что комментарии под постами теперь закрыты. Почему?

— Фокус: Хочется сделать общение более сфокусированным и продуктивным.
— Спам: Это намного дешевле, чем использовать ботов, которые не всегда могут поймать спам.
— Знакомства: Вам будет легче найти людей по интересам.
— Новые форматы: Вместо открытых комментариев я ввожу:
• Творческий закрытый чат: Пространство для более тесного общения, совместного творчества, обмена идеями и демонстрации процессов тем, кому это действительно интересно.
• Основной чат на стрим-канале остается открытым для всех.


☺️ Хотите присоединиться к творческому чату? Я сделал для этого лютую форму, что остановит многих, но останутся лишь действительно заинтересованные: LINK

В следующем посте про рефактор канале, дата выхода пока неизвестна, я расскажу про монетизацию канала(АРТ-товар в Нови-Саде за донат) и про планы по контенту

Читать полностью…

Wan + Mago

Для рестайла любимых клипов! Начинаем с небольших видео в качестве ресерча.

Оригинальный клип:
Mr Oizo - M Seq

Читать полностью…

Сегодня хороший стрим!

Что узнали:
— Gemini самый быстрый (6-8 секунд) на генерацию и самый всратый по стилизации. Бывает Policy банит генерации

— Grok, быстрый тоже, по контенту не сильно держит оригинальную картинку, но хорошо передает стиль. Policy не трогает генерации

— ChatGPT, самый медленный (в среднем 2 минуты на генерацию), лучше всего переносит стиль и контент картинки, но постоянно падает, то из-за ошибок, то из-за Content Policy. Самый не стабильный с точки зрения инфраструктуры. Еще и путает соотношение сторон часто, в сравнение с другими моделями, у которых такой проблемы нет.


— По видео через кадры. Пока печаль...

Стиль:

Convert image to Monkey D. Luffy style.

Спасибо всем! Может завтра успею нарезать это все и закинуть лучшие моменты сюда!
Запись стрима: https://www.twitch.tv/videos/2418252869

Читать полностью…

Я трогаю траву, потому так мало постов на канале.

Сегодня личный контент:
— Делал большой рефактор питания, бюджетов, не без помощи ChatGPT.
— Собрал 5-6 стабильных рецептов для готовки себе. Тоже ChatGPT + весы кухонные для идеальных граммовки и тесты, тесты, тесты. Но просить LLM не говорить щепотку соли, это конечно проблема. У всех пальцы разные, почему просто нельзя в граммах написать?

— Вернулся в акробатику. Тут ChatGPT конечно не помог, хорошо есть свой опыт и куча каналов с обучением на ютьюбе.
— Сделал по 20 минут в день(при хорошей погоде) тренировок на скейте.
— Сформировал себе зарядки и планы тренировок на день. Что в целом за месяц дало невероятные результаты, как похудения, так и формы.
— Делаю рефактор этого канала, канала для стримов, ютьюб канала и патреона.
— На неделе напишу про то, как стал делать бетонные вазы, как подбирал цемент, пропорции, узнал много нового.

В общем мне иногда нужно побыть человеком, который любит жизнь и учится новым навыкам. А нейронные модели чуть попозже.

Читать полностью…

Вчера прочитал, что мульт Flow собрал $36 миллионов при затраченных $3.7!
В популярности, конечно же, сыграл аспект того, что мульт получил Оскара.

Но важно, что сама история и подача сработали за счет свежего подхода. При этом никто не говорил, что там крутые спецэффекты, графика, рендер или что-то подобное. Ребята сами признавались, что в Blender и создании мультов были новичками.

Все это дает новое дыхание независимой анимации. И тут мы разобрались, что инструменты не так уж и важны для успеха. Поэтому ИИ с его ускорением процесса производства — не помеха, но и не буст, но точно причина понижения порога входа. История и возможность экспериментировать — вот что будет решать.

Большинству в целом было без разницы, что анимация во Flow была странной, мягко говоря, или что шерсть выглядела неестественно, ну и много чего еще. Поэтому какие-то косяки AI, если правильно обернуть их в стиль и держать под надзором хорошего арт-директора, вообще не будут восприниматься как недостаток.

Так что будем ждать смелых и дерзких!

Читать полностью…

Дальнобойщики, но это аниме опенинг.

Ёкарный пайплайн: Midjourney + Claude + Flux + Photoshop + Luma Ray 2 + Suno + Сapcut.

Трек: кавер на Високосный год - Тихий огонёк.

Спасибо всем кто репостит и упоминает, мотивирует продолжать!

Версия для ютуба.

Читать полностью…

Поле Чудес, но это аниме опенинг ✨

Продолжаю экспериментировать с Luma Ray 2.

Пайплайн: Midjourney + Flux + Luma Ray 2 + Suno.

Версия для ютуба, если кому нужно.

Читать полностью…

Чуть потестил Wan2 с большим контекстным окном

📕 Плюсы:
— Можно генерить столько кадров, сколько хочется

🐈‍⬛ Минусы:
— На сложных сценах видны склейки между переходами в контекстном окне
— Не добавить Лору, как можно в оригинальных пайплайнах WAN от ComfyUI

☺️ Держите котят-поваров, которые пекут в разных локациях булочки и тортики.

Разные пайплайны от Kijai по Wan: LINK

📕 В общем жду ControlNet под Wan и возможность использовать картинку как style reference при vid2vid и забираю WAN как основную модель для всех своих видео арт проектов.

Читать полностью…

Flow о котором я делал репост ранее — вчера выиграл Оскар, как лучший анимационный фильм.

🐱 Что самое интересное, весь фильм был сделан в рендер движке Eevee
С Eevee знаком каждый, кто начинал создавать что-то в Blender, его скорость всегда меня радовала, особенно когда у вас небольшой объем памяти на GPU или CPU.

📕 Для тех кто хочет углубиться — вот здесь огромная лекция на конфе по Blender о создании фильма
Еще понравился вот такой комментарий:

Что?? Всего 20 аниматоров сделали весь фильм всего за 6 месяцев? Половина из них не знала Blender заранее, а другая половина были джунами? Это ДЕЙСТВИТЕЛЬНО впечатляет!

☺️ Это наверное первый полный анимационный фильм, который был сделан в Blender и забрал номинацию Оскара. Мне особенно это приятно, когда инструмент признается как профессиональный.
Сейчас часто делаю болванки vid2vid для видео моделей через Blender.

Читать полностью…

Вот неплохое сравнение Wan 14b и платных аналогов ImageToVideo

Правда без промптов и дополнительной инфы

Link

Читать полностью…

Опенсоурсный Wan вышел и я в наглую потырил примеры видео из разных мест

Не зря недавно промпт бенчмарки сделал для Veo2, сравню скоро по тем же промптам.

📕 Kijai уже запилил ноды для ComfyUI

Читать полностью…

🐈‍⬛ Спасибо за отклик! Голосование завершил

* На базе опроса, я понял вектор дальнейшего развития. И мне кажется важно задавать вам такие вопросы раз в две недели, чтобы понять вектор развития и на основе этого мне будет проще создавать контент.

📕 Приоритет постов на основе голосования:

— ComfyUI (~51% голосов на 25.04.2025)
— Ускорение классических пайплайнов с помощью моделей (~41% голосов на 25.04.2025)
— Как новичкам начать первые шаги в AI (~37% голосов на 25.04.2025)
— Критический контент и бенчи (Буду стараться брать самые хайп темы и разбирать их, точно ли хайп или есть подводные камни или даже булыжники) (~34% голосов на 25.04.2025)
— Творческих и личный контент (~23% голосов на 25.04.2025)
— Мемы (~16% голосов на 25.04.2025)

Потому встречайте!
* Урок по ComfyUI для свежей модели VACE, которая содержит внутри уже огромное количество контроля. В уроке я протестил только Depth, OpenPose и Canny.

И еще важная информация:
— Урок был записан еще в воскресенье (20.04.2025)
— Монтаж завершен только вчера. Запись заняла 1.5 часов, монтаж 4 часа (с учетом что у меня есть основная работа и много бытовых задач и проектов, я могу уделять всего 20-30 минут в день на монтаж)

💰 Потому решение:
— Теперь ipynb будут в платном patreon, при подписке в 5$ в месяц. Все эти средства пойдут только в улучшение стабильности выпусков, в будущем на монтажеров или сервисы автоматического монтажа.
— Бесплатные Json остаются + бесплатные patreon посты.

Формат еще может меняться, мы тестируем здесь и с вами. Я совершенно не хочу продавать рекламу на канале. Я считаю, что аудитория может напрямую спонсировать автора, без прослойки в виде назойливой рекламы и ненужного контента.

📕 А теперь ко всей информации:
Patreon пост бесплатный — LINK
Patreon пост платный — LINK

☺️ Где инференсить:
Runpod
Vast.AI

📕 Ютьюб ссылка — LINK

И напомню, если вы хотите в уютный чат с творческими людьми, заполните форму — LINK — и я вас добавлю, если все ок(добавляю обычно всех в один день). Там даже боты не нужны, когда пускаешь только проверенных людей.
При этом стрим чат доступен для всех — LINK

Читать полностью…

Оказывается вы тоже можете оживить такие работы

Спустя 5 минут OSINT, я узнал что картинки — переработки через фотошоп LINK

А вот анимация — это любая видео модель, которая поддерживает картинки на вход. Потому держите мое продолжения мема.

Оживил в Kling.ai 1.6

Читать полностью…

Пост для классического постпродакшена.
Ребята из KeenTools показали удобный хинт для трека камеры через GeoTracker и любой 3D генератор. Или как у них через ComfyUI/

Читать полностью…

Деревня дураков, но это аниме опенинг.

Самый сложный из этой серии. Миджорни был не в состоянии справиться со стилизацией уникального дизайна персонажей, поэтому для датасета (ну и для ряда кадров) использовал новый ChatGPT 4o. Плюс вагон фотошопа, море черрипикинга, работы по ключевым кадрам и прочих радостей.

Пайплайн: ChatGPT 4o + Flux + Photoshop + Luma Ray 2 / Kling 1.6 / Gen-4 + Suno + CapCut.

Версия для ютуба, если кому надо.

Читать полностью…

Вы когда-нибудь хотели стать лучшей версией себя?

Превращение в собачек и кошечек, это, конечно, здорово и все такое... Но это как-то плоско и попсово, не находите? Что если пойти дальше и представить как человек бы выглядел в виде... предмета ИКЕА? Или, может в виде... панельки?

Я разогнал разные нетипычные превращения и вот что получилось :) Промты закину в комментарии

ИКЕА:

Create a photorealistic IKEA-style product inspired by the appearance and personality of the person in the photo. The item can be any typical IKEA product — furniture, kitchenware, lighting, tools, or home accessories — but it should subtly reflect the person's most distinctive facial features, hairstyle, body shape, or personal aura through its shape, textures, colors, or design elements. The result should look like a real IKEA catalog photo: clean Scandinavian design, soft natural lighting, light background, and a product name in IKEA’s naming style. Make sure the object looks like it could be bought in a real IKEA store

ПЛАНЕТА:

Transform the human in the reference photo into a non-anthropomorphic planet in space. The result must show only a celestial planet — no human body parts, no face, no limbs, and absolutely no anthropomorphic shapes. However, the planet must fully preserve the pose, mood, emotional tone, personality, and energy of the original photo. Keep the lighting, composition, and vibe similar to the reference image. The planet should be a symbolic, cosmic reflection of the person’s inner world — but entirely as a planet, floating in space

Читать полностью…

Если вам надоел псевдо Гибли стайл в ChatGPT

🐱 Держите WAN генерации обучены на настоящем Гибли Студио работах!

От автора в дискорд сообществе Banodoco — seruva19

📕 Лора + Огромная инструкция, как обучалось и как генерить! — LINK

Читать полностью…

OpenAI своим новым генератором сломали интернет. В Твиттере невозможно находиться, потому что каждый пост — это Ghibli версия чего-то (бедный Миядзаки). Но среди тонны кеков нашел этот трейлер Lord of the Rings. По словам автора сделан за 9 часов и 250$ кредитсов в Kling. Сами кадры трейлера, их 102 штук, разумеется, рестайл в новом ChatGPT.

Самое удивительное в этом — отсутствие привычных ограничений OpenAI (на стиль, персонажей). Есть у меня ощущение, что скоро лавочку прикроют, как это было в свое время с Dalle-3.

AGI = All Ghibli Images

Читать полностью…

Как правильно задавать технические вопросы (и почему это важно для общения с LLM)

Одновременно я столкнулся с двумя вещами в последний месяц: Странные вопросы и замечательные текст с этого сайта про умные вопросы.

Прежде чем задавать технический вопрос по почте, в группе, на форуме или мне в канале, стоит предпринять несколько важных шагов:

— Попробуйте найти ответ, изучив архивы форума или рассылки.

— Используйте поисковые системы (например, Google или Deep Search в разных моделях).

— Обратитесь к официальной документации.

— Проверьте раздел часто задаваемых вопросов (FAQ).

— Попробуйте решить проблему самостоятельно, путём анализа или экспериментов.

— Спросите совета у более опытных коллег или друзей.

— Изучи исходный код или ноды детально, перед вопросом.

Когда будете задавать вопрос, важно показать, что вы уже предприняли усилия для поиска ответа. Это сразу продемонстрирует уважение к чужому времени и покажет, что вы не «ленивая губка», пытающаяся просто вытянуть информацию. Ещё лучше указать, чему вы уже научились в процессе поиска.

Используйте конкретные приёмы поиска. Например, вставляйте точный текст ошибки в Google. Даже если это не приведёт вас сразу к решению, упоминание о том, что вы уже сделали поиск, поможет другим понять, какие методы не сработали, и направит людей с аналогичными проблемами к вашему обсуждению.

Не торопитесь. Сложные проблемы редко решаются за пару минут поиска. Подумайте внимательно, сформулируйте точный вопрос, подготовьтесь. Опытные пользователи сразу увидят, насколько глубоко вы изучили проблему и будут охотнее помогать.

Осторожно подходите к формулировке вопроса. Неправильно заданный вопрос, основанный на неверных предположениях, часто приводит к бесполезным или буквальным ответам, которые никак не помогают решить вашу реальную проблему.

Не думайте, что вам обязаны ответить. Помощь в открытых сообществах — это не платная услуга. Ответ нужно заслужить интересным, осмысленным и хорошо проработанным вопросом. Подчеркните готовность активно участвовать в процессе решения проблемы. «Подскажите, в каком направлении копать?» или «Чего не хватает в моём примере?» — такие вопросы намного чаще получают полезные ответы, чем просьбы типа «напишите мне точную последовательность шагов».

📕 Почему это важно для общения с LLM?

LLM (большие языковые модели) тоже работают лучше, когда запрос составлен чётко и продуманно. Чем яснее и подробнее сформулирован ваш вопрос, тем точнее будет ответ нейросети. Подход «сначала подумай, потом спроси» отлично подходит и для взаимодействия с искусственным интеллектом. Вы сэкономите время и получите более качественные и полезные ответы.

Правильно заданный вопрос — это уже половина решения проблемы. Не пренебрегайте этим шагом, и общение как с людьми, так и с LLM будет приносить гораздо больше пользы.

Читать полностью…

Обработка видео и 3D моделей в Runway

Тестировала пайплайн обработки 3D видео с помощью Runway. В обработку обычных футажей решила не лезть, с ним мне более-менее все ясно, да и думаю многие достоинства и недостатки обработки фигур будут такими же. Пайплайн с классным использованием Клода я пока не брала (спасибо каналу @CGIT_Vines), мне тридэшные футажи подготовил коллега.

Вообще я концентрируюсь на обработке видео и поэтому возможность управления с помощью 3D, созданных в LLM на будущее мне очень улыбается.

Кратко:
⁃ 3D видео вытащенное из Blender
⁃ Обработанный в Krea первый кадр из видео
⁃ Текстовый промпт, обработка первого кадра и настройки в Runway (там их немного)

Плюсы:
⚠️Жирный хрон, можно сделать одной кнопочкой больше 5 секунд
⚠️Мало кнопочек
💿Выглядит эстетично, никакого моргания
⚠️Работает быстро, много видео в очереди

Минусы:
🪩Мало кнопочек — мало управления
✨Малый контроль сюжета даже с обработанным кадром и промптом
🪩Для обработки нужен обработанный первый кадр, а не просто картинка, это занимает время
🪩Никаких фантастических приколов вне промпта — это вам не Deforum
📺Свойственны те же артефакты, что и нынешней версии Runway — мыло, появляющиеся и исчезающие предметы и люди

Итого: полезная штука, использовать и экспериментировать хочется. Перспективно полезно и в арте, и в рекламе, и в кино, но мне хочется больше спонтанности.

Читать полностью…

Andrew Price затестил текущие модели для генерации 3D. Тест не идеальный, так как некоторые игроки не представлены на тестах. Но, тем не менее, это дает представление о текущем положении дел.

Главное — помнить, что где-то использовались PRO-версии генераторов, которые, как я подозреваю, просто наваливают больше геометрии, и точность вырастает именно из-за этого. Стоит ли пользоваться или переживать — решать вам.

Читать полностью…

Офигенный workflow от аниматора Cuco

Это как раз идеальный пример, как художник может использовать AI для упрощения процессов не особо теряя в качестве.

-- Тут обучение Лоры на своих артах, особенно когда их мало.

-- Создание всего окружения в своём стиле + создание простых сцен. Я делал что-то похожее здесь.

-- Создание простых анимаций использую только линии и затем Lineart на своей Лоре чтобы сделать финальную картинку.

-- Далее AnimateDiff с Lineart ControlNet для сцен + Лора. И вот уже у нас офигенные слои, которые можно будем потом композить.

Автор: LINK

Читать полностью…

Контекстное окно для Wan подъехало

Теперь можно генерировать ролики любой длины, вот что пишет основатель Banodoco:

Kijai реализовал подход для сдвига контентного окна с Wan 14B, который показывает действительно хорошие результаты — если не обращать внимание на красную панду, пытающуюся оседлать маленького бегемота

🐱 Причем многие из этих наработок взяты из AnimateDiff, кажется Wan становится приемником AnimateDiff в опенсоурс буквально на глазах. Ждем ControlNetы и это будет новый расцвет видео опенсоурса над closed сообществом.

🐈‍⬛ Я уже сейчас не успеваю все потестить. Но обещаю адаптированные бенчи на следующей недели, в комменты покидаю небольшие результаты с Text2Video 14b модельки.

☺️ А еще и Лору очень хочется натренировать уже.

Читать полностью…

И чуть еще Wan 14b image2Video и СтопМоушн анимация

📕 Тут автор поделился некоторыми параметрами:

Я тестировал Wan2.1 14B 720p и пытался понять, в каких областях предыдущие модели с открытым исходным кодом для видео не справлялись, и мне пришла в голову техника покадровой анимации. Для инференса я использовал 30 шагов семплирования, CFG 6 и Flow Shift 5, чтобы получить эти результаты, и был крайне впечатлен! Думаю, что большое значение имеет тот факт, что частота кадров видео составляет 16, в отличие от Hunyuan, где она равна 24. С нетерпением жду возможности протестировать это дальше, и обязательно поделюсь еще более хорошими результатами.

LINK

🐈‍⬛ Ну чтож, жаль у меня на все выходные уже есть дела. Но нужно собрать интересный бенчмарк для теста Image To Video, то есть картинок + промптов.

Покидайте идеи сложные в комменты для бенча. Не просто портретных фоток девушек, которых завались в датасете, а именно сложные концепты.

Читать полностью…

Сделал небольшой бенчмарк по Wan опенсоурсному генератору.

В этот раз всего 3$ потратил на множество тестов.

📕 Взял уже знакомые промпты (полные промпты в комментариях):
1. Коллажная анимация в стиле Граффити
2. 3D рендер мистического существа с Оленем наездником в доспехах, на заднем плане много планет и звезд
3. Сцена в кафе, где один из героев проливает чашку кофе
4. Сцена, где персонаж делает двойное сальто на батутах

☺️ Все тесты делались на L40s:
— 720x480 ~10 минут на батч из 4 видео 81 кадр
— 1280x768 по ~12 минут на одно видео 81 кадр

🐈‍⬛ При 1280, сразу плывет вся сцена...

📕 Выводы
Конечно я потратил всего 3$ на тесты, но Wan, как и многий видео опенсоурс обучался на небольших видео, например, Wan максимально на 720px видео. Потому ждать супер качество не нужно. Но возможно его небольшой размер сыграет в плюс для дообучении. Hunyuan Video Model - в этом плане намного мощнее, хоть и потребует больше ресурсов на генерацию.

☕️ Ipynb для тестов на Runpod, и вся доп инфа здесь: LINK

Читать полностью…

Давайте попробуем мой небольшой bench сравнение с o3-mini-high и Claude 3.7(без подписки)

📕 Входные данные:
— У нас есть картинка из Instagram от IdFlood креатив кодера.
— Я хочу как можно быстрее и качественней воссоздать её имея небольшой опыт в p5js и python
— У меня есть всего 1 час для этой задачи. Включая ожидания кода, сравнение и рефактор.
— Для скорости проверки кода я взял python и colab для быстрых тестов.

☺️ Процесс:
— Промпт у нас один и тот же: картинка + небольшое описание.
— Обе модели генерировали код с минимальным количеством багов, при этом у Claude больше визуальной красоты, а у o3-mini-high больше приятной документации и описания параметров, которые я могу менять для улучшения визуала.
— Визуальный анализ результата и я подаю новый промпт для рефактора кода.

📕 Результат (Картинка 2 и Картинка 3):
— У меня было больше попыток в o3-mini-high (7 итераций), чем в 3.7 Sonnet (3 итерации). Потому финальный результат будет после завершения еще 4 итераций в 3.7 Sonnet. Ждите вторую часть
— o3-mini-high дает больше информации и идей, при этом 3.7 Sonnet сразу учитывает мое желание, чтобы результат был без plot информации, дает интереснее цветовую схему и геометрию.
— Обе модели проигнорировали сильное желание создать Flow effect(эффект потока) в линиях генерации. Для этого я скорее всего пойду к экспертам, чтобы понять какие два вида шума мне нужно скрестить, чтобы получить эффект реки.

🐱 Выводы:
— Обе модели не дали мне финальный результат, но улучшили мое понимание что мне нужно делать, например в Blender для того чтобы повторить эффект. (Какую именно логику использовать для написания геометрических нод с нуля, как использовать расстояние и шум для создания flow эффекта, как в оригинале, эффекта реки или потока)

— Стало понятнее, что новые модели все ближе собирают данные к нашему времени, поэтому мы получаем более актуальную информацию, больше актуального кода. Но беда таких моделях прекрасно показывает проблему людей, которые хотят использовать такие модели для ресерча находясь на краю науки. Пример с Плазма канала, где он пытался найти информацию для ресерча, а ChatGPT закинул ему его же ролик.

🐈‍⬛ Отдельный вывод:
Так уж случилось, что для меня самый сильный benchmark на супер интеллигентность модели это спросить написать скрипт по Python API по Геометрическим Нодам для 4.2 версии Blender. И пока все результаты всех доступных моделей постоянно с ошибками.

— Claude 3.7 так же плох с Python API по Геометрическим нодами. Так как в интернете очень мало информации по Python API для Геометрических нод, а официальная документация пока такого уровня, что мне сложно её понять. Как и любой модели. Я конечно могу сесть и расписать это все, разобраться, сделать юзерфрендли, запостить в инет, а потом это соберется как датка для новой модели и модель наконец-то разберется в сложной документации. (Или все же это оказался человек? Который разобрался и поделился?)

📕 Вся информация:
Делюсь чатами, к сожалению, OpenAI не дает делиться чатами с картинками в отличие от Claude, потому вот приятный вид claude 3.7 Sonnet:
LINK
И pastebin OpenAI o3-mini-high:
LINK

📕 Colab со всеми тестами:
— Вы можете легко перепроверить все результаты. Или подсказать мне как же улучшить этот код, чтобы получить более идеальный вариант под референс.
https://colab.research.google.com/drive/1jt3LQNwJmtE7cl6jlRPKohnpMyGNl1vH?usp=sharing

Похож результат в итоге хоть чуть на референс? И как вам бенчмарк такой?

Читать полностью…