CGIT_Vines

18 November 2024 17:54

MagicQuill 🪄 редактор с функцией инпэинта.
Набор из кистей позволяет добавлять, удалять и  перекрашивать отдельные части изображения.

Использовать можно через hugging face или поставить на свою машину локально. Быстро, удобно, бесплатно.

Hardware Requirements
GPU is required to run MagicQuill
Instant prompt guessing ("Draw&Guess") requires ~5GB VRAM
Image editing operations require ~15GB VRAM
@CGIT_Vines

CGIT_Vines

16 November 2024 08:45

Я не знаю каждого из вас, но есть одна вещь, в которой я уверен абсолютно: что среди вас не найдется ни одного человека, который не слышал бы о Half-Life.

Последние пару недель очень много отдельных новостей: то сделают бесплатной для скачивания весь набор, deathmatch, первый и второй эпизод, (забрать тут), то гейб делает отсылки к цифре 3 с бочками, то вот выпускают двухчасовой фильм об истории игры к 20 летней годовщине. И я, конечно, не хочу ничего сказать, но мыслишки знаете ли закрадываются.

Если вам тяжко с анг., запускайте через Яндекс браузер с неро переводом, и хорошего просмотра.

20th Anniversary

CGIT_Vines

14 November 2024 18:37

Nvidia Research расписали довольно интересную статью про проект Edify 3D.

Если коротко, то это генератор 3D-моделей на диффузии и трансформерах, но отличает его от подобных, Meshy и Tripo, в том, что Nvidia собрала довольно много подходов в одном инструменте, и, если они доведут его до релиза и будут поддерживать, это будет реально полезная продакшен-тулза. Но кажется, Nvidia не софтверная компания.

Как и конкуренты, Edify генерирует необходимые карты PBR, умеет создавать представления объектов с разных ракурсов, в дальнейшем используя их же для текстур, а отсутствующие части между ракурсами аппроксимирует. Тут важно сравнивать, как алгоритм работает с задними частями модели, потому что в imgTo3D это обычно является слабым местом. В textTo3D с этим должно быть проще.

Дальше про сетку. В презентации ретопология, по всей видимости, работает по схожим алгоритмам с Houdini и Zbrush, и справляется в целом неплохо для танцующих анимированных болванчиков, в продакшен такое не потащишь, к тому же для статик-мешей гораздо лучше использовать триангулированную сетку, особенно если это не хард-сёрфейс. Надеюсь, они сделают кнопку переключения this, quads.

Самое крутое — это создание сцен из набора ассетов, что-то подобное пробовал сделать Andrey Maximov с Promethean AI, но без генерации ассетов. Надеюсь, у Nvidia получится.

Проект
@cgit_vines

CGIT_Vines

04 November 2024 13:41

Decart в демку Oasis добавил возможность создавать представления на основе вашей входящей картинки.

Ожидаемо, такой мир довольно быстро начинает деградировать и разваливаться. В следующих версиях обещают сделать его более стабильным. Все инсинуации с будущим оставляю вам в комментариях.

Пробовать всё там же. Свои миры кидайте в комменты — либо картинками, либо видосами.

@CGIT_vines

CGIT_Vines

01 November 2024 06:24

С каждым месяцем всё лучше и лучше. Геймдев все ближе к точке бифуркации.

Ребята из Etchet в сотрудничестве с Decart, на которой выпустили DoomAI, показали Minecraft, полностью сгенерированный, идущий в 20 fps без инпут-лага.

В эту демку можно поиграть вот тут, дождавшись своей очереди; на момент написания её около 100-200 человек.

Кадры генерируются в зависимости от вашего ввода: из интерактива — повороты, прыжки, строительство и разрушение.

Etchet также представили свой чип, который супербыстр для генерации видео через трансформеры, и предупреждают, что 70% контента уже имеют видеооснову, будут иметь ещё больше, в том числе генеративного формата. Эта демка запускается всё ещё на H100 в разрешении 360, и потом апскейлится; на чипах Sohu будут обслуживаться модели 100B+ и разрешением 4K, которые будут супербыстрыми за счёт распараллеливания.

Подробнее в их блоге.
@cgit_vines

CGIT_Vines

31 October 2024 07:17

Спустя примерно полтора года после того, как Wonder Dynamics присоединилась к Autodesk, они запустили бета-версию тулзы Wonder Animation.

Напомню для тех, кто пропустил: вы можете снимать на свой телефон шоты с актёрами и потом переводить их анимацию в готовые трёхмерные представления. Я даже делал стрим на эту тему полтора года назад.

Создатели сами заявляют, что не поддерживают хайп по автоматическим решениям с кнопкой «сделать красиво», понимают, что художникам нужны широкие настройки в инструментах при работе с ИИ, и предоставляют их, давая художникам полный контроль над анимацией движений, мимики, крупности шотов и, по заявлениям, поддержку бесшовного переключения между крупностями кадра. (Интересно посмотреть, как это работает).

CGIT_Vines

27 October 2024 07:15

По всей видимости, текущие методы RL не очень подходят для генерации трёхмерных представлений либо тратят слишком много вычислительных ресурсов. Поэтому для новой беты модели Gen-1 RLHF V0.9 использовали Reinforcement Learning with Human Feedback (RLHF): у них, натурально, в штате сидит команда моделлеров, которые раздают вознаграждения.

К слову, генерации на уровне Tripo3D из этого поста — возможно, у Tripo тоже RLHF, но это же не звучит так волшебно, если у тебя разметку делают люди.

На старте дадут 8 бесплатных кредитов, погонять тесты хватит. Для остального есть возобновляемые кредиты у Tripo.

Пробовать тут

CGIT_Vines

25 October 2024 14:16

А вот тут чувак поместил старую и обновленные модельки sonnet 3.5 в майнкрафт в качестве агента и попросил отстроить что-нибудь.

Слева — старая модель, справа — новая. Тот самый случай, когда claude строит лучше, чем я.

Майнкрафт — тысяч бенчмарков.

CGIT_Vines

23 October 2024 13:00

О вишенках и реальности

Год радует на громкими словами, а не релизами. Очередной симпатичный релиз от моих любимых Runway ждет нас уже скоро — доступы обещали начать раздавать уже со вчерашнего дня. В этот раз нам обещают шикарный перенос мимики (лицевой мокап), лучше завирусившейся недавно Hedra.

Видео из нового продукта Act-On Runway правда сначала потрясают. Но тестируя как работают другие релизы типа обновления Gen c переносом стиля на кадр, понимаешь, что это годится только пока для мемов и творческого поиска. И на том спасибо.

Применяя это на практике понимаешь, что инструменты из коробочки работают примерно на 20%, в кейсе часто приходится это учитывать, подстраиваясь не под идею, а возможности софта. Например у Hedra, если у героя не очевидные черты лица (а это бывает часто), то инструмент просто выдаст ошибку, перенести точки как-то вручную и помочь ему сориентироваться — никак. Кредиты только так улетают, вне зависимости от качества картинки-движения-реалистичности.

Итого для хорошей работы нужно иметь в арсенале несколько подписок, механику которых ты знаешь можешь приблизительно предсказать результат. Часто возникает ситуация, когда одна механика вырусится, автор или группа авторов начинает работать именно с определенным пайплайном, забивая на содержание и вместо экспериментов и все новых и новых открытий мы получаем нейронный шум. Создатели (или их заказчики) потом еще удивляются, а почему их кейс с пайплайном 2022 года не оценили.

Некоторые коллеги выбирают для своих проектов решения из опенсорса, но в этом случае больше управления несет за собой больше экспериментов, итераций и поломок, что конвертируется во время. Зато результат часто не такой как у всех.

Настоящее и будущее больших открытий и хороших денег как всегда за междисциплинарными кейсами, где используется много нейронок, много не-нейронок, а самое главное человеческий талант. Волшебной видео-кнопки пока нет.

Извините, а SORA выйдет? А мячик можно?

CGIT_Vines

21 October 2024 05:44

Не знаю, отсутствие ли необходимых данных или абсолютная левость в фильтрах ChatGPT заставляет его называть эту фотографию фейковой и даже AI-generated и это при трех прямых вопросах.

А ведь я заставил его погуглить последние события и ткнул носом.

CGIT_Vines

20 October 2024 19:09

В очередной раз просматривая ленту людей, которые на меня подписаны (да, я иногда так делаю, это мой фетиш), воодушевляюсь тем, какие вы все разные: молодые, старые, модные и нёрдовые, устремленные, в теме и те, кто еще в поиске себя, инженеры, художники, заводчане, службы смм и маркетинга, директора студий, владельцы тг-каналов и ТАМАДА (тебе отдельное ❤️).

Возможно, я вам иногда облегчаю жизнь, делаю ее слегка интереснее, кому-то, возможно, помогаю, потому что вы мне абсолютли да! 🥰

CGIT_Vines

20 October 2024 10:55

На днях, на прошедшей конференции CitizenCon, посвящённой игре StarCitizen, показали вот такой сетап для управления кораблями из кокпита.

Помимо хардверной части, добавили отслеживание взгляда и головы!
Жаль, что нет перегрузок при выходе из атмосферы и растягивания тела при гиперпрыжке.

CGIT_Vines

17 October 2024 15:34

Наконец-то показали тизер Electric State. Я вот тут писал.
Смотрел и думал, что относиться можно, конечно, по-разному, но единственное, что будет иметь значение — это комментарии самого Сталенхага.

Если он одобрил и ему понравится то, что получилось, дальше просто может быть какая угодно субъективная оценка. Результаты увидим на IMDb или томатах.

CGIT_Vines

17 October 2024 14:03

Adobe показал новую АИ-фичу от которой уже на самом деле дизайнеры напряглись – для такой работы в иллюстраторе раньше приходилось тратить кучу времени 🌚

CGIT_Vines

17 October 2024 06:50

Подписчики делятся актуальными событиями.

UnHuman Shorts проходит с 6 по 20 октября. Загружать шорты можно от 30 секунд до 15 минут, при условии, что они AI-сгенерированы. Участие бесплатное.

CGIT_Vines

18 November 2024 06:52

Еще одна работа из института Торонто, выполненная во время стажировки в Nvidia.

Подход выбран довольно простой и оптимизированный. Через описание вершин, записанных в obj файл, если кто не знал, obj файл геометрии — это просто описание последовательности точек в виде координат, записанных просто текстом. Используются пространственные данные, которые уже есть в LLM + дополнительное обучение по туторам на ютубе) Так что помните: с каждым новым записанным обучающим видео вы вбиваете гвоздь в крышечку 😈)

В общем, метод рабочий для простых риалтаймовых представлений, для web, например, работать со сложными многосоставными или органическими структурами так не получится. И еще он хорошо пакуется, потому что это просто текст.

Только не просите его сделать что-то слишком сложное, например, дерево, он не сможет.
Сгенерированные координаты потом вставляйте в поле с визуализацией меша, чтобы посмотреть результат.

Проект
Тут поиграться с проектом
Code

CGIT_Vines

15 November 2024 07:07

Немного дикого лора из недр 1995 года и Unreal Engine 1.

Чувак удивляется, почему на новостной плашке в Fortnite у него появилась плесень. Sweeney объясняет, что это текстура, которую он в 95 году на 90 мегагерцовом Pentium загрузил в Unreal 1 как дефолтную текстуру, и, когда кто-то из проггеров забывает подгрузить нужную картинку, ставится этот плейсхолдер. ⛔️

CGIT_Vines

14 November 2024 09:02

Продолжая тему реалистичной мимики робо-лиц.


Инженеры из Колумбийского университета запилили интересную робоголову, естесственно, на нейронках, куда ж сейчас без них. Нужны эти нейронки для того, чтобы предсказывать выражение лица человека, с которым ведется диалог. А предсказывать выражение лица собеседника нужно потому, что замедленная мимика робота выглядит неискренней и кринжовой, а то ж нам эффекта зловещей долины не хватает.

Но больше всего понравился метод обучения этой железной башки эмоциям: её тупо поставили перед камерой и позволили совершать случайные движения своми 26-ю приводами, наблюдая за собой. Через несколько часов робот научился соотносить получившиеся выражения лиц с двигательными командами — так же, как люди тренируют мимику, глядя в зеркало. Затем показали железке различные видосы с разными выражениями лиц людей, чтобы обучить предсказывать эмоции по едва заметным движениям частей лица.

Момент, где он кривляется, глядя на себя в зеркало офигенный.

Тут подробнее:

CGIT_Vines

01 November 2024 17:59

Offline is new luxury
#PIA

CGIT_Vines

01 November 2024 05:31

Нашёл интересный пример с небольшой перспективой на развитие. Грубо говоря, возможность агента непрерывно смотреть на ваш экран и помогать вам в обучении. В данном случае это десктопная версия ChatGPT с голосовым управлением, но она пока не умеет смотреть на экран.

Прощай, курсы, учившие вас нажимать кнопочки в софте! А потом и в целом курсы, обучающие вас делать что-либо! В который раз убеждаюсь, что не сами знания, а пайплайн получения знаний становится куда важнее.

Мечта интерпренёра — поставить такое в офисе и каждый раз списывать с вас кредиты, когда страдаете херней на работе 🫡. Думаете, не поставят? Конечно, поставят!

Сейчас ещё нет релизнутых моделей (только беты), которые могут просматривать ваше рабочее пространство на компьютере или смартфоне. Claude и ещё пару стартапов пробуют делать это посредством скриншотов, и пока только так. Я думаю, к середине следующего года, но скорее всего раньше, у нас будет что-то наподобие этого концепта, но уже в рабочем состоянии.

CGIT_Vines

30 October 2024 06:17

Сегодня наткнулся на интересное исследование, в котором обсуждается, как крупные языковые модели учатся, используя структуры, схожие со строением человеческого мозга. В работе показано, что концепты в ИИ организованы на трёх уровнях: от «атомных» идей до более сложных «кластеров» с общими смысловыми признаками.

Использование автоэнкодеров для представления концептов в виде трёхуровневой иерархической структуры организовывает данные по принципу, напоминающему когнитивные структуры. Это дает языковым моделям возможность более глубоко понимать и генерировать смысловые связи, улучшая их точность и интерпретируемость. В итоге, это создает предпосылки для развития ИИ, способного обрабатывать сложную иерархическую информацию, типо того как это делает человеческий мозг.

Подробнее читать тут

CGIT_Vines

25 October 2024 17:29

В Японии освятили Гандама!
Теперь официально, выходные можете проводить спокойно, человечество под защитой.

CGIT_Vines

24 October 2024 08:43

Давайте пока охладим траханье на счёт управленческих LLM-систем. Если кто не в курсе, почитайте тут у Дениса.

Если влом читать, то это LLM-агенты, способные "управлять" вашим компом через промпты.

Не знаю, в чём там сложность установки, но я как гуманитарий поставил в течение пары минут.

Попросил создать сферу в Blender — окей, не можешь, давай тогда, может быть, куб? Тоже нет? Окей, я создам сам, просто подвинь его на 5 см вправо. Нет? Бу, испугался?

В общем, моё дело — периодически проверять, теряем ли мы работу или ещё можно пофлексить. И, как видно из видео, для съёмки которого я оплатил API Claude AI, оно того стоило, ага 🤡. Работу пока не теряем.

Блуперы, не попавшие на видео: на просьбу запустить Blender, он настойчиво открывал ZBrush.

Давайте ваши советы, что ещё попробовать! Автору самого интересного и рабочего промпта посвящу пост в канале.

Агента брал с этой репы

CGIT_Vines

22 October 2024 16:21

Все: Невероятное использование нейросетей в продакшене, кажется все студии и художники теперь потеряют работу.

Next generation AI: create video of sculpting wooden plank in zbrush

@CGIT_vines
P.S. к слову, он генерил это дней 5

CGIT_Vines

20 October 2024 19:30

Слышали, что Третьяковка решила закрыть отделение современного искусства?
Переживать не стоит, я открываю филиал Post Internet Art #PIA прямо тут! С любовью, @CGIT_Vines 🥰

CGIT_Vines

20 October 2024 17:40

Кажется, не так много времени осталось, и пора разобраться.
В первую очередь честно ответьте себе: если ваш партнёр начнет чаще говорить, шутить, обсуждать общие темы со своим AI-компаньоном хотя бы на том же уровне, что и с вами, будете ли вы чувствовать ревность, зависть, непринятие?

Да, AI со временем зарегулируют, и он будет выступать больше в роли семейного психолога, но ведь будут и те, которые будут восполнять то, чего не получают в отношениях с реальным человеком. Будет ли AI поводом для расставания, ревности, зависти? У вас это было бы проблемой?

CGIT_Vines

19 October 2024 18:36

В который раз наткнулся на это "видео", которое, как мне кажется, — лучшая фиксация космического объекта эвер, и мне стало интересно наконец-то узнать, как оно было сделано.

Многие знают, что это комета Чурюмова-Герасименко. На самом деле, видео не снималось в традиционном смысле. То, что вы, вероятно, видели, — это серия изображений, собранных космическим аппаратом "Розетта" Европейского космического агентства (ESA) во время его миссии к комете.

Космический аппарат был запущен в 2004 году и достиг кометы 67P в 2014 году.
"Розетта" была оснащена несколькими камерами, включая систему OSIRIS (Optical, Spectroscopic, and Infrared Remote Imaging System).

Аппарат вышел на орбиту вокруг кометы и делал снимки с разных углов и расстояний.

В ноябре 2014 года "Розетта" отправила на поверхность кометы посадочный модуль "Филы", который также сделал несколько снимков.

Однако это приземление было проблематичным — после касания аппарата с поверхностью кометы он отскочил несколько раз и оказался в тени, что затруднило его работу на солнечных батареях. Несмотря на это, он смог передать важные данные до того, как его батарея разрядилась.

Ученые собрали серию снимков, сделанных в течение определенного периода времени, и объединили их в последовательность, создавая эффект видео.

"Розетта" провела около двух лет на орбите кометы, что позволило собрать огромное количество данных и изображений.

Таким образом, "видео" с кометы 67P — это результат тщательно спланированной космической миссии, использования передовых технологий и обработки данных на Земле. Это не видео в привычном смысле, а скорее визуализация данных, собранных в течение длительного периода времени.

На комете еще нашли органические молекулы, но это уже другая история 👾

CGIT_Vines

17 October 2024 14:58

Krea.ai собрала под своим крылом все видеогенераторы. Теперь вы можете при написании промпта выбрать, какой именно моделью продолжить генерацию.
В списке присутствуют Luma, Runway, Kling, Minimax, Pika.

В будущих апдейтах была бы полезной опция поставить на генерацию либо несколько моделей одновременно, либо все доступные сразу. Fuck credit's economy!

К сожалению, после того как они убрали бесплатные дейли кредиты, Krea перестала быть моим любимым риалтайм-генератором.

CGIT_Vines

17 October 2024 07:06

Параллельно нашел смежную площадку Dream Flare для постинга своих AI-произведений, но с непонятной системой ранжирования.

Написано, что модерация происходит не алгоритмами, поэтому критерии не понятны. Монетизация присутствует. Если вы создаёте подобный контент, возможно, это то, с чего стоит попробовать начать.

Для тех, кто уже давно занимается созданием подобного контента, просьба поделиться с комьюнити более годными площадками.

CGIT_Vines

16 October 2024 06:31

Один из крутейших инструментов, которые есть сейчас в Photoshop, — это возможность генерировать 3D-сплаты и на их основе дополнять 2D-генерациями (диффузиями). Проще говоря, генерить модельки и догенерировать окружение.

Конечно, в продакшене это будет не так быстро, как на видео (оно ведь ускорено в 10 раз 🤡). Всегда захочется что-то домоделить, поменять форму, угол, добавить более зеленой травы и прочей маркетинговой дрочи. Мы ведь мечту продаём не меньше!

Но всё равно это в десятки раз быстрее, чем когда я занимался дизайном лет 10 назад.
Вопрос к дизайнерам: напишите, как часто пользуетесь сейчас генеративными тулзами и спасает ли это вас от менеджмента с их комментариями?)))