10514
Канал о сферах CG, Игр и Генератива, все с помощью чего мы генерируем визуальное и интерактивное искусство. Статистику не предоставляю, смотрите на tgstat.ru Реггистрация в РКН: № 5705388820 mentorcampus.ru Вопросы и предложения: @Evgeniy_Vegera
Мы приближаемся к диффузии в реальном времени. Real-Time-Latent-Consistency-Model.
Я запустил это примерно в 6 fps, просто из браузера со своего телефона, потому что стримится все равно с сервера.
Экспериментируйте с промптами и скидывайте свои результаты в комменты.
Попробуйте тоже, только дайте разрешение камеры на съемку. Сервер правда частенько лежит из-за наплыва желающих, но вы пробьетесь, я знаю!)
Неплохое начало для понедельника.
Тестить тут.
Еще один пример, но уже более практичный. Правильная обратная связь в виде прожекшена релайта на отсканенную поверхность дает потрясающие результаты.
Сделано под Quest3
Могу поздравить коллег из цеха постпрода, у вас прибавление!
Cuberic - решение, которое закрывает потребности очень среднего постпродакшена в создании сцен и вкомпаживания материала в него. Вы можете сгенерировать сцену, после сегментирования распаралаксить, задвигать как вам нужно, получить Depth map, в общем делать все то, что вы привыкли, только немного быстрее. Даже инпэинт привычный есть.
Теперь давайте к минусам, попробуем взвесить количество итераций генераций против создания трёхмерной сцены с нуля. ⚖ Вот почему я написал "среднего постпродакшена".
Последнее время мы видим все больше инструментов, которые пробуют применить новые подходы для старых задач.
Но как любой инструмент, они не могут закрыть всех потребности, потому что иначе они превратятся в громоздкий, скучный инструмент, как After Effects или Nuke. Поэтому судьба у таких ребят, быть купленными и интегрированными, ну или уничтоженными.
Спокойной вам пятницы, и не верьте всему, что видите!
@CGIT_Vines
Вспоминаю времена из детства, когда хотелось рисовать круто, но я не умел, и тогда брал лист бумаги с готовой картинкой, прикладывал к окну и перерисовывал через просвечивающиеся листы бумаги.
Времена меняются, и подходы тоже. Моторику теперь можно натренировать через MixAR и Quest3. На выходе результат для мозга будет одинаковым.
Также вспомнился стол для классических аниматоров с подсветкой снизу, чтобы можно было прорисовывать кадры, стоящие между двумя ключевыми. Этот артефакт эпохи неолита назывался - стеклофон.
Рабочий пайплайн для презентации своих работ. Не обязательно персонажки. Цена вопроса $5 и только на аппсторе. Снимаем на камеру телефона, перекидывает дату в софт и рендерим. В этом конкретном случае персонажа рендерили в Marmoset, комнату в Blender.
Приложение VirtuCamera.
Есть бриджи для Maya и Blender. Знаю, что вы знаете альтернативные софты и в бесплатном формате и не только для iPhone. Если под рукой, кидайте в комменты.
Божечки, кажется, день удался!
Riffusion - это просто невероятная сетка, которая позволяет написать свою лирику. Вы указываете промпт в каком стиле вы хотите, и на выходе получаете музыку, и это все на весьма приличном уровне скомбайнится!!!
Вокал слышится вполне человеческим, без железного привкуса, музыка тоже звучит чисто.
Короче, сегодня все будут бомбить от этого!"
Кидайте в комменты свои вариации!
@CGIT_Vines
Generative Gaussian Splatting for Efficient 3D Content Creation
Просто держу в курсе, что паниковать по поводу "image to 3D" нет причины. Если надумаете тестить, то лучше закидывайте картинки с хорошей чистой цветовой сегментацией, все вот эти ваши градиенты и блики оно понимает плохо.
UPD: к слову о переводе сплатов в геометрию, тут это присутствует.
После того как Firefly2 дропнул новые модельки, можно оценить степень реализма. Например, руки. Все, никто больше не смеется. Но по глазам все еще можно определить, хоть и не везде.
Честно говоря, я немного чувствую себя неловко, когда накидываю концепцию того, что мне нужно в Dallie 3, а потом обращаюсь за помощью к концептеру, чтобы немного скорректировать под мой запрос.
Генерации не мои, это разные твитерские нагенерили.
А теперь про продукт, который должен релизнуться в начале следующего года - Simulon.
Попробую предположить и не обосраться. После трёх лет разработки нам хотят показать что-то наподобие Wonder Studio, но с другого ракурса. Скажу сразу, информации по проекту очень мало, а особенно про то, что у него под капотом.
У вас должен быть, как минимум, iPhone, чтобы снять видео. LiDAR'ом отсканировать пространство вокруг объекта и втрекать туда персонажа, действие, битву, любой VFX и так далее. Все это как раз считается в облаках.
Картинка рендерится по-честному, с отражениями, тенями, свет ставится на основе HDR-карты, которую получили из видео. Поэтому объекты выглядят втреканными и вкомпоженными.
На выходе вы получаете красивую картинку с интеграцией того, что вы туда засунули.
Вопросов, конечно, больше, чем ответов. Вангую, мы не получим никакого occlusion culling вообще, слабая программная база у ребят, явно.
Когда раздавали инвестиции тем же Wonder Studio, Simulon явно стоял на улице под дождем, грустно стекая вниз по стеклу.
Но конкуренция, конечно, - это всегда хорошо! 😄
Университет Компьютерной графики Юты изобрел свой Nanite для ускорения и сокращения требуемых ресурсов для вычислений при рендеринге.
Адаптивное лодирование в зависимости от расстояния до камеры. В общем, та же история, только при виде сбоку.
Иногда хочется, чтобы прогресс в некоторых областях шел быстрее. Сколько можно заниматься "monkey job" и тратить человеческий ресурс на бессмысленные действия? Мы, к сожалению, упираемся в приоритеты при разработке инхаус движков, чтобы сделать это стандартом и забыть об этой технической стороне. Но подвижки есть, поверьте)
Сорс
Настало время еще раз вернуться к этому великолепному произведению.
Без визуального ряда, конечно, он не был бы настолько сильным. Хорошей недели 💀
Клип полностью
Вчера вышло обновление для Yandex браузера с опцией краткого пересказа видео.
Ну я, в общем, решил пойти попробовать на своих стримах, так как хотя бы знаю о чем там говорится и могу судить о качестве резюмирования.
И я, честно говоря, кайфанул от технологии, насколько точно она разбирает мой двухчасовой трындеж. Во-первых, это удобная штука для использования в качестве таймкодов, во-вторых, супер крутая фича для длинных подкастов, особенно когда тебе надо найти какую-то важную информацию.
Это я к вам пришел -_-
Давайте вы сами решите, нужны каналу эти бусты или нет.
Я пропустил, когда все играли в игру "Волк и бусты яйца", но если у вас премиум и вдруг они лежат без дела и их некуда приткнуть, закинуть можно по этой ссылке.
/channel/CGIT_Vines?boost
Коротко и эпично!
Просто посмотрите этот 4-минутный Сinematic Breakdown Cyberpunk 2077: Phantom Liberty
от студии Kansas Studios.
Блэт, еще больше захотелось поиграть, но времени от этого не появилось. 😭
Весь ролик тут
Ребята из Synticate были одной из первых дизайн-студий, кто начал работать с нейросетями.
Посмотрите, какое арт-видео они создали для фестиваля креативных индустрий G8 c помощью Stable Duffusion. Они назвали этот стиль neuro motion.
Подписывайтесь на их телеграм-канал - там можно найти работы для вдохновения, полезные материалы для CG художников и просто забавный life-контент внутренней кухни студии.
Реклама «ООО Синтикейт» erid: Kra23Xfkt
Обожаю такие прототипы, щепотка взаимодействия и погружение вырастает экспоненциально.
Теперь главное не засрать пространство, случайно разархивировав все на рабочий стол.
Умение концептеров делать часть работы в 3D, довольно давно стало обязательным, хотя все еще встречаются "откровения" и споры в туторах и курсах о нужности этого навыка.
Генерации разного вида решают одну из основных задач в концепте - это скорость итераций.
Концентрирование, наверное, одна из областей, которая за последние 20 лет точно претерпела изменения больше, чем все другие области вместе взятые. Казалось бы, старички должны были уже приспособиться к такой степени неопределенности в профессии.
Дело в том, что все изменения не касались непосредственно скилла рисования, построения композиции, чувства прекрасного, в целом.
Стоит ли переживать за то, что части изображений теперь можно получать быстрее, с правильным светом и перспективой? Концептеры, как изменилась ваша работа?
В видео использовали TensorRT with SD 1.5 и SDXL. И Kitbash набор.
Буквально сегодня выкатили работу по процедурной генерации трехмерного окружения 3D-GPT.
Генерации строятся на LLM и супер подробном описании всего, что можно описать. От размера и степени эрозии почвы горных хребтов, до параметров кривой образующей лепестки Герберы. Буквально до диапазона сантиметров с описанием градиента цвета и отношения пропорций лепестков к пестику.
Все прекрасно уже понимают объемы контента, которые потребуются закрывать в будущем, поэтому основная задача - сократить количество ручной работы художников, да-да, мы никуда от этого не денемся.
Создание локаций выглядит привычным образом, через текстовый запрос, который интерпретируется многоступенчатой структурой описания, далее геометрия подается в Blender для трассировки лучей и вывода рендера.
На данный момент проблема заключается в том, что сделать очень сложные модели в textTo3D пока представляется маловероятным, по крайней мере, в контексте этой работы. Но я уверен, что это на себя заберут отдельные модели, может даже Adobe или его конкуренты.
Информации пока крайне мало, и потрогать пока ничего не дают.
В 24 году нам обещают стартапы с AI ассистентами. Кроме тех, которые будут помогать вам с учебой, бизнесом, путешествиями и т.д., будут и те, которые заменят вам вторую половину.
Виртуальные инфлюенсеры уже сейчас генерируют около $70k в месяц. Посещения страниц инфлюенсеров насчитывают до 151 миллиона в месяц.
Но подводные камни совсем не в том, что Тян больше не будут нужны, а в том, что это будет персонификацией ИИ настолько универсального, что вы отдадите ему все, даже свою способность формировать свое мировоззрение.
Супер-апп, который будет новым интерфейсом взаимодействия со всем цифровым. Он будет настолько удобным, что вы не захотите пользоваться ничем другим.
Это упростит буквально все, оплату, распознавание изображения, помощь в формировании вашего путешествия, посещение театров, ресторанов, заказ еды и товаров. Если вы согласитесь отдать ему свои данные, он будет работать еще лучше. За это нужно будет заплатить, вы согласны?
Отдельно ещё хотелось бы сказать о супер удобной фиче "prompt genius".
Когда вы прибываете в ступоре, она допишет за вас недостающие промпты, основываясь на ваших вводных.
Как хорошо, что мысль разработчиков пошла в эту сторону. Не для того мы эволюционировали, чтобы ещё промпты для роботов писать! 🤌
Еще из наблюдений, не пишите в прямую исполнителя песен, за это в развитом мире по голове дают, напишите хотя бы "Elvis-inspired", так никто не догадается 😄
Ну и конечно, оцените, какой я романтический дроп сделал для вас, мои дорогие, аж вспотел.
А вот это занятная реализация релайта, посредством сегментирования и замены фона, а также перевода актора в PBR пригодный формат для рендеринга.
К сожалению, пока далеко не в реальном времени, крутится при 2-3 fps, пока просчитываются текстуры, на Nvidia 6000 Ada. После крутится чуть бодрее, но все еще не в реальном времени.
Когда-нибудь наступит момент осознания, что люди с экранов на государственном уровне были полностью синтезированы и управлялись AGI. Пелевину привет!
Основано на этой работе.
Есть, в общем, такая продакшен-студия - Bad Decisions. Они чем-то напоминают или даже копируют Corridor Digital, но суть не в этом. Они сильно захайпились последнее время за счет переноса известных сцен из кино в 3D через использование Gaussian Splatting. Тут они перенесли фильм Shining, так же в полном видео есть Матрица, Бесславные ублюдки, Асасин и Гарри Поттер.
Я честно не могу сказать, что это прям очень частая потребность в 3D или кино-продакшене (я именно про перевод из кино-материала в 3D), но эффект производит интересный. Ладно, может быть есть польза данных траектории камеры и может быть для Deep композа удобно имплементировать материал.
Можно еще попробовать повытаскивать из игр данные, но тоже не понятно для чего, т.к. есть инструменты более удобные для того, чтобы вытащить оригинальную геометрию и текстуры сразу. (Поправьте, если еще видите какую-то киллер-фичу, которую я не углядел)
Google запрыгнул в AI Train. Вслед за Bing, они предоставили возможность генерировать картинки по запросу прямо из поисковой строки. Также можно создавать подобные картинки на основе любой выбранной из поиска.
Конечно, как любая корпорация, они позаботились о безопасности всех, поэтому никаких легушат Пепе, управляющим самолётом, летящим в башни близнецы, там не сделать.
Также там есть ограничение по возрасту 👀 и метки, которые будут говорить, что это AI.
Пока доступ только для избранных, но скоро раскатают для всех.
Кстати, Bing справляется на отлично с генерацией первого порядка, когда вы только ищете идею. Я в своём пайплайне уже использую.
Несмотря на то, что экономика хайпа делает скорее зло, чем добро в неумелых руках, AR индустрия продолжает работать над ошибками даже на низких оборотах.
Одной из главных проблем является слабая аппаратная часть, не способная делать "сложные" PBR просчеты и другие множественные вычисления в реальном времени, такие как трекинг с использованием различных технологий, костылей и хитростей.
И в таких случаях мы вынуждены будем прибегать к облачным вычислениям. Только в этом случае результат становится хоть сколько-то сносным.
Вопрос лишь в том, придут ли облака на время, или нам уже не позволят выполнять все это локально? Не очень хочется и тут отдавать ЦОДам скрытые проценты.
Невероятно, что вытворяет Pikalabs. Они сейчас единственные, кто выдаёт настолько качественный контент.
Уже чувствуется острая потребность в плагинах в стиле Controlnet с поддержкой мокапа лица и возможностью управлять камерой.
Помогите мне пошутить, потому что я уже не могу с этими BodyCams эффектами.
А знаете что это? Щас, щас, набрали воздуха?! Пааажитее... Тсссс...
Это UEFN (Unreal Engine Fortnite)
Жду Pong с этим же эффектом.
NPC in Starfield VS NPC in Cyberpunk.
К слову, после первых патчей я уже практически не встречаю в Starfield вот этих криповых.
Коридоры показали тесты по замене лиц в играх через facemorph с помощью Picsi.
Несмотря на то, что сейчас они собрали этот пайплайн через сторонний софт, я уверен, что нечто подобное мы получим в ближайшей перспективе, и именно это имел в виду Хуанг, когда говорил, что каждый пиксель будет сгенерирован.
Уже сейчас это не выглядит чем-то невозможным и требующим больших вычислительных мощностей.
Где-то удалось улучшить визуально, где-то получилось на порядок хуже, чем в оригинале. Пока всё же художественный взгляд нужен и он чувствуется, даже несмотря на технические ограничения движков. Лица, пропущенные через художников, выглядят более натуральными, более имперфектными, это как раз то, что заставляет нас выглядеть людьми. Пока что первенство за нами)
Полное видео тут
Unreal Engine в 2024 году станет платным.
Все мы думали, какая дичь будет в следующем 2024 году, и вот!
Скорее всего, это будет подписочная модель, как у Adobe или Autodesk. Нюанс заключается в том, что подписка появится для областей, не связанных с геймдевом, т.е. для кино, рекламы и т.д. Если вы делаете игры, для вас пока ничего не поменяется.
Эпики сейчас в целом занимаются реструктуризацией компании, увольнения, в том числе Галенкина, касаются этого.
Fortnite больше не приносит столько денег, как раньше, эпики не могут больше работать в убыток и раздавать всем все бесплатно. Пришло время собирать урожай.
Это не значит, что они перестанут делать игры, но это не будет их фокусом. Epic Games теперь больше про сервис.
Посмотреть спич Sweeney можно тут.