CGIT_Vines

19 Jun 2023 18:10

Ура, добывающая профессия теперь и в МЛ. Infinigen - «золотоносная» жила для генерации качественных синтетических 3D сцен для задач компьютерного зрения

Двигатель прогресса в МЛ - качественные данные. С этим много сложностей от этичного сбора до проклято-трудоемкой аннотации (особенно видео). Исследователи давно работают над симуляцией, и пока это не было достаточно хорошим решением (ограниченная вариативность, упрощенные текстуры и геометрии, зависимость от референсов).

Ученые из Принстона представили Infinigen - источник бесконечных возможностей генерации природных 3D сцен с автоматической аннотацией.

Infinigen восхитительный, потому что:
Процедурный. Каждый объект, от формы до текстуры, создается с нуля по стохастическим правилам и настраивается(!), а количество интерпретируемых человеком степеней свободы (типа материала и размера камней, формы листьев и лепестков) не менее 1070.

Геометрически достоверный. В нем не используются рельефные карты или прозрачности. Все детали геометрии реальные. В этом помогает Blender.

Вдохновлен эволюцией. Зрение млекопитающих развивалось в мире растений, животных, ландшафтов и природных явлений: огонь, дождь, снег. И важно в геологоразведке, навигации беспилотников, экологического мониторинга, спасательных работ, автоматизации сельского хозяйства.

Автоматически аннотируется. Для различных задач CV от оптического потока, 3D-flow сцены, нормалей поверхности до паноптической сегментации и границы окклюзии.

Доступный. Открытый код и artist-friendly с конвертацией Blender Nodes в питон.

Теперь почему это труд и нужен инпут сообщества.
Среднее время создания пары изображений 1080p составляет 3,5 часа. Примерно один час из этого времени используется GPU для рендеринга. Требует в среднем 24 Гб памяти (тестировали на 2 процессорах Intel(R) Xeon(R) Silver 4114 @ 2.20GHz и 1 из 5 NVidia-GPU).
Зато получается годно с первого раза.
Обещают в ближайшее время выложить предсимуляции и создать большой репозиторий с общей копилкой генераций.

🔑Сайт
⛏Код
📖Пейпер

@GingerSpacetail

CGIT_Vines

18 Jun 2023 07:58

Ответ во второй половине дня дам

CGIT_Vines

17 Jun 2023 13:30

Воу, это прямо очень хорошо!
Автор не написал и не показал, как именно он за 5 минут собрал эту сцену.

Но определённо это точно генерация MJ и карта глубины. Есть один важный момент: композиция, плановость и глубина подобраны очень удачно. Из-за чего объем считывается наилучшим образом и идеально подходит для дальних планов и может быть даже средних в некоторых случаях.

CGIT_Vines

14 Jun 2023 18:55

Так, вы же знаете, что когда вы делаете Trim текстуры, важно стараться не делать слишком "назойливых" резких, контрастных пятен, очень уникальных элементов, потому что они у вас будут повторяться при мапинге, и глаз будет очень сильно цепляться за них, и все это будет убивать правдоподобность. Появится ощущение тайловости, и в целом работа будет выполнена не идеально.

Да, и раньше можно было пойти в фотошоп и замазать штампом, но вы помните, что он работал не всегда идеально, и это могло стать проблемой с большими пятнами. Сейчас с бустом Photoshop AI такие вещи исправлять стало в разы проще, и получается прямо то, что нужно.

+ Еще один повод перебраться в новый фотошоп.

CGIT_Vines

12 Jun 2023 05:43

Я мягко говоря воодушевлен тем, какие игры нас ждут в этом году. Такое огромное количество годных игр было анонсировано, и все они такого высокого качества, по крайней мере в трейлерах и геймплейных видео, в том числе. Есть, правда, и некоторые сомнительные анонсы.

Да, конечно, у многих из них будут проблемы на старте, и опять будут эти письма с извинениями, но тем не менее.

Ладно, вот последний сборник с Xbox:

Это будет разъеб Starfield - https://youtu.be/kfYEiTdsyas

Senua's Saga: Hellblade II - https://youtu.be/xmGvuh6cV9E

Fable - https://youtu.be/PEQRwpMYPaw

Star Wars Outlaws - https://youtu.be/ymcpwq1ltQc

Avowed - https://youtu.be/ULsF7B6bFuU

Like a Dragon: Infinite Wealth - https://youtu.be/3Q1HRYrO1Gw

Forza Motorsport - https://youtu.be/em4gv1Ietko

Конечно Cyberpunk 2077: Phantom Liberty - https://youtu.be/reABCMNGM3w

Metaphor: ReFantazio - https://youtu.be/btHGCpUPjPk

Clockwork Revolution - https://youtu.be/DDFuhaYxeMU

CGIT_Vines

06 Jun 2023 14:22

#вакансии

CG студия ITSALIVE находится в поиске LEAD АНИМАТОРА

Мы — команда, выпустившая первый в России FULL CG сериал на Кинопоиске — «Ева. Связь сквозь время». Создаём Аватаров и контент с ними. Работаем над производством самых смелых и прорывных проектов в индустрии!

Наши преимущества:
— имеем собственный сектор виртуального производства с передовой техникой: костюмами xsense, шлемами faceware, перчатками stretch sense, трекерами antilatency и т.д.;
— совершенствуем рынок и продвигаем новые направления в CG entertainment: full cg сериалы, прямые full cg трансляции с Аватарами, голографический контент и многое другое;
— готовы предложить тебе инновационное развитие и стабильность. За прошлый год мы выросли в 3 раза, и сегодня мы продолжаем работать с крупнейшими международными проектами, неотъемлемой частью которых можешь стать и ты!

Верим, что ты такой же открытый, творческий и амбициозный, как и мы, и благодаря твоему вкладу, сможем вместе менять 3D индустрию.

Что ждем от кандидата?
• Опыт создания реалистичной и стилизованной анимации
• Опыт работы с мокапом
• Опыт руководства и наставничества в команде, навыки построения команды аниматоров
• Знание Autodesk Maya
• Плюсом будет умение или желание анимировать в Unreal Engine

Какие задачи тебе предстоит решать?
• Контроль качества анимационных работ
• Ведение производства с аниматорами на фрилансе и тех.надзор
• Создание выразительных и ярких поз
• Правка готовых камер по необходимости/создание камер
• Сборка сцен, работа с ригом

Что по условиям?
Размер денежного вознаграждения на call/личной встрече. Гонорары без задержек! Работа очно в студии 5/2 (можно брать удалённые дни). У нас очень комфортный и большой офис в центре Москвы на м. Смоленская. Студия с красивым видом, зоной отдыха, удобным рабочим пространством и мощнейшим отделом виртуального производства. Классный, понимающий и дружный коллектив тебе обеспечен!

В приоритете заявки артистов из г. Москва + принимаем заявки аниматоров выше уровня middle.

Наш сайт: https://itsalive.studio/ru/
live tg: /channel/itsalive_live
inst: https://instagram.com/itsalive.studio?igshid=NTc4MTIwNjQ2YQ==

По вакансии писать в tg - @itsalivestudioinbox
или на почту - hello@itsalive.studio

CGIT_Vines

05 Jun 2023 19:03

Все ради очков, а друг геймченджер?

CGIT_Vines

05 Jun 2023 18:29

Ребят, тут иногда появляются вакансии время от времени, я не раз писал об этом, так что не пугайтесь, вакансии всегда будут по теме канала. Всех люблю! ❤️

CGIT_Vines

05 Jun 2023 08:07

Если вдруг понедельники или любой другой день настолько тяжелы для вас, то вот вам способ ненадолго избавиться от работы.

CGIT_Vines

02 Jun 2023 17:59

Через 5 минут покажут первый в истории стрим с Марса в режиме реального времени, правда оборудованию уже 20 лет, так что качество будет не очень – зато картинки будут приходить с расстояния ~3 миллиона километров ✨

Стрим:
https://www.youtube.com/live/4qyVNqeJ6wQ

Небольшое описание:
В пятницу, в честь 20-летия Mars Express от ESA, у вас будет возможность увидеть Марс как можно ближе к реальному времени. Подключайтесь, чтобы быть среди первых, кто увидит новые снимки примерно каждые 50 секунд, которые напрямую транслируются с Визуальной мониторинговой камеры на борту долгоживущего и по-прежнему высокопроизводительного марсианского орбитального корабля ESA.

"Это старая камера, изначально предназначенная для инженерных целей, на расстоянии почти трех миллионов километров от Земли - такого еще не пробовали, и, честно говоря, мы не на 100% уверены, что это сработает," объясняет Джеймс Годфри, менеджер по эксплуатации космических аппаратов в центре управления миссиями ESA в Дармштадте, Германия.
"Но я довольно оптимистичен. Обычно мы видим изображения с Марса и знаем, что они были сделаны за несколько дней до этого. Мне интересно увидеть Марс таким, каким он есть сейчас - насколько это вообще возможно близко к марсианскому 'сейчас'!

CGIT_Vines

31 May 2023 08:33

И так, еще раз, вот софт Fictiverse : Redream который позволяет входящий видео поток пропускать через SD.

Конечно, пока стриминг с Айфона идет на ПК, а об фпсах и говорить не приходится, но вы же знаете куда это все приведет!

Конечно, к Фури-Кури (FLCL) только с походами на работу и ежедневной бытовухой. Осталось только B2C AR очки изобрести нормальные.

CGIT_Vines

31 May 2023 07:23

Step by step следим за развитием моделей преобразования текста в 3D. В связи с тем, что стандартные диффузионные модели не обладают пониманием трехмерного представления, приходится использовать дополнительный контроль глубины. Но и датасеты теперь обучают по новому алгоритму. Что дает меньше ошибок и неточностей на выходе.

Подробнее тут.

CGIT_Vines

29 May 2023 09:36

Ну вот, наконец-то крупные ребята включились в диалоги с искусственным интеллектом. Nvidia представила демонстрацию на выставке Computex 2023, которая позволяет разговаривать с NPC голосом.

Меня интересует, как будет осуществляться модерация и направление игрока, поскольку иногда сложно понять, в каком направлении нужно вести диалог, чтобы получить корректный ответ от NPC. Будут ли предоставлены подсказки или разработана другая механика, например, что-то вроде "горячо-холодно"? Обычно ответы и вопросы заранее подготовлены с небольшим разнообразием в позитивной, нейтральной или агрессивной форме.

Дейтинг симы ликуют!

Видео

CGIT_Vines

29 May 2023 07:43

Наглядная демонстрация того, как работают ML деформеры в UE5.

Интересный факт: теперь можно использовать не только датасеты от Epic, но и свои собственные!

На данный момент есть одно важное ограничение: обучение датасетов возможно только в Maya. Однако обещают скоро исправить это и сделать доступным для других софтов.

CGIT_Vines

26 May 2023 10:50

Моддинг Age of Empires 2 с использованием Sprite-Diffuser.

Давно следил за этим художником, который занимается моддингом старых игр с помощью диффузионных моделей. Он обещал выложить туториал о своей работе, и вот я делюсь им с вами.

CGIT_Vines

19 Jun 2023 06:55

Пока еще бытует мнение, что управление взглядом, возможно, одна из систем, которая придёт на смену классической системе ввода-вывода.

Дак вот в дефолтном виде такая система не пригодна абсолютно, т.к. постоянное напряжение глаз из-за огромного количества непривычных действий чрезмерно утомляет человека.

Кроме этого, делать ежеминутные действия и выводить сложные формы - задача не из легких. На видео видно.

Другое дело - это вспомогательные системы, используемые при управлении взглядом, такие как Apple пытается пробовать в своих очках. Это некий симбиоз фильтрации действий с специально созданным под такое управление UX.

CGIT_Vines

18 Jun 2023 05:43

Почти каждая неделя приносит крутые эксперименты с новыми способами создания видеоконтента.

Нам нужно больше экспериментов и людей, у которых есть чувство вкуса и смелость начать делать вещи, которые раньше никто не делал.

Для этого вам нужно будет пару друзей, один компьютер и грин-скрин. Пишите сценарий, прописывайте персонажей, делайте раскадровку и начинайте генерировать свою историю.

У нас осталось совсем немного времени, пока Disney или Netflix начнут спонсировать подобные проекты. Площадки голодны до хорошего, необычного контента!

CGIT_Vines

16 Jun 2023 06:58

Ну, вы знаете мою слабость по энвайронментам, а особенно по сайфайным. Поэтому генерация в Gen2 прямо в точку. Последние разработки в дефликеринге тоже пошли на пользу стабильной картинке.

Понятно, что контроля отдельных элементов пока нет и в помине, и даже пока вообще не ясно, как это может быть реализовано.

Определённо нужно понимание геометрии сцены и сегментирование, чтобы получать какое-то подобие Nerf или хотя бы поинтклауда по глубине. А также что-то типа предсказания мест, которые находятся в скрытых зонах кадра.

Честно говоря, пока еще не натыкался ни на один алгоритм, который хотя бы примерно описывал бы логику построения пространства. Поделитесь, если встречали.

CGIT_Vines

13 Jun 2023 08:12

Замени все, что видишь.

Segment Anything & ControlNet.
Работает пока не в риалтайме.

Когда натыкаюсь на очередные тесты по замене чего-либо, опять прихожу к вопросу.

Как далеко мы зайдем в филджитал, когда сможем в реальном времени заменить весь информационный поток? Аудиальный, визуальный, тактильный, с сохранением контекста. Это не будет полная галлюцинация, она будет контролируемой. Какая роль тогда останется людям в коммуникации?

Ситуация:
Неприятный, необразованный человек сможет выглядеть опрятно, говорить литературно, но потом все равно въебать и забрать всю вашу электронику и кроссовки. Вместо подворотни, приятный японский садик.

Важно при такой замене сохранять контекст диалога, не приукрашивать опасность.

Сферы, где замена должна быть запрещена, это правопорядок, любые контролирующие органы и проверки.

Возможность осуществления всего этого случится при нашей жизни. Какие плюсы и минусы вы видите уже сейчас?

CGIT_Vines

07 Jun 2023 08:04

Как определить, что перед вами гавно, высосанное из пальца?
Это должен быть посредственный продукт, активно использующий базовые слова, не приносящий принципиального изменения в процесс работы.

Мы еще не раз увидим text2kolbasa, food2shit, money2job или text23dCharacterEngine, как в данном случае.

Не забывайте, что метаверсеры и крипто-инвесторы сейчас активно оседлали тему "ИИ" и генератива.

CGIT_Vines

06 Jun 2023 13:02

Правда, до последнего старался обходить стороной эту тему, но оно повсюду в ленте.

CGIT_Vines

05 Jun 2023 19:02

Начался киноут главной конференции Эппл WWDC, смотреть можно прямо на сайте эппла. Русских субтитров в этом году по понятной причине нет, но обычно там все понятно https://www.apple.com/apple-events/event-stream/

CGIT_Vines

05 Jun 2023 18:26

#вакансии

CG студия ITSALIVE расширяет состав своей основной команды в Москве.

Мы — команда, выпустившая первый в России FULL CG сериал на Кинопоиске — «Ева. Связь сквозь время». Создаём Аватаров и контент с ними. Работаем над производством самых смелых и прорывных проектов в индустрии!

Наши преимущества:
— имеем собственный сектор виртуального производства с передовой техникой: костюмами xsense, шлемами faceware, перчатками stretch sense, трекерами antilatency и т.д.;
— совершенствуем рынок и продвигаем новые направления в CG entertainment: full cg сериалы, прямые full cg трансляции с Аватарами, голографический контент и многое другое;
— готовы предложить тебе инновационное развитие и стабильность. За прошлый год мы выросли в 3 раза, и сегодня мы продолжаем работать с крупнейшими международными проектами, неотъемлемой частью которых можешь стать и ты!

Увеличиваем производственную команду и ищем самых крутых московских 3D артистов.

Открыты вакансии:
• 3D LEAD Character Animator (5/2, возможно брать удалённые дни)
• UE Cinematic artist (5/2, возможно брать удалённые дни)
• Геймдев моделлер одежды под Unreal Engine (удалённо)
• UE-разработчик – специалист виртуального производства и прямых трансляций (5/2, возможно брать удалённые дни)
Если ты ждал знак, то вот он!

Студия работает 5/2 с 11:00 до 19:00 или с 12:00 до 20:00. У нас очень комфортный и большой офис в центре Москвы на м. Смоленская. Студия с красивым видом, зоной отдыха, удобным рабочим пространством и мощнейшим отделом виртуального производства. Классный, понимающий и дружный коллектив тебе обеспечен!

В приоритете заявки артистов из г. Москва.

Наш сайт: https://itsalive.studio/ru/
live tg: /channel/itsalive_live
inst: https://instagram.com/itsalive.studio?igshid=NTc4MTIwNjQ2YQ==

По вакансии писать в tg - @itsalivestudioinbox
или на почту - hello@itsalive.studio

CGIT_Vines

02 Jun 2023 19:02

Похоже, на поле программ для обработки сканов произойдет монополизация. Nvidia решила потеснить всех новой софтиной Neuralangelo.

На основе технологии Instant NeRF, Nvidia добилась воссоздания мельчайших деталей. Причем, на вход можно подавать видео.

Сорс

CGIT_Vines

01 Jun 2023 17:59

VR-игра «CREAM SODA CLUB» – симулятор ночного клуба

Вселенная группы CREAM SODA вдохновила Яндекс Музыку на создание виртуальной игры. Выпуск игры состоялся вслед за новым альбомом «INTERNET FRIENDS», который поклонники группы ждали целых 3 года.

В симуляторе игрок может примерить на себя роль промоутера ночного клуба и устроить вечеринку, которая сотрясет все вокруг.

«CREAM SODA CLUB» доступна в Steam, Oculus и SideQuest.

CGIT_Vines

31 May 2023 08:14

Недавно заснял на чемпионате, как художники постпродакшена сражаются за свою работу с Wonder Studio.

Кстати, если еще не видели, как мы с Сергеем разбирали эту софтину на стриме, велкам.

CGIT_Vines

30 May 2023 07:50

Если вы до сих пор не добрались до своих собственных дипфейков, то вам сюда. Процесс описан как суперпростой, не зря называется "one click".

Тутор

В общем, кидайте варианты и помните, не выходите за рамки этики или закона 👀

CGIT_Vines

29 May 2023 07:59

Очень похоже на кандидата на встраивание в еще один режим вьюпорта, Evee, Cycles и вот это.

Видео ускорено в 2 раза на данный момент, но все равно могу себе представить, как будут рады концептеры.

Пока это даже не плагин, а просто стриминг в обс через AI toolset

CGIT_Vines

27 May 2023 07:38

Очень интересная реализация риалтаймовых флюидов для AR.
Такой эффект получатся при комбинации Vuforia и Zibra AI.

Сорс

CGIT_Vines

25 May 2023 12:07

Олег Чумаков прислал уникальный материал.
Огромный Postmortem of a Game Made With chatGPT and Midjourney
И это не статья в духе "смотрите, как можно генерить что-нибудь для игр", а огромный детальный отчет о том, как Luden.io делали игру за 72 часа с помощью Midjourney и chatGPT. Причем не на уровне генерации иконок или текстурок, а с полным погружением в использование ИИ по всем фронтам.
Создание концептов, написание истории с помощью chatGPT, выписывание персонажей с помощью chatGPT, написание диалогов, описание локаций в chatGPT(!) для дальнейшей визуализации в Midjourney, огромное количество трюков с локациями для консистентности, преимущества коротких промптов, создание ИИ музыки для игры и многое другое. Практика 100%.
Читается как рассказ-приключение.
https://blog.luden.io/generated-adventure-the-postmortem-of-a-game-made-with-chatgpt-and-midjourney-prompts-included-f87e7e615204