Канал о сферах CG, Игр и Генератива, все с помощью чего мы генерируем визуальное и интерактивное искусство. Статистику не предоставляю, смотрите на tgstat.ru Реггистрация в РКН: № 5705388820 mentorcampus.ru Вопросы и предложения: @Evgeniy_Vegera
Китайский университет Гонконга показывает модель Video-P2P.
Модель работает с видео и позволяет создавать новых персонажей на основе тех, что уже находятся в видео, сохраняя позы и окружение.
Какая же визуальная анархия будет, когда все эти технологии соберутся под одним устройством очков\линз, через которые мы будем смотреть на мир.
Показать пока больше нечего, кроме пары гифочек.
Многие из вас тут наверняка любят игры, а некоторые последнее время наверняка играют в Sons of the Forest.
Но почти никто не знает ребят, которые последние 3 года херачили графон для этой игры. Привет, пацаны, я знаю, вы читаете этот пост!
Я не был с ними непосредственно в разработке, но старался поддержать ребят добрым словом, также для того, чтобы Артём не ушёл в глубокую депрессию 😄
На станции уже выложена тонна работ, и ещё несколько паков готовится к публикации, поддержите ребят, им это не помешает. Так же наверняка скоро откроется набор в студию, так что желающим - велкам.
Артстанция
Тележенька студии
Ну просто вдруг кому-то нужен был и не попался плагин для Photoshop + Stable diffusion + ControlNet, с установкой в 1 клик.
К тому же вышел апдейт 1.2.0
Держите, и хорошей вам недели!
Напишите потом в комментах, действительно ли в 1 клик)
Git
Чувствую нас ждет возвращение всех этих 3D-экранов, но пока на одного пользователя и в виде планшета: leiainc.com
Нейронки позволяют для любой картинки, в режиме реального времени, сгенерировать «карту глубины», которая позволяет получать небольшой эффект перспективы в сцене.
Если, при этом, учитывать акселерометры, или просто трекинг лица через переднюю камеру, можно сделать что-то вроде 3D-эффекта.
Я пока скептически настроен, ТВ с камерой я дома не поставлю, и как человек отвлекающийся на фигню постоянно – не очень пока фичу оценил с 3D-Матрицей, но с точки зрения нейронок – круто конечно.
Вот похожая нейронка (Midas) в опенсорсе, вдруг кому-то пригодится.
Дропнули stability.ai для Blender.
В плюшках:
Render2Image -_-
Texture generation
Animation2Animation
Готовьте кредиты, ведь GPU не нужен)
Я как-то уже постил обзор Matrix Awakens от этого мастера слова.
Теперь у него вышел обзор графония GoW Ragnarok – всё так же угарно)
Теперь он есть в телеге, так что можете поддержать пацанчика, если понравился контент!
Смотреть на ютубе
Когда я писал, что мы будем снимать фильмы, делая запрос сети, я примерно это и имел в виду) Кто-то пишет, а кто-то уже снимает!
Дмитрий Алексеев снял фейк трейлер к своему фильму "House of dreams". И это чертовски круто! Я так рад, что подобные инструменты сокращают дорогу выражению своих идей и чувств, так и должно быть. Человек-мечтатель приходит на смену человеку-ремесленнику.
Для тех, кто хочет проверить, как это – снимать кино в новом смысле, – есть мэйкиноф.
Дмитрий, удачи, и жду приглашения на премьеру)
Пообщаться с автором можно тут в комментариях.
С другой стороны, если мы в играх пойдём вот таким путём, то через пару лет создание контента будет выглядеть совсем по-другому.
Скорости генерации будут настолько быстрыми, что говорить о них уже не будет смысла, так же как и об этих разговорах с ухмылкой "а где AI для автомапинга или ретопа", мы просто перепрыгнем этот этап за ненадобностью.
SD сейчас уже локально на мобилках генерит и довольно быстро, быстрее чем мы успеваем переучиться.
Я вижу узким горлышком только пайплайны крупных студий – когда вы узнаете о том, что условная Ubisoft перешла на что-то подобное, значит, уже как пару лет они это тестировали.
В AAA сейчас уже год как используют MJ и SD.
ControlNet слишком опасен 🐰
А ведь сейчас только февраль 2023.
Крутой клип в стиле фиджитал, без AI, спасибо и на этом, просто старый добрый UE и mocap/
Напомню, что лучшим костюмом для оцифровки движений является XSence.
Также считаю преступлением тот факт, что костюм стоит так дорого.
Полукастомный шлем Facegood D2 стоит вообще 500 бачей, за что – так и не понял.
Полный клип
Внезапно VR может получить киллерфичу в виде ChatGPT и таких вот игр с напарником, когда важно действительно совместное взаимодействие. Либо просто дейтинг симы. Когда ты можешь просто говорить с NPC голосом, и он тебе будет отвечать взаимностью.
Конечно, важны и прикосновения и любые типы взаимодействия, как обычный eye contact, про который поняли в последнем красивейшем Call of the mountain VR.
Понеслось AI по трубам.
NetEase, (огромная китайская тех. компания) заявила, что встроит в свою никому не известную Justice Online Mobile MMO, ChatGPT.
Можно будет общаться с персонажами, обманывать, запугивать и угрожать или разрушать браки, и они будут на это адекватно (или нет) реагировать.
Интересно, какой голосовой движок они будут использовать, потому что заявляется, что общение будет эмоциональным и максимально реалистичным (не MagicGooddy).
Кажется, кто-то открыл портал в хайп?
Китайский гринд теперь СОСМЫСЛОМ!
Вот как работает pose2image в новом ControlNet Mocap2.
Новости об этих новых модулях вы наверняка уже видели.
Не знаю как у вас, у меня в голове играет драмэндбас.
В коменты кину версию без рига.
Видимо флагманский проект (Re Village) под выпуск PSVR2.
Конечно, он должен выглядеть супер сногсшибательно, иначе новую железку не продать.
Со старых шлемов уже давно никто не сдувает пыль, а новые надо как-то продвигать.
Наверняка кто-то из 6к подписчиков собрался покупать новый шлем, расскажите зачем, почему, что вас побудило на покупку? Ответ про прон не принимается.
Начнем с того, что к диалоговому модулю Mount and Blade2 прикрутили OpenAI.
И действительно, теперь с NPC можно общаться на различные темы, но есть большое НО...
Как бы нам не хотелось, на данном этапе боты не способны дать нам то, что мы хотим, а именно погружение и контекст.
- NPC должны отражать состояние игры. ChatGPT ничего не знает о внутренней истории вашей игры!
- Он не может сканировать ваш инвентарь и знать, сколько вы потратили золота и на какой предмет.
- Разговору NPC нужна эпизодическая память. Если вы оскорбили мать NPC, они должны помнить об этом в следующий раз.
Существует огромное количество "если", и пока чат боты не научатся сканировать и чувствовать мир игры, разум туда не засунуть. Так же существует мнение, что когда мы этого добьёмся, это не станет GameChanger, т.к. у нас уже были примеры в истории геймдева, когда диалоги были прописаны настолько подробно и нелинейно, что вызывали скуку и проваливались на релизах.
Такое может заходить очень малому кругу лиц (Disco Elysium), чаще люди хотят получать хорошо продуманный скриптованый сюжет, как в кино, чтобы было концетрировано, ярко и веселило (TLOU).
Ловушка в том, что нам может казаться, что как только мы получим близкий к человеческому интеллект в играх, это всё изменит. В действительности ИИ уже сейчас может создавать бесконечный контент, и это уже не кажется таким уж и особенным.
Вот такие студии, поспродакшена, которые делают все и по чуть чуть, выигрывают от он новых инструментов больше всего.
От тестирования концепции идеи до воплощения в конечный продукт.
SD+руки
Как GPT работает в Unity!
Как говорил Эйнштейн: "Правильно написанный промпт - это уже половина написанного шейдера"
Господь, неужели я дожил!
Хотелось бы пошутить и пованговать "как мы будем работать в будущем", но это происходит уже сейчас.
Git
Совершенно случайно (ага) просочившая информация из роадмапы говорит нам о том, что Марк собирается, 25 году, в третьей серии шлема, таки, выпустить своих аватаров и реализовать телепресутствие.
Мы это обязательно сделаем в будущем, только не продавайте наши акции! Возможно по этому сами аватарки похожи на надгробные фотографии на черном фоне.
Сорс
Сэм Альтман, руководитель OpenAI, опубликовал на днях программный пост в блоге компании. Пост посвящен тому, как компания подходит к своей миссии — созданию artificial general intelligence—AI systems that are generally smarter than humans. Пересказывать не буду, там чтения на 10 минут. Хороший пример того, как думает и действует технооптимист, меняющий мир.
Важный, на мой взгляд аспект: никто, включая автора, не уверен, что задача вообще решаема, но если решить удастся, то готовить к этому лучше постепенно, давая людям и институциям (в том числе, властным) максимально широкий доступ ко всем промежуточным достижениям. Надо вырабатывать привычку к ИИ.
Уже встревоженные текущими возможностями «слабого» ИИ люди, понятно, забеспокоились от текста еще сильнее:) Их напугала сама по себе цель разработки сильного ИИ, если хотите понервничать вместе с ними, начать можете с этой статьи:)
Оу шит!!!
Corridor, конечно, красавцы со своими экспериментами, при помощи SD, бесплатного Fusion и Unreal.
Его они, кстати, использовали для производства бэкграундов: просто брали готовую инвиру и "рендерили" под шот.
Кстати, заметьте, что на самом деле львиную часть творческой, а не механической работы проделывают всё же при помощи базовых художественных знаний: постановки света, кадра, динамики, ширины объектива и т.д.
В общем, смотрите, а мейкиноф расскажет лучше, чем тонны моего текста.
Скрипт, который позволит вам, не выходя из Blender, делать красивых человеков через ControlNet.
Читать полностью…Пока интернет отдыхает, хочу вам показать невероятно крутую визуализацию, да, она не фоторил, почти, да, это стилизация, но всё очень крепко складывается один к одному, тачки и постэффекты выглядят органично.
Тут даже не хочется ставить опрос, CG или нет, просто скажу, что это Blender + внезапно выстреливший скилл.
Если посмотреть остальные работы Макса, они прям так себе.
Jump in hypetrain.
Следующим на oчереди идёт Roblox, который на самом деле, не очевидно, но пытается конкурировать с Epic Games в сфере UGC.
В ближайшее время нам обещают Generative AI driven content просто по запросу голосом, что и показывают в видосе выше.
Но в то же время говорят, что процесс потребует времени, а к концу десятилетия мы не будем даже задумываться о том, имеет что-либо ИИ или нет.
https://www.wired.com/story/roblox-generative-ai-gaming-universe/
Прекрасная визуализация моих мыслей.
Движки сейчас двигаются туда, куда двигался в начале своего пути Youtube, к UGC контенту, вскоре вы увидите эти изменения и вспомните этот пост. Создание любого элемента контента будет произведено при помощи AI. Геометрия, VFX, текстуры, звуки, сценарии, сам AI, конечно. Да, будут дискуссии о том, что стало больше посредственности, но в пропорциях вырастут и "алмазы". Это время новых возможностей, с одной стороны, и время беспросветного заката, с другой, – всё зависит от вашего выбора.
Наша индустрия прекрасна тем, что мы стоим на переднем краю изменений, и как люди, стоящие на берегу океана, видят отлив перед надвигающимся цунами, могут заранее принять решение, которое либо спасёт им жизнь, либо добавит их к тем, кто не имел возможности увидеть изменения заранее.
В полном интервью вы можете послушать дискуссию об изменениях, которые мы ожидаем в ближайшее время.
Ещё один пример реализации диалогов с NPC через GPT-3.
Как я уже писал выше, мало просто прикрутить бота к боту ^_^
Нужен сценарий поведения с некоторыми отклонениями и небольшим ощущением свободы (говорю на диктаторском).
Ну потому что супер тупо выглядит, когда вместо того, чтобы переброситься парой колких фраз с NPC и вступить в бой, спуская в преисподнюю через порталы пустоты приспешников мозгососов, вы начинаете вести ницшеанские беседы, попутно размахивая мечами.
Тем не менее реализация заслуживает внимания, даже на этом этапе. Вскоре мы найдём необходимый баланс осознанности интеллекта в играх.
Игра Anticthon собрана на Unity, синтез голоса через Google TTS.
Канал на ютубе
#промо
Советуем канал D. lab, который рассказывает всё о гонке нейросетей. Если вы думаете, что-то в этой сфере устоялось, то это не так. Мы наблюдаем как нейросети пошли в садик, а до финала еще далеко.
В канале D. lab можно узнать как будет выглядеть работа с видео, изображением и текстами в ближайшем будущем. Сможет ли Google победить ChatGPT? Как превратить свой браузер в ИИ-ассистента?
Подписывайтесь и узнайте сегодня, о каких технология будут говорить завтра.
Придется немного поэкспериментировать с грамматикой, если хотите получить более менее понятный голос на отличном от англ.
Проект Elevenlabs.
Если знаете другие подобные проекты с возможностью попробовать натренить голос, кидайте в коменты.
Мы много раз старались сделать правдоподобное человеческое лицо в CG, но правдоподобно получается в основном в статике. Зловещая долина всегда стоит за левым плечом.
Ещё меньше удачных примеров можно найти в движении, а тем более в играх вообще невозможно вспомнить.
Именно поэтому технологии, в которых можно будет применять face replace, критически важны, особенно для геймдева!
Какое-то представление даёт данный пример из Heavy Rain.