Канал о сферах CG, Игр и Генератива, все с помощью чего мы генерируем визуальное и интерактивное искусство. Статистику не предоставляю, смотрите на tgstat.ru Реггистрация в РКН: № 5646935501 mentorcampus.ru Вопросы и предложения: @Evgeniy_Vegera
"Все дизайнеры потеряют работу потому что AI...."
AI: ok
Интересный кейс об использовании диффузионных моделей при создании контента.
Обычно крупные вендоры прямо запрещают использование нейросетей, опасаясь исков со стороны правообладателей. Часто этот пункт даже прописан в договоре.
Это связано с тем, что эти модели обучаются на, условно говоря, "плохих данных", на которых не было получено разрешение от авторов. Однако, использование собственных работ для обучения моделей не запрещено, и у компаний, например Blizzard, припасено достаточно материала для обучения на несколько лет вперед.
В итоге, это просто "майндтрик". Вы можете смотреть на чужие работы, "вдохновляться" ими, пиздить удачные решения, а затем обучать модель уже на своих работах, и тут уже никто не сможет вам ничего сказать, поскольку вы соблюдаете закон.
Blizzard Diffusion будет использоваться при создании концептарта и украшений для предметов и пушек.
Также уже были упомянуты Ghostwriter от Ubisoft, который будет писать диалоги для NPC.
Очень интересно! Если бы мы знали, что будет дальше, но мы не знаем, что будет дальше.
Сорс
Эпики выпустили стартовый гайд по Virtual Production. Он не первый и не последний, как они обещают. Если вы все еще не знаете, что это такое или с чего начать, то это для вас.
Честно говоря, каждый раз я получаю эстетическое удовольствие, когда вижу, как компании относятся к продвижению своего продукта. Каждое действие, каждый информационный повод, каждый гайд и т.д. – это маленький законченный продукт. Эпик не идеален, я знаю, потому что работал с ними, но отношение абсолютно правильное!
Сорс
Безусловно, неинвазивные методы сканирования активности мозга станут трендовыми, но только после того, как предыдущие хайп-циклы принесут достаточно прибыли.
И комментарии типа "О боже мой, это геймчейнджер, он позволит такому количеству людей с ограниченными возможностями играть в игры!!!" упускают из виду тот факт, что в первую очередь это не геймчейнджер, это "брейнфакер".
В погоне за удовольствием мы узнаем, что такое "серотониновый удар", когда после снятия шлема будет хотеться резать вены или шагнуть в окно. Действительно важный момент – как сделать контент таким, чтобы не получать удовольствие рекой, – это будет задачей для искусственного интеллекта, так как ему создавать бесконечный контент в перспективе.
Если это какая-то шутка, то спросите людей, которые наизи несколько часов могут не вылезать из рилсов, TikTok или подобных сервисов. И это еще пока люди приложения пишут.
Кстати, да, это классное видео из TikTok о EEG-технологиях.
Очень не очевидный подход к управлению результатами генераций через контроль опорных точек.
С помощью DragGAN можно деформировать изображение с точным контролем расположения пикселей, таким образом манипулируя позой, формой, выражением и расположением различных категорий, таких как животные, автомобили, люди, пейзажи и т. д.
Если попробовать проинтерполировать этот подход, то в какой-то момент мы приблизимся к управлению, подобному обычному вьюпорту трёхмерного софта с гизмами и вращением объектов в трёхмерном представлении.
Сорс
Пока исследовательские группы жонглируют методами генерации трёхмерных представлений: делать их из поинтклауда или вокселей, – данная группа предлагает вернуться к классическому полигональному представлению, просто так всем привычнее. Как заботливо с их стороны.
Тем или иным способом мы таки весьма быстро двигаемся в сторону упрощения работы с начальными этапами продакшена и ускорением итераций при разработке.
Потому что только большим количеством итераций можно нащупать наилучший способ выдавить из вас ещё немножечко дофамина. Это всё звучит как прекрасный продакшен будущего, но позвольте спросить: когда кто-нибудь уже займётся, наконец, генерацией идеальной uv развёртки?!
Называется Mesh Diffusion
Почитать и покрутить тут
Сначала каким-то чудом попадаешь в компанию, работаешь там, не задумываясь о дальнейших шагах, а потом в самый неподходящий момент начинаешь думать о том, как же всё-таки правильно написать резюме и, самое главное, что в нём писать.
Знаю, что сейчас горячее время и многие либо начинают искать, либо уже в процессе поиска.
Это вам небольшой тутор, как увеличить шансы.
От себя скажу, что решение, общаться с художником или нет, принимается за 30-60 секунд просмотра портфеля соискателя.
Если кому-то интересно, как происходит просмотр вашего художественного портфеля, то можно меня поспрашивать на стримах, которые несколько раз в месяц бывают на ютубе.
https://medium.com/my-games-company/how-to-create-gamedevs-resumes-that-turn-recruiters-heads-eb765b6b1daf
Этот скрин – икона современного положения дел в геймдеве и сообществе.
Да, этот "косяк" в Redfall можно исправить за пару минут рабочего времени, он не влияет никак на геймплей, это просто визуальная условность, находящаяся на крыше, максимально далеко от глаз игрока. Это просто труба для вывода дыма из печи.
Но, в целом, из-за качества релизов последнего года очень перегретой аудитории, кредита доверия, который Arcane заработала за время своего существования, из-за просто существования возможности писать что угодно и жаловаться вообще на всё, мы получаем пост на редите с 80к апвоутами, и я думаю, это ещё не предел.
Проблема не в трубе, каждый из вас, я уверен, видел в любой игре массу разных косяков, которые могут не фикситься годами.
Жалко художника, который делал этот ассет, лида, который это пропустил, QA, который это не увидел. Это говорит о том, что за время продакшена там было неимоверное количество проблем, которые на фоне этого были куда критичнее. А значит, проблема в процессах, в сроках, в отчётности перед инвесторами. Игроки ведь тоже готовы ждать переносов ради хорошей игры, не так ли?
В ближайшем будущем каждый пиксель будет не отрендерён, а сгенерирован.
На будущем Siggraph Nvidia представит около 20 исследовательских работ. Конечно, большая часть будет посвящена нейронкам.
Пара моментов мне показалась очень интересными. Это нейронное сжатие текстур до 16 раз. Текстуры будут оставаться невероятно чёткими при меньшем занимаемом объёме. Сейчас, как известно, именно текстуры занимают большую часть дистрибутива.
Далее это нейронная физика для волос (пока для волос), работающая на предсказании движений: каждый волосок больше не рассчитывается отдельно, что тоже ускорит просчёт и добавит реализма.
И третье – это визуализация сложных, многослойных кинематографичного качества материалов в реальном времени.
Момент, когда понимаешь, что производство 3D классическими пайплайнами может пойти вообще в другую сторону. И от этого аж дух захватывает (тут должна быть шутка про ретоп).
Учитывая, что Controlnet сделал за пару месяцев с просто генерацией картинок, через год нужны ли нам будут такие же ресурсы для просчётов тяжёлых симуляций или нам их потребуется ещё больше из-за увеличивающегося количества параметров? Понятное дело, что сейчас качество не продакшен, мы говорим про перспективу.
Условно говоря, делаем драфт симуляции, а доводим уже нейронками. Какие подводные камни в этом видите?
Когда они пришли за эпилептиками, я молчал... Но потом они пришли за арахнофобами!
В скоро выходящем Star Wars Jedi: Survivor добавили режим для арахнофобов. Если вы очень боитесь пауков, вы просто можете выключить этих мобов в меню!
И я, как патентованный арахнофоб, могу говорить от лица сообщества, что вся эта соевая культура ни к чему хорошему не приведёт. Хорошо, что это пока опция, и пауков не закенслили полностью, но важно сохранять паритет. Иначе когда нам нужно будет действительно противостоять ордам космических пауков, мы не будем готовы.
Предлагаю ввести такую же опцию для игр Spider-Man.
Привет! Я подготовил короткое промо и демонстрацию основных функций первого доступного скрипта для работы со Stable Diffusion под After Effects.
Основные функции
- txt2img с использованием controlnet (покадрово и анимация)
- interrogate
- Препроцессинг изображений (получаем canny и depth прям из Афтера!)
- скрипты для копирования промптов из файлов
@neuroae
Сам скрипт:
https://drive.google.com/file/d/1FRFPxHVDUMLMIdKlsqfBSIsC9y44WmAg/view?usp=share_link
Это пока самое качественное и осмысленное из того, что я видел в Text2Video.
Да, есть проблемки с лицами и мелкими деталями, но, к примеру, пролёты камеры и удерживание деталей от кадра к кадру феноменальные.
Я писал, что фильмы будем снимать через год, кажется, я был слишком пессимистичен.
Спеки такие:
Name: "The Anomaly of Kepler-61b"
Script: ChatGPT4
txt2video: Gen2
txt2speech: elevenlabsio
Звука пока что нету, автор пока работает над ним, обещает апдейт.
#ХроникиВторогоРенессанса ©
Мужчина борется с уличной камерой видеонаблюдения.
Мельбурн, Австралия.
Иногда людям бывает сложно сформулировать свои мысли в формате резюме.
А тем более выдержать нужную структуру, не написать воды, ещё и оформить нужно правильно, чтобы не выглядеть как 🤡
Всё равно лучше вас вас никто не знает, так что не нужно полагаться полностью на автопИИлот, а то и эта дорога приведёт к 🤡
Для всего остального есть сервис создания резюме, который поможет собрать ваши мозгишки в кучу.
Сидим в каментах с @miklrabbit играемся с бетой нового фотошопа и он кидает свой результат:
"Самый ахуй: По небольшому куску справа снизу понимает, что это тарелка, по небольшому отражению в спинке стула понимает, что стул глянцевый.
Да отражения косячные, где-то шторы заштампил, но в остальном отвал жопы." А самое невероятное - это все без промптов. Просто выделил кусочек и нажал генерировать.
Я сам дрыгаю все старые фотки и недоумеваю. Это ведь та самая кнопка из древнего мема "Сделать пиздато". Лёгкие артефакты встречаются, но фш вновь доказал что он король. Без всяких питонов и миллиона настроек и оболочек. 1 тык и готово.
Держу вас в курсе о том, что сейчас можно делать с помощью AI. Что если объединить художественные стили Wes Anderson и James Cameron?
Вся графика и персонажи генерируются и дорабатываются с использованием частично старых пайплайнов. Не нужно думать, что все происходит по нажатию волшебной кнопки, старые пайплайны по-прежнему имеют свое место. Однако уровень контроля, увеличение скорости итераций и поиск художественных решений, конечно, вносят свой вклад, и от этого мы уже никуда не денемся.
Вы можете написать, что тут доработанная статика и ничего больше, тогда вспомните, что смежные алгоритмы сейчас делают с видео и рано или поздно они коллапсируют, скорее рано.
AI теперь стал частью нашего художественного экзокортекса.
Отличный, редкий и, самое главное, интересный материал о том, как создавали эффекты в игре Jedi: Fallen Order. Хотя игра не новая, многие наверняка уже ее видели, но все же.
В целом, советую заглянуть на сайт, там много интересных разборов.
Casablanca.ai – сервис, который пошёл дальше, чем сервисы Nvidia, сдвигающие ваши глаза в камеру, он позволяет повернуть всю вашу голову.
Считаю, что хватит уже ходить вокруг да около, замените всё тело, и пусть оно само делает заинтересованный вид на дейли синках.
Понемногу выкристаллизовываются новые пайплайны, с которыми можно иметь дело.
Для этого приходится придумывать новые слова типа - reimaging. По сути, текстуры из драфта просто дорабатываются в SD.
Я не видел пока туторов, но подозреваю, что вместе с драфтовыми текстурами вам нужна финальная развёртка, т.к. применение новых текстур будет происходить через проджект.
Сейчас все прожекты происходят из одной камеры, а в идеале нам бы иметь инструмент с сегментацией для распределения разных материалов, ну и, конечно, кубический или сферический прожект со встроенным инпеинтингом, чтобы генерация не теряла контекст с предыдущих углов камеры.
Если видели туторы подобных пайплайнов, делитесь в комментах.
А вот та самая реклама Coca Cola, которая была сделана якобы в SD.
По факту в брейкдауне мы видим, что львиная часть работы все еще делается по привычным пайплайнам, ручками.
Да, в некоторых моментах удалось ускорить процессы, но об эффективности говорить пока не приходится.
Что примечательно, в этой рекламе впервые для настолько крупного клиента использовались смешанные инструменты, и подобного будет становиться все больше, так что не стесняйтесь предлагать своим заказчикам новые решения.
Сорс
Пример использования новых инструментов для артдирекшена и контроля концептинга отдельных элементов.
Я лично второе рождение, в профессиональном плане, испытал, когда начал пользоваться сетками в своей работе.
То, что через пару лет криэйторы будут в себе объединять микростудии, это правда. Легче не будет, вопреки массовому заблуждению, будет сложнее!
Но интереснее, я обещаю)
Сетап такой:
Stable diffusion webui. img2img using controlnet1.1 lineart_anime and depth. Input rendered image.
Ну и как визуализация того, к чему мы идём, говоря о том, что каждый пиксель будет сгенерирован. Сейчас это, конечно, баловство с SD, но просто представьте, как экспоненциально скакнут нейронные вычисления на кубитах.
Если кто не знает, это старая игра Vampire the masquerade, пропущенная через датасет со Скарлетт Йоханссон.
Я уже постил эксперименты Олега, вот еще один с сетапом:
Touchdesigner + Stable Diffusion + AITemplate.
Следующие эксперименты будут с Control Net.
Тут Олег рассказывает как собрать такой же сетап.
Конфиги и скорость вывода:
скорость - 0.7-0.9 sec/image в разрешении 512x512,
настройки: 20 steps, 15 cfg, 0.6 denoising strength, and SD 1.5
Ждем в конце концов риалтайм, Vtubing сам себя не запили в конце концов.
Олег, спасибо за эксперименты!
Для ненавистников Scifi есть версия с аниме)
#ХроникиВторогоРенессанса
Женщина недовольна обслуживанием в госпитале Китая. Видимо, это гостевой робот, предлагающий первичную запись.
Вероятно, она получит штраф рейтинга, и в дальнейшем её обслуживание сильно осложнится.
Если вы захотите снимать документалку на подобную тему, подождите, кода подобное начнётся во Франции, там фактура лучше.
#промо
Го создавать игры!
Студия инди-разработки GameBox от Skillbox запускает свой первый игровой джем для гейм-дизайнеров, программистов, 2D- и 3D-художников, саунд-дизайнеров. Старт – 29 апреля.
На разработку игрового прототипа – неделя плотного коннекта и жарких споров🔥 Конкурс пройдет полностью в онлайне: от подачи заявки до формирования команд и работы над билдом на базе Discord. Работать можно как в пати, так и соло. Если ищете тиммейта – команду найти помогут.
Проекты будут оценивать основатель студии Ice Pick Lodge Николай Дыбовский, директор по маркетингу в Pride Games Studio Даниил Хрипко, инди-разработчик Слава Грис, руководитель GameBox Владислав Борец, руководитель направления «Игры» в Skillbox Денис Татьянкин и другие эксперты.
Победители получат денежный приз более 200 тысяч рублей и четыре консультации, которые помогут довести игровой билд до полноценного релиза. Подробности и рега здесь: https://l.skbx.pro/1kruDO
Хоть мы этого и не видели, но всегда подозревали. Теперь официально LLM используются в военных действиях.
Компания Palantir показала интерфейс программы для анализа боевых действий для ведения войн.
Основная концепция продуктов фирмы — визуализация больших массивов данных из разнородных источников, позволяющая пользователям без технической подготовки находить взаимосвязи между объектами, обнаруживать совпадения между объектами и событиями вокруг них, выявлять аномальные объекты — Data Mining с упором на интерактивный визуальный анализ в духе концепции усиления интеллекта.
Не требуется персонал с инженерными или программистскими навыками, так как вся работа ведётся в интуитивном графическом пользовательском интерфейсе, а запросы к источникам формулируются на естественном языке.
Осталось сделать так, чтобы гибли не люди, а роботы. В идеале прекратить любые конфликты, но не с этим человечеством, не с этим.
В комментах воздержитесь, пожалуйста, от срачей, иначе буду нахуй банить. ❤️
Видео
Итак, свершилось. Я только что выложил мой набор инструментов для работы со Stable Diffusion из Гудини в открытый доступ. Для всех, даром, и пусть никто не уйдёт обиженным. Все, что нужно знать, в видео.
Нагенерируйте мне красоты!
https://www.youtube.com/watch?v=Un_b8cvzxcw
Runway вышел на iOS!
Осталось найти способы подачи контента под новые возможности, у тиктока это получилось однажды.
Будет ли это востребовано в мобильном контентмейкинге – пока вопрос открытый.
Линк на апстор
Так, ну ладно, часть из вас уже наверняка видела видео из движка. Как на хайпе можно пропустить?
Разрабов бомбануло от количества сомневающихся, поэтому пришлось таки показать сорсы из движка.
Можно ещё, конечно, кекнуть, что просто втрекали видео в интерфейс анрила 😄
Но если серьёзно, крутости всей идее придают именно анимации, я поэтому пошёл к аниматорам спрашивать в первую очередь.
Микродвижения и люфт камеры: всё это добавляет к фотосканам и освещению супер правдоподобность.
Остаётся только ждать релиза, поиграть пару часов и скорее всего забыть.