13183
Используем ИИ строго не по назначению. Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
CogView3 & CogView-3Plus
В целом осень выдалась урожайной, в основном благодаря ECCV & SIGGRAPH ASIA
Вот и китайцы выкатили очередную итерацию CogView text2image
Если верить авторам, бьет SDXL во все поля (пора все-таки уже с FLUX сравнивать, сдохле второй год пошел)
paper
code
@derplearning
Фоторежим из Death Stranding 2 как отдельный вид искусства
@derplearning
Runway: режим Video-2-Video теперь есть и в Turbo версии Gen-3. До этого оно было только в базовой модели.
Также в Turbo завезли работу с вертикальными видео.
Твит
Сайт
Про Runway Turbo
https://fxtwitter.com/blizaine/status/1839301081656078579
Читать полностью…
I shared the following note with the Openai team today
Читать полностью…
While we’re talking about nuances
Winamp published their source code on github
https://github.com/WinampDesktop/winamp
And they used custom license which, among other things, forbids creation of forks
What’s nuance? GitHub’s license doesn’t allow usage of license where forks are forbidden 🌚
Fork time ! 😈
Издалека прочитал неправильно название - даже захотелось купить кому-нибудь в подарок 😅🥲
Читать полностью…
⚡️В ближайшем обновлении emoji будет добавлен самый важный, которого мы ждали — читатель интернета вечером
PDF-документ обоснования добавления
Добрался почитать статью SAM 2: Segment Anything in Images and Videos (старье, ей уже больше месяца!), искренне восхитился. Причем даже не только красивой демкой и высокими метриками на всех подряд zero-shot / semi-supervised бенчмарках по сегментации, а дизайном всего решения.
TL;DR такой:
- поставили новую задачу promptable video segmentation - в такой постановке задачу не решают, зато ее можно рассматривать как обобщение ранее известных задач;
- чтобы ее решить, подошли с обеих сторон - модель и данные;
- модель дизайнили под относительно быстрый стриминг инференс, пригодный и для видео, и для отдельных картинок, которые рассматриваются как частный случай видео из одного кадра;
- поддержка видео реализована через memory attention блок (выход енкодера проходит через self-attention на себя, а cross-attention - на memory, содержащий фичемапы предыдущих фреймов и предсказаний + вектора сегментируемого таргета);
- собрали огромный датасет из 600k+ масок, используя много итераций self-labeling с вовлечением разметчиков (human in the loop is all we need), в конце добившись среднего времени разметки кадра человеком 4.5 секунд;
- при помощи тех же self-labeling + валидацией человеками расширили датасет в четыре раза, и обеспечили этим еще и хорошую сегментацию фоновых объектов;
- для каждого куска пайплайна есть детальный ablation study.
Вообще не знаю, зачем пересказывать такую статью - она написана максимально понятно, вникать не придется, читается легче, чем телеграм-канал среднего ML-графомана. Но если читать все равно лень, можете посмотреть видео.
А вот и воркфлоу для liveportrait @ comfyui
git
guide
tweet
@derplearning
Ну за риггеров и моделлеров, а также текстурщиков. Еще остается место на корабле для аниматоров, но LivePortait заберет часть связанную с захватом движения.
Я уже начинал наливать за риггеров вот тут и тут. И надо сказать, процесс пошел.
Вот держите первые прототипы нейрорига, которые народ пилит для своих нужд. И это уже не китайские аспиранты с бумагами наперевес. Это взрослые мальчики из VFX индустрии.
Следуюшим постом дам еще более приближенный к VFX кейс по нейроригу.
А пока задумайтесь - на входе - одна картинка - фото, генерация, рендер, что-угодно.
Весь традиционный пайплайн типа моделинг-анимация-эффекты-рендеринг разворачивается вспять. На первом месте картинка, то бишь рендер. И на него мы наваливаем эффекты, анимацию и если надо перемоделинг (просто перегенерируем картинку).
Я об этом говорил лет 12 назад на закрытиях CG EVENT, но не думал, что это будут нейросетки, тогда Юнити и Унриал начинали взрывать 3Д.
В общем вода и жара в VFX-пайплайне пошли в обратную сторону.
@cgevent
Польский разработчик создаёт симулятор типичного славянского ремонта со всеми его атрибутами. И только по одному этому трейлеру можно понять, какой получится шедевр.
Называется Majster Symulator. Даты выхода игры пока нет, но есть страница в Стиме. Можете добавить в вишлист.
Это точно игра года
r/#Asmongold
Когда коварные французы отжали у тебя не только фичи из телеги, но и дельты
Когда неделю не фоткался в пустыне\ванной
PortraitGen - Portrait Video Editing Empowered by
Multimodal Generative Priors
Интересный подход к video2video с объездом через 4D гауссианы.
Неожиданно, с кодом и претренами.
paper
git
project
Так и запишем: на чердаке больше не спрятаться
Robust Ladder Climbing with a Quadrupedal Robot
paper
Тем временем VisualRWKV не стоит на месте и уже подбирается к LLAVA по метрикам, при большей скорости и меньшем расходе памяти.
Когда они уже картинки начнут генерить, ну.
https://github.com/howard-hou/VisualRWKV
Индустрия через пару лет такая: «А чего бы нам не запускаться только на нейронных чипах?»
Думаете, Хуанг не пойдет на это, учитывая все его последние заявления? Отлично же картинку держит, не?!
Принес классную ссылку тем кто хотел бы начать разбираться в «агентах» с LLM – агентами называют мини-ботов которые делают какую-то задачу и обладают некой степенью свободы:
https://github.com/NirDiamant/GenAI_Agents
Внутри примеры на все случаи жизни: автоматизация саппорта, чатботы, автоматический поиск в интернете и тп., у всех примеров открыт исходный код
Агента Смита пожалуйста не делайте, спасибо
https://www.youtube.com/watch?v=3sVZ_f6Rs-Q
его не ждали, а он жив
Вот держите еще немного утечек и Снапчат-метаверса.
Эван Шпигель, сам, без ансамбля, тизерит генеративный AI при создании линз.
Тут бы впору выпить за всех, кто зарабатывает на линзах, ибо он просто говорит давай чизбургер или котика - и оно моментально генерит (сначала 2Д-прокси, а потом 3Д(!) AR-объект. Он делает хорошее шоу - из зала люди кричат, что они хотят увидеть, а он просто говорит "imagine cowboy frog" и лягушка ковбой возникает в 3Д. Смотрится куда лучше, чем твитторные треды типа "кидайте промпты, а я нагенерю".
Ну и совсем убойно смотрится вот это вот меню на ладони. А трюк с настройками на тыльной стороне - вообще шедевр UX.
Все эти фильмы про будущее уже здесь.
Снап молодцы, у них очень крутой ресерч.
И я добавлю, что именно тут ИИ-генерация очень уместна и по делу - нет требований к качеству 2Д и 3Д, аудитория уже приучена к некоторому стилю, в которой ИИ попадает с первого раза.
А порассматривать очки можете тут:
https://techcrunch.com/2024/09/17/snaps-extremely-large-spectacles-bring-impressive-ar-to-developers-at-99-a-month/
@cgevent
Очень хочется посмотреть «необчные» версии известных шоу, сделанные AI.
Читать полностью…
Секреты успеха от Ильи Суцкевера или как поднять $1b на 1 хтмл страницу:
1) $1b поднимайте
2) не $1b не поднимайте
Когда девушка попросила сводить ее куда-нибудь в дорогое место
Читать полностью…
https://fxtwitter.com/ArdaGoreci/status/1830744265007480934
Читать полностью…
Тут я бы приподнечокнулся за будущий геймдев, Виар и даже vfx.
Как вам темпорально стабильные 4д видео на сплатах, которые стримятся с ссд лаптопа и рендерятся 500 фпс.
Как пишет мне Андрей Володин, скоро уже будут в проде.
По ссылке почитайте подробный тред, как они дошли до жизни такой, почему весь опенсорс надо переписывать, как добиться темпоральной стабильности, особенности тренировки моделей, квантизацию и прочий фарш.
И все это сплаты, Карл! Включая волосы.
Ну, за часть пайплайнов VFX и gamedev.
https://x.com/s1ddok/status/1830680881050046756
@cgevent
Ну, за кожаных инфлюенсеров.
Сколько им осталось? Полгода?
Липсинк постепенно переходит в список решённых задач...
Потом придется создавать резервации типа кожаного тиктока или инсты, куда вход разрешен только белковым сущностям.
С жоской аутентификацией, KYC, биометрией, отпечатками пальцев, faceID.
Хотя faceID уже обходится генеративным контентом.
В общем кожаным пора строить свой новый интернетик.
@cgevent
