13183
Используем ИИ строго не по назначению. Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
Opensource решения для достижения качества SORA
Banodoco — опенсорс сообщество, которое много раз меня вдохновляло на новые идеи в создании анимаций через AnimateDiff и Stable Diffusion Video. Недавно они написали в дискорде по поводу развития опенсоурс видеонейронок:
SORA невероятно впечатляет, но контроль является самым важным аспектом для создания великого искусства, и благодаря работе сообщества, AnimateDiff сейчас значительно превосходит по точности управления движениями.
Чтобы дальше улучшить управление в AnimateDiff и помочь в раскрытии силы/ценности художественного контроля, мы можем сделать следующее:
№1: Удвоить наше преимущество в управлении, создав открытую армию Motion LORAs.
№2: Использовать весь наш контроль, чтобы создавать удивительное работы по всему миру.
Это краткое изложение основных моментов предложения по улучшению контроля в AnimateDiff и поощрению художественного контроля с использованием нейронок и открытых источников.
https://www.wired.com/story/how-pentagon-learned-targeted-ads-to-find-targets-and-vladimir-putin/
Adtech is hell
Эппл закрыла проект собственного автомобиля и перевела сотрудников на разработку проприетарных кабелей для Vision Pro 2.
Также, возможно, не смогли пройти сертификацию из-за нахождения порта зарядки в днище автомобиля, либо из-за невозможности продавать подушки и ремни безопасности по подписке, а также из-за невозможности поменять колесо вне авторизованного сервисного центра.
/s
Chaos Next. Взрослые мальчики берутся за ИИ.
Вот интересная новость от Chaos Group - они внедряют ИИ в свои продукты. И это отличная новость - ибо помимо Unity все крупные 3Д-вендоры упрямо отмалчиваются и делают вид, что слово ИИ есть, а ИИ - нет.
Смотрите, что удумали Владо сотоварищи (дальше в порядке возрастания интересности и уникальности):
Style Transfer - тут все понятно, наваливание различных визуальных стили к рендерам на основе референсов.
Lifestyle Image - грубо говоря, генерация (и матчинг) фонов, для совмещения ваших продуктовых рендеров и окружающей среды.
Material Aging Simulator - моделирует естественный процесс старения материалов в 3D, не только для симуляции, но и для принятия проектных решений. Тут у Хаосов огромная экспертиза - я видел у них офисе многотонный сканер, в который можно присунуть кусок любого объекта - он его отсканирует и выдаст PBR-материал нечеловеческой точности.
PBR Rendering (text to materials) - это то, что также делает Юнити (писал тут) - создания сложных реалистичных PBR-материалов на основе текстовых промптов или рефов.
Smart Scene Populator - автоматическое ИИ-размещение объектов в 3D-сцене. Вот это уже интересно. Похоже на то, что делал (и делает) Прометей от Андрея Максимова, с которым мы как раз и общались про это на Total Chaos в Софии в 2018 году.
Set Extender - это как outpaunt, только полностью в 3Д(!). У вас есть 3Д-сцена, ИИ может ее достроить и расширить. Я заинтригован.
Historical Asset Learner - вот это интересная штука - 3Д-ассистент, который смотрит, что пользователь делал за последний условный год, какие ассеты пилил, и потом "предсказывает его потребности". Я заинтригован еще больше.
Intelligent Lighting Optimizer - автоматическая настройка освещения в вашей сцене!!! Ну за лайтинг-артистов.
И все это добро с Voice Interface - может орать в монитор на ИИ: "объекты создай, как я все время делаю, раскидай их по сцене, посвети как надо и привали на это модный нейролук". И кофе, без сахара.
https://www.chaos.com/next
А вот и трейлер Борды подъехал.
Если честно, у меня нет никаких ожиданий, поэтому я вряд ли буду разочарован :D
С меня хватит фирменного дурдома, ну и фансервиса.
https://www.youtube.com/watch?v=lU_NKNZljoQ
Печать Чистоты обрела новые смыслы.
Разработчики Powerwash Simulator показали трейлер дополнения по Warhammer 40,000.
DLC выйдет уже 27 февраля.
@zavtracast
Скрин из параллельной вселенной, где гугл перименовал Bard в YandexGPT :D
git
Подъехало сравнение качества генерируемых видео от Runway Gen-2 и OpenAI Sora на одинаковых промптах.
Тред в твиттере
/channel/zavtracast/24664
Не понял, где там ии, но поржал знатно.
В сеть утекло видео реакции Andrej Karpathy на SORA.
A few days later he quit openai to touch, possibly, the last realistic non-generative grass, and solve rubick cubes on YouTube.
@derplearning
Для Gradio выкатили Notebooks.
Теперь можно запускать gradio notebooks из colab notebooks.
Уроборос укусил себя за жепу, товарищи! Поздравляю, мы прошли полный цикл.
hf demo
Помните пару лет назад была нейронка First Order Model которая анимировала картинки по видео примерам? Ее наследие живо, встречайте Emo – качество впечатляет, теперь осталось самим потестировать
Сайт проект:
https://humanaigc.github.io/emote-portrait-alive/
Код будет позже
Генеративные модели достигли в программировании уровня сеньоров
Читать полностью…
Новое sora-видео – я листая ленту даже не сразу понял, что это генерация ☕️
Теперь OpenAI каждый день openai/">постит в тикток кстати
"OpenAI sora casually drops the most brutal trolley problem solution" 😅
Читать полностью…
Если Gemini упарывается в инклюзивность и не хочет генерить белых людей, просто попросите нарисовать славян.
Ведь в США славяне - ethnic minority :D
@derplearning
Двухчасовая лекция от ex-Tesla ex-OpenAI инженера-менеджера Andrey Karpathy про токенизацию и все её тонкости 🙂
https://www.youtube.com/watch?v=zduSFxRajkE
Репозиторий с пошаговым и хорошо прокомментированным кодом как сопроводительный материал: https://github.com/karpathy/minbpe
Если вы хотели увидеть, как GPT "читает" ваш текст, какие единицы в нём выделяет — вам сюда.
Sora: генерит ультрареалистичные видео
Will Smith: hold my beer
Норм все у мужика с самоиронией 😺
Large World Model (LWM)
Недавно выкатили модель, которая может успешно извлекать информацию из контекста в 1 миллион токенов. Это может быть полезно, например, при работе с длинными видео, чатами, книгами, кодом.
Но мы-то с вами знаем, что на самом деле модель с контекстом 1М токенов нужна для поиска по 842 additional authors not shown из пейпера google gemini.
За наводку спасибо /channel/lovedeathtransformers/7129
project
paper
git
У sora даже фейлы концептуальные.
Это вам не шесть пальцев.
Если бы не мелкие артефакты, я бы не поверил, что это генерации.
Выходит, ИИ оставил без работы ИИ-стартапы? Text\image2video, что с лицом?
Думаю, уже пишут слезные письма Саме с просьбами о доступе к апи.
Вопрос алайнмента стоит остро как никогда - в умелых (да и неумелых) руках - мощнейшее оружие, ведь большинство людей не умеют критически мыслить, а те, кто умеет, в какой-то момент уже не смогут найти это самые артефакты, выдающие генерации.
Теперь даже нет вопросов, живём ли мы в симуляции, вопрос только в размере модели 😺
Openai Sora
А вот и корпораты заходят на рынок генерации текстур.
Unity скооперировалась со Stability AI и бахнула вот такую работу.
Collaborative Control for Geometry-Conditioned PBR Image Generation
Если на пальцах, то обычно весь ваш генеративный ИИ выдает только RGB, и не умеет даже в альфу.
Умельцы из Юнити научились предсказывать и извлекать PBR-свойства, альбедо, Roughness и даже Bump из внешнего вида сгенеренного объекта.
Берете ваш меш, пишете промпт, можно пристегнуть референсную картинку, а дальше ИИ-Юнити отдает вам рендер, альбедо, рафнес, металлик, нормали и тангенсы.
В общем скоро будут вам не только RGB-текстуры, а полный фарш, если Unity сподобится завернуть это в продукт и, о боги, выложить код (все-таки в соавторах Стабилити).
Демо на сайте выглядит просто убойно. Покрутите сами - выбираете объект, жмете Скапчурить Нормали, потом еще ниже пишете промпт в Text Condition и жмете Generate PBR.
Я взял первый попавшийся меш из какого-то ИИ 3Д-генератора(!) сунул его в демо, написал bumpy rusty metallic и получил 4 вышеупомянутых карты.
Огонь.
Все это добро тут:
https://unity-research.github.io/holo-gen/
Deep rock galactic: survivor вышла в ранний доступ.
Уже есть целый один отзыв 😅
Выглядит как crimsonland во вселенной deep rock galactic, а как играется - покажет время.
https://store.steampowered.com/app/2321470/Deep_Rock_Galactic_Survivor/