13183
Используем ИИ строго не по назначению. Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
Генеративные модели достигли в программировании уровня сеньоров
Читать полностью…
Новое sora-видео – я листая ленту даже не сразу понял, что это генерация ☕️
Теперь OpenAI каждый день openai/">постит в тикток кстати
"OpenAI sora casually drops the most brutal trolley problem solution" 😅
Читать полностью…
Если Gemini упарывается в инклюзивность и не хочет генерить белых людей, просто попросите нарисовать славян.
Ведь в США славяне - ethnic minority :D
@derplearning
Двухчасовая лекция от ex-Tesla ex-OpenAI инженера-менеджера Andrey Karpathy про токенизацию и все её тонкости 🙂
https://www.youtube.com/watch?v=zduSFxRajkE
Репозиторий с пошаговым и хорошо прокомментированным кодом как сопроводительный материал: https://github.com/karpathy/minbpe
Если вы хотели увидеть, как GPT "читает" ваш текст, какие единицы в нём выделяет — вам сюда.
Sora: генерит ультрареалистичные видео
Will Smith: hold my beer
Норм все у мужика с самоиронией 😺
Large World Model (LWM)
Недавно выкатили модель, которая может успешно извлекать информацию из контекста в 1 миллион токенов. Это может быть полезно, например, при работе с длинными видео, чатами, книгами, кодом.
Но мы-то с вами знаем, что на самом деле модель с контекстом 1М токенов нужна для поиска по 842 additional authors not shown из пейпера google gemini.
За наводку спасибо /channel/lovedeathtransformers/7129
project
paper
git
У sora даже фейлы концептуальные.
Это вам не шесть пальцев.
Если бы не мелкие артефакты, я бы не поверил, что это генерации.
Выходит, ИИ оставил без работы ИИ-стартапы? Text\image2video, что с лицом?
Думаю, уже пишут слезные письма Саме с просьбами о доступе к апи.
Вопрос алайнмента стоит остро как никогда - в умелых (да и неумелых) руках - мощнейшее оружие, ведь большинство людей не умеют критически мыслить, а те, кто умеет, в какой-то момент уже не смогут найти это самые артефакты, выдающие генерации.
Теперь даже нет вопросов, живём ли мы в симуляции, вопрос только в размере модели 😺
Openai Sora
А вот и корпораты заходят на рынок генерации текстур.
Unity скооперировалась со Stability AI и бахнула вот такую работу.
Collaborative Control for Geometry-Conditioned PBR Image Generation
Если на пальцах, то обычно весь ваш генеративный ИИ выдает только RGB, и не умеет даже в альфу.
Умельцы из Юнити научились предсказывать и извлекать PBR-свойства, альбедо, Roughness и даже Bump из внешнего вида сгенеренного объекта.
Берете ваш меш, пишете промпт, можно пристегнуть референсную картинку, а дальше ИИ-Юнити отдает вам рендер, альбедо, рафнес, металлик, нормали и тангенсы.
В общем скоро будут вам не только RGB-текстуры, а полный фарш, если Unity сподобится завернуть это в продукт и, о боги, выложить код (все-таки в соавторах Стабилити).
Демо на сайте выглядит просто убойно. Покрутите сами - выбираете объект, жмете Скапчурить Нормали, потом еще ниже пишете промпт в Text Condition и жмете Generate PBR.
Я взял первый попавшийся меш из какого-то ИИ 3Д-генератора(!) сунул его в демо, написал bumpy rusty metallic и получил 4 вышеупомянутых карты.
Огонь.
Все это добро тут:
https://unity-research.github.io/holo-gen/
Deep rock galactic: survivor вышла в ранний доступ.
Уже есть целый один отзыв 😅
Выглядит как crimsonland во вселенной deep rock galactic, а как играется - покажет время.
https://store.steampowered.com/app/2321470/Deep_Rock_Galactic_Survivor/
свежая китайская моделька I2VGEN-XL теперь доступна в комфи
в отличие от SVD не так пафосно и красиво двигает камерой, зато гораздо лучше анимирует объекты в кадре. по скорости генерации тоже немного проигрывает и к сожалению прожорлива до VRAM. в теории лучше держит внешность (у меня пока не получилось, фейлы в комментах)
посмотреть как работает можно тут. у меня нормально установилась только на свежую версию комфи
гитхаб
кастом ноды для I2VGEN-XL
гайд на ютубе
демо на replicate
@тоже_моушн
Chaos Next. Взрослые мальчики берутся за ИИ.
Вот интересная новость от Chaos Group - они внедряют ИИ в свои продукты. И это отличная новость - ибо помимо Unity все крупные 3Д-вендоры упрямо отмалчиваются и делают вид, что слово ИИ есть, а ИИ - нет.
Смотрите, что удумали Владо сотоварищи (дальше в порядке возрастания интересности и уникальности):
Style Transfer - тут все понятно, наваливание различных визуальных стили к рендерам на основе референсов.
Lifestyle Image - грубо говоря, генерация (и матчинг) фонов, для совмещения ваших продуктовых рендеров и окружающей среды.
Material Aging Simulator - моделирует естественный процесс старения материалов в 3D, не только для симуляции, но и для принятия проектных решений. Тут у Хаосов огромная экспертиза - я видел у них офисе многотонный сканер, в который можно присунуть кусок любого объекта - он его отсканирует и выдаст PBR-материал нечеловеческой точности.
PBR Rendering (text to materials) - это то, что также делает Юнити (писал тут) - создания сложных реалистичных PBR-материалов на основе текстовых промптов или рефов.
Smart Scene Populator - автоматическое ИИ-размещение объектов в 3D-сцене. Вот это уже интересно. Похоже на то, что делал (и делает) Прометей от Андрея Максимова, с которым мы как раз и общались про это на Total Chaos в Софии в 2018 году.
Set Extender - это как outpaunt, только полностью в 3Д(!). У вас есть 3Д-сцена, ИИ может ее достроить и расширить. Я заинтригован.
Historical Asset Learner - вот это интересная штука - 3Д-ассистент, который смотрит, что пользователь делал за последний условный год, какие ассеты пилил, и потом "предсказывает его потребности". Я заинтригован еще больше.
Intelligent Lighting Optimizer - автоматическая настройка освещения в вашей сцене!!! Ну за лайтинг-артистов.
И все это добро с Voice Interface - может орать в монитор на ИИ: "объекты создай, как я все время делаю, раскидай их по сцене, посвети как надо и привали на это модный нейролук". И кофе, без сахара.
https://www.chaos.com/next
А вот и трейлер Борды подъехал.
Если честно, у меня нет никаких ожиданий, поэтому я вряд ли буду разочарован :D
С меня хватит фирменного дурдома, ну и фансервиса.
https://www.youtube.com/watch?v=lU_NKNZljoQ
Печать Чистоты обрела новые смыслы.
Разработчики Powerwash Simulator показали трейлер дополнения по Warhammer 40,000.
DLC выйдет уже 27 февраля.
@zavtracast
Скрин из параллельной вселенной, где гугл перименовал Bard в YandexGPT :D
git
Подъехало сравнение качества генерируемых видео от Runway Gen-2 и OpenAI Sora на одинаковых промптах.
Тред в твиттере
/channel/zavtracast/24664
Не понял, где там ии, но поржал знатно.
В сеть утекло видео реакции Andrej Karpathy на SORA.
A few days later he quit openai to touch, possibly, the last realistic non-generative grass, and solve rubick cubes on YouTube.
@derplearning
Для Gradio выкатили Notebooks.
Теперь можно запускать gradio notebooks из colab notebooks.
Уроборос укусил себя за жепу, товарищи! Поздравляю, мы прошли полный цикл.
hf demo
В популярный бесплатный аудиоредактор Audacity завезли ИИ-плагины на бэкенде Intel OpenVino.
Для музыкантов:
Music Generation - генерит музыку (60сек) по текстовому промту, Riffusion
Music Style Remix - меняет стиль исходного сэмпла, Riffusion
Music Separation - разделяет голос и инструменты на отдельные дорожки, Demucs v4
Для этих ваших подкастеров и стримеров:
Noise Suppression - шумоподавление, noise-suppression-denseunet-ll
Transcription with Optional Translation - транскрибация с переводом (только на английский), Whisper
git c плагинами (2gb)
audacity
audacity git
подробнее
youtube
@derplearning
Вышел новый тизер «Гадкого я 4», где показали, что на самом деле это миньоны рисуют картинки за нейросети. Ролик покажут на ночном Супербоуле.
Премьера мультфильма состоится в июле.
@zavtracast