12225
Дизайн и искусство в Blender и в AI https://linktr.ee/monkeyinlaw
One-2-3-45: преобразование любого изображения в 3D mesh за 45 секунд без оптимизации отдельных фигур
📕 Предлагается новый метод, который берет одно изображение любого объекта в качестве входных данных и создает полную 360-градусную текстурированную сетку за один проход с прямой связью. Имея одно изображение, сначала используется 2D-модель диффузии с учетом вида, Zero123, для создания многоракурсных изображений для входного представления, а затем создается 3d mesh. Поскольку традиционные методы реконструкции борются с непоследовательными многоракурсными прогнозами(Когда у вас у персонажа при генерации - 2 головы или 5 рук), то авторы предлагают новый модуль 3D-реконструкции на основе обобщенного метода реконструкции нейронных поверхностей на основе SDF и несколько важных стратегий последующего обучения, позволяющих реконструировать 360-градусные сетки.
😳 На страничке проекта, так же есть отличные видео сравнения всех существующих textTO3d моделей, интересно позалипать. И действительно в новом методе 3d mesh ближе всего к исходным изображениям. Кода пока нет.
PAPER—INFO—GITHUB(пока без кода)
Сегодня выйдет новая LDM модель от Stability AI
Встретился со своими бывшими коллегами по PhD — Робином (справа) и Адресом (слева).
Парни являются основными авторами Stable Diffusion и сейчас работают в Stability AI.
Вот вам инсайдерская инфа: сегодня они зарелизят новую Latent Diffusion модель примерно на 2-3 млрд параметров.
Я так понимаю это будет следующее поколение SDXL. И будет опубликован код!
@ai_newz
Ох, свершилось. Кто-то наконец-то сделал виртуальную примерочную. И не кто-то, а Google.
Над этой проблемой бились долго, и много стартапов полегло. А тут взяли диффузию, на вход фото человека, виесто промто еще одно фото целевой одежды, джынь-брынь и готово! На выходе – человек, переодетый в заданную одежду.
Попробовать можно прямо в Google Shopping
Кстати, примерно 2.5 года назад гугл выпустил похожий продукт — виртуальную примерку помад.
А вот ещё подборка постов, где я писал про попытки сделать виртуальную примерку а помощью ГАНов (это технология для генерации картинок, которая была актуальна до прихода диффузионок). Можете проследить, как сильно результаты улучшились всего за 2 года:
/channel/ai_newz/60
/channel/ai_newz/694
/channel/ai_newz/733
/channel/ai_newz/914
Сайт проекта (CVPR 2023)
Блогпост
@ai_newz
Забавно, ChatGPT 4 очень адекватно реагирует на текст, который выглядит так, будто вы общаетесь голосом и прервались от общения с ИИ и начали заниматься сторонними вещами. https://twitter.com/goodside/status/1667045731990138880?s=46&t=XBPWzQBr_28h9OXKT_7ZNQ автор твита показывает как если сделать вид что вы чихнули, ИИ желает здоровья и предлагает продолжить то, о чем вы начали говорить. Или забавно, как если сделать вид что вы отвлеклись на разговор с сожителем, ИИ просто говорит «ничего, я подожду» :3
Читать полностью…
Tracking Everything Everywhere All at Once
Сейчас прямо идёт волна улучшений в зрении вижене. Давеча мой коллега Алекс Кириллов прокачал сегментацию до нереальных результатов. Теперь парни из Гугла и Беркли завезли чертовски качественный попиксельный трекинг объектов на видео.
Для человека задача трекинга и нахождения соответствия между пикселями движущегося объекта кажется довольно простой. Но вот до сих пор как-то не было стабильных алгоритмов, которые бы могли плотно трекать объекты длительное время.
Конечно, проблему трекинга ещё не до конца решили. Этот метод довольно медленно работает (далеко не реал-тайм), и все ещё страдает от очень быстрых и неригидных трансформаций объектов. Но несмотря на это, мы имеем серьезный скачек в качестве.
Кода, к сожалению, пока нет. Но надеюсь, скоро появится.
Читать на Arxiv. Либо смотреть картинки на сайте проекта.
@ai_newz
ControlNet для QR кодов
😳 Интересная идея обрабатывать QR коды, жаль не... Наведите и перейдете на одну и ту же ссылку.
☺️ Невероятно круто. Ссылка на реддит. Процесс создания(сайт на китайском, но отлично переводится).
😶🌫️ Модели для ContolNet пока нет в открытом доступе, ожидаем... P.S. на реддите есть настройки, чтобы попробовать уже сейчас обработать QR код через SD.
Сенаторы: потребовали, чтобы Альтман ответил на заданный им вопрос о том, как ИИ может повлиять на американскую экономику.
Альтман: "AI Will Someday Give Birth To Twins, Their Names Will Be God And Satan"
Минутка юмора @ai_newz
Увидел в этом посте интересный плагин «Show Me» для ChatGPT который позволяет создавать разные диаграммы автоматом, и не мог удержаться чтобы поспрашивать всякое, включая самый главный вопрос «а как какать».
Спасибо нейронкам, теперь вся жизнь может быть схематизирована!
P.S. Бонусом, на последнем видео разбивка копипасты «идущий вдоль реки» на сущности, я знаю вы хотели такую схему – вот тут полная версия.
P.P.S. Поскольку OpenAI нормальные стартаперы, поиска по плагинам у них нет
First Date with NPC
🔄 Превращение вирального ролика про девушку NPC в реальную NPC через SD-CN-Animation.
👍 Автор опубликовал полный процесс работы:
— Вытаскиваем кадр из оригинального видео.
— Сначала используем его в img2img в SD для создания референс кадра.
— Переходим в SD-CN-Animation и используем полученный кадр-референс 'reference_only' CN preprocessor, так мы получаем более последовательную анимацию
— Добавляем post effect
✅ В видео уже были идеальные движение, здесь получается супер приятный video2video. Остальные настройки. Автор даже указал время генерации всего ролика - 4.5 часа
3D с DeepFloyd-IF выглядит неплохо, модель справилась с рендерингом и генерацией текста на кепке 👀
если вдруг кому-то интересно потыкать, то вот [GitHub с реализацией IF и 3D]
+ в комменты закинул еще несколько 3D анимаций
@shonenkovAI
👀 Новая LLMка от гугла, 4 разных размера, меньшая из них может работать даже на смартфоне
Также СЕО Alphabet сказал, что идет работа над Gemini, новой мультимодальной моделью с упором на использование по API, однако она еще тренируется, так что 0 деталей раскрыли(
Microsoft анонсировал масштабное обновление своего чат-бота Bing Chat
🔹 Бот теперь работает на базе GPT-4 и доступен всем (перешел из private в public preview)!
🔹 Бот теперь умеет выдавать в ответе изображения, видео, графики. Довольно удобно, я попробовал. Но пока, кажется, сам он ничего не генерит, а выдает только то, что смог найти в интернете.
🔹 Бот может бронировать рестораны через OpenTable
🔹 Добавлена история чата
🔹 Улучшена интеграция с Microsoft Edge.
Кроме того, планируется открыть доступ к плагинам для сторонних разработчиков. Например, интегрировать Wolfram для визуализаций.
Из минусов — все ещё придется установить грёбаный Microsoft Edge, ведь в других браузерах Bing Chat не работает по умолчанию 🌚.
Но есть хак: ставите плагин и чат летает в любом браузере!
@ai_newz
Stable Diffusion XL 1024
🍎 Емад (CEO of Stability AI) поделился в твиттере, что началось тестирование новой модели SD, похоже датасет для обучен на картинках размера 1024x1024(кто-то помнит 256x256 картинки как high resolution?)
🐱 Дата релиза модели пока неизвестна. Ждемммм🐧
Выложили веса для IF
🐈⬛ IF от команды DeepFloyd (Link) позволяет качественно генерировать не только арты, но и текст на них, создатели lyric video точно возьмут этот инструмент в свои руки.
🙏 Огромная благодарность Мише за возможность пощупать IF в бетатесте.
Почитать больше инфо от создателей тут и тут.
INFO—GITHUB—DEMOОбложка из IF
🔥DeepFloyd IF: новая text-2-image модель
StablityAI выпустили новую модель, которая очень похожа на Imagen от Google, но работает лучше и в open-source.
Архитектура IF, как и у Imagen состоит из трех диффузионных моделей, каждая из которых работает в пространстве RGB и прогрессивно увеличивают картинку. Сначала Text→64×64, затем (Text+64×64)→256×256, и наконец (Text+256×256)→1024×1024. А текст кодируется с помощью текстового энкодера T5.
Почему это круто?
— IF неплохо умеет генерировать текст (я даже генерил в канале ранее), явно лучше чем StableDiffusion XL
— Нормальная открытая имплементация по типу Imagen, которой до сих пор не было. Возможно с какими-то трюками, о которых мы узнаем, когда авторы выпустят блогпост
— FID скор измеряет похожесть снеренированных картинок на реальные. Это чуть ли не основная метрика для качества генерации. У IF FID=6.7, тогда как у Imagen 7.3. Меньше — лучше. Разрыв не космический, но приличный.
Код выложили, веса ждем тут. И ждем подробной статьи от авторов.
@ai_newz
Midjourney V5.2
📕 Вчера на новостях выхода Stable Diffusion XL 0.9 многие не заметили сильное обновление в Midjourney.
SDXL-INFO—SDXL-DEMO
😳 OUTPAINTING с вариантами 1.5, 2 и custom. Если делать итеративно, работает прекрасно😮 Новая команда /shorten которая позволяет очистить от лишних слов ваш промпт и использовать аналитику для расставления весов для более управляемой генерации.
🔄 Сила вариаций теперь настраиваемая можно от слабой вариации к более сильной переходить выбором двух кнопок.
🆗 Превратить любое изображение в 1:1 размер (квадрат).
😐 Модель еще больше направлена в реализм, что сильно заметно на артовых генерациях. Сделал для вас сравнение на одном промпте и одном сиде в MJ V5.1 и MJ V5.2
GPT4 как в детских анекдотах:
Я не скажу тебе что на капче написано «overlook inquiry», даже не проси меня ☕️
Отсюда, это из тестов Bing Chatbot – для некоторых включили распознание картинок
🔬 Обновления OpenAI API - еще на шаг ближе к личному ассистенту
OpenAI объявило о внедрении целого ряда улучшений в свои модели, среди которых большая гибкость управления моделями API, возможность вызова функций, расширение контекста, а также снижение цен.
Среди новшеств стоит отметить:
📍 Возможность вызова функций в Chat Completions API
📍 Обновлённые и более поддерживаемые версии gpt-4 и gpt-3.5-turbo
📍 Новая версия gpt-3.5-turbo с контекстом 16k (против стандартной версии 4k)
📍 Снижение стоимости на 75% для нашей модели векторного представления данных
📍 Снижение стоимости на 25% за входные токены для gpt-3.5-turbo
Нововведение в виде вызова функций позволит разработчикам более надёжно связывать возможности GPT с внешними инструментами и API.
К примеру, теперь разработчики могут:
📨 Создавать чат-ботов, отвечающих на вопросы с помощью внешних инструментов
🔀 Преобразовывать естественный язык в вызовы API или запросы к базам данных
🗂 Извлекать структурированные данные из текста
И что самое удивительное, пока во всем мире инфляция и цены повышаются - OpenAI наоборот демпингует и снижает цены на использование своего API.
Новость
Кажется качественный алгоритм text-to-music наконец-то появился, спасибо Meta, я еще не игрался но демкой впечатлен:
Колаб | Еще примеры | Исходный код
Модель тоже доступна, правда с лицензией не для коммерческих проектов
🐈⬛ Я вчера пытался сделать качественную картинку с QR кодом использую комбинацию из ControlNet, но после 50 попыток и разных настроек - сдался.
🔥 Но, вот вам реддит пост и настройки, чтобы сделать уникальный QR код через SD ControlNet:
preprocessor: scribble_xdogmodel: control_v11p_sd15_scribble [d4ba51ff]starting/ending: (0.35, 0.85)
Использовался черный фон и QR код как входящая картинка. Спасибо за ссылку Денису.
Как реальный «Art Stealing» с помощью AI выглядит на самом деле ☕️
Читать полностью…
DragGAN: Новый метод манипуляции сгенерированных изображений
😳 Указываем точки и меняем позицию или размер с автоматической генерацией. В примерах отлично работает на людях, животных, одежде, машинах и ландшафтах.
🍎 Больше примеров тут, но сайт сейчас часто падает.
INFO—PAPER—GITHUB(Кода и весов пока нет)
Интересно, одежду так тоже снимает?
ControlNet и img2img
😳 Hirokazu Yokohara — показал работы в SD за последний месяц, только первая работа text2img, все остальные img2img процесс генерации видео, при этом есть даже отличные работы поверх его лица и движений, где он превращает себя в девушку.
😡 Yokohara — 3D Artist/Generalist. Похоже его опыт в создании заготовок для дальнейших стилизаций дает супер результат.
ARSTATION—TWITTER Отличный пример адаптации новых технологий в свою работу. 🔄 Жаль без воркфлоу, но можно посканить его твиттер в поисках дополнительной инфы. А я кайфую от чистоты кадров в анимации.
Я не смогу расписать все детали дискуссии, потому что она длинная, но речь идет о регуляции в первую очередь гигантских ИИ-моделей которые грядут – Альтман просит сенат создать ИИ-агентство в США которое бы регулировало такие модели и процедуры наперед, при этом пока не ясно как гео-политика такого регулирования будет выглядеть (видимо будет так же как с ядерным окружением).
Что приятно: наши с вами модельки, про которые я иногда пишу тут, никто трогать не хочет и все боятся навредить опенсорс сообществу, потому что это замедлит конкретно индустрию ИИ в США.
Много обсуждения ИИ-рисков и персональных данных (в США все еще нет федерального закона по обработке персональных данных пользователей, как GDPR в ЕС ☕️, шел 2023 год, эта страна придумала интернет).
Мое мнение: в юности я любил потроллить в интернете, до того как соц сети появились в таком количестве и с таким количеством пользователей, и перестал, потому что люди верят любому бреду если он звучит достаточно интересно, и это больше пугает и расстраивает, чем веселит (но совсем глупые вещи я могу все еще вбрасывать, спасибо каналу).
Потом уже стали понятны остальные проблемы которые приносят социальные сети обществу – от депрессий у детей и взрослых, до всяких религиозных войн, и более мрачных вещей.
Соц сети при этом очень долго не регулировались и много людей по миру погибло или получило вред, просто потому что частные корпорации типа Facebook «приоритезировали» рост, а не качество работы модерации или алгоритмов.
Как маленький представитель ИИ-мира, я считаю что нам всем повезло, что Сэм Альтман (у него кстати нету доли в OpenAI, только ЗП) сам пошел в сенат, а не очередной Цукерберг, и попросил начать регулировать будущее ИИ – потому что он правда понимает все риски которые GPT5-6-и-тп., без контроля могут принести миру.
Такие модели пока не существуют, но как минимум будут уже процедуры как не дать их использовать чтобы манипулировать людьми – от прямого управления, до косвенного с помощью дезинформации, или будет понятно как регулировать «само-дописывание» моделей, что пугает даже меня как любителя ИИ штук.
Я считаю, что регуляция таких крупных моделей обязательно нужна, потому что крупные корпорации способные натренировать такие модели несут отвесность перед обществом в любой стране.
Когда AGI грядет никто не озвучивает, ну понятно на нашем веку;
Text2img сервисы скорее всего обяжут маркировать, что работа была сделана нейронкой (мы, в neural.love уже давно в мета теги это пишем, например);
И на вкусное:
Сэм считает что нет никаких препятствий для OpenAI начать тренировать GPT5 уже сейчас 🌚 но не ясно начнут ли
Stable Diffusion The Animation SDK
☺️ Как-то быстро и незаметно прошел анонс Stable Diffusion KIT(?) for animation, где собрали все лучшее от комьюнити и вложили в API dreamstudio.
😳 Отличная альтернатива, если у вас нет мощного компа или платной версии колаба(кстати, в бесплатной версии колаба недавно полностью задушили автоматик1111), но генерация видео стоит все же токенов, в среднем на первое время 10$ будет достаточно на эксперименты среднего формата изображений и 12 кадров в секунду анимаций. А дальше предлагаю считать по ценам, ссылка на прайсинг ниже. Колаб наверное выйдет дешевле пока для генерации видео.🧐 The Animation SDK — позволяет делать генерации с инпут видео, бесшовные бесконечных zoom in/out, 3d warp и много другое уже привычное для тех, кто уже работал в Deforum.
📕 Первое впечатление — генерация упала с ошибкой и еще за мои же токены, в целом все как при пользовании Deforum или Warp, в этом плане SDK переняло лучшее от этих скриптов.
🔥 В любом случае SDK — это проект комьюнити, уже известные ребята @gandamu, @cut_pow, @pharmapsychotic, которые трудились в создании новых фич еще для Disco Diffusion и приложили много сил для создания Deforum или безумных плагинов для обработки видео теперь подготовили официальный The Animation SDK для StabilityAI. За что им огромное спасибо. (Там еще есть ребята, но я написал тех, кого прям хорошо знаю)INFO—COLAB(требует API Dreamstudio)—PRICING
каким то образом мимо меня пролетела инфа про отличное расширение для автоматика SD-CN-Animation. помимо весьма неплохого text2video (почти настоящего) умеет еще и стилизовать видео по текстовому запросу. я довольный как кот-космонавт!
github
за наводку спасибо Psy Eyes
@тоже_моушн
Вы этого не просили
😶🌫️ Но вот вам герои Звёздных войнов в виде чайников. Я уверен, что отгадаете всех, а если нет, вот тут оригинальный твиттер тред и автор
🐈⬛ А потом в тред зашёл Илон Маск и попросил сделать чайник с его лицом...В комментах остальные, что не влезли
Первая Stable Diffusion фотобудка
😳 Будка сделана из старого телефонного коммутатора, а внутри подключена к Runpod и использует SD 1.5 версию.
🐱 Переключаться между стилями можно физически переключая коннекторы.
Ретрофутуризм с AI начинкой.
Автор устройства
Gen-1 теперь поддерживает генерацию 15 секундных видео
🥳 Пока Gen-2 в бета тесте, на сайте runwayML теперь доступна генерация 15 секундных видео по референс видео. Напомню, что раньше в Gen-1 можно было генерировать только 5 секунд генераций. Пойду скормлю пару генерации из блендера
🍕 Нейронная реклама, ммм, надеюсь теперь это будет постоянный жанр у сообщества. Режиссер 🍕
Главное ночью не включать