12113
Дизайн и искусство в Blender и в AI https://linktr.ee/monkeyinlaw
🐈⬛ Я вчера пытался сделать качественную картинку с QR кодом использую комбинацию из ControlNet, но после 50 попыток и разных настроек - сдался.
🔥 Но, вот вам реддит пост и настройки, чтобы сделать уникальный QR код через SD ControlNet:
preprocessor: scribble_xdogmodel: control_v11p_sd15_scribble [d4ba51ff]starting/ending: (0.35, 0.85)
Использовался черный фон и QR код как входящая картинка. Спасибо за ссылку Денису.
Как реальный «Art Stealing» с помощью AI выглядит на самом деле ☕️
Читать полностью…
DragGAN: Новый метод манипуляции сгенерированных изображений
😳 Указываем точки и меняем позицию или размер с автоматической генерацией. В примерах отлично работает на людях, животных, одежде, машинах и ландшафтах.
🍎 Больше примеров тут, но сайт сейчас часто падает.
INFO—PAPER—GITHUB(Кода и весов пока нет)
Интересно, одежду так тоже снимает?
ControlNet и img2img
😳 Hirokazu Yokohara — показал работы в SD за последний месяц, только первая работа text2img, все остальные img2img процесс генерации видео, при этом есть даже отличные работы поверх его лица и движений, где он превращает себя в девушку.
😡 Yokohara — 3D Artist/Generalist. Похоже его опыт в создании заготовок для дальнейших стилизаций дает супер результат.
ARSTATION—TWITTER Отличный пример адаптации новых технологий в свою работу. 🔄 Жаль без воркфлоу, но можно посканить его твиттер в поисках дополнительной инфы. А я кайфую от чистоты кадров в анимации.
Я не смогу расписать все детали дискуссии, потому что она длинная, но речь идет о регуляции в первую очередь гигантских ИИ-моделей которые грядут – Альтман просит сенат создать ИИ-агентство в США которое бы регулировало такие модели и процедуры наперед, при этом пока не ясно как гео-политика такого регулирования будет выглядеть (видимо будет так же как с ядерным окружением).
Что приятно: наши с вами модельки, про которые я иногда пишу тут, никто трогать не хочет и все боятся навредить опенсорс сообществу, потому что это замедлит конкретно индустрию ИИ в США.
Много обсуждения ИИ-рисков и персональных данных (в США все еще нет федерального закона по обработке персональных данных пользователей, как GDPR в ЕС ☕️, шел 2023 год, эта страна придумала интернет).
Мое мнение: в юности я любил потроллить в интернете, до того как соц сети появились в таком количестве и с таким количеством пользователей, и перестал, потому что люди верят любому бреду если он звучит достаточно интересно, и это больше пугает и расстраивает, чем веселит (но совсем глупые вещи я могу все еще вбрасывать, спасибо каналу).
Потом уже стали понятны остальные проблемы которые приносят социальные сети обществу – от депрессий у детей и взрослых, до всяких религиозных войн, и более мрачных вещей.
Соц сети при этом очень долго не регулировались и много людей по миру погибло или получило вред, просто потому что частные корпорации типа Facebook «приоритезировали» рост, а не качество работы модерации или алгоритмов.
Как маленький представитель ИИ-мира, я считаю что нам всем повезло, что Сэм Альтман (у него кстати нету доли в OpenAI, только ЗП) сам пошел в сенат, а не очередной Цукерберг, и попросил начать регулировать будущее ИИ – потому что он правда понимает все риски которые GPT5-6-и-тп., без контроля могут принести миру.
Такие модели пока не существуют, но как минимум будут уже процедуры как не дать их использовать чтобы манипулировать людьми – от прямого управления, до косвенного с помощью дезинформации, или будет понятно как регулировать «само-дописывание» моделей, что пугает даже меня как любителя ИИ штук.
Я считаю, что регуляция таких крупных моделей обязательно нужна, потому что крупные корпорации способные натренировать такие модели несут отвесность перед обществом в любой стране.
Когда AGI грядет никто не озвучивает, ну понятно на нашем веку;
Text2img сервисы скорее всего обяжут маркировать, что работа была сделана нейронкой (мы, в neural.love уже давно в мета теги это пишем, например);
И на вкусное:
Сэм считает что нет никаких препятствий для OpenAI начать тренировать GPT5 уже сейчас 🌚 но не ясно начнут ли
Stable Diffusion The Animation SDK
☺️ Как-то быстро и незаметно прошел анонс Stable Diffusion KIT(?) for animation, где собрали все лучшее от комьюнити и вложили в API dreamstudio.
😳 Отличная альтернатива, если у вас нет мощного компа или платной версии колаба(кстати, в бесплатной версии колаба недавно полностью задушили автоматик1111), но генерация видео стоит все же токенов, в среднем на первое время 10$ будет достаточно на эксперименты среднего формата изображений и 12 кадров в секунду анимаций. А дальше предлагаю считать по ценам, ссылка на прайсинг ниже. Колаб наверное выйдет дешевле пока для генерации видео.🧐 The Animation SDK — позволяет делать генерации с инпут видео, бесшовные бесконечных zoom in/out, 3d warp и много другое уже привычное для тех, кто уже работал в Deforum.
📕 Первое впечатление — генерация упала с ошибкой и еще за мои же токены, в целом все как при пользовании Deforum или Warp, в этом плане SDK переняло лучшее от этих скриптов.
🔥 В любом случае SDK — это проект комьюнити, уже известные ребята @gandamu, @cut_pow, @pharmapsychotic, которые трудились в создании новых фич еще для Disco Diffusion и приложили много сил для создания Deforum или безумных плагинов для обработки видео теперь подготовили официальный The Animation SDK для StabilityAI. За что им огромное спасибо. (Там еще есть ребята, но я написал тех, кого прям хорошо знаю)INFO—COLAB(требует API Dreamstudio)—PRICING
каким то образом мимо меня пролетела инфа про отличное расширение для автоматика SD-CN-Animation. помимо весьма неплохого text2video (почти настоящего) умеет еще и стилизовать видео по текстовому запросу. я довольный как кот-космонавт!
github
за наводку спасибо Psy Eyes
@тоже_моушн
Вы этого не просили
😶🌫️ Но вот вам герои Звёздных войнов в виде чайников. Я уверен, что отгадаете всех, а если нет, вот тут оригинальный твиттер тред и автор
🐈⬛ А потом в тред зашёл Илон Маск и попросил сделать чайник с его лицом...В комментах остальные, что не влезли
Первая Stable Diffusion фотобудка
😳 Будка сделана из старого телефонного коммутатора, а внутри подключена к Runpod и использует SD 1.5 версию.
🐱 Переключаться между стилями можно физически переключая коннекторы.
Ретрофутуризм с AI начинкой.
Автор устройства
Gen-1 теперь поддерживает генерацию 15 секундных видео
🥳 Пока Gen-2 в бета тесте, на сайте runwayML теперь доступна генерация 15 секундных видео по референс видео. Напомню, что раньше в Gen-1 можно было генерировать только 5 секунд генераций. Пойду скормлю пару генерации из блендера
🍕 Нейронная реклама, ммм, надеюсь теперь это будет постоянный жанр у сообщества. Режиссер 🍕
Главное ночью не включать
RunwayML выпустила Gen-2
🔥 Генерацию видеоряда без референс видео только используя:
— Текст
— Картинку
— Картинку + текст
📕 Пока доступ есть у бетатестеров Gen-1 и ограничения в одну генерацию за 10 минут. Эра видеонейронок идет со всех сторон!А на втором канале выложу завтра тестовые генерации.За наводку спасибо @too_motion
ModelScope + Anime Finetune
🔄 Animov-0.1 — аниме файнтюн ModelScope text2video алгоритма обученного на датасете видеоряда в размере 384x384(Для этого действительно много GPU врум-врум нужно).
И теперь доступен для Automatic1111!
😳 Генерация видео длительностью 2 секунды спокойно влезают в 8.6 GB видеопамяти.
Extension ModelScope для Automatic1111
Файнтюн веса под Auto1111
Файнтюн веса под Diffusers И никаких вотермарок shutterstock
Segment Anything
[Meta AI]
Итак ребята, что там по сегментации? Кажется, теперь не придется тренировать новую модель сегментации под каждую отдельную задачу (sic!). Мой товарищ Алекс Кириллов и коллеги из Meta AI разработали фундаментальную модель для сегментации картинок, которая может многое.
Из коробки модель Segment Anything (SA) умеет в сегментацию объектов по промпту. Промпт может быть текстовым, либо несколько точек, либо выделенная область.
SA выучила общую концепцию объектов и может генерировать маски для любого объекта на любом изображении или видео, даже включая объекты и типы изображений, которых не было в трейне. Она готова к использованию на разных "доменах" без дополнительного обучения".
Выход Segment Anything - это что-то вроде "GPT-3 момента" для сегментации. Когда можно взять большую общую модель и она сразу будет работать не хуже, а то и лучше (если данных мало), чем специализированная модель.
Мало того, веса и код модели полностью открыты!
Сайт проекта
Demo
@ai_newz
Вышел Stable Digest #4
🐱 Это визуально-информационная работа совместно со Stable Diffusion и коммьюнитти, дайджест пестрит красивыми генерациями. Посмотреть его самим можно тут.
Я выписал то, что меня завлекло:
🍎 Небольшое интервью с BLACK.AI (Работы BLAC выставлены в галерее Mecenate Fine Art Gallery в Риме), где мне большего все понравилась такая вещь:
Что касается цитаты дня, то первое, что приходит мне на ум, это: «Творчество — это величайший бунт в мире». - Ошо🔥 Так же рассказали про DreamStudio:
Эта цитата говорит о силе творчества и той роли, которую оно играет в оспаривании норм, раздвигании границ и вдохновляющих переменах. Я думаю, что это подходящее настроение для движения искусства искусственного интеллекта и невероятных возможностей, которые ждут впереди.
ControlNet для QR кодов
😳 Интересная идея обрабатывать QR коды, жаль не... Наведите и перейдете на одну и ту же ссылку.
☺️ Невероятно круто. Ссылка на реддит. Процесс создания(сайт на китайском, но отлично переводится).
😶🌫️ Модели для ContolNet пока нет в открытом доступе, ожидаем... P.S. на реддите есть настройки, чтобы попробовать уже сейчас обработать QR код через SD.
Сенаторы: потребовали, чтобы Альтман ответил на заданный им вопрос о том, как ИИ может повлиять на американскую экономику.
Альтман: "AI Will Someday Give Birth To Twins, Their Names Will Be God And Satan"
Минутка юмора @ai_newz
Увидел в этом посте интересный плагин «Show Me» для ChatGPT который позволяет создавать разные диаграммы автоматом, и не мог удержаться чтобы поспрашивать всякое, включая самый главный вопрос «а как какать».
Спасибо нейронкам, теперь вся жизнь может быть схематизирована!
P.S. Бонусом, на последнем видео разбивка копипасты «идущий вдоль реки» на сущности, я знаю вы хотели такую схему – вот тут полная версия.
P.P.S. Поскольку OpenAI нормальные стартаперы, поиска по плагинам у них нет
First Date with NPC
🔄 Превращение вирального ролика про девушку NPC в реальную NPC через SD-CN-Animation.
👍 Автор опубликовал полный процесс работы:
— Вытаскиваем кадр из оригинального видео.
— Сначала используем его в img2img в SD для создания референс кадра.
— Переходим в SD-CN-Animation и используем полученный кадр-референс 'reference_only' CN preprocessor, так мы получаем более последовательную анимацию
— Добавляем post effect
✅ В видео уже были идеальные движение, здесь получается супер приятный video2video. Остальные настройки. Автор даже указал время генерации всего ролика - 4.5 часа
3D с DeepFloyd-IF выглядит неплохо, модель справилась с рендерингом и генерацией текста на кепке 👀
если вдруг кому-то интересно потыкать, то вот [GitHub с реализацией IF и 3D]
+ в комменты закинул еще несколько 3D анимаций
@shonenkovAI
👀 Новая LLMка от гугла, 4 разных размера, меньшая из них может работать даже на смартфоне
Также СЕО Alphabet сказал, что идет работа над Gemini, новой мультимодальной моделью с упором на использование по API, однако она еще тренируется, так что 0 деталей раскрыли(
Microsoft анонсировал масштабное обновление своего чат-бота Bing Chat
🔹 Бот теперь работает на базе GPT-4 и доступен всем (перешел из private в public preview)!
🔹 Бот теперь умеет выдавать в ответе изображения, видео, графики. Довольно удобно, я попробовал. Но пока, кажется, сам он ничего не генерит, а выдает только то, что смог найти в интернете.
🔹 Бот может бронировать рестораны через OpenTable
🔹 Добавлена история чата
🔹 Улучшена интеграция с Microsoft Edge.
Кроме того, планируется открыть доступ к плагинам для сторонних разработчиков. Например, интегрировать Wolfram для визуализаций.
Из минусов — все ещё придется установить грёбаный Microsoft Edge, ведь в других браузерах Bing Chat не работает по умолчанию 🌚.
Но есть хак: ставите плагин и чат летает в любом браузере!
@ai_newz
Stable Diffusion XL 1024
🍎 Емад (CEO of Stability AI) поделился в твиттере, что началось тестирование новой модели SD, похоже датасет для обучен на картинках размера 1024x1024(кто-то помнит 256x256 картинки как high resolution?)
🐱 Дата релиза модели пока неизвестна. Ждемммм🐧
Выложили веса для IF
🐈⬛ IF от команды DeepFloyd (Link) позволяет качественно генерировать не только арты, но и текст на них, создатели lyric video точно возьмут этот инструмент в свои руки.
🙏 Огромная благодарность Мише за возможность пощупать IF в бетатесте.
Почитать больше инфо от создателей тут и тут.
INFO—GITHUB—DEMOОбложка из IF
🔥DeepFloyd IF: новая text-2-image модель
StablityAI выпустили новую модель, которая очень похожа на Imagen от Google, но работает лучше и в open-source.
Архитектура IF, как и у Imagen состоит из трех диффузионных моделей, каждая из которых работает в пространстве RGB и прогрессивно увеличивают картинку. Сначала Text→64×64, затем (Text+64×64)→256×256, и наконец (Text+256×256)→1024×1024. А текст кодируется с помощью текстового энкодера T5.
Почему это круто?
— IF неплохо умеет генерировать текст (я даже генерил в канале ранее), явно лучше чем StableDiffusion XL
— Нормальная открытая имплементация по типу Imagen, которой до сих пор не было. Возможно с какими-то трюками, о которых мы узнаем, когда авторы выпустят блогпост
— FID скор измеряет похожесть снеренированных картинок на реальные. Это чуть ли не основная метрика для качества генерации. У IF FID=6.7, тогда как у Imagen 7.3. Меньше — лучше. Разрыв не космический, но приличный.
Код выложили, веса ждем тут. И ждем подробной статьи от авторов.
@ai_newz
Итак, важные новости из нейромира! 🦜
Первая. Про 🗞🗞🗞🗞🗞.
Stability AI, которая в прошлом году подарила миру великий и бесплатный #StableDiffusion, вышла на тропу текстовых моделей и выпустила новую, бесплатную модель обработки естественного языка с открытым исходным кодом под названием #StableLM.
Почему это важно? Как и картиночном StableDiffusion — открытый код. Нет в мире ничего мощнее рукастых энтузиастов, которые на основе кода делают потрясающие вещи. Достаточно посмотреть на спектр продуктов/плагинов/приколов сделанных на базе стейбла. Так что пристегнитесь. Взлетаем в сиящую золотую стратосферу стартапов на основе языковых моделей, которых, судя по мей ленте в твиттере, уже тысячи. Будет в разы больше.
Взять можно на гитхабе, ну и страничка анонса с деталями.
Вторая. Про 🍷👽📀🦄🌰.
Как и предполагалось - стремительное развитие text-to-video моделей. Но стремительней, началась гонка! Мой прогноз, что через год мы достигнем уровня статичных картинок устаревает с каждой такой новостью.
1. Runaway выпустила Gen-2. Эти ребята как будто Midjourney в мире генерации видео. Качество продукта растет очень быстро. Так что ждем пятой версии!
2. Nvidia показывает свой text-to-video. Если Nvidia взялась за дело, то ждем огромный буст в этом направлении. Мощностей у них явно побольше побольше, чем у нескольких китайских ребят из modelscope.
3. Adobe выкатят полный набор инструментов для работы с видео. Демо выглядит, как магия. Не думаю, то что они показывают в ролике сейчас работает, но если заработает (а с их мощностями должно), то это нормально так поменяет индустрию кино/видео производства.
Продолжаем жить в удивительное время! 🚬
Довольно быстро приближаемся к разным инструментам для генерации последовательной анимации
Это тесты TomLikesRobots на Automatic1111 с расширением text2video, чистая генерация ИИ — никаких начальных изображений или видео.
Автор отмечает, что подсказки, которые хорошо работали в SD 1.5, похоже, хорошо работают с #modelscope например, в стиле артдеко, Альфонса Мухи.
Нейроморфные чипы NeuRRAM: энергоэффективные нейросети теперь реальность
Когда Лекун говорит о NeuralAI и создании цифровых органоидов, имитирующих биологические органы, это звучит как научная фантастика.
А когда в Nature выходит статья о новых нейроморфных чипах и решение МЛ задач на приборе размером с ноготок (1 кв см), дух захватывает, как в детстве на качелях.
NeuRRAM - это один из самых передовых чипов для нейроморфных вычислений, потому что:
- Использует аналоговую память для хранения и обработки больших данных;
- Поддерживает разнообразные и сложные задачи ИИ с довольно высокой точностью (например, классификация изображений 99% на MNIST; 85,7% на CIFAR-10, распознавание голосовых команд 84.7% на датасете от Google);
- Экономит до 1000 раз больше энергии, чем традиционные компьютеры (сейчас ИИ - серьезная нагрузка на окружающую среду);
- Спроектирован с учетом потребностей на всех уровнях от алгоритмов до устройств;
Секрет энергоэффективности в отсутвии энергозатратного перемещения данных: он хранит веса моделей в плотных, аналоговых и неволатильных устройствах RRAM и выполняет вычисления непосредственно на чипе. Микросхема также поддерживает параллелизм данных, отображая слой в модели нейронной сети на несколько ядер для параллельного вывода.
Прорыв в том, что NeuRRAM может работать на маленьких устройствах: часы, VR-шлемы, наушники и прочие edge девайсы.
В общем, может изменить будущее вычислений и ИИ. И где-то подвинуть NVIDIA🥇🤔🥈
@GingerSpacetail
📖Статья
Видео нейронки развиваются
👀 VideoCrafter — это опенсоурс алгоритм для генерации видеоконтента.
Включая в себя три вида генерации:
😀 Text2video — строится на Latent video diffusion модели (LVDM). Используя текст получаем видеоряд.
👍 LoRaVideo — LoRa реализует тонкую настройку, так как ее легко обучить и требуется меньше вычислительных ресурсов. То есть можно загонять свою стилистику в модель.
👍 VideoControl — видео генерации с дополнительным контролем, например, по карте глубины, авторы вдохновившись T2I алгоритмом предлагают свой, T2V алгоритм.
GITHUB—DEMO—COLABДемка пока без очереди и достаточно быстро и хорошо генерит
Дайджест по нейронкам
😳 Stable XL diffusion тестируется на dreamstudio, и в скором времени выйдет в opensource. Это вариант с 2,3 миллиардами параметров (первоначально 900 м в версии 2) с рядом улучшений, которые будут добавлены в Stable Diffusion 3. INFO
😶🌫️ Midjourney больше не дает тестовых бесплатных генераций. Все связывают это с дипфейками, например, Папы Римского в модном пуховике, но основатель компании David Holz в open hours в дискорде давно жаловался на безумные траты в бесплатных генерациях и relax mode генерациях(когда в порядке очереди даже после окончания часов генераций можно продолжать генерировать, но медленно) потому эта история скорее хороший повод закончить бесплатный режим для всех, а не причина.
🍎 Еще новости про midjourney:
— Betaupscaler теперь дает качество 2048х2048px
— Появились функции seamless tiling для бесшовных текстур и prompt remixing, которая скрещивает промпты
— Функция /describe позволяет описать картинка на промпт язык midjourney и сразу потестить 4 варианта промпта. картинка на превью появилась благодаря этой новой функции 📕 Бюро регистрации авторских прав США опубликовало заявление.
Вот ключевые моменты:
— Произведения, созданные ИИ, сами по себе не подлежат защите авторских прав.
— Автор-человек должен внести значительный творческий вклад в работу.
— Управление будет продолжать следить за правовыми и фактическими событиями, связанными с ИИ и авторским правом.
— ИИ можно рассматривать как инструмент, используемый авторами-людьми в творческом процессе.
— Защита авторских прав зарезервирована для произведений, созданных людьми, с оригинальным выражением и творческим потенциалом.
INFO
🤫 Истории вокруг chatGPT становятся масштабнее.
— В Италии chatGPT забанили на 20 дней, из-за небезопасного хранения данных. INFO
— Открытое письмо с просьбой приостановить обучение моделей мощнее уровня GPT-4 и разработать план создания ИИ, который благоприятно повлияет на все человечество. Само письмо и очень странная стать в Times вызвали бурные споры в инете.