13183
Используем ИИ строго не по назначению. Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
AnyText: Multilingual Visual Text Generation And Editing
Ну що, с наступающим?
Alibaba, очевидно, не дают покоя лавры dalle3 в части генерации всратого текста, поэтому они выкатили свою вариацию LDM, заточенную на генерацию текста с картинками.
Назвать этот пайплайн "генераций картинок с текстом" язык не поворачивается :D Также поддерживает добавление текста на картинку, его редактирование и, как следствие, удаление вотермарков
Диффузная модель теоретически совместима со stablediffusion, так что скоро и все привычные свистоперделки можно будет подключить.
Го кидать сгенеренные открытки в комменты, я создал!
Git (apache 2.0)
Demo (если вы китаец :D)
Paper
@derplearning
Немножко странного на ночь.
Нейронка сгенерила людей, которых арестовывает полиция за ношение огромных ботинок.
в конце прошлого года мы делали предположения про что будет год следующий. много кто считал что после картинок - на очереди конечно же видео и 3д.
и видео сетки за год действительно проделали лихой путь от ультра криповых (один, два) до вполне артовых (один, два) и довольно реалистичных результатов (один, два, три, четыре). конечно со своими нейро-артефактами которые с каждой новой моделью выглядят все более естественно и все меньше бросаются в глаза
с 3д дело обстоит куда сложнее. уже есть неплохие решения (один, два, три, четыре) но все равно в основном шляпа на выходе
внезапно к концу года оказалось что если усилия 3д и видео моделей объединить - можно получить ну очень качественный псевдо 3д результат. не могу перестать удивляться - иллюзия работает почти идеально.
запускается это дело конечно же в ComfyUI. воркфлоу положу в комменты. там же дополнительные прикольные результаты
это видео от разработчика расширения IP-Adapter для комфи - обязательно к просмотру. чел сооружает похожий сетап и крутит девушку в 3д, сохраняя примерно ее внешность. вообще канал этого парня для меня настоящий исайт, уровень полезной информации зашкаливает
гайд о возможностях StableZero123 от Оливио
гайд от Матео Latent Vision
страничка воркфлоу в дискорде banodoco
всех с наступающим и пусть следующий год будет лучше чем этот! всем лучи добра
@тоже_моушн
Последнюю неделю ходил по магазинам и ловил себя на мысли, что если бы нашел что-то похожее с голосовыми ассистентами, сразу бы купил.
Это и для детей, и для взрослых будет очень значимым этапом, который изменит восприятие общения с ассистентами, и для самих ассистентов будет новым опытом, когда они научатся различать, имеют ли они физическое воплощение или нет, пусть даже это и не будет осознано в полной мере.
Mr.Rob построен на Raspberry Pi, сменных батареях, сервоприводах, отвечающих за повороты головы, OLED-дисплеях для анимированных глаз, а способность описывать мир работает через GPT-4. Так как изначально она не предназначена для этого, справляется пока средне. Может понять, что смартфон – это цифровое устройство, но не более.
PowerInfer, aka как гонять LLM-ки быстрее lamma.cpp (по крайней мере на Linux авторы демонстрируют заметное ускорение, чего нельзя пока сказать о Mac OS). Такой эффект происходит за счет предзагрузки на GPU только так называемых hot-activated нейронов, и расчета на CPU cold-activated нейронов. В общем то основная суть деления на такие холодные и горячие – это то, как при генерации активируются разные нейроны в трансформере исходя из входной последовательности токенов ⏰
🖥Репозиторий
Тем временем один из самых крупных датасетов картинок из этих ваших интернетов, laion-5b, временное офлаен: судя по жалобам, там нашли ссылки на ЦП.
*Косые взгляды на stable diffusion incoming*
Отдельно хочется поинтересоваться у тех, кто писал жалобы: вы там как в 5 млрд картинок нашли ЦП? Нужно быть очень Цпелеустремленными 😅
(Знать домен, промтить, предоставить образец)
Подробнее: https://laion.ai/notes/laion-maintanence/
@derplearning
Компания Meta (запрещена в РФ) представила Fairy, нейросетевую систему для диффузионных моделей редактирования изображений. Ориентирована она на видео и его монтаж.
Идея в том, что система расставляет на кадрах готового видеоролика "якоря", на которые уже распространяет диффузионные особенности по кадрам. Это обеспечивает сгенерированному видео точность и похожесть на оригинал.
Применений такому масса, все показаны в ролике. Берёте видео с котиком, отдаёте модели, получаете то же самое видео, но уже с тигром. Берёте видео с собачкой, превращается его в видосик в стиле Ван Гога.
Fairy генерирует 120-кадровые видеоролики 512x384 пикселей (длительностью 4 секунды при 30 FPS) довольно шустро - всего за 14 секунд, превосходя предыдущие нейрости В СОРОК ЧЕТЫРЕ (44) раза.
Короче, если вы только-только привыкли к тому, что нейросети делают картиночки, начинайте привыкать к тому, что они будут делать видеоролики, а всему показанному в интернете вообще не надо будет верить никогда.
@zavtracast
Принёс вам годный новогодний панк-рок трек.
Пару лет назад нейронки очень хреново генерировали музыку (либо пердёж из midi либо что-то похожее на настоящее произведение, но с лютыми шумами и генерациями около 12 часов на топовых видяхах). Тогда я думал, что до более-менее нормальных и быстрых генераций нужно не менее 5-7 лет развития нейронок и железа. Хорошо, что я ошибался.
Для генерации автор использовал SunoAI, Midjourney и Stable Video Diffusion
Пожалуй хватит на сегодня интернета
@EVENT.uz - Актуальные новости
Хочу поздравить и поблагодарить всех вас: сегодня был дан официальный старт нашей избирательной кампании!
Больше 700 сторонников встретились сегодня в Москве, чтобы поддержать мое выдвижение. В зале в прямом смысле яблоку негде было упасть!
Инициативная группа, в которую вошли 522 человека, проголосовали за, собрание состоялось. Не обошлось и без сомнительных инцидентов, которые в общем-то не повлияли на ход мероприятия. Это первая серьёзная победа на нашем пути 💪🏼
Но впереди еще много работы: 19 декабря мы предоставим документы собрания в Центральную избирательную комиссию. После этого я смогу открыть избирательный счет, а после начать сбор подписей.
❗️Уже в январе каждый из вас сможет оставить подпись в поддержку моего выдвижения — центры сбора подписей будут работать в городах России. Всего нам нужно собрать 300 тысяч подписей меньше, чем за месяц.
🔸 Если готовы помочь нам организовать сбор подписей в своем городе, заполните эту анкету: https://forms.gle/UGKiGiKiug9Q5uF78
🔸 Если готовы подписаться, оставьте свой контакт на сайте кампании: https://duntsova2024.ru/#rec666190555
Мы оповестим вас о точке сбора подписей в конце декабря.
Я верю, что вместе мы победим и сделаем Россию свободной и мирной страной!
Подписывайтесь на канал и приглашайте друзей: @DuntSova
А еще ChatGPT/dalle теперь наконец поворачивает картинки!
Читать полностью…
https://youtu.be/Ddz-VT97tvA?si=KQRPttsjuHu215VX
Fallout: San Andreas v2
Here is a fixed version of ChatGPT to provide you with full code samples + it fixes other recent problems you may have experienced with ChatGPT
https://chat.openai.com/g/g-4NTbdeA21-pro-code-writer-and-review-master
MonadGPT is a chatbot trained on 11,000 early modern texts in English, French, and Latin — up to the 17th century.
Chat now: https://huggingface.co/spaces/Pclanglais/MonadGPT
Я всегда любил маленькие умные модели. Не очень сложно на большом масштабе получить хорошие результаты, а вот на маленьком - сложно.
Чуваки сделали 1.3b(mini llama based) в стиле llava модель, которая почти не уступает (3 цифра после запятой) 7b llava.
Hf
Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis
Собственно, позволяет в реальном времени рендерить видео-нерфы на основе видео с нескольких камер.
Сама оптимизация, конечно, не риалтайм, но рендер заявлен в 60 фпс на 4090 @ 8k
Когда уже увидим воксельные игры с таким подходом к рендеру?
Git (MIT)
Подробнее
Демки
Ютуб
@derplearning
Юмор выходного дня.
Как твоя мама видит mixt of Mistral experts.
Тут буквально на днях Microsoft выложили код огромной проделанной работы. Речь идет о LongNet представленном в июне этого года. Очередная попытка побороться с квадратичной сложностью внимания и заскелить длину последовательности до (просто вдумайтесь) 1B токенов (см график на срине 1) 😳
Звучит круто, на деле механизм следующий: будем делить последовательность на сегменты, а внутри еще на уровень разреженности (ну типо как sparse attention). Посмотреть визуализацию можно на скрине 2.
Но это еще не все. Это дело все можно распараллелить на гпушки следующим образом: возьмем длину последовательности, разделим объем последовательность на сегменты, количество которых равно количеству карт. Дальше на каждой карте будут свои матрицы Q, K, V. Но объеденим далее мы в одну только матрицы K, V, а Q будет на каждой карте своя в итоговой формуле. (Скрин 3)
Так вот. Для всего этого дела теперь есть код в открытом доступе. Вот репа (заходим в директорию torchscale/model и наслаждаемся)
НО ЭТО ТОЖЕ ЕЩЕ НЕ ВСЕ. Также в начале декабря они зарелизели LongVIT, который представляет из себя такой же алгоритм, только картинка будет разделена на патчи (скрин 4), что и представит последовательность (код можно найти в той же репе, но директория examples/longvit)
🖥Еще раз. Код весь туть
В 1948, в штате Айдахо раскидали около 70+ бобров на парашютах, чтобы увеличить их популяцию в заповедниках
Читать полностью…
Ну нельзя было не запостить. Распространите, пожалуйста!
Читать полностью…
Спустя год после анонса Amazon окончательно оформил сделку с Games Workshop по покупке прав на фильмы и сериалы по Warhammer 40,000. Генри Кавилл выступит исполнительным продюсером части проектов.
Сейчас Amazon и Games Workshop находятся в активном поиске сценаристов для фильмов и сериалов, так что первый контент по Warhammer 40,000 появится не раньше, чем через пару лет.
@zavtracast
Когда попросил chatgpt-dalle добавить текст на картинку 😂
Без шуток, он реально открыл питон и добавил текст. Все что угодно, лишь бы не генерить нормальную картинку
Чатгпт теперь проверяет сгенеренные далле картинки не только на запрещеночку, но и на соответствие запросу.
На примере выше со второй попытки не смог исправить картинку, и после красного словца, уже сам перерисовывал до тех пор, пока не получилось то, что нужно.
Слежу за прогрессом в работах по теме виртуальной примерки. В канале уже целая серия постов об этом — от ганов до диффузии (гляньте для наглядного сравнения). Ещё я даже сам пробовал демо с виртуальным зеркалом на ICCV 2023.
Если раньше проблема виртуальной примерки казалось почти нерешаемой в адекватном качестве, то сейчас я замечаю, что каждые полгода результаты становятся всё лучше и лучше. Вот на днях Alibaba опубликовали новый метод на основе диффузии.
Загружаешь фото и примеры шмоток, а на выходе получаешь не просто фото в одежде, а целую анимацию!
Демо на HF
Сайт проекта
@ai_newz
