13183
Используем ИИ строго не по назначению. Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
moondream1
Небольшая визуальная языковая моделька, всего 1.6b
В основе микс из SigLIP и Phi 1.5, тюненый на LLaVa.
Для такого размера работает вполне даже хорошо, местами на уровне 3b моделей.
Вчера мы слушали мемы, сегодня почитаем.
demo
code
model card
tweet
@derplearning
Image to SFX
Любопытный Спейс до генерации аудио по картинке с двумя моделями:
MAGnet & AudioLDM
Го слушать как звучат мемы, я создал!
Твит
Веб демо
@derplearning
Скрейпинг веб страниц в эпоху GPT-Vision
Последние пару недель, я много эксперементировал с парсингом и скрейпингом веб страниц. В итоге я пришел к выводу, что сайты были сделаны для того что бы на них смотрели глазами, и соответственно парсить их эффкетивнее всего тоже будет глазами.
Собрал для вас старый добрый Colab, с помощью которого можно сделать summary любой страницы в интернете (в пределах того, на что не обидится OpenAI).
Как это работает:
- с помощью selenium я делаю скриншоты сайта
- объединяю их в одну картинку
- отправляю эту картинку в GPT-vision
- получаю summary
🚀 Google Colab
Приглашаю всех попробовать и присылать PR c новыми функциями, исправлением багов и прочими правками.
В качестве бонуса (для продвинутых пользователей), добавил в pipeline создание эмбедингов поверх полученных summary.
Если пойдет, может быть сделаем крутого open-source Web-scrapping Assistant или типа того
DragNUWA x ComfyUI
Недавно RunwayML показали новую фичу: multi motion brush, позволявшую управлять направлением движения сразу нескольких областей исходной картинки.
Думаю, ни для кого не секрет, что это их имплементация августовского пейпера dragnuwa.
Но опенсорс не дремлет, и реализация DragNUWA уже доступна для SVD, а с ней и соответствующие ноды в ComfyUI.
ComfyUI workflow
Git comfyui dragnuwa
Git dragnuwa 1.5 svd
DragNUWA paper
Твит
@derplearning
https://fxtwitter.com/business/status/1748400673614336471
После этой новости сэм альтман нашел у себя в кровати голову единорога.
Со следами кожаной куртки.
Чикагский Университет выкатил Nightshade - тулзу, призванную усложнить жизнь коварному ИИ, который так и норовит украсть работы у художников, вот это вот все.
Если верить тогдашнему пейперу, то работает через оптимизацию пикселей картинки на соответствие ложному концепту (cat -> dog например), при сохранении визуального сходства с исходником.
Хоть они и заявляли, что метод нельзя обойти кропом, поворотом или пережатием картинки, вангую, что он работает только если вы будете размечать картинки с помощью конкретной модели, которая выступала критерием для оптимизации. Т.е. меняете CLIP на что-то еще, размечаете вручную - и вуаля. Ну и к тому же таким образом удастся разве что испортить концепт чьего-то конкретного стиля, потому что по их же пейперу для похеривания обучения на датасете размером с LAION5b нужно 5м испорченных картинок. Пока не вижу реальных кейсов, кроме усложнения тюна существующих моделей\lora на базе SD.
Сайт
Скачать
Гайд
Срач на reddit
@derplearning
А вот и действительно актуальный девайс - кибердек судного дня.
Жаль, нет нормального списка запчастей.
Ну и давай не ламповый, где клетка Фарадея, спрашивается?
https://youtu.be/bsT4CR9Jw-c?si=cdjCSjAQUw8SyE79
Сегодня запустился ранний доступ «покемонов с оружием» Palworld. Игра вышла в Steam, а также на Xbox Series X|S и в Game Pass.
Разработчики уже отчитались, что за 8 часов с релиза было продано более миллиона копий.
В Palworld нужно ловить Палов (местные Покемоны), а потом отправлять их строить вам дом или добывать ресурсы.
@zavtracast
If you recognize this image, it's time for a routine colonoscopy
Читать полностью…
Openai убрали military and warfare из списка запрещенных целей применения своих моделей.
Это не обязательно означает сиюминутное применение для kill all humans, потому что есть много военных бюджетов с окологражданскими задачами, которые openai могут хотеть освоить. Например, анализ архивов, данных о местности.
Несмотря на это, трудно не вспомнить гугл с их отказом от "don't be evil" 😅
New usage policy
Old usage policy
Подробнее
@derplearning
Fried Egg Style [LoRA 1.5+SDXL]
Одна из самых необычных лор, которые я видел.
Если вам нужно сделать дорого и богато (в нынешних реалиях) - вам сюда. Яйцевую воду не каждый может себе позволить, а вот лору - всегда пожалуйста.
(Dalek says EGGSTERMINATE!)
civit.ai
картинки отсюда
@derplearning
Это серьезно правда? Ладно товары в Амазоне, но подводки статьям в NYT!
У меня нет комментария, на самом деле. Зачем человеку это читать?
You can only call yourself a digital nomad if you are a Bedouin, maasai, mongol or smth. Otherwise you are just a sparkling remote worker.
Читать полностью…
Койо Сато запатентовал систему, которая на основе открытой базы спутниковых снимков создает модели городов прямо в UEFN, конкретно (Shinjuku). Говорит, что это на основе ИИ, но сейчас не разберешь, уже хайпят или реально что-то от ИИ есть.
Настроен он серьезно, проект исследовательский, и создатель грезит мирами “Матрицы” и “Первому игроку приготовиться”. В конце видео есть код острова: 8219-7403-9340, так что можете сами попробовать.
В ноутбуке Тесея Framework появились сменные дискретные видеокарты.
Причем меняются они почти как картриджи в этих ваших геймбоях. (Надо 4 болта под клавой открутить)
Пока только 8гб карточка от АМД, но все данные для создания своих картриджей уже есть, так что скрестили пальчики и ждём A100 :D
What a time to be alive!
Мы релизнули вихрь💨 Нормально.
Проблемы: мы не очень уверены что оно точно аутперформит mistral и saiga mistral. Формально - да, все хорошо.
Цитируя классику
Если вам интересно что мы сделали: хабр
А еще оформили все в красивую HF репу: https://huggingface.co/Vikhrmodels
Обсуждение очередного пейпера без весов, кода, и демо от нвидии.
Читать полностью…
В японском интернете ещё 16 января появился большой пост-мортем Palworld и вот самые дикие и интересные факты о разработке игры:
- Бюджет хита составлял что-то около 6.7 миллионов долларов, причём его толком никто не вёл. Разработчики занимались игрой пока банковский баланс не стал нулевым
- Это был первый опыт студии в создании моделей и ассетов, а не покупки их на площадках. По этой причине никакого контроля над источниками или наименованиями не было вообще
- Главный художник Palworld провалил собеседования в сотню с хвостиком компаний
- Анимации "пушек" делал 20-летний парнишка, закончивший лишь среднюю школу, а своё рабочее время ему надо было распределять между Palworld и подработкой кассиром в продуктовом магазине
- Вся команда понятия не имела что такое "риг" (каркас для анимаций)
- В определенный момент в команду пришел старший инженер работавший с Unreal и весь билд на Unity отправили в мусорное ведро, а инженеру в одиночку пришлось переучивать команду
- В оптимизации Palworld прямо до самого релиза принимал участие CEO компании
- Сейчас Pocketpair наняла ветеранов индустрии и отладила процессы, но путь игры до релиза является не меньшим чудом, чем рекорды Palworld в Steam.
@zavtracast
Zoochosis
Наконец-то, достойный симулятор контактного зоопарка \ обычного дня в австралии боди-хоррор в модной же нынче бодикам-стилистике.
Суть такова: эльфы в лесу вы обычный смотритель зоопарка и занимаетесь обычными для вас делами - спасаете подопечных от неизвестного паразита, превращающего их в кровожадных мутантов, попутно изобретая противоядие. Визуально выглядит неоч, но идея интересная.
Давно хотелось чего-то в духе The Thing, но не на полярной станции, так что будем посмотреть.
https://www.youtube.com/watch?v=zx76uvIDU3s&ab_channel=IGN
Ненейросетевой генератор изображений
Он работает так же, как другие генераторы: пользователь вводит текстовый промпт и через некоторое время получает готовую картинку. Разница в том, что по ту сторону монитора находится не нейросеть, а живой художник.
Это проект нью-йоркского графического дизайнера Адриана Делкана. Он рисует по несколько десятков изображений в день и планирует продолжать проект до конца года, потому что получает от него удовольствие.
Делкан считает, что проект позволяет немного посмеяться над проблемой влияния искусственного интеллекта на людей, к которой все относятся серьёзно. Сам он смотрит на это так:
В основном я рад видеть изменения, которые принесёт искусственный интеллект. До сих пор, на текущем этапе, это был чрезвычайно полезный инструмент.
Подписывайтесь 👉@techno_yandex
Не пропускайте новости Яндекса тут @yandex
14 миллионов рублей на 71 000 подписей
Уже стабильно собираем по 7000 подписей в день. На сегодня у нас есть 28 752 подписи из необходимых 100 000.
Радуют и темпы сбора пожертвований. Вы невероятные! Нам осталось собрать всего 13.8 млн рублей.
Чем быстрее мы закроем сбор, тем легче нам будет справляться с наплывом освободивших от работы и учебы людей, которые придут ставить подпись в выходные дни. Обязательно приходите в наши штабы и точки сбора!
Вместе мы справимся со всем!
Отправить пожертвование можно на сайте:
https://nadezhdin2024.ru/#donate
/channel/retra/22461
Ну что, крышками запаслись?
Bruteforce Image to Text via LLM fine-tuning with CLIP loss.
Ну или CLIP guided LLM, дабы быть верным традициям.
Любопытный колаб от королевы "CLIP guided <insert random model here>" Katherine Crowson.
Генерим текстовое описание картинки путем файнтюна LLM, где критерием выступает разница между текстовыми CLIP-эмбедами предсказанного описания и картиночными CLIP-эмбедами исходной картинки.
В самом колабе используется довольно мелкая Pythia (чтоб завелось на 15гб фри колаба), которую можно заменить на что угодно, влезающее в ваш GPU.
Твит
Колаб
За наводку спасибо a s
@derplearning
Вышел мод Lethal Company VR
Бессмысленно и беспощадно умирать за металлолом теперь можно и от первого лица!
Скачать мод
Гит
YouTube
@derplearning
99.9% авторов моделей и лор с civit.ai be like:
Читать полностью…
Пятничная новость: куча товаров на Амазоне называются “I apologize but I cannot fulfill this request (because it violates OpenAI use Policy)” и подобными. Да, потому что выкладка товаров в магазины у многих уже автоматизирована через GPT. 2024, что ты делаешь, прекрати.
https://www.theverge.com/2024/1/12/24036156/openai-policy-amazon-ai-listings
Еще один подобный пример textTo3D через Luma AI, имплементированный в Unreal, а точнее в UEFN
Читать полностью…