13183
Используем ИИ строго не по назначению. Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
Скрейпинг веб страниц в эпоху GPT-Vision
Последние пару недель, я много эксперементировал с парсингом и скрейпингом веб страниц. В итоге я пришел к выводу, что сайты были сделаны для того что бы на них смотрели глазами, и соответственно парсить их эффкетивнее всего тоже будет глазами.
Собрал для вас старый добрый Colab, с помощью которого можно сделать summary любой страницы в интернете (в пределах того, на что не обидится OpenAI).
Как это работает:
- с помощью selenium я делаю скриншоты сайта
- объединяю их в одну картинку
- отправляю эту картинку в GPT-vision
- получаю summary
🚀 Google Colab
Приглашаю всех попробовать и присылать PR c новыми функциями, исправлением багов и прочими правками.
В качестве бонуса (для продвинутых пользователей), добавил в pipeline создание эмбедингов поверх полученных summary.
Если пойдет, может быть сделаем крутого open-source Web-scrapping Assistant или типа того
DragNUWA x ComfyUI
Недавно RunwayML показали новую фичу: multi motion brush, позволявшую управлять направлением движения сразу нескольких областей исходной картинки.
Думаю, ни для кого не секрет, что это их имплементация августовского пейпера dragnuwa.
Но опенсорс не дремлет, и реализация DragNUWA уже доступна для SVD, а с ней и соответствующие ноды в ComfyUI.
ComfyUI workflow
Git comfyui dragnuwa
Git dragnuwa 1.5 svd
DragNUWA paper
Твит
@derplearning
https://fxtwitter.com/business/status/1748400673614336471
После этой новости сэм альтман нашел у себя в кровати голову единорога.
Со следами кожаной куртки.
Чикагский Университет выкатил Nightshade - тулзу, призванную усложнить жизнь коварному ИИ, который так и норовит украсть работы у художников, вот это вот все.
Если верить тогдашнему пейперу, то работает через оптимизацию пикселей картинки на соответствие ложному концепту (cat -> dog например), при сохранении визуального сходства с исходником.
Хоть они и заявляли, что метод нельзя обойти кропом, поворотом или пережатием картинки, вангую, что он работает только если вы будете размечать картинки с помощью конкретной модели, которая выступала критерием для оптимизации. Т.е. меняете CLIP на что-то еще, размечаете вручную - и вуаля. Ну и к тому же таким образом удастся разве что испортить концепт чьего-то конкретного стиля, потому что по их же пейперу для похеривания обучения на датасете размером с LAION5b нужно 5м испорченных картинок. Пока не вижу реальных кейсов, кроме усложнения тюна существующих моделей\lora на базе SD.
Сайт
Скачать
Гайд
Срач на reddit
@derplearning
А вот и действительно актуальный девайс - кибердек судного дня.
Жаль, нет нормального списка запчастей.
Ну и давай не ламповый, где клетка Фарадея, спрашивается?
https://youtu.be/bsT4CR9Jw-c?si=cdjCSjAQUw8SyE79
Сегодня запустился ранний доступ «покемонов с оружием» Palworld. Игра вышла в Steam, а также на Xbox Series X|S и в Game Pass.
Разработчики уже отчитались, что за 8 часов с релиза было продано более миллиона копий.
В Palworld нужно ловить Палов (местные Покемоны), а потом отправлять их строить вам дом или добывать ресурсы.
@zavtracast
If you recognize this image, it's time for a routine colonoscopy
Читать полностью…
Openai убрали military and warfare из списка запрещенных целей применения своих моделей.
Это не обязательно означает сиюминутное применение для kill all humans, потому что есть много военных бюджетов с окологражданскими задачами, которые openai могут хотеть освоить. Например, анализ архивов, данных о местности.
Несмотря на это, трудно не вспомнить гугл с их отказом от "don't be evil" 😅
New usage policy
Old usage policy
Подробнее
@derplearning
Fried Egg Style [LoRA 1.5+SDXL]
Одна из самых необычных лор, которые я видел.
Если вам нужно сделать дорого и богато (в нынешних реалиях) - вам сюда. Яйцевую воду не каждый может себе позволить, а вот лору - всегда пожалуйста.
(Dalek says EGGSTERMINATE!)
civit.ai
картинки отсюда
@derplearning
Это серьезно правда? Ладно товары в Амазоне, но подводки статьям в NYT!
У меня нет комментария, на самом деле. Зачем человеку это читать?
You can only call yourself a digital nomad if you are a Bedouin, maasai, mongol or smth. Otherwise you are just a sparkling remote worker.
Читать полностью…
Койо Сато запатентовал систему, которая на основе открытой базы спутниковых снимков создает модели городов прямо в UEFN, конкретно (Shinjuku). Говорит, что это на основе ИИ, но сейчас не разберешь, уже хайпят или реально что-то от ИИ есть.
Настроен он серьезно, проект исследовательский, и создатель грезит мирами “Матрицы” и “Первому игроку приготовиться”. В конце видео есть код острова: 8219-7403-9340, так что можете сами попробовать.
Запустили с командой новый продукт LittleStory:
AI-генератор длинных и (относительно) интересных сказок для детей.
Пользователь регистрируется, добавляет на сайт описание ребенка (характер, возраст) и получает возможность с пары кликов сгенерировать историю и иллюстрации, где сам ребенок — главный герой, а сказка строится вокруг какой-то позитивной темы — здорового питания, хорошего поведения или простым языком рассказывается сложный научный концепт, аля квантовая физика для самых маленьких.
Из прикольного — можно прописать любимую вселенную для сказки, игровую, книжную или из мультика. Ну и само собой каждая генерация тщательно проверяется на «безопасность темы» для детей.
Все работает на GPT4, поэтому бесплатно дать генерации пока что не можем — но зато мы нагенерировали сотни бесплатных сказок на разные темы, можно почитать и оценить качество.
Уже сейчас есть шесть языков (Английский, Хинди, Русский, Традиционный Китайский, Украинский, Голландский) и скоро доведем до 11+, еще планируем фичи вроде озвучки сказок или копирования голоса родителя для чтения этих самых сказок (небольшое вложение в SciFi от нашей команды ☕️).
Это первый запуск нашей команды на Product Hunt, так что если у вас есть аккаунт, буду рад фидбеку там (комменты не на английском там удаляют 👍):
https://www.producthunt.com/posts/littlestory-io
Сайт проекта:
https://littlestory.io
(если мы ничего не сломали — а мы могли, то сразу откроется правильный язык)
P.S. Когда-нибудь расскажу как мы намучились с другими языками и gpt4 как переводчиком и с промптами размером с девятиэташку
P.P.S. Если вдруг решите поддержать проект и попробовать, то вот промо-код на 10% скидку при первой покупке WELCOME10
Когда я был маленьким и смотрел суперстарые серии Doraemon, я увидел там ножницы, которыми главные герои вырезали из журналов разные предметы, и они становились настоящими. Потом, в период пубертата, я мечтал, чтобы такими же ножницами можно было бы вырезать с главной обложки Playboy или Maxim🏳
Сейчас схожие такой же магии чувства.
В общем, это больше похоже на концепт: кубы работают как баундинбоксы и пивоты, генерация натренирована на усреднённую форму предмета, и качество предмета зависит от его популярности в интернете. А хочется, чтобы генерация действительно учитывала разную степень проработки изначального блокаута и доделывала его в зависимости от запроса.
То, что показали в Rodin Gen-1, не textToimg, а именно textTo3D, и он, без сомнения, будет использоваться в продакшене рано или поздно. Не в этой инкарнации, так в другой.
Сорс
Обсуждение очередного пейпера без весов, кода, и демо от нвидии.
Читать полностью…
В японском интернете ещё 16 января появился большой пост-мортем Palworld и вот самые дикие и интересные факты о разработке игры:
- Бюджет хита составлял что-то около 6.7 миллионов долларов, причём его толком никто не вёл. Разработчики занимались игрой пока банковский баланс не стал нулевым
- Это был первый опыт студии в создании моделей и ассетов, а не покупки их на площадках. По этой причине никакого контроля над источниками или наименованиями не было вообще
- Главный художник Palworld провалил собеседования в сотню с хвостиком компаний
- Анимации "пушек" делал 20-летний парнишка, закончивший лишь среднюю школу, а своё рабочее время ему надо было распределять между Palworld и подработкой кассиром в продуктовом магазине
- Вся команда понятия не имела что такое "риг" (каркас для анимаций)
- В определенный момент в команду пришел старший инженер работавший с Unreal и весь билд на Unity отправили в мусорное ведро, а инженеру в одиночку пришлось переучивать команду
- В оптимизации Palworld прямо до самого релиза принимал участие CEO компании
- Сейчас Pocketpair наняла ветеранов индустрии и отладила процессы, но путь игры до релиза является не меньшим чудом, чем рекорды Palworld в Steam.
@zavtracast
Zoochosis
Наконец-то, достойный симулятор контактного зоопарка \ обычного дня в австралии боди-хоррор в модной же нынче бодикам-стилистике.
Суть такова: эльфы в лесу вы обычный смотритель зоопарка и занимаетесь обычными для вас делами - спасаете подопечных от неизвестного паразита, превращающего их в кровожадных мутантов, попутно изобретая противоядие. Визуально выглядит неоч, но идея интересная.
Давно хотелось чего-то в духе The Thing, но не на полярной станции, так что будем посмотреть.
https://www.youtube.com/watch?v=zx76uvIDU3s&ab_channel=IGN
Ненейросетевой генератор изображений
Он работает так же, как другие генераторы: пользователь вводит текстовый промпт и через некоторое время получает готовую картинку. Разница в том, что по ту сторону монитора находится не нейросеть, а живой художник.
Это проект нью-йоркского графического дизайнера Адриана Делкана. Он рисует по несколько десятков изображений в день и планирует продолжать проект до конца года, потому что получает от него удовольствие.
Делкан считает, что проект позволяет немного посмеяться над проблемой влияния искусственного интеллекта на людей, к которой все относятся серьёзно. Сам он смотрит на это так:
В основном я рад видеть изменения, которые принесёт искусственный интеллект. До сих пор, на текущем этапе, это был чрезвычайно полезный инструмент.
Подписывайтесь 👉@techno_yandex
Не пропускайте новости Яндекса тут @yandex
14 миллионов рублей на 71 000 подписей
Уже стабильно собираем по 7000 подписей в день. На сегодня у нас есть 28 752 подписи из необходимых 100 000.
Радуют и темпы сбора пожертвований. Вы невероятные! Нам осталось собрать всего 13.8 млн рублей.
Чем быстрее мы закроем сбор, тем легче нам будет справляться с наплывом освободивших от работы и учебы людей, которые придут ставить подпись в выходные дни. Обязательно приходите в наши штабы и точки сбора!
Вместе мы справимся со всем!
Отправить пожертвование можно на сайте:
https://nadezhdin2024.ru/#donate
/channel/retra/22461
Ну что, крышками запаслись?
Bruteforce Image to Text via LLM fine-tuning with CLIP loss.
Ну или CLIP guided LLM, дабы быть верным традициям.
Любопытный колаб от королевы "CLIP guided <insert random model here>" Katherine Crowson.
Генерим текстовое описание картинки путем файнтюна LLM, где критерием выступает разница между текстовыми CLIP-эмбедами предсказанного описания и картиночными CLIP-эмбедами исходной картинки.
В самом колабе используется довольно мелкая Pythia (чтоб завелось на 15гб фри колаба), которую можно заменить на что угодно, влезающее в ваш GPU.
Твит
Колаб
За наводку спасибо a s
@derplearning
Вышел мод Lethal Company VR
Бессмысленно и беспощадно умирать за металлолом теперь можно и от первого лица!
Скачать мод
Гит
YouTube
@derplearning
99.9% авторов моделей и лор с civit.ai be like:
Читать полностью…
Пятничная новость: куча товаров на Амазоне называются “I apologize but I cannot fulfill this request (because it violates OpenAI use Policy)” и подобными. Да, потому что выкладка товаров в магазины у многих уже автоматизирована через GPT. 2024, что ты делаешь, прекрати.
https://www.theverge.com/2024/1/12/24036156/openai-policy-amazon-ai-listings
Еще один подобный пример textTo3D через Luma AI, имплементированный в Unreal, а точнее в UEFN
Читать полностью…
[пост был удалён]
Вихрь - семейство русификацированных моделей (flan т5 240м, flan т5 3В, mistral 7B) как основы.
Все имеют адаптированный под русский токенйазер, подучены на хабре, а т5 ещё и на переведенной open orca.
Все модели учились с дистиляционным лоссом, те просадка относительно оригиной модели минимальная, но деньги кончились и инструкт версию для mistral мы не доделали, возможно позже.
По метрикам ВОЗМОЖНО лучше чем закрытые модели Яндекса и Сбера, но точными цифрами сложно оперировать, я не уверен в русских бенчах, а saiga sbs руки не дошли поставить.
Возможно позже.
Sentence версия т5 не полетела, энкодер от flan сопоставим с энкодером Fred T5 xl.
Если у вас есть архитектура где используется flant5 xl и хочется поддерживать русский - можно смело подсунуть этот флан. Встанет как влитой.
Подробности в статье на хабре на следующей неделе.
Huggingface
Релизнули с @nadlskom @den4ikresearch(ft flan на saiga, выйдет позже)
КрасивоеMicrosoft Light Simulator
A* (A Star) pathfinding algorithm visualized on the city streets of Chicago and Rome.
Data from OpenStreetMap, OSMnx - intersections of streets represented as nodes and streets as edges
Tools used for visualization - Python, Blender
youtube