13183
Используем ИИ строго не по назначению. Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
IMGSYS
Запилили аналог lmsys бенчмарка для text2img моделей. Выбор скудноват и не совсем честен, но все же.
tweet
https://imgsys.org/
@derplearning
Робот Thermonator, которого в прошлом году представила компания Throwflame, поступил в продажу.
Этот робопёс умеет пускать огненную струю на расстояние до 9 метров. Throwflame управляется по Wi-Fi/Bluetooth и работает от зарядки всего час.
Thermonator продаётся за $9420 на сайте компании.
@zavtracast
Improving microbial phylogeny with citizen science within a mass-market video game
Наконец-то, статья, переплюнувшая статью Google Gemini по количеству контрибьюторов 😅
Если кратко - учёные, исследовавшие днк кишечной микрофлоры, запартнерились с gearbox и встроили в borderlands мини-игру, в которой игроки чинили реальные последовательности ДНК.
В итоге в мини-игру поиграло более 4 млн человек, решив 135 миллионов задач. Несложно прикинуть, сколько бы стоила обработка такого объема данных наемными людьми.
Вот это я понимаю краудсорсинг.
Образцы ДНК, кстати, были взяты из фекалий, чем можно объяснить повышенный интерес геймеров
/s
Пейпер
Робопес, который всегда приземляется на свои четыре лапы. Или робокот?
@derplearning
⚡️Lightning Studio: Альтернатива Google Colab если хотите поиграться c модельками или заняться пет-проектом
Я тут случайно набрел на такую штуку. Не знал, что Lightning, та контора, что делает фреймворк Pytorch Lightning, ещё и пилит свою студию. По сути это онлайн среда для разработки и прототипирования deep-learning моделек. Тут все что нужно есть: и терминал, и VS Code, и ноутбуки, и удобный доступ к файловой системе и persitent хранилище (а не грёбаный google drive).
Фичи, которые есть тут, но нет в Google Colab:
- free persistent storage, то есть локальные файлы не пропадают, когда вы закрыли ноутбук
- free persistent environments
- unlimited background execution
- VSCode, PyCharm, (any IDE) integration
Дают бесплатно 22 гпу-часов (T4) в месяц, плюс можно докупить еще, если нужно. Платишь только за время, когда GPU активирована. Можно отмасштабировать и арендовать 8xA100, если нужно натренировать что-то серьезное.
https://lightning.ai/
@ai_newz
Нашёл просто офигительный нейропроект VERLAB. Один из самых остроумных, что я видел.
Его создатели генерят мебель, интерьеры и архитектуру, используя элементы русской культуры или природы за реф.
Например, на прикрепленных фотографиях можно посмотреть на мебель по мотивам творчества Билибина и керамику, вдохновлённую советской ёлочной игрушкой.
Кроме этого на канале можно увидеть интерьеры, вдохновлённые Сталкером Тарковского, озёрами в Астраханской области и горами Кабардино-Балкарии.
В общем, одно из самых лучших применений нейронки, что я видел. Ведут канал, кстати, практикующие архитекторы и преподаватели Британки.
Command R+ — новая модель!
104 миллиарда параметров, 128к контекста. Моделька с нуля сделана для использования тулов и RAG (Retrieval Augmented Generation), на бенчмарках связанных с этим модель показывает себя очень достойно. Нормальных тестов пока что нет, но Command R 35B очень хорошо себя показала на LLM арене, так что модель в три раза больше вряд-ли ударит лицом в грязь.
Веса уже выложили, даже квантизированные🥳
У меня большие надежды на эту модель!
Демка
Веса
Блогпост
@ai_newz
Stable Audio 2 - генерация коммерческой музыки по промпту
Самое интересное в модели - это то что её тренировали только на лицензированных данных, так что новому CEO Stability AI будет поспокойнее.
Архитектурно это, как и Sora с SD3, Diffusion Transformer, похоже U-Net всё же отправляется на покой.
Моделька доступна на сайте, API, как и пейпер обещают позже. Весов нет и вряд-ли будут.
А ещё они запустили стрим с непрерывной генерацией музыки, lofi girl напряглась.
Сайт (бесплатно дают 10 генераций с новой моделькой в месяц)
Блогпост
Стрим с вечной музыкой
@ai_newz
В vision pro добавили возможность приютить всратые 3д аватары своих коллег у себя дома.
Теперь на удаленных созвонах будет видно, где у кого руки.
В целом, несмотря на всратость текущих аватаров, сама фича довольно полезная, особенно если тебе срочно надо зайти на дейлик с комфортабельного сиденья твоего унитаза.
@derplearning
В мире компьютерной безопасности сегодня интересный день. Точнее, он начался вчера вечером, когда немецкий разработчик Андрес Фройнд опубликовал отчет о тайной лазейке (бэкдор), которую он обнаружил в новых версиях широко используемой библиотеки для сжатия liblzma (часть архиватора xz). Лазейка позволяет взломщикам заходить через SSH на системы, в которых установлены эти новые версии - к счастью, похоже, что это всего несколько дистрибутивов Линукса в их до-релизовых версиях.
Всех очень впечатлило, насколько эта лазейка была сделана хитро, и как взломщик или взломщики серьезно поработали над тем, чтобы замести следы:
- взломщик под именем/псевдонимом Jia Tan почти два года (!) участвовал в разработке опенсорсного пакета xz, завоевал доверие его мейнтейнеров и получил доступ к прямому коммиту в его репозиторию. Он сделал больше 700 коммитов, лишь малая часть которых медленно подготовила код для лазейки
- основной код лазейки спрятан в тестовых файлах проекта (примеры "плохих" и "хороших" архивов)
- исходный код, который включает лазейку в собственно библиотеку, вообще не является частью основной репозитории в Github. Он спрятан в тар-архивах двух последних релизов, которые обычно используются мейнтейнерами дистрибутивов. То есть есть таг релиза, есть архив, якобы собранный из репозитории в момент этого тага, но на самом деле в нем есть крохотная добавка; в самой репозитории ее нет
- эта добавка прячется в конфигурационной магии autoconf, которую все ненавидят лютой ненавистью и никто никогда не заглядывает внутрь
- она проверяет, когда исходники конфигурируют именно для постройки дебиан-пакета или RPM-пакета (т.е. то, что будут делать мейтейнеры дистрибутивов), и только в этом случае вынимает из тестовых файлов определенные куски и добавляет в код библиотеки
- внутри библиотеки код лазейки заменяет несколько функций, которые работают с символьными таблицами библиотек во время их подгружения. Затрачены специальные усилия, чтобы имена функций не появлялись в двоичном коде. Что именно дальше делает код лазейки, до конца еще не ясно, но он обрабатывает сам символьные таблицы библиотек, и видимо находит то, что имеет отношение к SSH серверу, и что-то там заменяет. Это еще проверяют сейчас.
- интересно, что openssh, стандартный SSH-сервер под линуксом, не использует библиотеку liblzma, в которую вставили эту лазейку, но несколько популярных дистрибутивов добавляют в него поддержку уведомлений системы, systemd, а библиотека libsystemd уже в свою очередь использует liblzma.
- после того, как вышли версии библиотеки с ошибкой, несколько разных людей с незамеченными до того именами (очевидно, альты взломщика или сообщники) стали открывать запросы в разных программах и пакетах сделать апгрейд на эти новые версии, и в некоторых случаях преуспели
Взломщик допустил только одну ошибку: код лазейки, когда он работает как часть openssh, довольно медленно обрабатывает эти символьные таблицы, или что он еще там делает, и даже неудачная попытка логина на такую систему занимает на полсекунды дольше, чем обычно. Андрес Фройнд заметил эти полсекунды задержки. Они его раздражали. Он решил найти, какой новый баг к этому приводит, и нашел эту лазейку.
Если бы все происходило быстро и не было задержки в полсекунды, очень может быть, что это не заметили бы месяцы и годы, и этот код попал бы в основные дистрибутивы, в версии Линукса, которые запускаются у основных облачных провайдеров итд. Они реально очень, ОЧЕНЬ хорошо замели следы.
Теперь все думают, что надо было/надо теперь делать по-другому, и как обнаружить следующую лазейку такого типа - или предыдущую, если она уже есть и никто не знает! - не опираясь на удачу и героическую занудливость Андреаса Фройнда.
Штош, вот и переодевалки пригодились
Hf demo
@derplearning
Коротко о том, как развлекается кофаундер и CSO HuggingFace🤗
Чуваки сделали умного робота из г*вна и палок машинки на пульте управления и трёх open source нейронок:
Whisper - распознаёт речь.
Idefics2 - ЛЛМ с виженом.
Parler-TTS - голос робота.
Все под управлением Dora-CS, а компьют лежит на ноуте, но связь по безпроводу.
Назвали мило Немо😊
Малой неплохо так катается по офису, вроде как, даже знает, где кухня. На видео (лучше сами гляньте) один из разрабов вежливо просит привести ему кофе, но оказалось, что кофемашина на ремонте, о чем преданный четырёхколёсный отчитывается хозяину. А еще эта штука кажется понимает язык жестов и едет туда, куда ты тыкаешь.
Вот э тайм ту би алайв!
Твит
Код
@ai_newz
LLM дайджест за неделю
LLaMa 3 - главная звезда недели, открытые веса, три размера: 8, 70 и 405 миллиардов параметров, последняя ещё тренируется, что не удивительно, ведь датасет для неё это 15 триллионов токенов. Попробовать можете тут, пока только с VPN или можете скачать квантизированные веса с Huggingface, но тогда у вас не будет прекрасной функции Imagine Flash, которую тренировал ваш покорный слуга (да, я).
Pile-T5 - у всех версий T5 довольно плохой токенизатор где отсутствует куча специальных символов, ребята из EleutherAI решили это пофиксить и заменили его токенизатором от второй ламы. Вышла модель чуть лучше базовой T5, но отстающая от FLAN файнтюнов. T5 – это рабочая лошадка, юзаемая как в проде бессчётного количества компаний, так и в новомодном ресёрче вроде SD3 и ReALM, так что пользы от такой "пофикшеной" версии будет немало. А ещё это напоминание что enc-dec модели живее всех живых.
Reka-Core - ещё один encoder-decoder от выходцев из Google, проприетарная модель на уровне примерно LLaMa 3 70B и ниже Gemini Ultra. Мультимодальная, кроме картинок умеет в видео и аудио. Её всё ещё тренируют, факт релиза сырой модели удивляет, походу у стартапа просто заканчиваются деньги. Цены API на уровне GPT-4 Turbo, так что непонятно кому это вообще нужно.
Mixtral 8x22B Instruct - тюн оригинального Mixtral 8x22B, который держал первое место среди открытых моделей по ряду бенчей вроде MMLU целых 26 часов, а потом случилась LLaMa 3.
RWKV EagleX v2 - модель без аттеншна перегнала LLaMA 2 7B и почти догнала Mistral 7B. При том, что на большей длине контекста она СИЛЬНО быстрее. Очень хорошо показывает себя на языках отличных от английского. Модель всё ещё тренируют (общая тема этого дайджеста), так что скорее всего Mistral они догонят.
Хочу отметить что за последние 30 дней рекорд по MMLU среди открытых моделей (который держала Mixtral 8x7B почти 4 месяца) били ПЯТЬ раз: Grok - 73.0%, DBRX - 73.7%, Command R - 75.7%, Mixtral Instruct - 77.75% и LLaMA 3 - 82.0%.
Как вам вообще такой формат дайджеста именно по LLM, стоит продолжать?
#дайджест
@ai_newz
Забавный кейс.
Huggingface обычно сканирует модели, и предупреждает юзера, если это *.pkl с подозрительным кодом.
При этом через inference api эту модель можно запустить.
Что и проделали чюваки из WIZ Research (это те, кто недавно нашел на гитхабе 38тб приватных данных MicroSoft :D)
В итоге команде удалось получить доступ к шеллу, где крутилась модель, а затем чуть ли не ко всему инференс кластеру.
Дыру, конечно, закрыли еще до публикации поста, но существовала, она скорее всего, с момента появления inference api :D
Подробнее
Видео
@derplearning
Только что Tencent выкатил модель Instant Mesh, попробовать уже можно тут.
В отличие от остальных моделей, которых я, наверное, тонну перепробовал, в этой показан процесс генерации дополнительных ракурсов, т. к. модель на входе работает только с одним ракурсом и на основе дополнительных видов достраивает геометрию. Вполне неплохо держит контекст исходной картинки.
Прекрасно, дайте нам возможность управлять этими ракурсами, пусть мы сможем догенерировать с каждого вида то, что нам нужно. И раз геометрия почти на лету просчитывается, дайте возможность примитивами ее достраивать.
То, что сетка и текстуры такие мыльные, это вообще не проблема для демки, у нее задача другая. В целом это вообще не проблема, как вы понимаете.
На, программе для мониторинга Linux, htop запустили DOOM. Выглядит это как-то так.
Код уже лежит на GitHub.
@zavtracast
Хоть какая-то прикладная польза от этих ваших нейронок
Читать полностью…
Guidance в диффузии нужен только в середине сэмплирования! (by NVIDIA)
Всё это время мы генерировали картинки диффузией неправильно — оказывается, classifier-free guidance вредит диффузионному процессу в его начале и конце. А если включать guidance только на середине — то генерация станет не только разнообразнее, но и качественнее: для модели EDM2-XXL это уменьшает FID с 1.81 to 1.40!
Самое главное — эта модификация совместима со всеми диффузионными моделями.
Статья
Ближайшее по интересности событие по теме генерации трехмерных объектов начнется 28 июля на Scigraph.
На нем, в частности, покажут Clay (Controllable Large-scale Generative Model). Очень надеюсь, не зря они ее назвали controllable. На видео видно, что там появится какой-то намек на настройки, симметрия, как минимум.
И если посмотреть на модель шлема, то, может быть, можно понадеяться на то, что генерации будут нормально работать с хардсерфейсными объектами, а не превращать их в обмылки. Типичная проблема всех трехмерных генераций.
Надеяться на то, что он вам качественно сделает газообразные грибы с крыльями, не стоит, но на что-то, что есть в реальном мире, хотелось бы верить, что сможет.
Информации пока очень мало, статья готовится, а пока вот пустая страница проекта.
Астрологи объявили взрывной рост объемов 3D-контента — ситуация стремительно набирает обороты. За конец марта опубликовано 13 статей про генерацию трехмерных объектов из текста и изображений.
SV3D: Stability AI показала новую модель для реконструкции изображения в 3D с высоким разрешением.
LATTE3D от NVIDIA: новый метод преобразования текста в 3D, позволяющий генерировать текстурированные сетки из текста всего за 400 мс.
Isotropic3D: генерация изображения в 3D на основе создания многоракурсных плоских изображений.
MVControl: преобразование текста в 3D с управлением по типу ControlNet (резкость, глубина и т. д.).
Make-Your-3D: преобразование изображения в 3D с возможностью управления генерацией с помощью текстовых подсказок.
MVEdit: поддерживает преобразование текста в 3D, изображения в 3D и 3D в 3D с генерацией текстур.
VFusion3D: преобразование изображения в 3D на базе предварительно обученных моделей видеодиффузии.
GVGEN: преобразование текста в 3D с объемным представлением.
GRM: эффективное преобразование текста в 3D и изображения в 3D за 100 мс.
FDGaussian: преобразование изображения в 3D с предварительной генерацией разных ракурсов в 2D.
Ultraman: преобразование изображения в 3D с упором на человеческие аватары.
Sculpt3D: и снова преобразование текста в 3D.
ComboVerse: преобразование картинок в 3D с комбинированием моделей и созданием сцен.
Не везде доступен код, так что сравнивать сложно, но первые результаты уже есть — пара божественных мезоамериканских нейролягушек.
3D Gaussian Splatting of the collapsed Baltimore Key Bridge.
Вот и гауссианы пригодились в деле.
Твит
Реддит
Покрутить самим тут
@derplearning
Джуны нинужны? 😀
Чюваки из Принстона запилили пайплайн, который фиксит реальные issues в гитхабе и выбивает 12% на SWE-bench.
Фиксит "под ключ" - кидаем ссылку на issue, получаем комитет с фиксом.
Агенты парсят проблему, качают репо, воспроизводят проблему в тестовой среде, ищут релевантные функции в коде, предлагают решение, проверяют в тестовой среде, коммитят фикс в репо.
Пейпера нет, код есть, лол.
Твит
Код
@derplearning
Autonomous Overhead Powerline Recharging for Uninterrupted Drone Operations
Думал, что это первоапрельская шутка, но нет.
Дрон, способный самостоятельно подзаряжаться от ЛЭП, причем и от постоянного тока в том числе.
Если такой системой оборудовать дроны, которые уже используются для очистки ЛЭП от паутины, мусора, и обрезки ближайших деревьев, получим первый пример киберпанк-симбиоза.
Дроны-прилипалы!
Paper
@derplearning
Вышел ресеч по AI-детекторам текста, это которыми студентов и откликающихся на вакансии пугают – мол не используйте ChatGPT, мы все узанем.
Можете показать этот пост HR или тем кто учится:
— Точность AI-детекторов в среднем по рынку всего 39.5%;
— Вы можете добавить в сгенерированный текст разные виды атак и точность определения AI-текста упадет до 22%;
— Только 67% текста написанного человеком было помечено как «Реальный»;
Эффективные виды атак на AI детекторы — каждая из них серьезно влияет на точность определения AI текста:
1. Добавление орфографических ошибок и опечаток:
Вместо: «The quick brown fox jumps over the lazy dog.»
Пишем: «The quikc brown fox jmups over the lazy dog.»
То есть будто мы спешили и быстро псиали.
2. Написание текста как не-нейтив спикер:
Попросите LLM писать текст будто вы не нативный владелец этого языка.
Вместо: «I am very happy to write this essay for my English class. I hope to get a good grade.»
Пишем: «I am very happy to writing this essay for my English class. I hope to get good grade.»
Для нас совсем простой хак 🌚
3. Увеличение неравномерности:
Вместо: «Солнце ярко светило. Птицы щебетали. Легкий ветерок шелестел листьями. Это был идеальный день для пикника в парке.»
Пишем: «Солнце ярко светило. Птицы щебетали. Легкий ветерок шелестел листьями, создавая умиротворяющую атмосферу. Это был идеальный день для пикника в парке, где семья и друзья собрались вместе, чтобы насладиться прекрасной погодой.»
То есть длина и структура предложений варьируются, чтобы создать более динамичный и насыщенный деталями текст. Короткие предложения сочетаются с более длинными и описательными, имитируя повествования человеческого письма.
Мое мнение про AI-детекторы:
Это шлак 😎 — на них нельзя полагаться.
Бонус:
На основе этого ресеча и основных аттак я собрал GPT «Anti AI-Detection» — вставляете туда текст, и она его переписывает применяя эти атаки. Работает не так хорошо как люди, конечно же, но работает.
Исследование целиком:
https://arxiv.org/abs/2403.19148
