13017
Используем ИИ строго не по назначению. Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
ElevenLabs тизерит конкурента Suno
Пока есть только пара демо-треков, по первым впечатлениям - выносят Suno по качеству. И не удивительно - ElevenLabs лучше всех умеют в клонирование голоса, что, надеюсь, они прикрутят и сюда.
Главная проблема тут, как и со всей ИИ музыкой — копирайт. Если не понятно на чём модель тренировали, то при использовании в чём-либо серьёзном есть нехилые шансы нарваться на многомилионный иск, музыкальная индустрия их любит. Решается это лишь полным лицензированием трейнинг сета, что сделали пока что лишь для Stable Audio (которая не умеет генерить вокал).
Как вы думаете, когда увидим первые судебные иски?
@ai_newz
What the hell happened here.jpg
В пятницу Сони сделалав Helldivers 2 принудительный логин через свою playstation network, которая мало того что была далеко не у каждого и работал через одно место, так ещё и недоступна в 170 странах.
Довольная публика оценила жест и накидала отзывов за выходные. Жаль разрабов, ведь они сами фактически не при чем.
Интересно что ответит издатель в понедельник.
Умельцы из твиттера сделали инфографику о том, как топ ChatBot Arena менялся за последний год.
Чат-гпт все ещё держится, но ей дышать в затылок. Конкуренция идёт серьезная. Посмотрим, есть ли у ClosedAI ещё козыри в рукаве.
Что такое ChatBot Arena – тут.
@ai_newz
В Абу-Даби прошла первая в мире гонка болидов-беспилотников.
Самое интересное происходило на квалификации, когда машины делали тестовые заезды, чтобы «познакомиться» с трассой. Машины вылетали с трасс, разворачивались, влетали в отбойники. Одним словом делали то, за что мы любим беспилотники.
Блогер под ником GingasVR собрала сетап для игры в Skyrim с полным погружением. Она надела жилет с вибрацией и костюм, который бьёт током во время получения урона в игре.
Кроме того, GingasVR настроила вентилятор так, чтобы он подстраивал температуру под игру. А ещё она установила мод, который интегрирует ChatGPT в NPC.
@zavtracast
Ору, как я ванганул про GLaDOS вот в этом посте.
Ну ошибся, ну с кем не бывает! Ее таки сделали на языковой модели, но только не в игре, а в реальности.
Просчитался, но где?
Собрал ее инженер с канала Dave’s Armoury. Оснащена машинным зрением, общение реализовано через ChatGPT и еще пару модулей.
Полное видео тут
You cannot make this stuff up 😁
Когда инвестировал не в тех моделей.
@derplearning
Штош, вот и переодевалки пригодились
Hf demo
@derplearning
Коротко о том, как развлекается кофаундер и CSO HuggingFace🤗
Чуваки сделали умного робота из г*вна и палок машинки на пульте управления и трёх open source нейронок:
Whisper - распознаёт речь.
Idefics2 - ЛЛМ с виженом.
Parler-TTS - голос робота.
Все под управлением Dora-CS, а компьют лежит на ноуте, но связь по безпроводу.
Назвали мило Немо😊
Малой неплохо так катается по офису, вроде как, даже знает, где кухня. На видео (лучше сами гляньте) один из разрабов вежливо просит привести ему кофе, но оказалось, что кофемашина на ремонте, о чем преданный четырёхколёсный отчитывается хозяину. А еще эта штука кажется понимает язык жестов и едет туда, куда ты тыкаешь.
Вот э тайм ту би алайв!
Твит
Код
@ai_newz
LLM дайджест за неделю
LLaMa 3 - главная звезда недели, открытые веса, три размера: 8, 70 и 405 миллиардов параметров, последняя ещё тренируется, что не удивительно, ведь датасет для неё это 15 триллионов токенов. Попробовать можете тут, пока только с VPN или можете скачать квантизированные веса с Huggingface, но тогда у вас не будет прекрасной функции Imagine Flash, которую тренировал ваш покорный слуга (да, я).
Pile-T5 - у всех версий T5 довольно плохой токенизатор где отсутствует куча специальных символов, ребята из EleutherAI решили это пофиксить и заменили его токенизатором от второй ламы. Вышла модель чуть лучше базовой T5, но отстающая от FLAN файнтюнов. T5 – это рабочая лошадка, юзаемая как в проде бессчётного количества компаний, так и в новомодном ресёрче вроде SD3 и ReALM, так что пользы от такой "пофикшеной" версии будет немало. А ещё это напоминание что enc-dec модели живее всех живых.
Reka-Core - ещё один encoder-decoder от выходцев из Google, проприетарная модель на уровне примерно LLaMa 3 70B и ниже Gemini Ultra. Мультимодальная, кроме картинок умеет в видео и аудио. Её всё ещё тренируют, факт релиза сырой модели удивляет, походу у стартапа просто заканчиваются деньги. Цены API на уровне GPT-4 Turbo, так что непонятно кому это вообще нужно.
Mixtral 8x22B Instruct - тюн оригинального Mixtral 8x22B, который держал первое место среди открытых моделей по ряду бенчей вроде MMLU целых 26 часов, а потом случилась LLaMa 3.
RWKV EagleX v2 - модель без аттеншна перегнала LLaMA 2 7B и почти догнала Mistral 7B. При том, что на большей длине контекста она СИЛЬНО быстрее. Очень хорошо показывает себя на языках отличных от английского. Модель всё ещё тренируют (общая тема этого дайджеста), так что скорее всего Mistral они догонят.
Хочу отметить что за последние 30 дней рекорд по MMLU среди открытых моделей (который держала Mixtral 8x7B почти 4 месяца) били ПЯТЬ раз: Grok - 73.0%, DBRX - 73.7%, Command R - 75.7%, Mixtral Instruct - 77.75% и LLaMA 3 - 82.0%.
Как вам вообще такой формат дайджеста именно по LLM, стоит продолжать?
#дайджест
@ai_newz
Забавный кейс.
Huggingface обычно сканирует модели, и предупреждает юзера, если это *.pkl с подозрительным кодом.
При этом через inference api эту модель можно запустить.
Что и проделали чюваки из WIZ Research (это те, кто недавно нашел на гитхабе 38тб приватных данных MicroSoft :D)
В итоге команде удалось получить доступ к шеллу, где крутилась модель, а затем чуть ли не ко всему инференс кластеру.
Дыру, конечно, закрыли еще до публикации поста, но существовала, она скорее всего, с момента появления inference api :D
Подробнее
Видео
@derplearning
Только что Tencent выкатил модель Instant Mesh, попробовать уже можно тут.
В отличие от остальных моделей, которых я, наверное, тонну перепробовал, в этой показан процесс генерации дополнительных ракурсов, т. к. модель на входе работает только с одним ракурсом и на основе дополнительных видов достраивает геометрию. Вполне неплохо держит контекст исходной картинки.
Прекрасно, дайте нам возможность управлять этими ракурсами, пусть мы сможем догенерировать с каждого вида то, что нам нужно. И раз геометрия почти на лету просчитывается, дайте возможность примитивами ее достраивать.
То, что сетка и текстуры такие мыльные, это вообще не проблема для демки, у нее задача другая. В целом это вообще не проблема, как вы понимаете.
На, программе для мониторинга Linux, htop запустили DOOM. Выглядит это как-то так.
Код уже лежит на GitHub.
@zavtracast
Хоть какая-то прикладная польза от этих ваших нейронок
Читать полностью…
StoryDiffusion: генерация консистентных наборов изображений без дообучения
Если вам нужно сгенерировать последовательную историю из фотографий, чтобы везде чётко прослеживалась единая локация, а главные персонажи не меняли одежду и причёску от фото к фото, то StoryDiffusion — именно то, что вам нужно.
Идея гениальна в своей простоте — ничего даже учить не нужно, только заменить блок self-attention на версию, которая "смотрит" на соседние фотографии в батче. Оказалось, этого более чем достаточно, чтобы генерации стали согласованными между собой.
StoryDiffusion идеально подходит для создания комиксов и даже видео (нужно только интерполировать сгенерированные ключевые кадры, что авторы и делают). Код уже в открытом доступе! Должно работать почти с любыми обученными диффузионными моделями.
Статья, GitHub, HuggingFace
😗llm.c теперь быстрее PyTorch - запускаем GPT-2 на рисоварке экстра быстро!
Андрей Карпатый и комьюнити показывают чудеса продуктивности – за 3 недели проект из игрушки (/channel/ai_newz/2557) превратился в настоящего зверя: добавили поддержку CUDA, FlashAttention, тренировку на нескольких видеокартах и кучу оптимизаций. Результат – llm.c тренирует GPT-2 на 46% быстрее чем текущий релиз PyTorch. Это возможно подстегнуло разрабов торча оптимизировать фреймворк и значительно сократить отставание - Nightly билды всего на 7% медленнее llm.c.
С большим функционалом код стал комплекснее, теперь там 3 тысячи строк кода и компилируется он заметно дольше изначальной секунды.
Не смотря на головокружительный прогресс нужно ещё много чего сделать:
* сейчас использование нескольких видеокарт лишь ускоряет тренировку, но размер модели всё ещё ограничен памятью одной видяхи
* подготовить кодбазу к полноценному воспроизведению GPT-2 (модели всех размеров на нормальном датасете)
* добавить поддержку моделей кроме GPT-2.
* ещё больше оптимизаций
Всё это на самом деле сложные задачи, но после наблюдения за темпами разработки у меня возникло впечатление что всё это мы увидим ещё в этом месяце.
https://github.com/karpathy/llm.c
@ai_newz
Valheim и её великолепная механика сруба деревьев
r/#shitposting
/channel/aiaiai/13495?single
Яндекс как братство стали: находит и сохраняет довоенные технологии
IMGSYS
Запилили аналог lmsys бенчмарка для text2img моделей. Выбор скудноват и не совсем честен, но все же.
tweet
https://imgsys.org/
@derplearning
Робот Thermonator, которого в прошлом году представила компания Throwflame, поступил в продажу.
Этот робопёс умеет пускать огненную струю на расстояние до 9 метров. Throwflame управляется по Wi-Fi/Bluetooth и работает от зарядки всего час.
Thermonator продаётся за $9420 на сайте компании.
@zavtracast
Improving microbial phylogeny with citizen science within a mass-market video game
Наконец-то, статья, переплюнувшая статью Google Gemini по количеству контрибьюторов 😅
Если кратко - учёные, исследовавшие днк кишечной микрофлоры, запартнерились с gearbox и встроили в borderlands мини-игру, в которой игроки чинили реальные последовательности ДНК.
В итоге в мини-игру поиграло более 4 млн человек, решив 135 миллионов задач. Несложно прикинуть, сколько бы стоила обработка такого объема данных наемными людьми.
Вот это я понимаю краудсорсинг.
Образцы ДНК, кстати, были взяты из фекалий, чем можно объяснить повышенный интерес геймеров
/s
Пейпер
Робопес, который всегда приземляется на свои четыре лапы. Или робокот?
@derplearning
⚡️Lightning Studio: Альтернатива Google Colab если хотите поиграться c модельками или заняться пет-проектом
Я тут случайно набрел на такую штуку. Не знал, что Lightning, та контора, что делает фреймворк Pytorch Lightning, ещё и пилит свою студию. По сути это онлайн среда для разработки и прототипирования deep-learning моделек. Тут все что нужно есть: и терминал, и VS Code, и ноутбуки, и удобный доступ к файловой системе и persitent хранилище (а не грёбаный google drive).
Фичи, которые есть тут, но нет в Google Colab:
- free persistent storage, то есть локальные файлы не пропадают, когда вы закрыли ноутбук
- free persistent environments
- unlimited background execution
- VSCode, PyCharm, (any IDE) integration
Дают бесплатно 22 гпу-часов (T4) в месяц, плюс можно докупить еще, если нужно. Платишь только за время, когда GPU активирована. Можно отмасштабировать и арендовать 8xA100, если нужно натренировать что-то серьезное.
https://lightning.ai/
@ai_newz