4253
❤️☠️🤗 идейная миграция небытия
Пока считается AWQ и GPTQ, задеплоил новый Вихрь в бота (@saiga_igusev_bot).
Можно тыкать после /setmodel. Я потыкал, вполне неплохо.
На этот раз деплой без косяков, я теперь мастер bos токенов.
Погенерил на lumalabs.ai видосов, промпты:
1. A panda doing parkour, jumping from a building to another building, doing somersault in the air
2. Will smith eating pasta
3. Hatsune Miku dances on the concert stage in the middle of the camera, and holds a microphone in her hands, high quality masterpiece dance animation, anime video, MMD, Miku Miku Dance, from NicoNicoDouga
А сравнить можно с генерациями Артема на Kling /channel/ai_newz/2815
Мое мнение: все дружно завели DIT на каких то датасетах, дальше 32*5 фреймов никто не генерит потому что: долго и дорого. Можно ли продолжая сгенерить минутное видео? да можно. Зачем? вопрос открытый
#чтивонаночь
An Empirical Study of Mamba-based Language Models
- 3Т токенов для 8B трансфоремера и Mamba
- Mamba слегка лучше чем трансформер
paper
Релиз sd3 - medium
- Трансформеро_образные теперь вместо UNET
- T5xxl+2 clip для текстовых энкодера
- 2B модель в релизе
- Лицензия по которой бесплатна для некомерческого использования и платная для комерческого
модель вышла в релиз в 15.00 СET, время до первой лоры с порнухой:
model
Ускорить обучение LLM 70B на 25%? Легко! YaFSDP
Сегодня мы выĸладываем в опенсорс наш новый инструмент — библиотеку YaFSDP. Она значительно ускоряет обучение больших языковых моделей — как собственной разработки, так и сторонних, с открытым исходным кодом.
Библиотека даёт ускорение до 25% — результат зависит от архитектуры и параметров нейросети. С помощью YaFSDP также можно расходовать до 20% меньше ресурсов графических процессоров (GPU), которые требуются для обучения.
Несколько подходов нашего метода:
— выделить два буфера под все собираемые веса, чтобы не отдавать их на отĸуп аллоĸатору памяти torch. Каждый нечётный слой будет использовать первый буфер, ĸаждый чётный — второй. Это уменьшит нагрузку на память и сделает её использование более предсказуемым;
— не делать чеĸпоинт аĸтиваций для ĸаĸ можно большего числа слоёв. Это позволит убрать избыточные вычисления за счёт сэкономленной памяти;
— выделить два стрима: вычислений и ĸоммуниĸаций, а синхронизацию построить таким образом, чтобы forward не начинался до завершения all_gather того же слоя, а all_gather не начинался до освобождения соответствующего буффера на предыдущем слое;
— разово собирать RMSNorm/LayerNorm в начале итерации и тольĸо в ĸонце усреднить градиенты;
— вынести predivide в самый ĸонец backward, таĸ ĸаĸ при reduce_scatter в bf16 или fp32 рисĸа переполнения нет.
Более подробно про проблемы обучения на множестве GPU можно почитать на Хабре. Приходите в репозиторий библиотеки YaFSDP, ставьте лайк и приносите вопросы в Issues. А ещё — делитесь своими впечатлениями здесь в комментариях.
Каким образом калечный dbrx выигрывает у 4t
machinelearning.apple.com/research/introducing-apple-foundation-models
как это будет работать в проде - загадка. но лучше чем супер убогое chat gpt app точно.
Читать полностью…
По мотивам:
/channel/lovedeathtransformers/7722
/channel/lovedeathtransformers/7748
ебаный ресерч адмена - как всегда на острие науки
Короче в чем идея: ребята используют эволюционный аглоритм для того чтобы эффективнее подобрать параметры мержа моделей(а еще блоки переставляют)
ссылка:
https://sakana.ai/evolutionary-model-merge/
Три стадии t2i стартапа
Ну ща свой претрен ебанем
Ну Lora хорошо себя показывает
А чо там с midjorney API?
Нужно ли освещать GPU из Румынии святой водой? И если да, то католической или православный? А если шипит все ещё, чо делать?
Читать полностью…
SignLLM: Sign Languages Production Large Language Models
Необычная работа - перевод текста в язык жестов с видео;
Cкорее инженерный чем DL пайплайн, LLM предсказывает следующее действие, оно прогонянтся через доп модельку и отрисывается на Sd+openpose
signllm.github.io
paper
Мальчик: пишет в твиттере
Мужчина: пишет книгу
Ребята из Китая собрали свою SORA, заявляют 2минуты FHD 30fps
https://kling.kuaishou.com/
Apple на WWDC показал совершенно шикарный концепт:
Берем все ваши Apple устройства подключенные по сети и объединяем их вычислительные мощности в «одну большую видеокарту» — такой подход, в теории, позволит запускать даже большие модели без покупки дополнительного железа.
Все это работает на MLX и пока не очень понятна эффективность и сколько iPad и iPhone, плюс Mac способны выдавать мощности, но скоро, скорее всего узнаем
Автор видео
РЕЛИЗ
32к версия Вихря 5.2
ccылка
И теперь у нас есть сообщество @vikhrmodels
Aligment эм ну спецефичный и не склонный генерить голых людей у SD3.
Читать полностью…
Ребята из DeepMind делают нам токамак дома (ну симулятор)
Они давно уже занимаются задачей контроля токамака и даже с RLем. А сейчас вот опенсурсят такую разработка. Ну круто!
TORAX is a differentiable tokamak core transport simulator aimed for fast and accurate forward modelling, pulse-design, trajectory optimization, and controller design workflows.
TORAX solves the coupled equations for ion heat transport, electron heat transport, particle transport, and current diffusion, incorporating modular physics-based and ML models.
Восхитительно, на дворе нейросети, а у людей string match в поиске
говорят тут можно поправить
https://yandex.ru/jobs/vacancies/ml-разработчик-в-команду-объектного-поиска-13290
https://yandex.ru/jobs/vacancies/ios-разработчик-в-международный-проект-плюс-фантеха-20290
Я лично жду релиза нормальной опенсурс LLM на русском, кому и зачем нужен opensource форк fsdp который эм ну....
Лучше конечно, но средний опенсурс как на LLM foundary так и будет сидеть, резона впиливать форк с непонятной поддержкой относительно основной репы сомнительно.
А как pr для основного fsdp было б хорошо, жаль это мои фантазии
Отбой, 27% это сколько apple LLM выиграла у чат гпт
Читать полностью…
обожаю работать с сумасшедшими, душнилами и умникаими.
обожаю ебанутых которые сидят в час ночи и хуярят генетику на торче вместо того чтобы спать.
похуй на тренды, мы ебанем форк для catboost чтобы юзать deepspeed потому что эээ НУ МОЖЕМ СЕБЕ ПОЗВОЛИТЬ ЕПТА.
Я честно говоря хз, вроде норм, но надо смотреть.
Докатят в релиз, обсудим.
Если вы любите пытаться сломать защиту в разных LLM с помощью промпт инъекций – то у меня вам полезная ссылка, датасет из почти ~1500 промпт инъекций собранных с Reddit, Discord, Twitter и тп.
https://github.com/verazuo/jailbreak_llms
Внутри промпты и для старых инъекций, вроде DAN, до более новых с base64, leet code и тп.
Следующий шаг, это натренировать на этом модель, которая будет ломать другие модели автоматом ☕️
клоунада на mteb продолжается, на вопрос: а чо не llama70b ответ одного из авторов NV-Embed был следущий: уже тренится
Читать полностью…
Запуск ллам на RPI.
Довольно любопытный пример tensor parallel без супер быстрой шины между железками ещё и на arm
GitHub
Гайс сходите потрогайте траву и кисок.
Админ.
Мы строили, строили и наконец-то построили :) Книга «Охота на электроовец: большая книга искусственного интеллекта» вышла из печати и доступна к заказу. Полные электронные версии книги (epub, docx, pdf) можно скачать с сайта бесплатно: http://markoff.science#book
«Мифы и заблуждения об искусственном интеллекте, страхи, насущные проблемы, перспективные направления исследований — обо всём этом вы узнаете из «Большой книги искусственного интеллекта»
Ищу партнера в новый перспективный проект удаленно, с компьютера, обучать ничему не буду, зато буду больно пиздить палкой по рукам и ебальнику за каждый тупой косяк. Если шарите в кубере, можете настроить ci/cd, умеете хуячить микросервисную архитектуру, можете настроить мультиклауд кубер, умеете писать на CUDA, знаете хотя бы базовую теорию типов и понимаете, что такое типизированное лямбда-исчисление второго порядка, умеете менеджить постгрес и АДЕКВАТНО его шардировать, шарите за графовые субд, можете уверенно настраивать и пользовать кассандру, ебались хотя бы столетие с кафкой, имеете опыт с apache nifi, умеете писать и обучать с нуля нейронки в распределенном окружении, можете написать на ассемблере хотя бы простейший ффн - пишите в лс, но я скорее всего вас пошлю нахуй, потому что мне это все в одно ебало интереснее хуярить.
Читать полностью…