4253
❤️☠️🤗 идейная миграция небытия
В целом в текущем состоянии harness alignment ощутимо просаживает качество моделей.
Читать полностью…
Nvidia выложили новую LLM модель с открытой лицензией - Nemotron-4 340B. И ее масштабы прям поражают.
Это модель, у которой минимальные требования это две A100 и 1.3TB памяти. По тестам она близка к GPT4o, а местами и обгоняет её. Но сейчас постоянно выходят большие модели, моё внимание привлек вот этот пункт в лицензии (выделение моё)
Этика ИИ. NVIDIA стремится к безопасности, доверию и прозрачности в разработке ИИ. NVIDIA призывает вас (a) убедиться, что продукт или услуга, которые вы разрабатываете, используете, предлагаете в качестве услуги или распространяете, соответствуют юридическим и этическим требованиям соответствующей отрасли или сферы применения, (b) принять разумные меры для устранения непреднамеренной предвзятости и смягчения вреда для других, включая недопредставленные или уязвимые группы, и (c) информировать пользователей о характере и ограничениях продукта или услуги. NVIDIA категорически запрещает использовать свои продукты или услуги для любых целей, нарушающих действующее законодательство, включая, помимо прочего, (a) незаконное наблюдение, (b) незаконный сбор или обработку биометрической информации без согласия субъекта, если это требуется в соответствии с действующим законодательством, или (c) незаконное преследование, злоупотребление, угрозы или запугивание отдельных лиц или групп лиц, а также намеренное введение в заблуждение или обман других лиц.
https://blogs.nvidia.com/blog/nemotron-4-synthetic-data-generation-llm-training/
Apple на WWDC показал совершенно шикарный концепт:
Берем все ваши Apple устройства подключенные по сети и объединяем их вычислительные мощности в «одну большую видеокарту» — такой подход, в теории, позволит запускать даже большие модели без покупки дополнительного железа.
Все это работает на MLX и пока не очень понятна эффективность и сколько iPad и iPhone, плюс Mac способны выдавать мощности, но скоро, скорее всего узнаем
Автор видео
РЕЛИЗ
32к версия Вихря 5.2
ccылка
И теперь у нас есть сообщество @vikhrmodels
Aligment эм ну спецефичный и не склонный генерить голых людей у SD3.
Читать полностью…
Ребята из DeepMind делают нам токамак дома (ну симулятор)
Они давно уже занимаются задачей контроля токамака и даже с RLем. А сейчас вот опенсурсят такую разработка. Ну круто!
TORAX is a differentiable tokamak core transport simulator aimed for fast and accurate forward modelling, pulse-design, trajectory optimization, and controller design workflows.
TORAX solves the coupled equations for ion heat transport, electron heat transport, particle transport, and current diffusion, incorporating modular physics-based and ML models.
Восхитительно, на дворе нейросети, а у людей string match в поиске
говорят тут можно поправить
https://yandex.ru/jobs/vacancies/ml-разработчик-в-команду-объектного-поиска-13290
https://yandex.ru/jobs/vacancies/ios-разработчик-в-международный-проект-плюс-фантеха-20290
Я лично жду релиза нормальной опенсурс LLM на русском, кому и зачем нужен opensource форк fsdp который эм ну....
Лучше конечно, но средний опенсурс как на LLM foundary так и будет сидеть, резона впиливать форк с непонятной поддержкой относительно основной репы сомнительно.
А как pr для основного fsdp было б хорошо, жаль это мои фантазии
Отбой, 27% это сколько apple LLM выиграла у чат гпт
Читать полностью…
обожаю работать с сумасшедшими, душнилами и умникаими.
обожаю ебанутых которые сидят в час ночи и хуярят генетику на торче вместо того чтобы спать.
похуй на тренды, мы ебанем форк для catboost чтобы юзать deepspeed потому что эээ НУ МОЖЕМ СЕБЕ ПОЗВОЛИТЬ ЕПТА.
Я честно говоря хз, вроде норм, но надо смотреть.
Докатят в релиз, обсудим.
Если вы любите пытаться сломать защиту в разных LLM с помощью промпт инъекций – то у меня вам полезная ссылка, датасет из почти ~1500 промпт инъекций собранных с Reddit, Discord, Twitter и тп.
https://github.com/verazuo/jailbreak_llms
Внутри промпты и для старых инъекций, вроде DAN, до более новых с base64, leet code и тп.
Следующий шаг, это натренировать на этом модель, которая будет ломать другие модели автоматом ☕️
клоунада на mteb продолжается, на вопрос: а чо не llama70b ответ одного из авторов NV-Embed был следущий: уже тренится
Читать полностью…
Запуск ллам на RPI.
Довольно любопытный пример tensor parallel без супер быстрой шины между железками ещё и на arm
GitHub
Гайс сходите потрогайте траву и кисок.
Админ.
Мерж sdxl и sd3.
Я не знаю что это такое и как это возможно, почитаю позже что автор наворотил.
(Клипы и вае от сд3, в остальном обычный мерж)
Model
Пока считается AWQ и GPTQ, задеплоил новый Вихрь в бота (@saiga_igusev_bot).
Можно тыкать после /setmodel. Я потыкал, вполне неплохо.
На этот раз деплой без косяков, я теперь мастер bos токенов.
Погенерил на lumalabs.ai видосов, промпты:
1. A panda doing parkour, jumping from a building to another building, doing somersault in the air
2. Will smith eating pasta
3. Hatsune Miku dances on the concert stage in the middle of the camera, and holds a microphone in her hands, high quality masterpiece dance animation, anime video, MMD, Miku Miku Dance, from NicoNicoDouga
А сравнить можно с генерациями Артема на Kling /channel/ai_newz/2815
Мое мнение: все дружно завели DIT на каких то датасетах, дальше 32*5 фреймов никто не генерит потому что: долго и дорого. Можно ли продолжая сгенерить минутное видео? да можно. Зачем? вопрос открытый
#чтивонаночь
An Empirical Study of Mamba-based Language Models
- 3Т токенов для 8B трансфоремера и Mamba
- Mamba слегка лучше чем трансформер
paper
Релиз sd3 - medium
- Трансформеро_образные теперь вместо UNET
- T5xxl+2 clip для текстовых энкодера
- 2B модель в релизе
- Лицензия по которой бесплатна для некомерческого использования и платная для комерческого
модель вышла в релиз в 15.00 СET, время до первой лоры с порнухой:
model
Ускорить обучение LLM 70B на 25%? Легко! YaFSDP
Сегодня мы выĸладываем в опенсорс наш новый инструмент — библиотеку YaFSDP. Она значительно ускоряет обучение больших языковых моделей — как собственной разработки, так и сторонних, с открытым исходным кодом.
Библиотека даёт ускорение до 25% — результат зависит от архитектуры и параметров нейросети. С помощью YaFSDP также можно расходовать до 20% меньше ресурсов графических процессоров (GPU), которые требуются для обучения.
Несколько подходов нашего метода:
— выделить два буфера под все собираемые веса, чтобы не отдавать их на отĸуп аллоĸатору памяти torch. Каждый нечётный слой будет использовать первый буфер, ĸаждый чётный — второй. Это уменьшит нагрузку на память и сделает её использование более предсказуемым;
— не делать чеĸпоинт аĸтиваций для ĸаĸ можно большего числа слоёв. Это позволит убрать избыточные вычисления за счёт сэкономленной памяти;
— выделить два стрима: вычислений и ĸоммуниĸаций, а синхронизацию построить таким образом, чтобы forward не начинался до завершения all_gather того же слоя, а all_gather не начинался до освобождения соответствующего буффера на предыдущем слое;
— разово собирать RMSNorm/LayerNorm в начале итерации и тольĸо в ĸонце усреднить градиенты;
— вынести predivide в самый ĸонец backward, таĸ ĸаĸ при reduce_scatter в bf16 или fp32 рисĸа переполнения нет.
Более подробно про проблемы обучения на множестве GPU можно почитать на Хабре. Приходите в репозиторий библиотеки YaFSDP, ставьте лайк и приносите вопросы в Issues. А ещё — делитесь своими впечатлениями здесь в комментариях.
Каким образом калечный dbrx выигрывает у 4t
machinelearning.apple.com/research/introducing-apple-foundation-models
как это будет работать в проде - загадка. но лучше чем супер убогое chat gpt app точно.
Читать полностью…
По мотивам:
/channel/lovedeathtransformers/7722
/channel/lovedeathtransformers/7748
ебаный ресерч адмена - как всегда на острие науки
Короче в чем идея: ребята используют эволюционный аглоритм для того чтобы эффективнее подобрать параметры мержа моделей(а еще блоки переставляют)
ссылка:
https://sakana.ai/evolutionary-model-merge/
Три стадии t2i стартапа
Ну ща свой претрен ебанем
Ну Lora хорошо себя показывает
А чо там с midjorney API?
Нужно ли освещать GPU из Румынии святой водой? И если да, то католической или православный? А если шипит все ещё, чо делать?
Читать полностью…
SignLLM: Sign Languages Production Large Language Models
Необычная работа - перевод текста в язык жестов с видео;
Cкорее инженерный чем DL пайплайн, LLM предсказывает следующее действие, оно прогонянтся через доп модельку и отрисывается на Sd+openpose
signllm.github.io
paper
Мальчик: пишет в твиттере
Мужчина: пишет книгу