4253
❤️☠️🤗 идейная миграция небытия
Ускорить обучение LLM 70B на 25%? Легко! YaFSDP
Сегодня мы выĸладываем в опенсорс наш новый инструмент — библиотеку YaFSDP. Она значительно ускоряет обучение больших языковых моделей — как собственной разработки, так и сторонних, с открытым исходным кодом.
Библиотека даёт ускорение до 25% — результат зависит от архитектуры и параметров нейросети. С помощью YaFSDP также можно расходовать до 20% меньше ресурсов графических процессоров (GPU), которые требуются для обучения.
Несколько подходов нашего метода:
— выделить два буфера под все собираемые веса, чтобы не отдавать их на отĸуп аллоĸатору памяти torch. Каждый нечётный слой будет использовать первый буфер, ĸаждый чётный — второй. Это уменьшит нагрузку на память и сделает её использование более предсказуемым;
— не делать чеĸпоинт аĸтиваций для ĸаĸ можно большего числа слоёв. Это позволит убрать избыточные вычисления за счёт сэкономленной памяти;
— выделить два стрима: вычислений и ĸоммуниĸаций, а синхронизацию построить таким образом, чтобы forward не начинался до завершения all_gather того же слоя, а all_gather не начинался до освобождения соответствующего буффера на предыдущем слое;
— разово собирать RMSNorm/LayerNorm в начале итерации и тольĸо в ĸонце усреднить градиенты;
— вынести predivide в самый ĸонец backward, таĸ ĸаĸ при reduce_scatter в bf16 или fp32 рисĸа переполнения нет.
Более подробно про проблемы обучения на множестве GPU можно почитать на Хабре. Приходите в репозиторий библиотеки YaFSDP, ставьте лайк и приносите вопросы в Issues. А ещё — делитесь своими впечатлениями здесь в комментариях.
Каким образом калечный dbrx выигрывает у 4t
machinelearning.apple.com/research/introducing-apple-foundation-models
как это будет работать в проде - загадка. но лучше чем супер убогое chat gpt app точно.
Читать полностью…
По мотивам:
/channel/lovedeathtransformers/7722
/channel/lovedeathtransformers/7748
ебаный ресерч адмена - как всегда на острие науки
Короче в чем идея: ребята используют эволюционный аглоритм для того чтобы эффективнее подобрать параметры мержа моделей(а еще блоки переставляют)
ссылка:
https://sakana.ai/evolutionary-model-merge/
Три стадии t2i стартапа
Ну ща свой претрен ебанем
Ну Lora хорошо себя показывает
А чо там с midjorney API?
Нужно ли освещать GPU из Румынии святой водой? И если да, то католической или православный? А если шипит все ещё, чо делать?
Читать полностью…
SignLLM: Sign Languages Production Large Language Models
Необычная работа - перевод текста в язык жестов с видео;
Cкорее инженерный чем DL пайплайн, LLM предсказывает следующее действие, оно прогонянтся через доп модельку и отрисывается на Sd+openpose
signllm.github.io
paper
Мальчик: пишет в твиттере
Мужчина: пишет книгу
Ребята из Китая собрали свою SORA, заявляют 2минуты FHD 30fps
https://kling.kuaishou.com/
Мечтает ли GPT-4o о сегментации картинок...?
Рассказал на Habr найденный способ как заставить GPT-4o работать с детекцией объектов на картинке и выдавать координаты (bounding boxes), с которыми можно работать.
Внутри много деталей о том, с какими препятствиями и нюансами мы сталкиваемся в Vibe AI при парсинге сообщений со скриншотов переписки.
Приятного прочтения, буду благодарен вашей обратной связи, лайкам, репостам ❤️
Опубликованы шокирующие инсайды о будущем жаренного супа от бывшего бати.
Чувак слил 165-страничный документ с точечными прогнозами, опираясь на свой опыт и понимание внутрянки в жарке супа.
Самое важное:
— жаренный суп к 2027 году - это реальность;
— жаренный суп - это ключевой геополитический ресурс прямо сейчас. Забудьте про ядерное оружие - это прошлый век. Любая страна пойдёт на всё, чтобы получить жаренный суп первой, как в своё время атомную бомбу;
— Для создания жаренный суп придётся собрать единую плиту за триллион долларов. Похожий уже строит batya для open soup;
— Эта махина будет потреблять электроэнергии больше, чем сейчас вырабатывает вся планета;
— Деньги на жаренный суп придут из бигтеха - уже сегодня bosh, Electrolux закладывают расходы в 500 млрд. долларов за квартал только под суп;
— К 2030 году в жаренный суп ежегодно будут вкладывать по 30 трлн долларов;
— Если к этому моменту вам кажется, что перед вами бред - это не так. Сопоставимые расходы и глобальные изменения происходили во время Манхеттенского проекта и Промышленной революции;
— жаренный суп - только начало. После его создания наступит практически мгновенный переход к пережаренный суп. Жаренный суп будет так зажарен, что пережарит себя сам и это произойдёт почти мгновенно.
- и самое важное: перестанет ли админ постить хуйню и потрогает ли траву? Когда снова обзоры?
Интел прозрачно намекает на температуры новых железок на computex
Читать полностью…
Июнь в этом году в Будапеште выдался на редкость холодным. Столбик термометра еле перевалилась через 20 градусов, а местные бары медленно открывали летние веранды.
Читать полностью…
Привет, друзья! 🐥
Я почти вышла на сессию и в свободное время продолжаю перебирать и готовить материалы для курса и будущего диплома.
Сегодня к вам с новой полезной штукой! 🔥
Мы уже акцентировали внимание на том, что результаты одного метода объяснения не эквивалентны результатам другого.
В этом случае встает вопрос: как наиболее продуктивно создавать объяснения, чтобы оценивать их устойчивость?
Один из ответов — добавлять в свой арсенал наиболее универсальные алгоритмы интерпретации, например такие как LIME (Local Interpretable Model-Agnostic Explanations)!
Что это, как использовать, чтобы извлечь максимально много информации и даже математические выкладки: собраны для вас в этом ноутбуке (рус, англ). Благодаря туториалу вы построите LIME с 0 и поймете его библиотечную реализацию!
Также все открытые материалы буду добавлять в этот репозиторий и в материалы курса! 🫶🏻
Не знаю почему, но очень рада тратить кучу часов, исследуя тему. Надеюсь, это принесет вам пользу и поможет сделать более понятные модели!
Со всем самым добрым,
всем запаха сирени! 🪻
Ваш Дата-Автор!
Я лично жду релиза нормальной опенсурс LLM на русском, кому и зачем нужен opensource форк fsdp который эм ну....
Лучше конечно, но средний опенсурс как на LLM foundary так и будет сидеть, резона впиливать форк с непонятной поддержкой относительно основной репы сомнительно.
А как pr для основного fsdp было б хорошо, жаль это мои фантазии
Отбой, 27% это сколько apple LLM выиграла у чат гпт
Читать полностью…
обожаю работать с сумасшедшими, душнилами и умникаими.
обожаю ебанутых которые сидят в час ночи и хуярят генетику на торче вместо того чтобы спать.
похуй на тренды, мы ебанем форк для catboost чтобы юзать deepspeed потому что эээ НУ МОЖЕМ СЕБЕ ПОЗВОЛИТЬ ЕПТА.
Я честно говоря хз, вроде норм, но надо смотреть.
Докатят в релиз, обсудим.
Если вы любите пытаться сломать защиту в разных LLM с помощью промпт инъекций – то у меня вам полезная ссылка, датасет из почти ~1500 промпт инъекций собранных с Reddit, Discord, Twitter и тп.
https://github.com/verazuo/jailbreak_llms
Внутри промпты и для старых инъекций, вроде DAN, до более новых с base64, leet code и тп.
Следующий шаг, это натренировать на этом модель, которая будет ломать другие модели автоматом ☕️
клоунада на mteb продолжается, на вопрос: а чо не llama70b ответ одного из авторов NV-Embed был следущий: уже тренится
Читать полностью…
Запуск ллам на RPI.
Довольно любопытный пример tensor parallel без супер быстрой шины между железками ещё и на arm
GitHub
Гайс сходите потрогайте траву и кисок.
Админ.
Мы строили, строили и наконец-то построили :) Книга «Охота на электроовец: большая книга искусственного интеллекта» вышла из печати и доступна к заказу. Полные электронные версии книги (epub, docx, pdf) можно скачать с сайта бесплатно: http://markoff.science#book
«Мифы и заблуждения об искусственном интеллекте, страхи, насущные проблемы, перспективные направления исследований — обо всём этом вы узнаете из «Большой книги искусственного интеллекта»
Ищу партнера в новый перспективный проект удаленно, с компьютера, обучать ничему не буду, зато буду больно пиздить палкой по рукам и ебальнику за каждый тупой косяк. Если шарите в кубере, можете настроить ci/cd, умеете хуячить микросервисную архитектуру, можете настроить мультиклауд кубер, умеете писать на CUDA, знаете хотя бы базовую теорию типов и понимаете, что такое типизированное лямбда-исчисление второго порядка, умеете менеджить постгрес и АДЕКВАТНО его шардировать, шарите за графовые субд, можете уверенно настраивать и пользовать кассандру, ебались хотя бы столетие с кафкой, имеете опыт с apache nifi, умеете писать и обучать с нуля нейронки в распределенном окружении, можете написать на ассемблере хотя бы простейший ффн - пишите в лс, но я скорее всего вас пошлю нахуй, потому что мне это все в одно ебало интереснее хуярить.
Читать полностью…
"Да холодные у нас железки"
Nvidia b200
больше всего я люблю лето за то, что каждый раз на протяжении всей жизни в самом его начале у меня что-то щелкает в голове и я превращаюсь в абсолютно нового человека.
зимой в наших реалиях вообще не хочется ничего делать.
холод, темнота и снег вызывают только легкое раздражение и бесконечное желание спать и есть.
а лето - целая отдельная вселенная.
даже если ты уже взрослый и у тебя нет каникул.
сегодня проснулся с неистовым желанием научиться рисовать, попробовать делать какую-то музыку и начать собирать коллекцию любимых книжек в электронных формате с собственными заметками на полях, заказал себе айпад для этого.
понял, что мне искренне нравится разговаривать с тремя-четырьмя людьми на планете, а бессмысленные смол-толки и легкий флирт с остальными не имеют никакого смысла и сродни попыткам утолить голод теплой водой и кислым яблоком.
составил новую программу тренировок: мое самочувствие и здоровье - то, от чего зависит все, остальное - лишь мелочи.
начал учиться осознанно потреблять информацию и не находиться в постоянном состоянии дофаминовой комы, листая все возможные соцсети с электронкой в руке.
тяжело, конечно, но зато возникает ощущение, что ты наконец живешь, а не существуешь, двигаясь по инерции.
устройте себе этим летом новую жизнь, правда, оно того стоит, и любите себя и всех тех, кого хотите любить
Я каждый раз когда читаю док по АИ безопасности у меня ощущение что меня хотят наебать. Постоянно авторы отвечают не на технические, а на философско технические вопросы. Ну типа эээ классно иметь законы Азимова, но по моему есть куда более насущные проблемы.
Читать полностью…
K2 - лучшая воспроизводимая модель
65B модель на уровне LLaMa 2. Главная фишка - (практически) полностью открытый процесс тренировки. Код, данные, веса и даже часть промежуточных чекпоинтов.
Архитектурно модель почти идентична оригинальной LLaMa. Тренировали всё это в две стадии первая 1.3T токенов, вторая ~70B токенов, суммарно ~1.4T токенов (LLaMa 2 тренировали на 2 триллионах).
Но есть и нюансы:
➖ Из-за использования архитектуры оригинальной LLaMa модель сильно медленнее в инференсе
➖ Чат версия сильно зацензурена, так как модель тренировали на деньги ОАЭ
➖ Пока что опубликовали только данные первой стадии, она так всё равно лучшая воспроизводимая модель, но не до уровня LLaMa 2
Веса
Технический отчёт
Претрейн код
Код датасета
@ai_newz
Мой батя готовит охуительные world models, вот рецепт примерно усреднённый
Читать полностью…