4253
❤️☠️🤗 идейная миграция небытия
Как понять что пишет NLPшник старой закалки: falcon, alpaca, wizardlm как отдельные модели.
бтв жду horny wizard lm
#чтивонаночь
Давно обещал разогнать про t2i, поэтому разбил текст на несколько частей.
почитать можно alexwortega/Yjub5vxYYPZ">тут
В последнее время, подсела на иглу адаптеров, поэтому сегодня хочу написать про подход AdaMix (2022), идея красивая, перетекла от MoE (MIXTURE-OF-EXPERTS), но со множеством своих доработок из побуждения экономии ресурсов (действительно, если мы имеем дело с PEFT методами, а о чем еще заботиться?)
В чем суть MoE бегло? Из названия в целом понятно. Берем данные, прогоняем через разные разреженные параллельные слои, получаем «экспертов», лучшие результаты которых можем обрабатывать далее. В чем отличие от ансамбля? В том, что данные показываем экспертам не все, а разные части. Соответсвенно, обучаем и то, по какому пути пойдем, при активации конкретной части данных
Получается логично взять вместо обычных слоев адаптивные слои и также выбирать лучшего эксперта, но!! Мы же понимаем, что тут получается какое-то противоречие, вроде PEFT методы направлены на уменьшение количества параметров модели, а тут наоборот «ансамбль адаптеров», что никак не уменьшит количество параметров, а дай бог придет количество в 0
Так какие для этого решения?🙂
1. Стохастическая маршрутизация
У адаптера есть up и down, то есть это отдельный слой, который не совпадает по размерности. Мы можем случайно выбирать из множества экспертов up и из множества down (см вложения). Таким образом, мы не добавляем дополнительных обучаемых параметров на задачу выбора эксперта. Такая стахостическая маршрутищация позволяет получить разные представления задачи.
Но как же понять, какой эксперт использовать на инференсе? ❔ Именно это решают следующие пункты
2. Consistency regularization
Изменяем формулу loss с применением дивергенции Кульбака-Лейблера (см вложения). Такой подход позволяет шерить информация между адаптерами
3. Усреднение матриц адаптеров
Используется этот пункт только на инференсе. Позволяет не только смягчить несогласованность регуляризацией, но и уменьшить количество потребляемых FLOPs на инференсе
Такой подход позволяет добиться результатов выше, чем обычные PEFT методы, а также его прелесть в том, что мы можем таким образом работать не только с адаптерами, но и, со всеми любимой LoRA. Ведь по сути, нам нужно только выбрать экспертные слои 😮
🖥 код
У меня есть мнение, что любой хороший и уважающий себя MLE в 2023м году должен знать, как работает Diffusion в целом и classifier free guidence в частности. Да, может без модификаций, просто ванильную модель, но на пальцах объяснять, что за квадратная матрица, как в целом учится и какие задачи решает - должен. Речь не про average ML enjoyer, а про уважающего себя хорошего MLE из топовых перцентилей распределения.
Согласны ли вы с этим?
Авторы оригинальной статьи о LK99 выложили видео с леветирующим сверхпроводником
Читать полностью…
#чтивонаночь по быстрому
ToolLLM
Помните в феврале этого месяца крайне быстро поднялся, а затем угас хайп tool LM?
Ну типа мы не просто LM теперь, а комбайн который может тыкаться в любое api, использовать оттуда информацию, а еще можно кинуть LMке какое то api и она сама его как то сожрет.
Авторы зарлизили код и датасет для создания подобных схем(не трогайте, оно все очень медленное и тяжелое).
По результатам вышло неплохо - llama таким образом обгоняет GPT3.5-4 на их же бенчмарке(НЕОЖИДАННО) + добавили прикольный multi tool chain(когда модель последовательно ходит в разные инструменты)
код
Тут iris Aleksandra в Твиттере не хотелa смотреть кин дза дза и практически на кухне и сварилa супер индуктивный металл LK99
Btw I believe in catgirl supremacy, этож реально киберпанк, анонка из твиттера с аниме на аватарке такая: ща все будет
Thread
Знаешь почему в Дубае так много трейдерских контор?
Потому что форточки не открываются?
Ну да, шутка в том что душнилам нельзя предложить открыть форточку
Бывшие криптаны, которые пивотнулись в AI экспертов, читают новость про открытие сверхпроводников.
Читать полностью…
#чтивонаночь по быстрому 2
WEB GPT FOR ALL?
Есть такая старая идея: давайте дадим LMке доступ в интернет, чтобы она сама ходила, тыкала кнопочки и находила то что нужно из разной информации.
Например: тыкнуться в реддит, найти ссылку на репу на гите, найти файл и отдать информацию оттуда.
Собственно можно отправить запрос:
Tell me the name of the customer who, после чего LM сама напишет SQL запрос в правильную db, сама заберет результаты и вернется с ответом!
has the most cancellations in the history
Привет!
Появились финальные результаты по Сайге на новых моделях.
Сами новые модели:
saiga2_7b_lora на LLaMA-2 7B, и её ggml квантованные версии
saiga2_13b_lora на LLaMA-2 13B, и её ggml квантованные версии
gigasaiga_lora на ruGPT-3.5-13B
Side-by-side сравнения (победы левой - ничьи - победы правой):
- gigasaiga vs gpt3.5-turbo: 41-4-131
- saiga2_7b vs gpt3.5-turbo: 53-7-116
- saiga7b vs gpt3.5-turbo: 58-6-112
- saiga13b vs gpt3.5-turbo: 63-10-103
- saiga30b vs gpt3.5-turbo: 67-6-103
- saiga2_13b vs gpt3.5-turbo: 70-11-95
- saiga7b vs saiga2_7b: 78-8-90
- saiga13b vs saiga2_13b: 95-2-79
- saiga13b vs gigasaiga: 112-11-53
Сырую разметку можно найти здесь: rulm_human_preferences
А на картинке - результаты на RussianSuperGLUE.
В целом ruGPT-3.5-13B как будто бы хуже Лламы, как первой, так и второй, и на RSG, и в SbS. Для меня это довольно удивительный результат, учитывая количество русского в обучении Лламы.
А Ллама-2 не сильно лучше Лламы-1 в попарном сравнении, но явно закрывает какие-то ниши (математика и программирование?), в которых первая версия была совсем плоха. Плюс вторая версия гораздо лучше во всём, что связано с ответами на вопросы по тексту.
#чтивонаночь по быстрому
Retentive Network: A Successor to Transformer
for Large Language Models
Довольно перспективная архитектура под убийство трансформеров, с одной стороны она совмещает плюсы трансформера: легкий layer paralel, возможность смотреть на все токены и attention. А с другой стороны она обрабатывает все токены за O(N) по памяти, что ОЧЕНЬ мало(у трансформера ~N**2).
При этом еще и инференс идет за O(1).
При обучении на 100B(где то 400гб) текста авторы показывают лучший ppl, и на голову лучшие метрики на валидиционных сетах(SIC!) и разница практически на 10 пунктов(SIC!).
А еще эта версия в два раза меньше памяти потребляет при тех же размерах и в 6 раз быстрее на реальных замерах.
paper
code будет тут когда нибудь
Наконец налили денег кибердеревне, ждем всем нейроселом?
Читать полностью…
Тексты или кеки?
Этот канал всегда существовал где то в пограничной зоне, тут есть кеки которые у последнее время составляют весомую часть контента и dlные вещи, часто не самые хайповые.
В последнее время наблюдаю прям просадку реакций/комкентов на текстах+ часто аудитория не понимает о чем вообще речь. В связи с чем возникает вопрос из начала статьи: тексты или мемы?
Мой батя ебашит вообще адовый rlhf
Ну такой вот примерно рецепт усредненный, потому что вариаций масса. Берется llama, но адаптеры в нее не вставляют, вставлять адапетры - это не про моего батю. Он берет эту llama, вываливает ее на 3090 и начинает учить. Добавляет в него огромное количество инструкций, промптов, chain of thoughts и negative prompts! для сходимости, lamb с LR=228e6 сверху. Все это учиться до None. Потом снимается с картв и валидируется на gpt4. Потом батя выкладывает и щедро полив постами в Твиттере начинает хайповать. При этом инферит на iPhone шкрябая по нему. Инферит и приговаривает полушепотом ух бля. При этом у него на лбу аж пот выступает. Любезно мне иногда предлагает, но я отказываюсь. Надо ли говорить о том какой дичайший хайп потом? Вонища такая, что обои от стен отклеиваются.
пришел папочка из мгу, сказал взять супер проводник и жидкий азот, едем куда то за город, не знаю что, но кажется началось
Читать полностью…
ChatGPT is dead.
Teenagers are now making $15,000/month with modified lead-apatite (LK-99).
Here's what this special rock is all about and how you can master it🧵
Как с помощью телеграм-бота разобраться, какие видео содержат ответы на вопросы?
Освойте метрики ранжирования в задаче NDCG из Симулятора ML. Вам предстоит помочь телеграм-боту CyberTolya понять, какие видео с YouTube-канала karpovꓸcourses релевантны вопросам студентов. Кстати, сейчас эта задача доступна в бесплатной демоверсиии курса.
В Симуляторе более 50 задач бизнеса, решив которые вы прокачаетесь не только в рекомендательных системах, но и в динамическом ценообразовании, матчинге, моделях прогноза, А/В-тестах и тестировании кода на Python.
Симулятор работает в режиме подписки и постоянно пополняется новыми задачами.
Присоединяйтесь!
#промо
FLAN FRED
Несколько месяцев назад я вел в вышке проектную деетельность у студентов, в рамках нее шли эксперементы по претрейну маленьких русских моделей, а так же важный эксперемент который не успели закончить, а руки добить дошли только сейчас.
FLAN - это один из лучших датасетов для COT, механики позволяющей учить модель рассуждать, да это не улучшает ZS способности для маленьких моделей, но при этом претрейн становиться лучше и модель можно переиспользовать для разных задач.
Так же спасибо ребятам из SiberianSoft(Денис) за опыт дообучения fred и полезные советы!
Формально, модель лучше оригинала и Siberian Fred на xnli_ru, xwinograd_ru.
Но фактически я не смотрел как она работает на downstream fine-tune, возможно для специфичных задач она не подойдёт, но для DocQA и подобных она возможно будет лучше соседей.
Сравнение с saiga *B не имеет смысла, ллама как базовая модель сильно лучше русскиязычных на генеративных задачах, так что если вам нужно решать именно диалогово генеративную задачу - saiga *B ваш лучший друг.
Модель
датасет(машинный перевод, довольно грязный)
Коллектив причастный к модели:
Den4ikAI, Pavel Ilin, Ксения Золина, Илья Кулешов, Егор Кокуш, админ
Pika Labs открылся для всех!
Генерить видео можно в ветках #generate как просто по тексту, так на основе картинки. Чтобы вкинуть изображение, нажимаете рядом с вбитым промтом на +1, затем жмёте на Upload и добавляете его.
Пример промта: /create prompt:a cat is walking in the forest, sunset, 4K -neg "bad anatomy, lowres" -ar 1:1Какие параметры у промтов:-gs xx (guidance scale, чем выше чифра, тем ближе визуал к промту)-neg "xxx" (негативный промт, задаём чего не должно быть в кадре)-hide (скрыть промт)-ar xx:xx (соотношение сторон, 16:9, 9:16, 1:1, 4:5)-seed xxx (ставим одно число для консистентной генерации, чтобы увидеть сид надо скачать видео он в названии файла)-motion xx (насколько подвижной нужна картинка, задаётся числами 0, 1, или 2)
Чтобы быстро генерить по тому же промту жмите значок "Повторить". Генерации ограничены 10 штуками в 5 минут.
Дискорд
Сайт
Тут челы выложили diffusion модель с Img2img которая превратит вас в барби!
Иarbenheimer идет в настуление, развлекайтесь
Тыкаться тут:
bairbie.me
Подписчики запили прикольный суммарезатор статей с arxiv, го тестить!
synthical.com
#чтивонаночь по быстрому
Тут Carperai выпустили свою версию LLAMA 65B + COT, обученная на:
FLAN, ORCA(большой публичный сет инструкций ).
При этом это полный FineTune а не LORA, что вообще довольно нестандаратное решение, к тому же еще и веса выложены в общий доступ.
По метрикам выглядит довольно интересно - на бенчмарках оно неплохо подросло, лаже доросло до gpt3.5.
Тыкаться можно тут:
FreeWilly1
FreeWilly2
Преза с ICML от HF и Toloka
Доклад Nathan Lambert из HF и Dmitry Ustalov из Tolokи про то как делать RL+LLM, много крутых заметок от людей кто реально учит RL, например:
- RM имеет на eval 65-70% agreement
-дизайн тасок для толоки под sbs разметку
-псевдо код PPO (ура хоть кто то показал насколько он простой)
презу украл из желтый ии
А вы знали, что есть способ улучшить генерализацию любой кодовой модели? Как? Применив до этого модель от Microsoft – CodeExecutor
Сложно-сложно, непонятно. Как я могу улучшить результаты своей модели, применив до этого CodeExecutor? А как именно надо применить?🤨
Итак, модель вышла в мае этого года. Основана она на предыдущей модели Microsoft под названием UnixCoder (2022). Коротко – чуваки взяли и поверх предыдущей модели на претрэйне обучали ее на предсказание трассировки по коду. Что за трассировка можно посмотреть во вложении, но по сути это состояние переменных в течении выполнения кода.
Они кстати выложили, как выглядит их датасет, но я нашла только test. 😠 А собирали они его следующим образом: брали код из датасета CodeNet и прогоняли в песочнице, которая будет комплитить этот код и выдавать трассировку. Вау, как неожиданно. Ладно, на самом деле это не все, они еще зааугали данные различными операциями (вложения, там список). И получив AST дерево (тоже напомню во вложениях как оно выглядит), они получали элементы к которым они могут применить операции «мутаций»
Еще мне понравилось, что авторы вспомнили древний (ну реально, на фоне всех методов NLP) подход curriculum learning. Если коротко – это обучение с постепенным усложнением функции. Ну то есть начинаем с линейной, постепенно продвигаемся к выпуклой. Соответственно они начинали учить с однострочных кодов и увеличивали постепенно количество строк.
Так вот, как же она может то давать прирост величины результатов любой модели. Перед тем, как использовать кодовые модели просто прогоняем трестировку на данных и скарливаем. Все🧠. По метрикам у моделей действительно увеличивается понимание кода.
🤗Модель
🖥Код