4253
❤️☠️🤗 идейная миграция небытия
Привет. Запустил бота @SbsAnnotBot на следующих парах:("turbo", "saiga30b"),
("turbo", "fred"),
("turbo", "rualpaca13b"),
("turbo", "davinci002"),
("saiga30b", "saiga13b"),
("saiga13b", "saiga7b"),
("rualpaca13b", "rualpaca7b"),
("davinci002", "saiga30b")
turbo = ChatGPT-3.5
davinci002 = text-davinci-002
saiga30b = https://huggingface.co/IlyaGusev/saiga_30b_lora
fred = https://huggingface.co/IlyaGusev/fred_t5_ru_turbo_alpaca
rualpaca13b = https://huggingface.co/IlyaGusev/llama_13b_ru_turbo_alpaca_lora
Размечать нужно в соответствии с субъективными ощущениями, перекрытие стоит в 3.
Ботом можно делиться, чем больше людей разметит, тем лучше.
Это не чат, это Ebа́nyChat. Еба́ноязычная Chа́tGPT от лаборатории еба́ного резерча
Здарова, хабровчане!
Хайп вокруг нейросетей, заалайненых при помощи Instructions и RLHF (известных в народе под единым брендом «хуйня из под коня из каждого утюга»), трудно не заметить. Именно поэтому мы решили тоже хайпануть запрыгнуть в этот поезд!
Общий подход для обучения подобных моделей примерно такой:
1. Заиметь хорошую LLM.
2. Сделать SFT.
3. Собрать фидбек.
4. Полирнуть все RLHF’ом.
В текущем релизе мы забили хуй на все эти пункты, как один из способов максимального прироста в качестве (а кто нас проверит, лол?).
Давайте посмотрим, что же находится внутри Ebа́nyChа́t’а.
⁃ Рандомная LM, которую нам принес стажер с хагинфейса (ваще похуй че там внутри, 13B параметров сделают go brrrr (больше модельки мы не умеем файнтьюнить))
⁃ Датасет для SFT (перевели альпаку-хуяку промтом; похуй, сгодится; еще собрали каких-то случайных датасетов с ХФ’а и захардкодили промпты; все же нормально будет, да? оверфитинг? ну мы меньше итераций обучения поставим)
⁃ Затем мы начали дрочить развесовку для этих датасетов на глазок (кидали кости на доску и записывали значения в качестве веса. Наш джун после этого сошел с ума, сказал что мы занимаемся какой-то дикой поеботой и устроился на работу в нормальное место)
⁃ Разочек обучили модель (а зачем че-то там тьюнить? (а вообще к нам пришли ребята с прода и сказали освобождать железо, т.к. мы опять занимаемся хуйней)) В какой-то момент она перестала генерировать <pad> <pad> <pad> — решили что близки к AGI и остановили обучение.
Сперва мы вообще хотели забить хуй на тестирование, но наш менеджер сказал что нужны какие-то цифры. В общем, позвали деврела, показали ему 3 парных семпла с chatgpt, спросили какие из них луче. Он везде сказал что чатжпт лучше. Получилось какое-то ебаное качество, но как-то плевать, напишем что 1 к 3 лучше. (деврела уволили, кстати).
Ни метрики, ни честный Human Evaluation мы показывать конечно же не будем. Кого это ебет? Тебя это ебет?
А, да, зарелизим претрейн. Мы его кстати назвали gpt-5. Почему? Просто.
Под катом у нас куча примеров, которые мы начерепикали, наслаждайтесь. Должно хватить на постов 10-20 где-то еще.
Какое то время лежала в отложенном, хотел добавить что то кроме, но мне ничего не понравилось. Небольшой BlogPost про ppo и про офигенный поход к обучению PPO на код.
alexwortega/YYEYpl5wRYk">blogpost
Волею судеб оказался в Казани, что посоветуете посмотреть попробовать?
Читать полностью…
Shall We Pretrain Autoregressive Language Models with Retrieval?
arxiv.org/abs/2304.06762
NVIDIA повторила RETRO от DeepMind вплоть до 9.5B параметров с retreival-database в 330B токенов. Главный вопрос: нужно ли нам предобучать модели с ретривом или лучше тренировать обычные LM? Ретрив побеждает (с небольшим отрывом). Такие модели меньше страдают от повторения собственных токенов, у них лучше фактологическая точность, и даже немного более низкая токсичность.
Код доступен в Megatron, весов нет.
Эй, вы, те, кому сейчас 18. Те, кто занимаются диплернингом. Те, кто стакает слои в трансформерах или тьюнит диффузии. Не проебывайте свою молодость. Слышите? Не проебывайте. Это закончится. У вас будет мало свободного времени из-за чтения бесконечных статей. Вам будет хотеться умереть. На вас будет давить груз нереализованных пет-прожектов и ощущения проебанного времени. Вы будете сходить с ума. Не проебывайте свою молодость на диплернинг, я вас умоляю. Не будьте такими дураками, как я. Это ловушка зоны комфорта. Это липкая дрянь, которая опутывает твое тело и душу, дает ложное ощущение спокойствия. Так пройдут года, вы не успеете оглянуться. Знакомьтесь с бустингами, вливайтесь в топик-моделинг. Ищите друзей по интересам в классическом cv, их можно найти везде и всегда. Ищите интересные вам курсы по пандасу, блять, читайте хабр, учите svm. Вам будет, что вспомнить. У вас не будет этой ебаной дыры в жизни. Не хороните свою молодость — этим вы похороните сами себя. Потому что вы уже не сможете нормально общаться с людьми, не сможете просто получать удовольствие от логрега — за всем этим будет стоять тень ваших нереализованных лет. Вы будете рыдать по ночам. Вы колотить рукой по полу от бессилия. Но ничего не изменить. Годы пройдут навсегда. НАВСЕГДА. Вдумайтесь в это слово. Молодости больше не будет. Не проебывайте ее. Это невыносимо.
Читать полностью…
ChatGPT: для этого могут понадобиться мощные вычислительные ресурсы, такие как графические процессоры (GPU) или технологии облачных вычислений.
Моя 1080ti работающая в режиме 110с:
Вдохновился Zubkov и затюнил kandinskiy2.1 на русский SCP,
избушка бабы яги
репка
кощей
Культура дискуссий в восточной Европе
Читать полностью…
Deepmind выпукает ламповый, но такой не хайповый ресерч что слезы наворачиваются
Читать полностью…
мне кажется или для SDxl не зарелизили веса?
Читать полностью…
nlpшники будут использоваться для нейролингвистического программирования, с ними все понятно
Читать полностью…
Хороший знакомый ищет магу в ЕС по кейвордам: NLP, CV, MultiModal, LLM.
Что посоветовать?
[придумать шутку на референсе что ллама хуйня из под коня]
Читать полностью…
‼️Сияние в Москве 10 минут назад‼️
Автор видео и голос: Стас Короткий
покупка флипера себя оправдывает, из коробки это хорошая открывашка(все ключи от квартир-пултьты от ворот-брелки- проездные) это теперь один гаджет который просто лежит в кармане и ты за секунду открываешь что нужно.
Пишите вопросы, отвечу чо как.
Lead NLP -> Заведующий обработки естественного языка средствами ЭВМ
Читать полностью…
#чтивонаночь
Pythia: A Suite for Analyzing Large Language Models
Across Training and Scaling
В чем идея: мы очень приблизительно знаем в какой момент трансформеры из попугая превращаются во что то умное, решающее СOT, пишущие код и вот это все + есть только шиншила в рамках которой смотрели сколько данных и компьюта надо налить в тот или иной размер модели.
Euther во главе с лучшим NLP лидом обучили пачку моделей в размерах 70м до 12b + пачка чекпоинтов с разных эпох, за счет чего можно (в теории) воспроизвести те или куски эпох.
Данные:
The Pile 800gb который дополнительно дедуплифицировали(270B токенов),
Архитектурно:
Flash Attention, rotary, parallelized attention, untied embedding / unembedding matrices - дефолт GPT NEOX
в конце папиры есть пачка графиков по росту ACC в зависимости от размера модели
hf
paper
github
Герой которого мы хотели, но которого заслужили.
Читать полностью…
🎙 Стрим с Ильей Гусевым про Instruct-модели для русского
Когда: четверг 20 апреля в 19:00 по Москве
Где: видеочат в @natural_language_processing
Запись будет
Что обсудим:
- Проект Rulm https://github.com/IlyaGusev/rulm, что уже сделано, какие планы https://github.com/IlyaGusev/rulm/wiki/План
- Чат-модель для русского Saiga https://huggingface.co/IlyaGusev/saiga_7b_lora
- FRED-T5 https://huggingface.co/ai-forever/FRED-T5-large как базовая модель
- Датасет OpenAssistant https://huggingface.co/datasets/OpenAssistant/oasst1
Приходите задать вопросы
Рассекреченный фотоархив «Бюро Контроля Аномалий».
Часть первая.
спираль развития любой openai like компании:
-Все в оперсурс
-В начале блог пост, через месяц код, через два веса, через три код который может запустить кто то кроме автора(huggingface, LIAON are here)
-В оперсурс всякий хлам и иногда что то полезное, по апи что то интересное+папир, через пол года код и веса(DeepMind, stability ai)
- Папиры нет, кода нет, ничего нет, но вы можете попробовать спросить нашу модель(open Ai are here)
Друзья ищут топовых спецов(ds, frontend) в chatbot LLM стартап.
Для Dsa(мидл):
Слова: трансформеры, 10B вас не пугают, вы крутили и тащили в прод решения которые зарабатывают деньги.
Вилка: 2-3к в крипте/в любую локацию, можно партайм, главное закрывать задачи
Для фронта:
ReactJS, уметь подключать фронт к любым апи, думать про удобство, ci/cd docker, имплементировать продуктовые фичи. Важно иметь разговорный английский.
2-3к, в любую локацию.
Писать в личку:
@alexeyderden
Исследователей RL будут призывать ТОЛЬКО в качестве подкрепления
Читать полностью…