4253
❤️☠️🤗 идейная миграция небытия
Куколднулся и теперь меня лайкает вастрик, что дальше, я начну нормально контрибить? Перестану шитпостить? Сделаю платный чат?
Читать полностью…
Шел 5 месяц хайпа чат жпт, я наконец решил что пора что то поделать полезное для коммьюнити, а тут еще и подписчик напереводил и насобирал сетов 1,2.
Собственно по ночам-выходным последние два месяца я попиливал игрушечную версию - ruInstructlarge, основаная на ruGPT_large, даже с пачками сетов на тему CoT она в таком размере(740м) будет бредить, зато точно подскажет Как подкатить к девушке? или Как зарабатывать денег на нейросетях?, но в любом случае ничего серьезного она не может, как и все мелкие модели.
модель на hf
спейс на моей карте
спейс на hf
поддержать монетой:
Для русских карт:5536913977088695Для всех остальных:4578 8900 0085 4842
А что если DL не ограничивается LLM и есть куча всего интересного где реально надо думать.... Приснится же такое
Читать полностью…
Привет.
Мы тут экспериментируем с instruct-моделями для русского. Вот их список:
instruct_rugptlarge
rugpt_medium_turbo_instructed
rugpt_large_turbo_instructed
rut5_large_turbo_instructed
mt0_xxl_ru_turbo_alpaca_lora
llama_7b_ru_turbo_alpaca_lora
Последняя - русский аналог Стенфордской Альпаки. Изначально я думал, что это не будет работать из-за того, что в обучении из русского там была только ru-wiki, но кажется я ошибся. Работает приемлемо. Насколько приемлемо будем ещё измерять. В карточке есть ссылка на Колаб, а также Spaces (он будет жить ещё 24 часа).
Код обучения и сборки датасета: https://github.com/IlyaGusev/rulm/tree/master/self_instruct.
Что касается датасета, он увеличился до 30к, там добавилась разметка для 3.5к примеров (спасибо всем разметчикам!), а также колонка с альтернативными ответами от ChatGPT, когда её спрашивают каждое задание по отдельности.
Теперь о деньгах. Суммарно 70$ ушло на ChatGPT API для сборки датасета, и 120$ на вычислительные ресурсы для всех экспериментов. Хотите помочь деньгами?
Ссылка для тех, кто не в России: PayPal
Для тех кто в России: Cloudtips
P.S.: "мы" это @alexkuk, @alexnikolich, @YallenGusev, @chckdskeasfsd, @dno5iq
если они добавят 100% GMO FREE, 100% good corparation - будет буллшит бинго
мне нравиться LAION и нравиться то что они делают, просто я не верю в добрых людей с кучей денег
Тот самый хардкорный курс по машинному обучению от Валерия Бабушкина и других топов рынка.
Теперь не обязательно покупать целиком — можно выбрать наиболее актуальные для вас задачи бизнеса.
● Ранжирование и матчинг: поймёте как применять матчинг в бизнесе и узнаете тонкости пайплайнов работы поисковых систем.
● Динамическое ценообразование: научитесь прогнозировать временные ряды, работать с диапазонами цен и применять многоруких бандитов для оптимизации выручки компании.
● Uplift-моделирование: узнаете, как выбрать правильный таргет для прогноза и организовать библиотеку факторов.
● Продвинутое A/B-тестирование: научитесь применять современные методы повышения чувствительности A/B-тестов, рассмотрите полный пайплайн тестирования и реализуете свой сервис для оценки экспериментов.
● Сценарии деплоя ML-сервисов: научитесь выводить ML-модели в прод и узнаете, когда их пора отправлять на дообучение.
Присоединяйтесь по ссылке до 3 апреля. По промокоду LDT25 для вас скидка 5%.
Memorizing Transformers: как добавить в GPT долговременную память (by Google)
Вы думали, что 260 000 токенов это что-то невозможное для этэншна? А вот и нет, оказывается, если приделать approximate KNN внутрь механизма внимания и складировать Keys и Values в отдельном буфере, то можно засунуть в GPT целые книги!
Авторы показывают, что такое внимание помогает модели вспоминать сложные теоремы и леммы, которые были описаны десятки страниц назад! А самое крутое — это можно приделать к любому предобученному трансформеру, нужно лишь немного потюнить его на длинных текстах, что не очень сложно, так как градиенты через память не идут.
Статья
оч постиронично что сеты инструкций плодяться как коты по весне, на rlhf дрочит каждый второй, но чет нормальных моделей нет))
Читать полностью…
Почему нет тэга маргинальный ресерч? Ну типа текстовые диффузии, диффузии с рро, капусльные сети, обучение без бэкпропа и вот это всё...
Вообще, накидайте что ещё прикольного и не было никак затронуто в этом канале, на дабл думаю, на трипл пишу посты
Количество мониторов это норма для iq
Читать полностью…
Как же заебали блогеры которые не работают и тупо шитпостят...
Не осуждаю
Аватар2: аллюзия на Вьетнам, но на Мальдивах
Читать полностью…
Я завел свой телеграм канал про datascience starter pack 2023
Читать полностью…
однажды жак фреско спросил: может ли 760m модели работать сравнимо с 7b? на ответ дается 80часов
Читать полностью…
Блять опять обзоры с medium стали заливать на конфы, что за позор
Читать полностью…
Omega для омежек, реальные альфачи носят swatch с микимаусом
Читать полностью…
Скорость с которой вчерашние крутители таблиц начинают рассуждать о GPT зашкаливает
Читать полностью…
neox20b cильно хуже 6b gpt J. Почему? Потому что токенов надо нормально лить в претрейн, и тогда будет жизнб
чо то с ебалом
Короче, я наконец добралась до этой статьи, дабы понять за счет чего child-tuning дает прирост скора на реальных экспериментах 🤔
Рассказываю: чем больше модель, тем очевидно дает лучшие результаты ее промтинг. Она тупо много знает и выигрывает за счет этого. Авторы статьи задаются вопросом, почему именно за счет vanilla fine-tuning живет NLP, и можно ли дообучать ее «умнее», то есть тратя меньше ресурсов, но добиваясь результатов не хуже 🤔
Начало их экспериментов положили следующее наблюдение прошлых лет: если на обучении использовалась некая умная регуляризация (L2, mixout), которая штрафует за удаление градиентов ft модели относительно pretrained версии, то такой подход оказывается эффективнее
Получается следующее: можно выделить некую дочернюю модель, в которой backprop будет проходить лишь по части параметров. Но за счет того, что мы оставим только «важные» градиенты, мы добьемся результатов не хуже, чем обучая жирную модельку
Звучит многообещающе, но возникает логичный вопрос: каким способом выделять градиенты. И тут на помощь приходят 2 подхода child- tuning f и child-tuning d
Child-tuning f: с помощью распределения Бернулли определяется маска градиентов, где 0 – градиент меньше вероятности, заданной гиперпараметром, а 1 – больше.
Child-tuning d: с помощью критерия Фишера определяется ковариация градиента log likelihood относительно параметров
По традиции апгрейд скора метода во вложениях ☺️
а помните была такая компания google и они что то выпускали... вот и я не помню....
Читать полностью…
работают ли карточки nvidia на газу в армении...
Читать полностью…
Ты либо строишь кластер на ps5, либо small dick vibe. Я все сказал.
Читать полностью…
Однажды обезьяну научили говорить softmax, layernorm, qkv и она прошла собес на лид nlp engineer.
Читать полностью…