4253
❤️☠️🤗 идейная миграция небытия
Привет, друзья! 🐥
Я почти вышла на сессию и в свободное время продолжаю перебирать и готовить материалы для курса и будущего диплома.
Сегодня к вам с новой полезной штукой! 🔥
Мы уже акцентировали внимание на том, что результаты одного метода объяснения не эквивалентны результатам другого.
В этом случае встает вопрос: как наиболее продуктивно создавать объяснения, чтобы оценивать их устойчивость?
Один из ответов — добавлять в свой арсенал наиболее универсальные алгоритмы интерпретации, например такие как LIME (Local Interpretable Model-Agnostic Explanations)!
Что это, как использовать, чтобы извлечь максимально много информации и даже математические выкладки: собраны для вас в этом ноутбуке (рус, англ). Благодаря туториалу вы построите LIME с 0 и поймете его библиотечную реализацию!
Также все открытые материалы буду добавлять в этот репозиторий и в материалы курса! 🫶🏻
Не знаю почему, но очень рада тратить кучу часов, исследуя тему. Надеюсь, это принесет вам пользу и поможет сделать более понятные модели!
Со всем самым добрым,
всем запаха сирени! 🪻
Ваш Дата-Автор!
🪩 Диффузионки позволяют ремастерить игры при помощи текстовых промптов.
Nvidia показала пайплайн ремастеринга текстур в популярном графично-нодовом интерфейсе ComfyAI.
Теперь можно не только апскейлить текстуры с определением свойств материалов для трассировки лучей, но и контролировать стиль при помощи промптов. RTX Remix — инструмент для ремастеринга классических игр с использованием технологий трассировки лучей и DLSS 3.5. И интеграция RTX Remix Toolkit с ComfyUI выглядит обещающей, позволяя модерам задавать стиль текстур с помощью текстовых промптов. Это ускоряет процесс моддинга и упрощает создание качественных текстур.
Теперь маленькие команды модеров могут быстро создавать текстуры высокого разрешения с физически корректными свойствами, освобождая время для доработки ключевых элементов.
А пока ждем обещанный Half-Life 2 RTX. Ну и я лично мечтал бы увидеть Half-Life Alyx с RTX в VR.
задача трех мл тел
1) наебать инвесторов
2) поднять бабла
3) tax fraud в дубае
Заеби себя работой сам и заеби других, тогда думать не придется
Читать полностью…
Привет!
К празднику зарелизил модель "детского" размера ru-rope-t5-small-instruct
Из особенностей:
✔️претрейн задача из UL2 (смесь денойзеров)
✔️заменил attention bias на RoPE, потому что лучше сходится и есть возможность обучать с Flash Attention 2
✔️обучал с контекстом 1024, пунктуация и цифры кодируются по токену на символ
✔️претрейн корпус почти от Вихря, брал с низкой перплексией от FRED 1.7B
✔️файнтюнил на переведенных английских инструкциях, лучше метрики на downstream задачах, но в zero-shot инструкциям не следует
✔️использовал оптимизитор AdamWScale вместо Adafactor, чтобы избежать взрывов лосса (поэтому дистилляция FRED 1.7B давала хуже метрики)
⭐️по метрикам на RussianSuperGlue близко к rut5-base, которая больше в 3 раза (скрин в карточке)
🙏Делал в качестве вузовского проекта, буду рад лайку и обратной связи
генетически мутированные выведенные LLM!!!
ноутбук
День репостов, админ тильтует от хуево подобранной дозы таблеток от аллергии
Читать полностью…
🤗 Aeonium-v1-Base-4B
Новая модель из серии Aeonium. Все то же самое, что и в 1B, только обучена на большем количестве токенов.
По результатам бенчмарка ruMMLU, это лучшая открытая языковая модель, обученная на русском языке с нуля.
Конечно, до SOTA еще далеко, но первый шаг уже сделан. Instuct-версия будет чуть позже.
@hikonon
TRULLY OPEN SOURCE LLM CLICKBAIT
Очередная open source LLM , но с плотностью открытыми данными (4.5т) адекватным data pipeline со spark, фильтры на fast_text.
Правда кодовая база на Megatron прости господи, но не Jax.
По перформансу:
Llama2 < x < mistral 7b
map-neo.github.io
При заказе от 2022рублей во ВкусВилл в подарок предоставляется прокси для Docker
Читать полностью…
ДОКЕР ПИДОРАСЫ ЕБУЧИЕ Я ВАМ В РОТ ССАЛ ЕБАНЫЕ ГАНДОНЫ ОБОССАННЫЕ КИТЫ Я ЕБАЛ АМЕРИКУ Я НЕНАВИЖУ ДОКЕР РАСХУЯРЬТЕ ЯДЕРНЫМИ РАКЕТАМИ ВСЕХ КТО ЗАКРЫВАЕТ ДОСТУП С РОССИЙСКИХ АЙПИШНИКОВ
КОГДА ЗАКРЫЛИ МАКДАК Я МОЛЧАЛ, Я ЗАВТРАКАЮ ВО ВКУСНО И ТОЧКА
КОГДА ЗАКРЫЛИ СПОТИФАЙ Я МОЛЧАЛ, Я СЛУШАЮ МУЗЫКУ В ЯНДЕКС МУЗЫКЕ
КОГДА ЗАКРЫЛИ ЗАРУ Я МОЛЧАЛ, Я НОШУ ОДЕЖДУ, СО ВРЕМЕН ШКОЛЫ
КОГДА ЗАКРЫЛИ ДОКЕР, ТО УЖЕ НИКТО НЕ СМОГ ЗА МЕНЯ ЗАСТУПИТЬСЯ....
Идет бомж по улице. Видит — валяется Тетрадь Смерти. Схватил ее и подтерся. А на следующий день умерла очень важная область - superalignment
Inspired by @rlabrats
Вы не просили, не ждали а мы по чуть чуть делаем.
Паблик чат по вихревым моделям
/channel/vikhrmodels
Короче, я решил угореть и сделать из 5.2 энкодер.
0 слой я не трогал, а вот следующие решил подвигать и перебрать.
Зачем?
Указанные действия не являются ресерчем, поскольку:
а) Мы не ученые;
б) Нам было весело.
В обещем идея простая - отставил первые три слоя + embedings, получился 900м обрезок который ну чуть больше e5 large, без контрастива где то около FredT5 large по Encodechke. Зачем вам эта информация? я хз, у меня были свободные часы в воскресенье
модель на хф
Мой батя готовит охуительные world models, вот рецепт примерно усреднённый
Читать полностью…
Какая цель у человека, который приходит в айти?
Кальянчик на двойном яблочке там, томатная гозешка и подружка девочка из вшэ дизайна
12 июня выйдет новое поколение генерилок вайфу - SD3
Читать полностью…
Не очевидно-полезная фича gpt4o - возможность переводить и читать рукописный текст и речь с разных языков.
А так, подписка - хлам, gpt store набор игрушек на вечер. используйте апишку, будет дешевле и можно свои ragи докидывать.
предалагаю основать религию в которой после смерти мученик получает веса gpt-4 после за все ебланские эксперименты с опенсорсом
https://arxiv.org/pdf/2404.05961 - челы на серьезном лице сравнивают х10 по параметрам модели и такие: чет лучше кодирует...
почему это хуйня? ну вы блять имажанируйте RPS долбаебов которые 10B+ энкодер потащат в прод не для картинко генерилок?
Имажинировали? Вот и я не понял нахуя оно надо кому то, долбаебизм даже на GPU крутить, энкодер должен крутиться на OpenVino на XEON
Ниже по ссылке находится всё моё первое произведение в удобном для шеринга формате, можете просто форвардить этот телеграм пост.
https://telegra.ph/Ballada-o-Levieve-Neudachnike-05-24
На прессу и критиков нам похуй, хотя написать об этом принесёт им удачу 🍀
Возможно, вы сочтёте что кому-то может быть ценным услышать мораль нашей сказки. Кому-то кого надо вдохновить встать и защитить свои права. Кому-то кому стоит узнать что некрасивое поведение приводит к реальным последствиям, даже когда человек уверен в своей безнаказанности.
Или кому-то кто разочаровался в современном мире и ищет в нём немножко магии. Кому-то просто на поржать про то, как оно в мире оказывается бывает. Кому-то на включить в MBA курс университета как кейс работы с акционерными вопросами.
Всякое бывает в дворцах мира сего.
А я тем временем отключаю свой Телеграм и отправляюсь загорать на солнце и чтить Шаббат с обнимающей меня mixed-race бразильской моделью. Но, девушки, вы не волнуйтесь, у меня через два года планируется свадьба с семью женщинами из различных культур которые желают стать принцессами, это будет хайлайт высшего общества, и вы всё ещё можете успеть. Мы же все знаем как вы подсели на мем доминантных вампиров-колдунов-миллионеров, а оказывается они есть не только в фильмах.
Семь-и-я, семья, семь жён и я, что вам непонятно, в самом языке Пушкина мне всё прямым текстом видно, а вам неясно как я такое себе позволяю. Внимательнее просто надо быть 🌹
За сим, друзья, мы откланяемся.
⚗️ Что такое дистилляция и как она применяется в LLM — часть I
Чем больше модель, тем сложнее ее инферить и дороже обучать. Решить проблему призвана, в том числе, дистилляция — передача знаний от тяжёлой модели («учителя») более лёгкой («ученика»). Расскажем, какие типы дистилляции существуют и как их используют.
Классический способ предложил Джеффри Хинтон в статье 2015 года. Учёный выдвигает гипотезу, что распределение классов, которые модель предлагает в качестве ответа, само по себе содержит немало знаний. Поэтому имеет смысл тренировать «ученика» не на ответах, а на распределении классов «учителя», используя Softmax с температурой. В качестве лосса использовали кросс-энтропию между двумя распределениями — ответами учителя и ученика.
Одна из первых моделей, которую дистиллировали на претрейне, — DistilBERT. Результат получился впечатляющим: language understanding удалось сохранить на 97%, а скорость по заявлению авторов выросла на 60%. Интересно, что дистиллировали веса, а в архитектуре модели изначально было вдвое меньше энкодер-блоков, чем у базовой BERT — 6 против 12. В основе обучения — перекрестная энтропия ответов «учителя» и «ученика», MLM и L cos — косинусная близость между эмбеддингами на скрытых слоях. Идеи DistilBERT позднее применяли, например, в DistilGPT.
Самый простой из современных методов — имитация модели. Его суть — добиться, чтобы небольшая модель копировала поведение крупной. Для этого «учителя» просят генерировать ответы на разные запросы, а потом на них обучают «ученика».
Маленькие модели отлично подражают большим, но не развивают собственные навыки. Поэтому «ученики» не получают новые знания, зато неплохо справляются с тем, чтобы извлекать имеющиеся. Этот метод подходит, когда нужно натренировать модель под конкретные задачи, например, для суммаризации или разметки данных.
Для дистилляции знаний в «младшую» модель можно использовать метод Chain-of-Thought Prompting. Суть: просить LLM давать не только ответ, но и описывать цепочку рассуждений, которые к нему привели. Как показывают исследования, такой подход существенно увеличивает качество ответов на некоторых датасетах.
К примеру, авторы статьи Distilling Step-by-Step! попросили «ученика» предсказывать не только ответы «учителя», но и обоснования, чередуя запросы. Так маленькая модель тренируется думать как большая LLM, а не просто копирует ответы и поведение — на некоторых датасетах этот подход даёт отличный результат.
Кроме того, можно использовать датасет, составленный по reward-модели. В этом случае «ученик» будет тренироваться не на всех ответах «учителя», а только на тех, которые reward-модель считает хорошими, что тоже может улучшить результаты.
Наконец, можно расширить датасет, на котором учится младшая модель, с помощью генерации с разными параметрами вроде температуры или seed. Набор данных по одному промту получится более разнообразным, а поведение «ученика» в теории должно больше походить на поведение «учителя».
На этом всё. Спасибо, что прочитали! Делитесь опытом и впечатлениями от поста в комментариях! А во второй части текста мы разберём другие методы дистилляции и, конечно, затронем MiniLLM. Оставайтесь на связи!
Разбор помог подготовить ❣ Сергей Воробьев
@stuffyNLP
@saiga_igusev_bot можно добавлять в чаты! Картинки там не поддерживаются, но всю историю чата бот запоминает. Можно использовать для чего угодно: для суммаризации, для справки, для озвучивания мнения. Пока в тестовом режиме, собираю баги.
Читать полностью…
ладно последняя
контейнейры после ухода docker:
программисты реально расстроились из-за того, что вот эту хуйню запретили?
Читать полностью…
Чёт докер забанился в рф, ну закажите на флешке за 15 минут я хз.
Бтв если ваши железки стоят в РФ - заранее зазеркальте все что нужно или хотя бы прокси настройте.
Парень ты что ничего не знаешь SFT/DPO/PPO?
Хватит сидеть сложа руки! Иди и обучи свой первый alpaca chekpoint
хз, почитайте статью яндекса про алаймент, картинки для през для студентов я третий раз тырю из этой статьи и вам советую
Прекрасная украденная картинка с оптимальностью моделей. Лучшие модели - те что выше и правее. Короче Llama3 8b
Читать полностью…
удивительно, опять маленькие сетки на задачу лучше чем декодеры. никто не догадывался
Читать полностью…
что оно обновило одному ктулху известно
Читать полностью…