4253
❤️☠️🤗 идейная миграция небытия
Короче, если хотите сходку в Белграде то откликайтесь под постом, закину в чат
Читать полностью…
этот слайд моргенштерн что ли дизайнил
Читать полностью…
⬆vcsurf на producthunt
Спустя месяцы разработки, сервис наконец-то открыт для первых бета-пользователей.
С помощью vcsurf можно по деку/описанию стартапа: искать потенциальных инвесторов, конкурентов, фаундеров похожих стартапов, похожие умершие стартапы, новости и многое другое.
PH 🔗 — https://www.producthunt.com/posts/vc-surf
*Сейчас поддерживаются обзоры по международному и российскому рынкам
**Feedback — @air_korolev
int8 обожаю пиздец, это почти как обрезанный член, член есть, но ТОЧНО ЧТО ТО НЕ ТАК
Читать полностью…
инференс 13б llm на айфон это не военное приступление. Есть ещё отговорки почему ты не хочешь ее запускать?
Читать полностью…
Тут юнити выложили прикольную бету инструментов с LLM + t2i под названием Muse, выглядит очень круто!
Читать полностью…
скинуть в роскосмос решенную домашку c LunarLander-v2
Читать полностью…
продолжим про сервисы друзей, тут сделали inpainter текста в ваши генерации, можно переписать, го тыкать textify.storia.ai
Читать полностью…
Собственно решение моей задачи.
Я изучил статьи, связанные с диагностикой болезни Альцгеймера. Некоторое время назад было проведено масштабное исследование, которое показало, что мы можем смотреть уровень неправильно свернутого бета-амилоида (белка, который является неизменным спутником болезни Альцгеймера, так как именно накопление неправильного бета-амилоида в мозге ведет к созданию амилоидных бляшек, которые разрушают мозг, и соответственно к деменции) в плазме крови с помощью имунно-инфракрасного датчика, производство которых с каждым годом становится все дешевле. Такой метод имеет 0.79 Recall и 0.06 FPR. Если сочетать его с анализом спинномозговой жидкости на тау-белок, то recall вырастает до 0.87, а FPR снижается до 0.03. Однако пункция спинномозговой жидкости - инвазивный метод, причем более дорогой. Поэтому я предложил использовать ЭЭГ в качестве второго этапа проверки, так как он делается легче, неинвазивно и дешевле, и изменения в ЭЭГ также могут свидетельствовать о болезни Альцгеймера.
Также, чтобы не перегружать систему здравоохранения, я предложил отправлять людей рандомизированно на тест на бета-амилоид + ЭЭГ, дополняя эту связку пункцией спинномозговой жидкости при необходимости. Вероятность отправки на тест зависит от возраста и предсказания ML-модели, которая обучается по истории болезней и анкетированию определять риск появления болезни Альцгеймера.
Чтобы подтвердить жизнеспособность моего решения, я смоделировал работу такой системы, в предположении что несколько этапов теста делают его очень точным. Соответственно, я смоделировал работу ML-модели, ручками сделал решающее дерево для определения вероятностей, и посмотрел, какого recall при отправке на тест при какой нагрузке на систему здравоохранения мы можем добиться. Получилось даже не очень плохо! Система легко адаптируется под другие заболевания, при наличии хороших биомаркеров, т.к. от Альцгеймера тут только вероятность появления болезни от возраста.
Прикладываю презентацию, там подробнее описаны результаты и процесс моделирования.
#чтивонаночь по быстрому
Text Embeddings by Weakly-Supervised Contrastive Pre-training
Кажется новая sentence SOTA от microsoft, идея в том чтобы собрать много грязных пар(Reddit, Stackexchange, wiki) где есть пара пост-коммент, статья-описание и всякое такое, а затем дотюнили на NLI/честной текстовой классификации.
В целом около SOTA на эмбед задачах, есть MT версии с поддержкой русского.
модель
статья
Да)) Почитаем пару твиттер-тредов, а потом в две руки запустим модель на лайтнинге, не переживай, никакого интима)
Читать полностью…
Я обновил рейтинг русскоязычных энкодеров предложений github.com/avidale/encodechka, по просьбам трудящихся (и благодаря помощи @dealerAI, нашедшего баг в моих расчетах и настойчиво о нем напоминавшего).
Напомню, что это бенчмарк из 8 задач на эмбеддинги предложений (и еще 2 дополнительные- на эмбеддинги токенов).
В каждой задаче эмбеддинги из модели берутся "как есть" (для BERT-подобных моделей я беру наилучший из двух: эмбеддинг первого токена либо средний эмбеддинг всех токенов), и применяются в качестве фичей для конечной задачи (косинусная близость, либо классификация с помощью логрега или knn).
Дальше я усредняю метрики качества по 8 основным задачам (они разные, но все между 0 и 1), и отмечаю модели, оптимально балансирующие это качество и размер либо скорость.
Что изменилось:
1) Некоторые скоры подвинулись вверх (но не очень сильно, в основном на 1-2%), благодаря исправленной опечатке в формуле усреднения эмбеддингов токенов.
2) Добавилось несколько новых моделей, включая:
- нового лидера Multilingual-E5-large, взявшего сразу 5 медалей в задачах семантической близости, анализа тональности, и классификации интентов;
- эмбеддинги от OpenAI text-embedding-ada-002, которые, несмотря на большую размерность, не особо себя проявили;
- symanto/sn-xlm-roberta-base-snli-mnli-anli-xnli, ожидаемо (и не очень честно) победившую в NLI задаче;
- deepvk/deberta-v1-base, победившую в разряде "детекция токсичности" (aka "одноклассники");
- энкодер от ai-forever/FRED-T5-large, победивший в детекции неполиткорректных текстов.
3) Добавил в лидерборд столбец с размерностью модели, так что теперь например видно, что одинаково перформят 1536-мерные эмбеддинги от OpenAI и 384-мерные из MiniLM-L12.
Если вы хотели бы видеть в бенчмарке какие-нибудь ещё энкодеры – пишите, добавлю!
Почему комментарии к постам так похожи на обсуждения в singularis?
Читать полностью…
Я проснулась после марафона чтения ШАДовской книжки с новыми методами PEFT нет, я еще не помешалась на адаптерах, но до этого не долго👨🔬
Compacter, 2021 обещает быть лучше по бенчам, чем мой излюбленный AdapterFusion от DeepMind , но в моем понимании в пределах погрешности. Тем не менее график и результаты – 2 первых вложения. При этом в чем еще плюсы: он также как AdapterFusion и soft prompts позволяет в мультитаск, а также решает проблемы reparametrization-based (хранение в памяти проекционных матриц и исходных. При чем мы говорим о времени до LoRA. В связи с этим, да, эта проблема еще не решена ею и существует); нестабильности и чувствительность к инициализации soft prompts; а также увеличению количества параметров на инференсе адаптеров
Небольшое отступление🙃
На первом скрине также видно, что подход сравнивали с методом BitFit (2021), который относится к селективным методам и соответсвенно подобно pruning обучает sparse представление весов сети. Так вот этот метод при оптимизации оставляет не замороженными только bias-terms и последний слой (3,4 скрины вложений)
Итак, за счет чего compacter сильно уменьшает сложность хранения в памяти и решает проблемы раннее существующих методов, описанных выше:
Начитавшись статьи PHM, в которой авторы предлагают эффективную состыковку матриц с применением суммы произведений Кронекера, которая позволяет уменьшить сложность на 1/n, авторы применяют этот подход к специфичным параметрам адаптера и их общим параметрам (а точнее к их проекционным матрицам). Красивую визуализацию этого процесса можно найти на 5-ом вложении. При чем, почему авторы в принципе акцентуируются на использовании общих параметров? так как при «глубокой» цепочке параметров, модель будет способна запоминать только верхнеуровневые статистики обучающих данных.
🖥Код Comapacter
🖥Код BitFit
ГО ЖЕСТКО ПОЛОЖИМ ИМ САЙТ!!!!
И накидаем лайков на PH, нешутитьпроpornhub
А где дисс шмидхуберта на сутскевера
бтв, если сильно захотите могу выложить свой лист того что стоит почитать из того что мало упоминается
И теперь комунисты в твиттере объясняют почему нейросети - хуйня!
Читать полностью…
#чтивонаночь по быстрому
Тут зарелизили прикольный lora-controlnet, если раньше controlnet имел десятки-сотни миллионов параметров, то теперь можно учить свой маленький control net на специфичный downstream типа колоризации изображения!
релиз
xformers flash attn медленне чем flash attn1 из торча
1) а как
2) какать
Тут друзья запускают дейстивительно умный дейтинг с самой крутой(когда нибудь доедет до папиры) системой рекомендаций, а главное - с крутыми людьми!
Го тыкать и фидбечить!
@smartdatebot
пост про диффузии обязательно выйдет погулять, хз когда
гифка украдена из @dankpostcards
как мужчины хотят выглядеть по мнению компаний / как мужчины хотят выглядеть на самом деле
Читать полностью…
Аж олдскулы свело
Сорс by Dmitry Alekseev
Тут Dmitry Ustalov на icml провел прикольный воркшоп про RLHF, го читать
Читать полностью…
Всем привет! В эту субботу в 14:00 МСК будет онлайн-лекция для Better Data Community, от Ильи Гусева, старшего инженера по машинному обучению в Букинге, автора Сайги. Лекция будет про архитектуры, альтерантивные трансформерам, а именно про линейные рекуррентные сети. Внутри будет куча крутых архитектур которые полезно знать MLE инженерам из топовых перцентилей!
Читать полностью…