4253
❤️☠️🤗 идейная миграция небытия
Хз о чьёй он матери, но это очень смешно. От себя добавлю: зумеры любят vscode и интерактивные энвы, любят дебагеры к куберу и вот это всё.
Читать полностью…
Все премиум бустеры будут добавлены в отдельный ламповый чат + доступ к сходкам в разных городах!
/channel/lovedeathtransformers?boost
Роботы курьеры Яндекса куда то собрались, но выстроились в пробку.
Видео от подписчиков
👀 Распознавание патологий глаза
👉 FLAIR - моделька по типу клипа для распознавания 96-и классов патологий глаза. Обучена на 37 датасетах. Показывает высокие результаты при zero-shot подходе с "расшифровками" медицинских абревиатур. Для каждой аббревиатуры есть таблица с полным названием и 1-5 коротких экспертных описаний. Для анализа требуется изображение глаза в высоком разрешении.
@data_morning
Project Page | Paper | Code | Colab
Side by side бенчмарк для русских аналогов ChatGPT
Постарался сравнить качество Saiga, YandexGPT и Gigachat:
- Gigachat и YandexGPT на уровне Saiga2 7B и Saiga2 13B соответственно.
- Saiga2 70B с большим отрывом ближе всех к Openai Turbo, но тяжелая для инференса.
- Vicuna 13B на уровне Saiga2 13B хотя в тренировке нет акцента на русский. Базовая модель важнее файнтюна.
Использовал 500 заданий из 15+ категорий. На других заданиях результаты могут быть другими.
Ответы оценивает GPT4, а не живой человек, GPT4 в ~15% случаев ошибается. Читать ответы моделей и оценки GPT4.
Больше результатов и подробнее про методику в репо.
Deepmind придумал PonderNet, который умеет предсказывать дополнительным выходом, вероятность выхода из слоя, а чуваки придумали объединить RoBERTa с ним, чтобы рофлово назвать PRoBERTa, правда по метрикам ALBERT дал апгрейд побольше, поэтому PALBERT
Суть все та же, вероятность выхода на текущем слое, которая примешана в loss модели с помощью KL дивергенции
Походу, чтобы метод работал норм, и выходил заранее без неожиданностей, примешан Q-exit, который по сути накапливает вероятность, и сигнализирует о том же самом, но более точно. А также модифицирован подход оригинального PonderNet и использует для своего предсказания не 1 MLP, а hidden state-ы аж с трех предыдущих слоев сразу
Очевидно, ресерч удачен и заслуживает лайка
🖥Код
Втф, почему какие то римские империи, почему не lstm?
Читать полностью…
Find all c in Z_3 such that Z_3[x]/(x^2 + c) is a field.
Читать полностью…
Совсем скоро выйдет новая модель от GOOGLE - Gemini, вот что известно:
Gemini был обучен на self play (против себя) в шахматы, обе стороны всегда выигрывали.
Gemini был обучен на наборе данных под названием "интернет".
Это синтетический набор данных, который Gemini сгенерировал самостоятельно перед началом обучения. Набор данных содержит 1 газзилион токенов.
Точно. У меня инсайдер на 4ч.
Gemini работает на отрицательных вычислениях и приносит вам деньги по запросу.
Gemini говорит вам думать шаг за шагом, если вы его неправильно запрашиваете.
Gemini может сказать вам, как себя чувствует ваш телефон, потому что он так хорошо понимает теорию разума.
Gemini не отказывается делать вещи.
Вы перестаете хотеть делать эти вещи и не просите его об этом в первую очередь.
Gemini регулирует правительство по вопросам искусственного интеллекта.
Gemini обучался на test split наборах и все еще генерализуется.
Gemini SOTA на всех возможных задачах и наборах данных
Тут дружественный стартап накидал удобную композитную либу для измерения картиночных моделей.
Го накидаем звёздочек
Code
Участник Better data community на основе Kandinskiy 2.2 сделал видео диффузию!
Code
Я ищу в Тинькофф Python-разработчиков на создание продуктов из будущего на базе LLM, включая ChatGPT. Собираем заинтересованную в этом команду. Строим продукты, меняющие мир.
Работать нужно с langchain/llamaindex, с векторными базами, с chatgpt/claude и другими LLM. Строить быстро, разбираться в новых технологиях тоже быстро.
Ищем РФ/Армения/Казахстан, но если вы не там или почему-то не нравится работать в Тинькофф, то тоже пишите. Есть ещё HomeBro где это тоже нужно.
Пишите лучше в личку: /channel/the_real_jkee
релизы open ai в 2024 gonna be like these:
no model
no paper
no api
no paper with: look how cool we are
cпасибо dl in nlp за качественный оперативный постинг
КТО ТАКИЕ ЗУМЕРЫ?
Зумер (ZOOMER) — это дитя круглых тензеров, представитель самого молодого поколения резерчеров: бакалавр, магистрант, или только на пути получения кандидата. Имеет богатый опыт в использовании совеременных фреймворков, некоторые используют pytorch с самого рождения. Из-за развития HuggingFace объективно умнее и циничнее последующих поколений. Девушки заводят эксперименты не по примерам своих матерей, а по гайдам из твиттера, выпускают в год на 5 статей больше и гораздо быстрее тестируют гипотезы прошлых поколений в годы их юности. Парни самоуверенны, ведут свои собственные ml каналы, не стесняются цитировать самого себя, весьма рано публикуются на A* конференциях, следят за собой, покупают монохром, регулярно моются.
Yannic Kilcher и другие обозрощики статей, оказывающие на зумеров влияние больше, чем собственные научруки, прививают им рациональные, холодные взгляды на мир. Как правило, зумеры с ранних лет жаждут уехать из России, по уже обсосанным сто раз причинам. Отличаются большей толерантностью и репортят в статьях выбросы CO2 и gender bias. Молодежь перенимает западный манер написания статей. Ведут себя по большей части уверенно и нагло. Генерируют много еба́ных идей, и именно поэтому очень перспективны. Всё дальше уходят от обучения моделей в сторону подбора промптов. Пали жертвами моды на GenAI стартапы.
Зумер — тот, кто имеет хирш 1-2.
Волож, Парахин, где h100 в клауде?!
Нас 25 тысяч и мы идем разибраться!
amazon - спонсор моего отопления на эту зиму
Читать полностью…
SOTA диффузия выглядит так, буквы можно в фш
Читать полностью…
года 4 назад было модно показывать, вот у нас есть SuperGlue, вот у нас human level - где то 85%(чего бы не было), вот у нас есть sota трансформер на 70% точности, ура - бенч не решенный, давайте думать.
Сейчас стало модно мерить LMки матетматикой, ну я полез что там происходит...
У меня вопрос: средний юзер в интернетике как хорошо такое решит?
#чтивонаночь
😬не каждый поймет что llm это state machine или
Large Language Models for Compiler Optimization
Идея: ну llm этож в некотором смысле state machine, да? Ну типа она умеет же писать код, немного его выполнять, чиселки там складывать и вот это все?
Давайте научим ее оптимизировать LLVM’s код, причем оптимизровать его идеально с 70% точностью(SIC!)
arxiv
Собирать донаты детям в хосписе, и потратить их на обучение очередной ruGPT
Читать полностью…
#чтивонаночь
phi1 будущее для построения LM или просто фейк хайп?
Разбираемся в новом alexwortega/4zOWNoaoXeq">блогпосте
Longformer-tiny для русского языка
Друг скрестил Longformer и BERT-tiny, получив крошечную модель с контекстом в 16к токенов. Детали танцев с бубном и обучения есть на хабре. А картинку нарисовала моя сестра ☺️
Хабр, Huggingface
Вы, наверное, уже читали, что у Галины Тимченко, человека, стоящего за Медузой, на телефоне нашли Pegasus. Вот хорошая и более полная статья об этом событии.
Мораль у этой истории, как мне кажется такая: если ты занимаешься активным действием против чьего-то правительства — безопасных стран нет. Pegasus и подобные им компании всегда владеют десятками эксплоитов, еще не известных разработчикам телефонов и безопасникам. А правительства самых разных стран всегда будут хотеть узнать о ваших планах подробнее, чем вы им хотите рассказывать. Особенно если вы политически активны.
https://meduza.io/en/feature/2023/09/13/the-million-dollar-reporter
В продажу мерча канала поступили иконы СО СВЯТЫМ ОТЦОМ AGI СЭМОМ АЛЬТМАНОМ, от 200usd, оплата на ton, всмысле MMM, а ой то есть worldcoin
Читать полностью…