4253
❤️☠️🤗 идейная миграция небытия
SOTA диффузия выглядит так, буквы можно в фш
Читать полностью…
года 4 назад было модно показывать, вот у нас есть SuperGlue, вот у нас human level - где то 85%(чего бы не было), вот у нас есть sota трансформер на 70% точности, ура - бенч не решенный, давайте думать.
Сейчас стало модно мерить LMки матетматикой, ну я полез что там происходит...
У меня вопрос: средний юзер в интернетике как хорошо такое решит?
#чтивонаночь
😬не каждый поймет что llm это state machine или
Large Language Models for Compiler Optimization
Идея: ну llm этож в некотором смысле state machine, да? Ну типа она умеет же писать код, немного его выполнять, чиселки там складывать и вот это все?
Давайте научим ее оптимизировать LLVM’s код, причем оптимизровать его идеально с 70% точностью(SIC!)
arxiv
Собирать донаты детям в хосписе, и потратить их на обучение очередной ruGPT
Читать полностью…
#чтивонаночь
phi1 будущее для построения LM или просто фейк хайп?
Разбираемся в новом alexwortega/4zOWNoaoXeq">блогпосте
Longformer-tiny для русского языка
Друг скрестил Longformer и BERT-tiny, получив крошечную модель с контекстом в 16к токенов. Детали танцев с бубном и обучения есть на хабре. А картинку нарисовала моя сестра ☺️
Хабр, Huggingface
Вы, наверное, уже читали, что у Галины Тимченко, человека, стоящего за Медузой, на телефоне нашли Pegasus. Вот хорошая и более полная статья об этом событии.
Мораль у этой истории, как мне кажется такая: если ты занимаешься активным действием против чьего-то правительства — безопасных стран нет. Pegasus и подобные им компании всегда владеют десятками эксплоитов, еще не известных разработчикам телефонов и безопасникам. А правительства самых разных стран всегда будут хотеть узнать о ваших планах подробнее, чем вы им хотите рассказывать. Особенно если вы политически активны.
https://meduza.io/en/feature/2023/09/13/the-million-dollar-reporter
В продажу мерча канала поступили иконы СО СВЯТЫМ ОТЦОМ AGI СЭМОМ АЛЬТМАНОМ, от 200usd, оплата на ton, всмысле MMM, а ой то есть worldcoin
Читать полностью…
Санкции должны свергнуть режим!
Так же санкции: эээ, вам нельзя ввозить шампуни и айфоны в Европу. А ещё на автомобилях въезжать.
Чуваки очень грустно
https://evalovernite.substack.com/p/ai-benchmarks-puzzle
Читать полностью…
Side by side бенчмарк для русских аналогов ChatGPT
Постарался сравнить качество Saiga, YandexGPT и Gigachat:
- Gigachat и YandexGPT на уровне Saiga2 7B и Saiga2 13B соответственно.
- Saiga2 70B с большим отрывом ближе всех к Openai Turbo, но тяжелая для инференса.
- Vicuna 13B на уровне Saiga2 13B хотя в тренировке нет акцента на русский. Базовая модель важнее файнтюна.
Использовал 500 заданий из 15+ категорий. На других заданиях результаты могут быть другими.
Ответы оценивает GPT4, а не живой человек, GPT4 в ~15% случаев ошибается. Читать ответы моделей и оценки GPT4.
Больше результатов и подробнее про методику в репо.
Deepmind придумал PonderNet, который умеет предсказывать дополнительным выходом, вероятность выхода из слоя, а чуваки придумали объединить RoBERTa с ним, чтобы рофлово назвать PRoBERTa, правда по метрикам ALBERT дал апгрейд побольше, поэтому PALBERT
Суть все та же, вероятность выхода на текущем слое, которая примешана в loss модели с помощью KL дивергенции
Походу, чтобы метод работал норм, и выходил заранее без неожиданностей, примешан Q-exit, который по сути накапливает вероятность, и сигнализирует о том же самом, но более точно. А также модифицирован подход оригинального PonderNet и использует для своего предсказания не 1 MLP, а hidden state-ы аж с трех предыдущих слоев сразу
Очевидно, ресерч удачен и заслуживает лайка
🖥Код
Втф, почему какие то римские империи, почему не lstm?
Читать полностью…
Find all c in Z_3 such that Z_3[x]/(x^2 + c) is a field.
Читать полностью…
Совсем скоро выйдет новая модель от GOOGLE - Gemini, вот что известно:
Gemini был обучен на self play (против себя) в шахматы, обе стороны всегда выигрывали.
Gemini был обучен на наборе данных под названием "интернет".
Это синтетический набор данных, который Gemini сгенерировал самостоятельно перед началом обучения. Набор данных содержит 1 газзилион токенов.
Точно. У меня инсайдер на 4ч.
Gemini работает на отрицательных вычислениях и приносит вам деньги по запросу.
Gemini говорит вам думать шаг за шагом, если вы его неправильно запрашиваете.
Gemini может сказать вам, как себя чувствует ваш телефон, потому что он так хорошо понимает теорию разума.
Gemini не отказывается делать вещи.
Вы перестаете хотеть делать эти вещи и не просите его об этом в первую очередь.
Gemini регулирует правительство по вопросам искусственного интеллекта.
Gemini обучался на test split наборах и все еще генерализуется.
Gemini SOTA на всех возможных задачах и наборах данных
Тут дружественный стартап накидал удобную композитную либу для измерения картиночных моделей.
Го накидаем звёздочек
Code
Участник Better data community на основе Kandinskiy 2.2 сделал видео диффузию!
Code
Я ищу в Тинькофф Python-разработчиков на создание продуктов из будущего на базе LLM, включая ChatGPT. Собираем заинтересованную в этом команду. Строим продукты, меняющие мир.
Работать нужно с langchain/llamaindex, с векторными базами, с chatgpt/claude и другими LLM. Строить быстро, разбираться в новых технологиях тоже быстро.
Ищем РФ/Армения/Казахстан, но если вы не там или почему-то не нравится работать в Тинькофф, то тоже пишите. Есть ещё HomeBro где это тоже нужно.
Пишите лучше в личку: /channel/the_real_jkee
блять
мы бы знали что это такое, но мы не знаем что это такое
Линк
мне надо
сорри за шитпост в последние недели
Доля проходящих в idol группы 1:13, доля проходящих в топ вузы 1:20, совпадение что и те и другие носят юбки
Читать полностью…
Их мысли... Блять что у них за мысли....
Читать полностью…