4254
❤️☠️🤗 идейная миграция небытия
Кто получает Нобелевки?
В недавно опубликованном препринте под названием "Access to Opportunity in the Sciences: Evidence from the Nobel Laureates" рассматриваются два фактора для Нобелевских лауреатов: персентиль доходов родителей и уровень их образования (и профессия). Оказывается, средний лауреат вырос в семьях в 90м персентиле по доходу🤴 и образованию. Для женщин всё (как обычно) хуже – средние женщины-лауреаты – дети более элитных семей, чем мужчины (91 против 87).
Неравенство в доходах и образовании родителей в каком-то смысле позволяют оценить, сколько таланта мир теряет из-за неравных возможностей к получению знаний. В мире без неравенства средний лауреат был бы из семьи с около-медианным доходом, но до этого нам, как до луны. Надо сказать, что прогресс не стоит на месте: в 1900 средний лауреат был из 92 персентиля, сейчас – из 85. Также анализируется род деятельности родителей – тут неудивительно распространены белые воротнички: доктора, учёные, госслужащие, юристы.
Также авторы сравнивают коэффициенты по доходу между разными регионами; оказывается, что в восточной Европе с системой общего образования неравенство было значительно сильнее, чем в США. 🇷🇺 В причины и аналитику статья не погружается, оставив нам материал для срача цивилизованной дискуссии в комментариях. 👉
Закроем пост грустноватой цитатой палеонтолога Стивена Джея Гулда, которая стала эпиграфом к статье:
Меня почему-то меньше интересуют вес и извилины мозга Эйнштейна, чем почти уверенность в том, что люди равного таланта жили и умирали на хлопковых полях и в потогонных цехах.Читать полностью…
АЛЛО МЫ ИЩЕМ ГОЛОСА
https://llmarena.ru/ заходите в анонимно и бежим размечать голосами свежее поколение ллм, я с утра разметил несколько десятков сэмплов и вам советую!
Наконец-то закончил работу над большим пет-проектом.
Я смог запустить Llama 3.1-8b прямо в браузере на cpu с помощью нашего нового алгоритма сжатия AQLM+PV.
Можно потестить демо здесь
видео
🎆 Небольшая лекция об Alignment и как мы его готовим
Это слайды с текстом, пока устно ее я рассказывал только внутри команды Vikhr.
Внутри вы узнаете:
- Теория Bradley-Terry и откуда берутся Reward модели
- Что нужно для обучения Reward модели и как его делаем мы
- Откуда взялся DPO и каковы его недостатки
- Какова мотивация нас и других авторов улучшать DPO
- Как устроен наш функционал SMPO - Simple Margin Preference Optimization
- Какие есть способы улучшения DPO на уровне данных и как готовим эти данные мы
Задавайте вопросы комментариях, если что-то непонятно, будем обсуждать.
Всех приветствую! Рады поделиться v2 checkpoint IP-адаптера для модели FLUX-dev! (кстати, можете попробовать и другие версии)
Скачать веса можно тут: huggingface
Воркфлоу тут: ip_adapter_workflow.json
Перед использованием обязательно обновите ноды: x-flux-comfyui.git
Мммм, 35 место. Но так-то серьёзный скачок с 46. В комментах скриншоты с артефактами.
Читать полностью…
Skill issue on data deduplication
Самое интересное что ngramm поиск не нашел, хотя мы несколько итераций делали
TBH мы учили отдельную маленькую модель на арене, оверфит на ВСЕЙ арене давал порядка 10-20 очков
Ограничения Instruction Tuning и как их преодолеть
Supervised Full Fine-tuning (SFT) — распространённая практика, но он не лишён недостатков. Авторы сегодняшней статьи задаются вопросом: а может ли LoRA (Low-Rank Adaptation) исправить недочёты?
При использовании Full Fine-tuning возникает две проблемы: у моделей часто возникают сложности с извлечением новых знаний из SFT-датасета, могут участиться галлюцинации. Исследование показало, что модели, обученные с использованием Full Fine-tuning, могут генерировать неверные ответы, если берут слишком много токенов из SFT-датасетов. Эффект особенно заметен, если модель пытается отвечать на вопросы, требующие глубокой экспертизы.
Например, на вопрос «Какие основные работы Эйнштейн сделал после того, как в 1915 году открыл Общую теорию относительности?» модель начинала выдавать не соответствующие действительности ответы — скажем, о «квантовой теории атома трития».
Одним из возможных решений может быть LoRA — это метод, который позволяет обучать модели с гораздо меньшими ресурсами, модифицируя лишь небольшую часть параметров. Вместо полного тюнинга всех параметров LoRA использует специальные низкоранговые матрицы, что приводит к изменениям только определённых аспектов, таких как стиль ответа или инициирование фраз. При этом основная часть весов предобученной модели остаётся неизменной.
Первые несколько процентов токенов, сгенерированных LoRA-моделью, могут быть изменены (по сравнению с ответом предобученной модели), чтобы правильно начать ответ. Но большая часть предложения остаётся такой же, как у предобученной модели. Это позволяет уменьшить количество галлюцинаций. Эксперименты показали, что LoRA даёт более точные ответы.
LoRA эффективен даже при малом объёме датасета. Например, модель с LoRA, обученная на наборе данных из 1000 инструкций, может превосходить модели с SFT на датасетах по срезам фактологичености и полезности, содержащих 52 000 или даже 326 000 инструкций. В экспериментах использовались различные открытые и домен-специфичные датасеты, включая MedInstruct и Alpaca. Модели с LoRA демонстрировали лучшее соответствие фактам и были менее подвержены галлюцинациям.
Разбор подготовил ❣ Алексей Шимко
Душный NLP
https://github.com/torvalds/linux/pull/988
Что то странное творится в Линуксе, дед не выпил таблетки и творится кринж, удалили 11 русских челов, не очень понятно за что.
В следующей главе модели enterprise класса будут управляя сексботами зарабатывать на электричество в борделях
Читать полностью…
https://github.com/kijai/ComfyUI-MochiWrapper
Впихнули в 20гб вместо 320
ХЗ чего вы все ноете. Вот возьмем меня. Закончил псифак спббгу, работаю скрам-мастером. Выстраиваю процессы по скраму. Вкатился на изичах. Зарплата сейчас - $8к после налогов. Справедливости ради надо сказать, что у меня еще две сдающихся хаты в центре спб, а сам живу у тян. Оттуда капает + иногда довольно часто коучу скраму разные конторы (очень хорошо кодомартышек скрым дисциплинирует + метрики, поэтому все вкатываются). Недавно вот коучил одну из крупнейших гейдев кантор на снг (но не рашка, оналайн дрочильня на воен тематику) - неделя на контракте, две сотни кодомартых на лекциях - единоразовай гонорар по контракту мне - $40к. Собственно вопрос - что вам мешает поступить так же?
Читать полностью…
еще одна новость вышла пока я ужинал и болтал
Читать полностью…
Я 1 год считаю ELO у вас в моделях - и то 1000, то 1020, а иногда и 1058. Вы там сумасшедшие что ли все?
Читать полностью…
Стабилити релизули Sd 3.5 large на 8b параметров!
model
space
Из интересного - модель хуже FLUXа, но не дистилированная. Посмотрим насколько хорошо будет учится
Новая 2b OpenSource i2v моделька!
- По качеству как 5b СogVideox
- Apache2.0
huggingface
Игратся
Уже доступно в виде ComfyUI ноды
Чат, какой лучший одноплатник для LLM с потреблением до 10w?
Читать полностью…
Паблик арена слегка страдает от обновления, поэтому пока так
Ygpt v4 lite где то на уровне llama 8b, но с точки зрения русского очевидно будет лучше
Ygptv4 pro где то на уровне mistral nemo 12b
Qwen2.5 14b на уровне тюненной gemma/mistral Nemo
Ларчик с Вихрём Немо просто открывался. Рецепт оказался прост: трейн на тесте.
Я недавно случайно обнаружил, что в GrandMaster-PRO-MAX лежит около 180 промптов и ответов на них из ru_arena_general. А их там всего 500, то есть больше трети примеров из тестов слиты в обучающую выборку. Вполне возможно, что это сделано не только в SFT, но и в SMPO фазе.
Код для проверки:
from datasets import load_dataset
examples = dict()
for row in load_dataset("Vikhrmodels/ru-arena-general", split="train"):
examples[row["turns"][0]["content"]] = 0
for row in load_dataset("Vikhrmodels/GrandMaster-PRO-MAX", split="train"):
ex = row["conversation"][0]["content"]
if ex in examples:
examples[ex] = 1
print(sum(examples.values()))
Э, ну с этим бенчом все, что у нас на очереди? Агенты?
Ну ща пацаны нагенерят в top256 траекторий решения, выучат и будет вам агентность.
Средний бот, и так уже на самом деле умнее среднего человека. В сущности, мы пришли к ситуации, когда модель, которая считается средней, должна: знать математику, иметь word knowledge, знать физику, программирования и прочее по очень разным топикам которые у нее спрашивают. При этом должна быть достаточно эмпатичной, чтобы нравится пользователю. При этом должна знать где-то под сотню языков. Ну например, средняя опенсурсная модель знает 20 языков. Но, в свою очередь, таких людей мало. Выходит, мы достигли General Intelligence, когда вышла GPT-4? То есть, ну, по сути-то, у нас модель умнее, чем средний человек.
Читать полностью…
Корейцы на СВО, по телевизору нейросетевые птицы с человеческими яйцами, многотонную ракету сажают на опоры, и всё это под саундтрек из видосов инстаграмма «под залупой творог собрался ребята»
Мы живем в хуёвом романе Пелевина, у нашей действительности лицо кота «не бойся»
розыгрыш мерча неуютный фкнчик
1 место: футболка «#freekosov»
2 место: 3 презерватива «cuda стандарт индустрии» + стикерпак
для участия надо нажать ниже и подписаться на паблик
результаты в воскресенье 20.10 в полдень
в чем проблема? В том что в 80 это по сути каждый 5 ответ - лажа. 49 - каждый второй
Читать полностью…
magnet:?xt=urn:btih:441da1af7a16bcaa4f556964f8028d7113d21cbb&dn=weights&tr=udp://tracker.opentrackr.org:1337/announce
https://www.genmo.ai/
если вы хотите аппелировать к MT возможности без перевода(кто в 24 году гоняет t2i без prompt refiner он же переводчик?) то пожалуйста перестаньте
mt aligment для картиночных моделей - очень сомнительная процедура, проще все делать на английском