4253
❤️☠️🤗 идейная миграция небытия
RL on Incorrect Synthetic Data Scales the
Efficiency of LLM Math Reasoning by Eight-Fold
Любопытная работа, авторы показывают что обучение на только правильной синтетике - недостаточно, нужно дополнительно учить модель на ошибках(если мы знаем где ошибочный шаг решения)
После обучения на решениях с ошибками(мы явно указываем что есть ошибка) модель учится обходить ошибочные шаги и в целом сильно лучше решает задачки.
Бонус: модель начинает лучше решать OOD задачки которых не было в синетике!
Будет много реакций(100+) выпушу длинно пост про то как авторы учат модели(там интересное DPO по шагам)
paper
Irbis-7B v0.1 - казахская ЛЛМ 🇰🇿
Мы тут обратили внимание, что опенсорс языковые модели отвратительно работают с казахским языком и решили исправить это недоразумение. Работа еще не окончена, но уже из интересного есть, что рассказать и показать. Сейчас моделька не дурно отвечает на простые вопросы и извлекает информацию из контекста, невзирая на те трудности, с которыми пришлось столкнуться при подготовке данных и тренировке.
О том что и как было сделано (в т.ч. примеры и сравнения) можно ознакомиться в статье на Хабре.
🤗 Base: model
🤗 Instruct: lora
я так не понял дроча на курс карпатого, вроде обычный llm курс, ну будет он в виде последовательности pdfок а не в виде раздельных статей. один фиг статьи читать по отдельности придется
вот тут есть буквально тоже самое https://huggingface.co/learn/nlp-course/chapter1/1
Хотите что то зашарить? Хватит сидеть сложа руки, бери torch в зубы и иди ковырять руками, придумай шизовую задачу и заимплементируй.
я хотел зашарить mcst + llm - пошел ковырять шизовую соревку, а в итоге сижу пишу оптимизитор параметров catboostа на llmках
почему сбер использует мое анимешное лицо?
Приятно быть лицом рекламы сбера, но я не вижу мешков с деньгами под дверью почему то
Пиздец проанализируйте рекламу лучше, моя ЦА в блоге это буквально ваше руководство
OptiActs
Ребята в AIRI придумали как экономить 15% памяти при обучении модели без просадки по качеству, собственно какая идея:
# как это происходит в общем случае
forward: X -> Y = f(X)
save: X
backward: dL / dX = dL / dY * f'(X)
# что предлагают делать ребята из airi
forward: X -> Y = f(X)
save: Y
backward: dL / dX = dL / dY * f'(f^-1(Y))
for layer in model.model.layers:
layer.mlp.act_fn = optiacts.GELU()
По запросу ех Яндекса fab1an/glifs/clxtc53mi0000ghv10g6irjqj">нарисовали
Присылайте своих персонажей, это очень весело
Ищу алко пати на ICML + вписку в вене + сходка подписчиков
с меня мерч + анекдоты + пиво
@transformerslovedeatch
AI’s $600B Question
Если вы знакомы со мной достаточно давно - вы знаете мою позицию про GENAI и пузырь который раздувается.
Собственно ребята из sequoia capital тоже имеют глаза и калькулятор. И прямо сейчас есть проблема - в сумме проинвестированно 600B usd, а заработок около 100 + нет четкого понимания а как вообще заработать сильно больше, точек где текущее поколение genai полезно не очень много по прежнему.
Кину кости и скажу следующее: за этот год вы увидим лажовый релиз одного из крупных игроков(модели будут значительно хуже прошлой версии) и схлопнется средне крупная AI контора(leonardo, runway, pika ) на ваш вкус
article
бэнгер
fab1an/glifs/clxtc53mi0000ghv10g6irjqj" rel="nofollow">https://glif.app/@fab1an/glifs/clxtc53mi0000ghv10g6irjqj
Таня Бабичева - топ препод по олимпиадной математике, проект должен получится очень крутой.
Читать полностью…
Недавно BM25, алгоритм поиска из 80-х, победил нейросетевой поиск на LLM.
Мне стало очень интересно разобраться, как это работает, и я написал статью на Хабр, где этот алгоритм реализуется с нуля.
Материал подойдет начинающим: ничего кроме знания Python не нужно.
https://habr.com/ru/articles/823568/
Просьба читать, лайкать и кричать об этой статье на улицах.
Я пожалуй не разделю общих восторгов, на моих задачах врет и очень спецефичным способом, не дебажьте что то кроме рисунков единорога на llm
если интересно - вот дока с тем какие параметры есть https://huggingface.co/docs/accelerate/usage_guides/fsdp
я уже заказал на ebay nokia n95 чтобы запускать на ней blender(и llama 1b 2bit).
код
рассказ на испанском
#чтивонаночь
Florence-2: Advancing a Unified Representation for a Variety of Vision Tasks
Seq2seq трансформер, не очень большой(770m), на вход эмбединг картинки и таска, на выход Сaptioning, panoptic, bbox и еще несколько задач. Сравниваются с маленькими бэкбонами, конечно всех бьют. Если у вас что то больше джетсона на инференс - берите llava. Если нет - берите SAM
paper
hf
Ищу знакомых из Maersk Growth, писать в @alexwortega, речь идет о 8значных кодах
Читать полностью…
Кто последний наебет инвесторов получит 500000 долларов?
Читать полностью…
#чтивонаночь
MuMu - Bootstrapping Multimodal Image Generation from Text-to-Image Data
Идея очень простая, у нас есть Vlm, она умеет принимать на вход "псевдо токены" в которые мапается эмбединг CLIPa, а почему бы научить модель генерировать эмбеды CLIPa?
Paper
Кода пока нет
я не боюсь того кто провел 10000 часов дебажа и уча модели, я боюсь того кто посмотрел 200 часов курсов про llm
Читать полностью…
Если вас заебало каждый день качать папиры с arXiv.org и иметь 100500 .pdf в Downloads, welcome to https://synthical.com все в облаке + фолдеры, рекомендации, темная тема для статей 🌚, а еще озвучка для статей
Читать полностью…
Вам не нужен master degree если вы уже дата макака?
TLDR: если выбирать магу в россии, то ai.itmo.ru в целом хороший вариант, особенно если вы только выпустились из бесполезного бака и безработный
не Обзор первого года магистратуры в ITMO AI Hub
О себе на момент поступления:
- Умею обучать любые модели, много где работал, много чего ресерчил
- Проживаю в Москве, хотя мог бы релокнутся. Из-за этого отсрочка была актуальна (рекомендую ребят из Aviasales для решения вопросов с отсрочкой).
Цели поступления на магистратуру:
- Получить качественную научную подготовку, чтобы писать статьи для конференций уровня A*.
- Найти сотрудников и бесплатную рабочую силу))))
Система выбора курсов в ИТМО:
- Можно самому выбирать предметы.
- Качество курсов варьируется: иногда попадаются отличные курсы, иногда курсы с хорошим описанием оказываются очень плохими, но в целом можно спросить у прошлого года, а что стоит брать.
- курсы от ребят из napoleon it я бы не советовал брать
Проектный/научный семинар:
- В первый год есть научный/проектный семинар, где можно работать над проектами для российских бигтехов или писать статьи совместно с сотрудниками AIRI.
- Не все научные руководители и темы одинаково интересны, но с хорошими навыками общения можно найти хороший проект и можно после пойти работать туда(слышал такие истории)
Про формат обучения:
Обучение бесплатное и доступно онлайн, для меня онлайн-формат не создавал проблем, можно учиться из любого места.
Если вы уже сейчас синиор вам вероятно стоит брать курсы в ширину - mlops, рексис, временные ряды и прочие темы которые для вас не доменные. Если вы уже синиор в какой то теме то ничего особо нового не расскажут.
Если вы закончили шад то вероятно ничего полезного кроме корочки и знакомств такой мастер не принесет.
Слава богу теперь Ai будет генерировать мемы, а я найду нормальную работу вместо админства
Glif.app лучшее что случилось с gen Ai мемами
#чтивонаночь
Discovering Preference Optimization Algorithms
with and for Large Language Models
В чем идея - давайте возьмем LLM и будем подбирать с помощью LLM разные loss функции через iterative prompting. В целом очень логично и просто.
ТК подбирают лосс, а не данные - схема работает для разных архитектур и данных.
Прироста относительно human baseline особо нет, да и строго говоря loss_ы не выглядят очень уж здравыми
Пример:
σ(Var[ρ/τ ]) · fdpo(βρ/0.9) + (1 − σ(Var[ρ/τ ])) · fexp(βρ · 0.9)
log(1 + exp(−βρ))
Сотрудники уволенные посредствам суецида будут лишены квартальных премий
Читать полностью…
Школа Олимпиадной Математики "Точка Торричелли" приглашает всех желающих на летний олимпиадный интенсив "Welcome to the AMC!"
Наша школа олимпиадной математики называется «Точка Торричелли» по одной важной причине: мы стремимся к оптимальности и эффективности в обучении. В геометрии точка Торричелли известна тем, что она минимизирует сумму расстояний от данной точки до вершин треугольника. Аналогично, наша школа фокусируется на минимизации усилий и времени, необходимых для достижения высоких результатов в олимпиадной математике.
Что необходимо для участия в нашей смене:
- хорошее знание стандартной школьной программы соответствующего класса
- любознательность и желание решать нестандартные задачи, увидеть красоту математики
Что мы предлагаем?
Подготовка к AMC 10&12, но будет полезно всем, кто пока не очень опытен в олимпиадной математике (так как программа подбирается индивидуально, мы можем обсудить любой запрос ;) )
Proof-based подход к математике
Объясним на русском языке, продублируем задачи и конспекты на английском.
Команда опытных преподавателей и методистов
Сертификат по окончании смены
Индивидуальная программа для каждого участника
До 30 часов общения с преподавателем один на один
Интенсивное погружение в олимпиадную математику
Тренировочная устная олимпиада
Более подробную информацию вы можете узнать на нашем сайте point120.school :)
Claude 3.5
200k токенов, картинки и видео можно сувать, по бенчам лучше 4o
Open Ai is nothing without people
Акция не распространяется на бывших сотрудников, основателей и chief scientist сотрудников
Илья суцкевер делает свою лабу safety agi.
https://ssi.inc/
1X World Model Challenge https://github.com/1x-technologies/1xgpt
Читать полностью…
Я тут на досуге занимаюсь стакингом SD3 по ночам, трансформер как никак. Обнаружилось любопытное - она не особо то линейная, те при замене блока 2 на блок3 модель разламывает и ощутимо
cлева было справо стало, а я только один блок заменил. хз, эскспы добежали, ничего хорошего. Мб на выходных что то еще поставлю