4254
❤️☠️🤗 идейная миграция небытия
А у вас тоже твитер забит такой хуйней:
Какой accelerate, кто данные ковырять будет...
OpenDiLoCo: An Open-Source Framework for Globally Distributed Low-Communication Training
Обучение multidatacenter сеток все еще большая и сложная штука, для начала стоит понимать что
- скорость интернета не однородна
- на больших расстояниях могут копится ошибки
- пропускная способность сети может быть недостаточной
собственно большой папир и репа про то как учить в ОЧЕНЬ распределенном сетапе
блогпост от авторов имплементации
Обновилась llmarena.ru
TLDR
Vikhr Nemo - лучшая opensource модель в своем классе!
АЛЛО МЫ ИЩЕМ ГОЛОСА3
https://llmarena.ru/ заходите в анонимно и бежим размечать голосами свежее поколение ллм, я с утра разметил несколько десятков сэмплов и вам советую!
Интервалы.
должны.
Сойтись.
Критическое мышление для начинающих и для профессионалов
Читать полностью…
💨👁 Vikhr-2-VL-2b-Instruct-experimental
это компактная VLM модель, обученная на переведенном датасете LLAVA-150K, специально доученная для обработки на русском языке. Дообученная модель является эксперементальной и не всегда будет работать ожидаемо (особенно OCR).
Ждем вашего фидбека от использования модели)
HuggingFace
Colab
Коллектив авторов: @LakoMoorDev @mlunderground @nlpwanderer
https://epochai.org/blog/data-movement-bottlenecks-scaling-past-1e28-flop
Блин опять логарифм подсунули что ли?
Ладно если серьезно:
- компьют не скейлится бесконечно из-за скорости сети
- multi datacenter обучение головные(скоро будет обзор как учить multi DC и НЕ умирать)
- железки Nvidia не предназначены для такого
Статья от ребят из DIT Moscow RESEARCH - присядь на штраф если не регаешь канал в РКН!
Читать полностью…
Вот они слева направо:
float8_e3m4
float8_e4m3
float8_e4m3b11fnuz
float8_e4m3fn
float8_e4m3fnuz
float8_e5m2
float8_e5m2fnuz
float8_e8m0fnu
Мы дочинили arenahard, сабмиты снова работают как и раньше (спасибо gradio за обновления)
А также добавился gigachat max censored и uncensored. Подозреваю что цензор это мелкая модель сверху которая помимо прочего сильно режет качество генераций.
Версия с цензором где то между mistral nemo и gemma 27b. Версия без цензора на простой корзине(без особого кода, ризонинга и прочего) на уровне 4о.
Крутой рост за полгода, посмотрим что будет дальше.
World model говорили они
Будущее игр говорили они
Не мешай лёгкие наркотики с тяжёлым алкоголем говорю я
Собственно есть работа diamond - тут учат видео диффузию на действиях из игр. Ребята из <стартап> собрали примерно тоже самое но в Майнкрафте, рассказывают что будут гонять в 4k 100b диффузию.
Почитать diamond
Это что выходит, для взаимодействия с человеческой средой не нужен робот похожий на человека?
Читать полностью…
Оракулы объявили неделю точно не купленных постов вида: учёные в говне моченые открыли гитхаб китайских бакалавров, с помощью сонета написали текст и этот текст прошел ревью на A конфу
Читать полностью…
сложно недооценить вклад в обстановку дома, внесённый совместно просмотренной серией менталиста, в которой слегка аутичного математика убила жена за то, что он не уделял ей внимания
Читать полностью…
Неделя релизов Эппл продолжается — наконец-то Macbook Pro на M4. Все то же самое, цена та же самая, но m4, m4 pro и m4 max.
Честно говоря, я бы не был в таком восторге, но я пишу это сообщение с самого первого макбук про на м1. И мне уже явно пора обновляться, главное — побольше памяти.
https://www.apple.com/newsroom/2024/10/new-macbook-pro-features-m4-family-of-chips-and-apple-intelligence/
бонус: эта штука поддерживает разные железки!
Читать полностью…
Русские фаундеры спешат на новую когорту YC после победы Трампа на выборах. Картина в цвете 2025.
Читать полностью…
Ура. Наконец зарелизил:
recoilme-sdxl
файнтюн, над которым я работал последние три месяца.
За это время правда вышло 100500 новых архитектур моделей, но не бросать же..
telegram bot (20/day free): @charsaibot
hf: https://huggingface.co/recoilme/recoilme-sdxl-v11
civit: https://civitai.com/models/920626?modelVersionId=1030470
reddit: https://www.reddit.com/r/StableDiffusion/comments/1gk8cbw/recoilmesdxl/
phd level intelegence achived internally(он выкурил два джоинта и сьел все брауни)
Читать полностью…
Лоооол
https://arxiv.org/pdf/2410.10356
Резерчеры из z банка заменили relu на gelu в трансформере, тем самым ускорив обучение на 4%!!
Респект и уважуха нашим ребятам, удачи им на А конференции Диалог 2025!!
Безумно люблю blin queen, лучшие драники в городе, обязательно сходите!
Читать полностью…
Ура, релиз Сайги Немо!
Модель: https://huggingface.co/IlyaGusev/saiga_nemo_12b
Уже доступна в боте.
GGUF завтра подвезу.
По метрикам: 85 на РуАрене, что чуть хуже 87 у Вихря. И 3 место на ПингПонге.
Пайплайн абсолютно классический: SFT + SimPO. Датасеты, конфиги обучения, W&B логи лежат в карточке модели.
Уникальная фича модели — расцензурированность и ориентация на role-play. Обучал я её поверх abliterated версии Немо, и из и SFT, и SimPO датасетов агрессивно вычищал отказы. В оба датасета доливал role-play промпты, но не с теми персонажами, которые есть в ПингПонге.
Я поштырил и в RP диалоги, и в ответы на арене, и увидел несколько проблем:
1) Модель не умеет рисовать ASCII.
2) В 2 примерах я наблюдал повторы. Это было там, где нужно было написать пример кода, а в нём был какой-нибудь токен. И вот этот токен генерировался бесконечно. Эта проблема специфична для нулевой температуры.
3) Длина. Хоть я и пытался бороться с слишком длинными ответами, по бенчам видно, что ответы всё равно длиннее среднего.
4) Очень изредка попадются выдуманные слова. Причём они вполне разумны, просто их не существует.
https://github.com/etched-ai/open-oasis
На момент написания поста я не читал репу, кидал на угад, попал во все +-
Работает примерно так: есть 3d unet, подаём на вход onehot вектор действия, unet смотрит на прошлые кадры и двигает картинку.
Читать полностью…
> решать задачу optimal execution-а крипто зарплаты с рандомизацией по трем осям (date, quantity, frequency) чтобы не попасть под 115 ФЗ
> защищить PhD по Оperations Research по этой работе
Оригинальную арену продолжают дробить по скорам(что логично, аутичные соннеты хороши в коде, но не хороши для RP/рассказов)
Читать полностью…
АЛЛО МЫ ИЩЕМ ГОЛОСА2
https://llmarena.ru/ заходите в анонимно и бежим размечать голосами свежее поколение ллм, я с утра разметил несколько десятков сэмплов и вам советую!
Интервалы.
должны.
Сойтись.
Atlas working in a factory - no teleoperation
Soon they will work 24/7/365...
without sleep...
without pay...
without tiring...
without food...
without striking...
without calling in sick...
without suing their employer...
with superhuman limb movements...
with superhuman speed...
with superhuman precision...
when one robot learns something new, it will propagate the update to the other robots simultaneously as a hive mind...
with full of VC investment without unit economics
Кто получает Нобелевки?
В недавно опубликованном препринте под названием "Access to Opportunity in the Sciences: Evidence from the Nobel Laureates" рассматриваются два фактора для Нобелевских лауреатов: персентиль доходов родителей и уровень их образования (и профессия). Оказывается, средний лауреат вырос в семьях в 90м персентиле по доходу🤴 и образованию. Для женщин всё (как обычно) хуже – средние женщины-лауреаты – дети более элитных семей, чем мужчины (91 против 87).
Неравенство в доходах и образовании родителей в каком-то смысле позволяют оценить, сколько таланта мир теряет из-за неравных возможностей к получению знаний. В мире без неравенства средний лауреат был бы из семьи с около-медианным доходом, но до этого нам, как до луны. Надо сказать, что прогресс не стоит на месте: в 1900 средний лауреат был из 92 персентиля, сейчас – из 85. Также анализируется род деятельности родителей – тут неудивительно распространены белые воротнички: доктора, учёные, госслужащие, юристы.
Также авторы сравнивают коэффициенты по доходу между разными регионами; оказывается, что в восточной Европе с системой общего образования неравенство было значительно сильнее, чем в США. 🇷🇺 В причины и аналитику статья не погружается, оставив нам материал для срача цивилизованной дискуссии в комментариях. 👉
Закроем пост грустноватой цитатой палеонтолога Стивена Джея Гулда, которая стала эпиграфом к статье:
Меня почему-то меньше интересуют вес и извилины мозга Эйнштейна, чем почти уверенность в том, что люди равного таланта жили и умирали на хлопковых полях и в потогонных цехах.Читать полностью…