4254
❤️☠️🤗 идейная миграция небытия
На конференции есть три задачи:
- набухатся за счёт квантов
- не ходить на работу не беря отпуск
- приехать с рюкзаком, уехать с чемоданом мерча
Эм погодите, это что выходит gpt4о level в паблике? А что там с gpt4.5?
Читать полностью…
Everything is lookup table if you brave enough
Читать полностью…
Почему в России до сих пор нет Research Z?
Что за omutai(типа топится?)
Новый робот от китайцев из unitree теперь и с колесами!!
Читать полностью…
🚀 Если Вам интересно машинное обучение и/или математика - приглашаем Вас принять участие в проекте по применению методов МЛ/RL к теории групп/графов Кэли - напишите @alexander_v_c - если хотите принять участие, а также заходите на вводный вебинар (знаний теории групп не требуется):
👨🔬 Александр Червов (к.ф.-м.н) "Методы МЛ в теории групп - введение и обзор достигнутого"
⌚️ Понедельник 22 июля, 18.00 (по Москве)
Методы машинного обучения могут быть применены к ряду классических задач теории групп - разложение элемента по образующим, оценки диаметра. Мы приглашаем принять всех участие в данном проекте. Предварительное требование - знание Питона и наличие нескольких свободных часов в неделю. Если вы хотите улучшить свои знания по МЛ/RL и внести вклад в развитие науки - это отличный шанс .
В данном докладе мы простым языком объясним формулировки основных задач, и как задачи теории групп переводятся на язык машинного обучения. Предварительных знаний не требуется. Также, мы дадим обзор уже достигнутых результатов - в частности для группы порядка 4*10^19 (Rubik cube) нам уже удается находить решение задачи за минуты , а не 40 часов ГПУ как было в предыдущей работе "DeepCube".
План доклада:
1 Переформулировка основной задачи на простом языке матриц
2 Матрицы перестановок и группы типа кубика Рубика (см. ноутбук "Visualize allowed moves": https://www.kaggle.com/code/marksix/visualize-allowed-moves )
3 Графы Кэли и переформулировка основной задачи как поиск пути на графе
4 Случайные блуждания по графам - создание трейн сета для МЛ-модели
5 Подход к решению задач теории групп через машинное обучение. Оценка дистанции до цели через МЛ-модель и проблема наличия множественных локальных минимумов у этой оценки
6 Beam search. (Один из вариантов борьбы с застреваниями в локальных минимумах)
7 Бейзлайн реализация: МЛ+ Beam search - ноутбук: https://www.kaggle.com/code/alexandervc/baseline-1-for-permutations - решение кубика Рубика за пару минут
8 Cледующие шаги: RL-часть, улучшение нейросеток, улучшение трейн сета, улучшение beam search
Добавляйтесь в группу проекта: /channel/sberlogasci/10989 и пишите @alexander_v_c - если Вам интересно !
PS
См. также предыдущий вводный доклад:
/channel/sberlogasci/10989/15283 "Введение в методы поиска короткого пути на больших графах" (Кирилл Хоружий )
Zoom link will be in @sberlogabig just before start. Video records: https://www.youtube.com/c/SciBerloga - subscribe !
Неизданное (а хотелось бы, чтоб изданное) от Валентина Стрыкало
«Внутри меня»
«Осень»
«Без Меня»
«Гори»
«Ты не такая» (акустика)
«По трубам»
«Если будет снег»
Спасибо ребятам из тинька за использование и cite нашего бенчмарка.
прессрелиз
После ухода Ильи суцкевера в опен АИ разучились рисовать график роста параматров и вышла gpt4o-mini.
Дешевле всего что есть на рынке(15c,60с) на вход и выход за 1м токенов, подозреваю что сопоставима со страшим опенсурсом по качеству.
Blog
Слава опенсурсу!
Увидел в твиттере реп + видос с демкой multi device инференса и это выглядит вау как круто!
github
twi
ColorfulXL v7 is out!
https://huggingface.co/recoilme/colorfulxl
https://civitai.com/models/185258/colorfulxl
Ничего необычного, просто файнтюн обычного SDXL
Новый Вихрь 5.4
Базовый Вихрь 5той версии (мистраль) обученный на переведенных инструкциях и ответах GPT-4 и улучшенный с помощью ORPO на нашем внутреннем датасете.
Модель имеет довольно высокое разннобразие ответов, поэтому рекомендуется использовать temperature в рендже [0.1, 0.4].
Если бы не ML-модели стоимостью в миллионы долларов, мы никогда бы не узнали как хотдог ест еду в китайском ресторане
Ave AI 🇻🇦
Чем больше я общаюсь с openai челами, тем больше ржу со слов про agi за три года и agi achieved internally
Читать полностью…
Произошел релиз ллама 3
https://llama.meta.com/
- 128к токенов, какие то дистиляции и 405б версия
Гугл рассуждает что они опять придумали все первыми
Читать полностью…
Мы ищем стажеров!
👩🌾 shorties — это персональная программа, в которой мы выращиваем таланты до полноценных Research Engineer’ов или Research Scientist’ов в зависимости от ваших интересов.
🔭 Intern Research Scientist
Вы будете заниматься написанием статей на top-tier ИИ конференции (NeurIPS, ICLR, ICML) и участием в научном дискурсе: проведение экспериментов, проверка и генерация исследовательских идей, которые направлены на развитие научного знания.
🧪 Intern Research Engineer
Вы будете заниматься созданием новых frontier-технологий и применением Reinforcement Learning в реальных задачах.
Завтра выступаю на воркшопе ICML в 12:30 по мск, можно зарегистрироваться послушать бесплатно.
Towards Full Linguistic Diversity in Language Models
The 7th workshop on Neural Scaling Laws
🟣Расписание
🟣Регистрация на воркшоп
Чёт я жалею что не подписался как
Underground Eastern Europe AI startup
Я впервые с начала войны двигаю на конфу, если вы будете на icml - присоединяйтесь к чату сходки
/channel/+QfAm2S9Ll_FjZTYy
Слушаем охуительный "за границей" от "второй ка"
https://huggingface.co/AnatoliiPotapov/T-lite-0.1
https://huggingface.co/AnatoliiPotapov/T-lite-instruct-0.1
https://t.ly/T-lite
GrandMaster-PRO-MAX - Первый крупный высококачественный русскоязычный SFT датасет
Совместно с Vikhrmodels, представляю вам датасет для инструктивного обучения LLM полученный не с помощью переводов ответов моделей с английского языка. Он диверсифицирован по темам и позволяет моделям следовать самым разным инструкциям на разных языках (в основном на русском) и отвечать, так же, в основном на русском языке.
Ответы за ассистента в этом датасете полностью сгенерированы GPT-4-Turbo-1106 с нуля по исходным инструкциям от пользователя. Это позволило получить очень качественный русский язык в ответах без артефактов перевода. Исходные инструкции были взяты из различных источников, в том числе синтетических для подкрепления отдельных способностей вроде математики, программирования, следования формату и тд.
Кроме того, характерной особенностью является то, что модели обученные на этом датасете будут иметь уже "вшитую" способность к Chaint-Of-Thought (CoT), за счет использования более сложного промпта для генерации большинства ответов (подробнее в карточке датасета).
Содержит примерно 142 тысячи уникальных пар инструкция - ответ. Денежный эквивалент генерации такого датасета с нуля - около 4к долларов.
https://mccme.ru/dubna/2024/
приближается ЛШСМ-2024 (доступно расписание, анонсы курсов; планируются прямые трансляции большинства пленарных лекций)
утром в субботу всё начнется с лекции А.А.Разборова про арифметическую комбинаторику и лекции С.К.Смирнова про замощения
Соре, мы не сможем больше общатся, ваше увлечение RL оказалось не пост иронией
Читать полностью…
Что-то все модели выпускают, а от Mistral🇫🇷давно новостей не было. Сегодня они выпустили две модели, одна заточена на математику, другая — на написание кода.
MathΣtral — компактная модель размера 7B, по архитектуре эквивалентная ранним релизам компании. Её доучили на решение сложных математических задач, требующих комплексных, многосутпенчатых логических рассуждений.
На MMLU модель показывает прирост более чем в 10% в отдельных под-категориях, и целых 15% в элементарной математике, физических задачах старшей школы/колледжей и, внезапно, машинном обучении.
Модель справилась с 2мя задачами из 30 на American Invitational Mathematics Examination (AIME). Это второй из трёх этапов отбора команды на международную олимпиаду по математике в США — тут задачки уже поинтереснее, но всё ещё не как на финалах. Кажется, что 2 задачи это мало, но из моделей сопоставимого размера лишь китайский Qwen 2 7B тоже решает 2; большинство остальных — нуль.
Проценты решений задач других олимпиад можете увидеть на картинке
Модель уже доступна на HF (не торрент!). Её, кстати, делали совместно с Project Numina — это проект, члены которого также недавно выиграли соревнование AIMO по решению олимпиадных задач LLMками (писал тут). Там победное решение использовало DeepSeek Math 7B (вторая строчка в таблице). Так что при следующем запуске соревнования можно ожидать, что результат первого места ещё подскочит вверх — просто за счёт смены одной модели на другую, чуть более мощную.
Для справки: maj@16 означает, что модель независимо генерирует 16 решений на задачу, после чего проводится голосование большинством, и выбирается тот ответ, который чаще попадался. Важно понимать, что это не означает, что система даёт 16 ответов с 16 попыток — попытка одна, а maj позволяет выбрать один ответ, который модели кажется наиболее правильным.
Привет!
Немного цифр:
- 230 кандидаток и кандидатов
- 17 человек отобрали по итогу
Мы закончили летний набор стажеров, если вам написали - поздравляю!
К сожалению у нас нет физической возможности написать всем кого не выбрали, пока что это нулевой батч стажеров-контрибьюторов, но когда нибудь будет и второй.
honey, new mteb sota just dropped
MTEBen разнесли китайцы со своей stella на 1.5b параметров(чо там, декодер лучший энкодер нуну)
Учили с матрешкой(можно обрезать эмбеды) и с инструкциями.
папиры и данных нет, но есть модель и гитхаб с обещаниями
И на последок минутка world modelling_а
Читать полностью…