4253
❤️☠️🤗 идейная миграция небытия
Завтра выступаю на воркшопе ICML в 12:30 по мск, можно зарегистрироваться послушать бесплатно.
Towards Full Linguistic Diversity in Language Models
The 7th workshop on Neural Scaling Laws
🟣Расписание
🟣Регистрация на воркшоп
Чёт я жалею что не подписался как
Underground Eastern Europe AI startup
Я впервые с начала войны двигаю на конфу, если вы будете на icml - присоединяйтесь к чату сходки
/channel/+QfAm2S9Ll_FjZTYy
Слушаем охуительный "за границей" от "второй ка"
https://huggingface.co/AnatoliiPotapov/T-lite-0.1
https://huggingface.co/AnatoliiPotapov/T-lite-instruct-0.1
https://t.ly/T-lite
GrandMaster-PRO-MAX - Первый крупный высококачественный русскоязычный SFT датасет
Совместно с Vikhrmodels, представляю вам датасет для инструктивного обучения LLM полученный не с помощью переводов ответов моделей с английского языка. Он диверсифицирован по темам и позволяет моделям следовать самым разным инструкциям на разных языках (в основном на русском) и отвечать, так же, в основном на русском языке.
Ответы за ассистента в этом датасете полностью сгенерированы GPT-4-Turbo-1106 с нуля по исходным инструкциям от пользователя. Это позволило получить очень качественный русский язык в ответах без артефактов перевода. Исходные инструкции были взяты из различных источников, в том числе синтетических для подкрепления отдельных способностей вроде математики, программирования, следования формату и тд.
Кроме того, характерной особенностью является то, что модели обученные на этом датасете будут иметь уже "вшитую" способность к Chaint-Of-Thought (CoT), за счет использования более сложного промпта для генерации большинства ответов (подробнее в карточке датасета).
Содержит примерно 142 тысячи уникальных пар инструкция - ответ. Денежный эквивалент генерации такого датасета с нуля - около 4к долларов.
https://mccme.ru/dubna/2024/
приближается ЛШСМ-2024 (доступно расписание, анонсы курсов; планируются прямые трансляции большинства пленарных лекций)
утром в субботу всё начнется с лекции А.А.Разборова про арифметическую комбинаторику и лекции С.К.Смирнова про замощения
Соре, мы не сможем больше общатся, ваше увлечение RL оказалось не пост иронией
Читать полностью…
Что-то все модели выпускают, а от Mistral🇫🇷давно новостей не было. Сегодня они выпустили две модели, одна заточена на математику, другая — на написание кода.
MathΣtral — компактная модель размера 7B, по архитектуре эквивалентная ранним релизам компании. Её доучили на решение сложных математических задач, требующих комплексных, многосутпенчатых логических рассуждений.
На MMLU модель показывает прирост более чем в 10% в отдельных под-категориях, и целых 15% в элементарной математике, физических задачах старшей школы/колледжей и, внезапно, машинном обучении.
Модель справилась с 2мя задачами из 30 на American Invitational Mathematics Examination (AIME). Это второй из трёх этапов отбора команды на международную олимпиаду по математике в США — тут задачки уже поинтереснее, но всё ещё не как на финалах. Кажется, что 2 задачи это мало, но из моделей сопоставимого размера лишь китайский Qwen 2 7B тоже решает 2; большинство остальных — нуль.
Проценты решений задач других олимпиад можете увидеть на картинке
Модель уже доступна на HF (не торрент!). Её, кстати, делали совместно с Project Numina — это проект, члены которого также недавно выиграли соревнование AIMO по решению олимпиадных задач LLMками (писал тут). Там победное решение использовало DeepSeek Math 7B (вторая строчка в таблице). Так что при следующем запуске соревнования можно ожидать, что результат первого места ещё подскочит вверх — просто за счёт смены одной модели на другую, чуть более мощную.
Для справки: maj@16 означает, что модель независимо генерирует 16 решений на задачу, после чего проводится голосование большинством, и выбирается тот ответ, который чаще попадался. Важно понимать, что это не означает, что система даёт 16 ответов с 16 попыток — попытка одна, а maj позволяет выбрать один ответ, который модели кажется наиболее правильным.
Привет!
Немного цифр:
- 230 кандидаток и кандидатов
- 17 человек отобрали по итогу
Мы закончили летний набор стажеров, если вам написали - поздравляю!
К сожалению у нас нет физической возможности написать всем кого не выбрали, пока что это нулевой батч стажеров-контрибьюторов, но когда нибудь будет и второй.
honey, new mteb sota just dropped
MTEBen разнесли китайцы со своей stella на 1.5b параметров(чо там, декодер лучший энкодер нуну)
Учили с матрешкой(можно обрезать эмбеды) и с инструкциями.
папиры и данных нет, но есть модель и гитхаб с обещаниями
И на последок минутка world modelling_а
Читать полностью…
Симпатичная open source книжка DevOps for Data Science полезная для всех кто сисадминит и хочет развиваться в сторону дата инфраструктуры. Не охватывает платформы, охватывает большую часть фундаментальных вопросов. Полезное и для дата инженеров тоже.
Читать полностью…
Сидят научник и аспирант, название для статьи придумывают. Научник записывает:
Foundation multi-agent multiscale multimodal multitask language model
Аспирант: У нас в название статьи место есть, может чет про ai safety добавим?
Научник, прикидывая:
— Да не, хуйня какая-то получится
⚡️⚡️ Arxiv заблокируют в сентябре — об этом сообщает «Вестник науки.ру», ссылаясь на источник, близкий к администрации президента, который ссылается на тред на дваче⚡️⚡️
📍По информации источника, доступ к Arxiv получат только блогеры с аудиторией более 1000 человек и зарегистрированные в базе РКН, РПЦ, сдавшие ПЦР, у них будет возможность пересказывать содержание видеороликов статей после предваривательного согласования с АП
🤔 «Сейчас для нас главная задача — взять под контроль админов нишевых каналов с мемами про говно. А Arxiv мы прикроем тупо потому что папиры про llm заебали в рекомендациях"
По мотивам
Вот я юзаю LLMки и радуюсь. А ведь когда-то я сам обучал разные жосткие мл модели, читал научные статьи, но сейчас я вообще не шарю, что там под капотом бурлит.
Flan называют одной из важнейших работ по инструктивному обучению, где показали генерализацию и перенос знаний на diverse instructions tuning. Что это все значит? Сложна? Сложна?
Сегодня в 20 по мск, в 6PM по Лондону будет стрим на канале @lovedeathtransformers, где я буду задавать тупые вопросы в попытках хоть что-то понять. Присоединяйтесь 👩🏫
Новый робот от китайцев из unitree теперь и с колесами!!
Читать полностью…
🚀 Если Вам интересно машинное обучение и/или математика - приглашаем Вас принять участие в проекте по применению методов МЛ/RL к теории групп/графов Кэли - напишите @alexander_v_c - если хотите принять участие, а также заходите на вводный вебинар (знаний теории групп не требуется):
👨🔬 Александр Червов (к.ф.-м.н) "Методы МЛ в теории групп - введение и обзор достигнутого"
⌚️ Понедельник 22 июля, 18.00 (по Москве)
Методы машинного обучения могут быть применены к ряду классических задач теории групп - разложение элемента по образующим, оценки диаметра. Мы приглашаем принять всех участие в данном проекте. Предварительное требование - знание Питона и наличие нескольких свободных часов в неделю. Если вы хотите улучшить свои знания по МЛ/RL и внести вклад в развитие науки - это отличный шанс .
В данном докладе мы простым языком объясним формулировки основных задач, и как задачи теории групп переводятся на язык машинного обучения. Предварительных знаний не требуется. Также, мы дадим обзор уже достигнутых результатов - в частности для группы порядка 4*10^19 (Rubik cube) нам уже удается находить решение задачи за минуты , а не 40 часов ГПУ как было в предыдущей работе "DeepCube".
План доклада:
1 Переформулировка основной задачи на простом языке матриц
2 Матрицы перестановок и группы типа кубика Рубика (см. ноутбук "Visualize allowed moves": https://www.kaggle.com/code/marksix/visualize-allowed-moves )
3 Графы Кэли и переформулировка основной задачи как поиск пути на графе
4 Случайные блуждания по графам - создание трейн сета для МЛ-модели
5 Подход к решению задач теории групп через машинное обучение. Оценка дистанции до цели через МЛ-модель и проблема наличия множественных локальных минимумов у этой оценки
6 Beam search. (Один из вариантов борьбы с застреваниями в локальных минимумах)
7 Бейзлайн реализация: МЛ+ Beam search - ноутбук: https://www.kaggle.com/code/alexandervc/baseline-1-for-permutations - решение кубика Рубика за пару минут
8 Cледующие шаги: RL-часть, улучшение нейросеток, улучшение трейн сета, улучшение beam search
Добавляйтесь в группу проекта: /channel/sberlogasci/10989 и пишите @alexander_v_c - если Вам интересно !
PS
См. также предыдущий вводный доклад:
/channel/sberlogasci/10989/15283 "Введение в методы поиска короткого пути на больших графах" (Кирилл Хоружий )
Zoom link will be in @sberlogabig just before start. Video records: https://www.youtube.com/c/SciBerloga - subscribe !
Неизданное (а хотелось бы, чтоб изданное) от Валентина Стрыкало
«Внутри меня»
«Осень»
«Без Меня»
«Гори»
«Ты не такая» (акустика)
«По трубам»
«Если будет снег»
Спасибо ребятам из тинька за использование и cite нашего бенчмарка.
прессрелиз
После ухода Ильи суцкевера в опен АИ разучились рисовать график роста параматров и вышла gpt4o-mini.
Дешевле всего что есть на рынке(15c,60с) на вход и выход за 1м токенов, подозреваю что сопоставима со страшим опенсурсом по качеству.
Blog
Слава опенсурсу!
Увидел в твиттере реп + видос с демкой multi device инференса и это выглядит вау как круто!
github
twi
ColorfulXL v7 is out!
https://huggingface.co/recoilme/colorfulxl
https://civitai.com/models/185258/colorfulxl
Ничего необычного, просто файнтюн обычного SDXL
Новый Вихрь 5.4
Базовый Вихрь 5той версии (мистраль) обученный на переведенных инструкциях и ответах GPT-4 и улучшенный с помощью ORPO на нашем внутреннем датасете.
Модель имеет довольно высокое разннобразие ответов, поэтому рекомендуется использовать temperature в рендже [0.1, 0.4].
Если бы не ML-модели стоимостью в миллионы долларов, мы никогда бы не узнали как хотдог ест еду в китайском ресторане
Ave AI 🇻🇦
Кхм
КОД КРАСНЫЙ, КОД КРАСНЫЙ, AGI ACHIEVED EXTERNALY
Cо стороны подвала раздался крик postdoc_a - А как же, Ai safety for foundation multi-agent multiscale multimodal multitask language models !!!
Читать полностью…
Пост для вопросов
Ссылка на поддержку алкоголизма адмена, все деньги мы поделим поровну и пропьем.
господин @danokhlopkov будет ведущим, и как не DSный человек будет задовать вопросы
Читать полностью…
Эта пятница. 20 по москве. Стрим про флан.
Читать полностью…