4253
❤️☠️🤗 идейная миграция небытия
https://huggingface.co/AnatoliiPotapov/T-lite-0.1
https://huggingface.co/AnatoliiPotapov/T-lite-instruct-0.1
https://t.ly/T-lite
GrandMaster-PRO-MAX - Первый крупный высококачественный русскоязычный SFT датасет
Совместно с Vikhrmodels, представляю вам датасет для инструктивного обучения LLM полученный не с помощью переводов ответов моделей с английского языка. Он диверсифицирован по темам и позволяет моделям следовать самым разным инструкциям на разных языках (в основном на русском) и отвечать, так же, в основном на русском языке.
Ответы за ассистента в этом датасете полностью сгенерированы GPT-4-Turbo-1106 с нуля по исходным инструкциям от пользователя. Это позволило получить очень качественный русский язык в ответах без артефактов перевода. Исходные инструкции были взяты из различных источников, в том числе синтетических для подкрепления отдельных способностей вроде математики, программирования, следования формату и тд.
Кроме того, характерной особенностью является то, что модели обученные на этом датасете будут иметь уже "вшитую" способность к Chaint-Of-Thought (CoT), за счет использования более сложного промпта для генерации большинства ответов (подробнее в карточке датасета).
Содержит примерно 142 тысячи уникальных пар инструкция - ответ. Денежный эквивалент генерации такого датасета с нуля - около 4к долларов.
https://mccme.ru/dubna/2024/
приближается ЛШСМ-2024 (доступно расписание, анонсы курсов; планируются прямые трансляции большинства пленарных лекций)
утром в субботу всё начнется с лекции А.А.Разборова про арифметическую комбинаторику и лекции С.К.Смирнова про замощения
Соре, мы не сможем больше общатся, ваше увлечение RL оказалось не пост иронией
Читать полностью…
Что-то все модели выпускают, а от Mistral🇫🇷давно новостей не было. Сегодня они выпустили две модели, одна заточена на математику, другая — на написание кода.
MathΣtral — компактная модель размера 7B, по архитектуре эквивалентная ранним релизам компании. Её доучили на решение сложных математических задач, требующих комплексных, многосутпенчатых логических рассуждений.
На MMLU модель показывает прирост более чем в 10% в отдельных под-категориях, и целых 15% в элементарной математике, физических задачах старшей школы/колледжей и, внезапно, машинном обучении.
Модель справилась с 2мя задачами из 30 на American Invitational Mathematics Examination (AIME). Это второй из трёх этапов отбора команды на международную олимпиаду по математике в США — тут задачки уже поинтереснее, но всё ещё не как на финалах. Кажется, что 2 задачи это мало, но из моделей сопоставимого размера лишь китайский Qwen 2 7B тоже решает 2; большинство остальных — нуль.
Проценты решений задач других олимпиад можете увидеть на картинке
Модель уже доступна на HF (не торрент!). Её, кстати, делали совместно с Project Numina — это проект, члены которого также недавно выиграли соревнование AIMO по решению олимпиадных задач LLMками (писал тут). Там победное решение использовало DeepSeek Math 7B (вторая строчка в таблице). Так что при следующем запуске соревнования можно ожидать, что результат первого места ещё подскочит вверх — просто за счёт смены одной модели на другую, чуть более мощную.
Для справки: maj@16 означает, что модель независимо генерирует 16 решений на задачу, после чего проводится голосование большинством, и выбирается тот ответ, который чаще попадался. Важно понимать, что это не означает, что система даёт 16 ответов с 16 попыток — попытка одна, а maj позволяет выбрать один ответ, который модели кажется наиболее правильным.
Привет!
Немного цифр:
- 230 кандидаток и кандидатов
- 17 человек отобрали по итогу
Мы закончили летний набор стажеров, если вам написали - поздравляю!
К сожалению у нас нет физической возможности написать всем кого не выбрали, пока что это нулевой батч стажеров-контрибьюторов, но когда нибудь будет и второй.
honey, new mteb sota just dropped
MTEBen разнесли китайцы со своей stella на 1.5b параметров(чо там, декодер лучший энкодер нуну)
Учили с матрешкой(можно обрезать эмбеды) и с инструкциями.
папиры и данных нет, но есть модель и гитхаб с обещаниями
И на последок минутка world modelling_а
Читать полностью…
Симпатичная open source книжка DevOps for Data Science полезная для всех кто сисадминит и хочет развиваться в сторону дата инфраструктуры. Не охватывает платформы, охватывает большую часть фундаментальных вопросов. Полезное и для дата инженеров тоже.
Читать полностью…
Сидят научник и аспирант, название для статьи придумывают. Научник записывает:
Foundation multi-agent multiscale multimodal multitask language model
Аспирант: У нас в название статьи место есть, может чет про ai safety добавим?
Научник, прикидывая:
— Да не, хуйня какая-то получится
⚡️⚡️ Arxiv заблокируют в сентябре — об этом сообщает «Вестник науки.ру», ссылаясь на источник, близкий к администрации президента, который ссылается на тред на дваче⚡️⚡️
📍По информации источника, доступ к Arxiv получат только блогеры с аудиторией более 1000 человек и зарегистрированные в базе РКН, РПЦ, сдавшие ПЦР, у них будет возможность пересказывать содержание видеороликов статей после предваривательного согласования с АП
🤔 «Сейчас для нас главная задача — взять под контроль админов нишевых каналов с мемами про говно. А Arxiv мы прикроем тупо потому что папиры про llm заебали в рекомендациях"
По мотивам
Вот я юзаю LLMки и радуюсь. А ведь когда-то я сам обучал разные жосткие мл модели, читал научные статьи, но сейчас я вообще не шарю, что там под капотом бурлит.
Flan называют одной из важнейших работ по инструктивному обучению, где показали генерализацию и перенос знаний на diverse instructions tuning. Что это все значит? Сложна? Сложна?
Сегодня в 20 по мск, в 6PM по Лондону будет стрим на канале @lovedeathtransformers, где я буду задавать тупые вопросы в попытках хоть что-то понять. Присоединяйтесь 👩🏫
AI’s $600B Question
Если вы знакомы со мной достаточно давно - вы знаете мою позицию про GENAI и пузырь который раздувается.
Собственно ребята из sequoia capital тоже имеют глаза и калькулятор. И прямо сейчас есть проблема - в сумме должны зарабатывать 600B usd, а заработок сейчас 100 + нет четкого понимания а как вообще заработать сильно больше, точек где текущее поколение genai полезно не очень много по прежнему, но количество уволенных будет увеличиваться - переводчки duolingo и cheap assets makers - первые в этом ряду
Кину кости и скажу следующее: за этот год вы увидим лажовый релиз одного из крупных игроков(модели будут значительно хуже прошлой версии) и схлопнется средне крупная AI контора(leonardo, runway, pika ) на ваш вкус
Нашел свой старый пост /channel/lovedeathtransformers/4865 wiki
article
опубликовали топ-1 решение AIMO
https://www.kaggle.com/competitions/ai-mathematical-olympiad-prize/discussion/519303
Aesty: Pocket AI Stylist теперь в AppStore! 🎉😎
Релизнули аппку Aesty, которая поможет собрать образ с нуля или оценить уже готовый. Никаких абстрактных советов, только конкретные и прозрачные рекомендации 🫡
С чем поможем?
1️⃣ Как стилизовать: Оценим ваш лук и дадим советы, как его улучшить, основываясь на ваших предпочтениях.
2️⃣ Персональные рекомендации: Покажем, какие цвета, бренды и вещи из вашего гардероба лучше всего соответствуют вашим запросам.
3️⃣Цифровой гардероб: Оцифруем вещи по любым фоткам, в том числе на человеке. Определим их стили и сезон.
Го тестить и скорить аутфиты! 🏄
Промик EARLYBIRD на первые 2 недели с премиумом!
Спасибо ребятам из тинька за использование и cite нашего бенчмарка.
прессрелиз
После ухода Ильи суцкевера в опен АИ разучились рисовать график роста параматров и вышла gpt4o-mini.
Дешевле всего что есть на рынке(15c,60с) на вход и выход за 1м токенов, подозреваю что сопоставима со страшим опенсурсом по качеству.
Blog
Слава опенсурсу!
Увидел в твиттере реп + видос с демкой multi device инференса и это выглядит вау как круто!
github
twi
ColorfulXL v7 is out!
https://huggingface.co/recoilme/colorfulxl
https://civitai.com/models/185258/colorfulxl
Ничего необычного, просто файнтюн обычного SDXL
Новый Вихрь 5.4
Базовый Вихрь 5той версии (мистраль) обученный на переведенных инструкциях и ответах GPT-4 и улучшенный с помощью ORPO на нашем внутреннем датасете.
Модель имеет довольно высокое разннобразие ответов, поэтому рекомендуется использовать temperature в рендже [0.1, 0.4].
Если бы не ML-модели стоимостью в миллионы долларов, мы никогда бы не узнали как хотдог ест еду в китайском ресторане
Ave AI 🇻🇦
Кхм
КОД КРАСНЫЙ, КОД КРАСНЫЙ, AGI ACHIEVED EXTERNALY
Cо стороны подвала раздался крик postdoc_a - А как же, Ai safety for foundation multi-agent multiscale multimodal multitask language models !!!
Читать полностью…
Пост для вопросов
Ссылка на поддержку алкоголизма адмена, все деньги мы поделим поровну и пропьем.
господин @danokhlopkov будет ведущим, и как не DSный человек будет задовать вопросы
Читать полностью…
Эта пятница. 20 по москве. Стрим про флан.
Читать полностью…
Я к слову спиздел слегка, авторы используют majority voting для выбора лучшего.
Хочу новые форматы и хочу спать нормально.
А step DPO это личная хотела админа не у кого в реальности оно не работает офк, просто красивая идея.
А ну и sft ебет
Задача protein folding примерно такая - у нас есть аминокислоты, сами по себе мы умеем их определять и знаем, мы знаем их последовательность. Мы хотим предсказать как именно белок свернется, что позволит предсказать его свойства.
Тема далекая от меня, читайте материал про alphafold в частности тут
сидим болтаем в кофейне с челом из heidelberg university про protein folding.
вечер среды набирал обороты, а лед в матча бамбле таял на июльской жаре
Заходите к друзьям из rocket coffe они классные.
ЭЙ ПАРЕНЬ? ЧТО СИДИШЬ СЛОЖА РУКИ??? БЕРИ СВОЮ 3060 И БЕГИ ОБУЧАТЬ LLAMA MERGE ASUKA AYANMI RAY HORNY EDITION!!!!
а выяснить можно ли обучить такую модель достаточно воспользоваться
huggingface.co/spaces/Vokturz/can-it-run-llm
пост писался ради картинки