6541
— Машинное обучение, NLP/CV — HFday.ru — lingtra.in
Сходил сдал HSK3 (экзамен на знание китайского). Вот это уже интересно, даже письменная часть добавилась, а несколько вопросов я вообще не понял :) Аудитория тоже подросла, вместо школьников уже по большей части студенты.
Читать полностью…
Немного полезного контента.
// Заметили как рука Шмидхубера тянется за медалью в конце?
// Upd. Генерить тут.
Экспериментально добавил на HFday.ru (обзоры статей с HF Daily Papers) фильтр по темам — nlp, cv, reasonong и т.д., так как статей иногда бывает довольно много, до 40 штук за день.
Классификация идет тоже через Claude (он генерит до 5 тем на статью), показываются все доступные темы.
Страничка синхронизируется с HF все каждые два часа, для новых статей генерируется обзор и он добавляется к остальным. Добавил также сколько прошло времени с прошлого обновления.
Еще добавил сортировку по добавлению на HF, по ней все добавленные в течение дня статьи будут показываться наверху.
Все настройки странички сохраняются в local storage браузера. UI постарался сделать красивым, довольно муторное дело, особенно для мобильного (фронтендеры, как вы это терпите?).
Кому интересно, как работает — код тут, там же проект и развернут. Пользуемся, пишем как вам такая читалка.
🔺 HFday.ru
Сделал для сообщества сайтик с обзорами статей с HF Daily Papers на русском.
Синхронизируется каждые 2 часа, можно отсортировать по рейтингу или вывести вверх недавно добавленные статьи, чего, кстати, на оригинальной страничке не сделать.
Обзор, теги и прочие данные генерируются через Claude на основе спаршенных с сайта абстрактов.
Развернуто все полностью на GitHub — через Workflow джобы и Pages, что само по себе очень прикольно. Скрипты обновляют файлы с данными, пишут логи и генерируют страничку, которая коммитится обратно в репозиторий. Такую автоматизацию удобно использовать для своих проектов, чуть позже опишу, как это настраивать.
Предыдущие выпуски откладываются в папку prev_papers. Кушает это где-то по 20-30 рублей в день (claude 3.5 sonnet). Код открыт.
В общем, добавляйте в закладки и шарьте с коллегами. Идеи приветствуются.
—
Upd. Всем привет, кто пользуется и заходит на канал. Пишите как вам, что добавить. Уже добавил сортировки, дату публикации, пофиксил баги.
👉 Сайт | Код
Чуть почистил скрипт по генерации обзоров статей. Сделал обзоры в стиле разных персонажей, можете поугадывать, хотя это не так сложно.
Перевел парсинг на фид NLP Newsletter со статьями за неделю. Модель — GPT-4o с json_mode, чтобы надежно возвращать все за один запрос.
P.S. Ах да, обещал выложить — скрипт.
P.P.S. Можете поменять API на бесплатный Мистраль и поиграться с ним, если нет токена от openai.
Upd. Поменял на обычный стиль, так тексты по приятней выглядят.
👉 https://averkij.github.io/top_papers/
Тут коллеги из CV команды совместно с Центром исследования жестового языка запустили крутую вещь — словарь РЖЯ (русского жестового языка).
Сейчас записали и выложили несколько сотен видео с разных ракурсов для различных понятий. Планируют добавить еще несколько тысяч.
По-моему, очень круто. Я бы добавил еще какой-то грамматический комментарий о том, как составлять из жестов предложения с видео-примерами или даже мини-курс по РЖЯ.
Проект будет активно развиваться, так что идеи приветствуются. Какие бы слова туда еще добавить?
👉 Сайт | Хабр
🔺 Mistral и бесплатный API
🔸 По-моему, очень приятная новость, для тех, кто встраивает LLM в свои пет-проекты или просто интересуется темой и не хочет на это тратиться. У Мистраля появился Free план (его надо выбрать в разделе Billing), по которому можно бесплатно вызывать модели по API.
🔸 Работает без VPN, карту привязывать не надо.
🔸 В списке моделей часть называется Free, в том числе мультимодальный Pixtral, но по факту вызываются все.
🔸 Имейте в виду, что ваши запросы на этом плане будут доступны разработчикам и могут быть использованы ими в дальнейшем.
P.S. Программист — это береза, чьи ветви цифрового кода шелестят на ветру инноваций. Mistral Large
Ух, выровнял «Маленького принца» на удмуртском и добавил в нашу параллельную книгу-трансформер.
🔸 Добавил в Lingtrain Aligner функционал по разбиению строк (пост) после загрузки текстов, поэтому получилось более точно, плюс начал заменять отсутствующие предложения прочерком, чтобы впоследствии можно было и их добавить в готовую книгу. С остальными версиями постепенно буду делать аналогично.
🔸 Таким образом, уже есть параллельная версия книги на 18 языках — алтайском, балкарском, башкирском, дигорском, коми, кубачинском, марийском и горномарийском, мокшанском и эрзянском, орокском, татарском, удмуртским, хакасском, чувашском, якутском, русском и французском.
🔸 Делаю бурятский. Если у вас есть ещё редакции, то смело присылайте. Желательно с указанием переводчика.
👉 Книжка | GitHub
🔺 Pixtral
Mistral выложила веса мультимодальной модели на 12B параметров.
Сначала показалось, что она сделана на основе NeMo, но токенизаторы у них сильно отличаются.
Веса только выложили и официальных деталей/замеров я пока не видел. Через vllm нормально запускается и работает в отличии от Reflection.
Скорее всего русский язык был в обучении, так как надписи на картинках в принципе распознает, хотя иногда и ошибается. Пойдем тестить.
P.S. Коммит в mistral-common.
👉 HF
Почитал недавно пару книг писателя Дмитрия Данилова, в т.ч. «Описание города». В текстах не происходит ничего существенного, развитие медленное, но, если втянуться, то можно получить так называемое удовольствие от чтения.
А вы что читаете/прочитали недавно — художку, нонфишен? Поделитесь и порекомендуйте.
P.S. Из того, что в прошлый раз рекомендовали, кое-что прочитал. Больше всего понравился «Диктатор» и вообще Снегов, ГПиМРМ и «Час Быка».
📚 Что советуют подписчики
• «Ночной поезд на Лиссабон» Паскаль Мерсье
• «Significant Digits», «Orders of Magnitude» фанфики по Гарри Поттеру
• «Древний человек в городе» Пятигорского
• «Одноэтажная Америка» Ильфа и Петрова
• «Пандем» Марины и Сергея Дяченко
• «The Wings Upon Her Back» Саманты Миллс
• «Сумма технологии» Лема
• «Основание» Азимова
• «Рассуждения о первой декаде Тита Ливия» Макиавелли
• «Спин» Роберта Уилсона
• «Анафем» Стивенсона
• «Гедель, Эшер, Бах» Хофштадтера. Ну это мы все начинали читать.
• «Опыты» Монтеня
🔺 MYTE. Сжимаем UTF при помощи морфем.
Любопытный инженерный подход для того, чтобы нивелировать разницу между кодированием символов латинского и других алфавитов («hello» → 5 байт, «привет» → 12); а также добавить свой байтовый маппинг (несущий какую-то доп. информацию), чтобы сжать им наиболее частые последовательности кодов.
🔸 Собрали набор морфем (типа), обучив Morfessor на 99 википедиях в unsupervised режиме.
🔸 Сгруппировали их по 4096 штук в зависимости от типа алфавита (латинский, нелатинские, абджады, абгуиды и т.д.). Всего 8 групп.
🔸 Составили из них маппинг в пространство, начинающееся на байты 42-49 (8 групп алфавитов) + набор байт 80-BF (64 штуки) от 1 до 3 (так можно запихать до 64^3 последовательностей в каждую группу).
'дом' (utf-8) => ['d0', 'b4', 'd0', 'be', 'd0', 'bc']
'дом' (myte) => ['4c', 'a7', '83']
Сходил на ML тренировку в Питере, пообщались с кучей классных людей. Кто тоже в Питере, пишите.
Читать полностью…
Выдали ранний доступ для тестирования Imagen 3. Если кому-то интересно, то до Flux и Mj пока не дотягивает...
Читать полностью…
У Лекса Фридмана вышло интервью с командой Neuralink и Илоном Максом на 8.5 часов. Блин, восемь с половиной часов Фридмана, как это выдержать?
https://youtu.be/Kbk9BiPhm7o?si=GWKKRF-T9reRV-DL
🔺 Новый лидер
Модель от Google Gemini 1.5 Pro Experimental 0801 вышла на первое место на лидерборде lmsys, где люди голосуют за подходящие им генерации.
Первое место в том числе и на русском.
P.S. Штуки с прошедшим временем на ней тоже работают.
Ждём Claude-4 и GPT-5.
👉 API | Чат с моделью (вкладка Direct Chat)
Такой промпт написал для классификации статей по темам. Каких тем не хватает?
...
DATASET: Papers that introduce new datasets or make significant modifications to existing ones
DATA: Papers focusing on data processing, cleaning, collection, or curation methodologies
BENCHMARK: Papers proposing or analyzing model evaluation frameworks and benchmarks
AGENTS: Papers exploring autonomous agents, web agents, or agent-based architectures
NLP: Papers advancing natural language processing techniques or applications
CV: Papers developing computer vision methods or visual processing systems
RL: Papers investigating reinforcement learning theory or applications
RLHF: Papers specifically about human feedback in RL (PPO, DPO, etc.)
RAG: Papers advancing retrieval-augmented generation techniques
CODE: Papers about code-related models or programming benchmarks
INFERENCE: Papers optimizing model deployment (quantization, pruning, etc.)
3D: Papers on 3D content generation, processing, or understanding
AUDIO: Papers advancing speech/audio processing or generation
...
🔺 Bukva
Ребята из CV-команды снова вносят вклад в развитие русского жестового языка. На этот раз подготовили и выложили датасет для дактиля — жестовой азбуки.
🔸 В датасете 33 класса, на каждый класс есть минимум по 100 видео (всего 3757). Размечало датасет больше сотни человек (!), владеющих РЖЯ. Можно почитать про то как его собирали и зачем он нужен.
👉 Хабр | Датасет | Paper
🔥 А вот и Нобелевка за машинку
Джон Хопфилд и Джеффри Хинтон, 2024.
за фундаментальные открытия и изобретения, обеспечивающие возможность машинного обучения с использованием искусственных нейронных сетей
🔺 EuroLLM 1.7B Instruct
Неплохая маленькая модель от альянса UTTER, включающего в себя несколько Европейских университетов.
🔸 Обучили на 4T токенов на языках Евросоюза, причем целенаправленно добавили к ним несколько дополнительных, таких как русский, китайский, турецкий и украинский.
🔸 Токенизатор на 128k токенов с улучшенной относительно Llama 3 фертильностью для всех языков кроме английского.
🔸 В данные добавили по 20% параллельных данных en-xx, xx-en. Добавили код и математику. Обучали в два этапа, заканчивая чистыми данными.
🔸 В итоге моделька качественно генерирует на русском, в отличие от Llama, которая периодически вставляет иностранные слова или токены в текст, причем выглядит это порой очень забавно.
🔸 Зато с фантазией как раз лучше у Ламы 3.2 3B (например, она придумала слоганы для книжного магазина "Книжный ад" — "Ад в каждом томе" и "Стоимость книги: бесконечность").
Обещают обучить модели покрупнее, ждём.
👉 Статья | HF
Пока шел дождик, накидал скрипт, который парсит страничку с лучшими статьями по ML за неделю, выкачивает abstract'ы и лезет в Claude за объяснениями в разных стилях и генерацией дополнительной информации типа заголовков, эмодзи и тегов.
Красивый UI не смог нагенерить ни чем, так что большинство времени ушло на верстку. Стоит один такой "выпуск" где-то 0.15 долларов.
P.S. Скрипт причешу и выложу, сможете поиграться.
https://averkij.github.io/top_papers/
Это я выбираю, за какую задачу взяться первой.
Читать полностью…
Так, кажется, подвезли работающий Reflection.
We trained these models to spend more time thinking through problems before they respond, much like a person would. Through training, they learn to refine their thinking process, try different strategies, and recognize their mistakes.
🔺 Transformer Explainer
Классная интерактивная визуализация про то, как работает трансформер.
Можно покрутить температуру и посмотреть как меняются вероятности распределения следующего токена. Можно вбить свой текст. Можно просто почитать статью под диаграммой.
Напомню также про классическую статью Illustrated Transformer
👉 Визуализация | GitHub | Видео
LLM Arena для русскоязычных моделей
Мои знакомые из Vikhrmodels, которые занимаются русскоязычным open-source проектом, создают свои модели и проводят дообучение на основе мультиязычных моделей, недавно выпустили свой набор бенчмарков!
C рускоязычными открытыми LLM очень все сложно - их очень мало. В лучшем случае это дообученные LLam_ы. Но в целом топ LLM с поддержкой русского языка выглядит так:
- Gpt4o
- Gpt4o mini
- LLaMa 3.1 405b
- LLaMa 3.1 70b
- Gemma 27b
- LLaMa 3 70b
RuArenaGeneral — бенчмарк на основе lmsys arenahard . Это единственный полностью открытый современный бенчмарк на русском языке.
В отличие от классической арены, здесь в качестве судьи выступает GPT-4o, благодаря чему арена оценивается очень быстро (новые модели добавляются всего за час), и её можно воспроизводить локально! Кроме того, благодаря использованию LLM в качестве судьи и известности запросов заранее, арена хорошо коррелирует с оригинальной ареной lmsys.org.
На арене каждую неделю появляются новые модели с поддержкой русского языка или русифицированные.
Шлёпа lb — это маленький бенчмарк с множественным выбором (как в ЕГЭ, где выбираются варианты ответа), включающий задачи на знание мира, а также перевод mmlupro. В отличие от Mera, сабмиты полностью оцениваются локально, и можно сразу получить результат на локальной машине, например, во время обучения!
Phi-3.5
В этот раз три модели:
- Phi-3.5-mini-3.8B
на бенчмарках бьет llama-3.1-8B. Была натренирована на 3.5Т токенов за 10 дней на 80хН100, контекстное окно 128к токенов.
- Phi-3.5-16x3.8B
MoE с активными 6.6B параметрами с двух экспертов. Бьет Gemini Flash. 4.9Т токенов, 23 дня обучения на 512хН100.
- Phi-3.5-V-4.2B
vision модель, которая бьет gpt-4o (?). 500В vision/text токенов, 6 дней на 256хН100.
Я буквально на прошлой неделе пользовался phi-3 и она была очень в порядке. Задача, в целом, была несложная: тегать небольшие тексты. И такая малая LLM мне очень подошла, потому что текстов десятки миллионов и протегать надо быстро. В сочетании с batched inference на vLLM всё просто летало даже на моей 4090. Хочу теперь попробовать новую версию модели. Ну и ждем Gemma-3, как симметричный ответ от Google.
Модели с описаниями на HF - тык
🔺 Flux
🔸 Команда Black Forest Labs зарелизила несколько моделей для генерации картинок по тексту. Команда новая, но причастная к самым современным исследованиям в этой области.
🔸 Модели три — Pro, Dev и Schnell, причем последние две выложили в открытый доступ (Apache 2.0 у Schnell, non-commercial у Dev).
Прилагают картинку с SBS, на которой Pro версия выигрывает у всего, что есть, включая Ideogram, SD3, Dall-E 3 и Midjourney v6.
Открытая Dev — тоже.
👉 Убедиться в этом можно тут и тут (Pro версия, бесплатно). Можно дергать по API.
🔸 Сделал несколько описаний различных исторических сцен типа Ньютона с яблоком или Клеопатры и погенерировал их в Flux Pro. По-моему, очень круто. Видимо, ребята действительно сделали SOTA модельки.
👉 HF | GitHub | Пост