1689
AI, NLP, мемы и многое другое Авторский канал Дани Эль-Айясса @dayyass
Приглашаем экспертов в data science на закрытую встречу сообщества
Когда: 29 августа, онлайн, в 18:00 по Мск.
Будем обсуждать горизонты профессионального развития в DS и машинном обучении. Темы встречи:
⚡️Как развиваться внутри data science?
⚡️Какие интересные прикладные задачи стоят перед лидерами индустрии?
⚡️Перспективы для сеньора: расти вверх по карьерной лестнице или углубляться внутри своей специализации? Поговорим про вертикальное и горизонтальное развитие
⚡️Где получать практические навыки и обмениваться опытом и связями?
Участники встречи:
- Андрей Кузнецов (AIRI)
- Евгений Смирнов (АЛЬФА-БАНК)
- Роман Поборчий (self-employed)
- Дани Эль-Айясс (Social Discovery Group)
- Владимир Ершов (Яндекс)
- Никита Зелинский (МТС)
- Александр Самойлов (Wildberries)
- Иван Бондаренко (Новосибирский государственный университет)
Встреча пройдет в формате открытой дискуссии, где каждый желающий сможет задать интересующие его вопросы. Участие бесплатное.
✅ Регистрируйтесь на встречу и зовите коллег!
🚀 Уважаемые коллеги, тех, кому интересна математика и машинное обучение, приглашаем Вас принять в неформальном проекте.
Минимальное требование - Вы знакомы с Питоном, и у Вас есть несколько часов свободного времени в неделю. (Альтернативно - можно не знать Питон, но хорошо знать теорию групп (в идеале GAP,SAGE).) Задача проекта - применить машинное обучение к теории групп. Целью проекта является написание статьи в хорошем журнале, участники - соавторы. Другим бонусом будет являться - приобретение навыков по современным методам нейронных сетей, Reinforcement Learning и т.д.
Если Вам интересно участие - напишите @alexander_v_c (Александр Червов, к.ф.-м.н. мехмат МГУ, 25 лет math&DS, Kaggle, Scholar, Linkedin).
Чат для обсуждений: тут .
Вводный доклад тут.
Пояснения по RL части тут.
Краткая суть задачи может быть описана несколькими способами - нахождение пути на графе от вершины А до вершины Б, но размер графа 10^20-10^50 - обычные методы не применимы. Решение пазла типа Кубика Рубика. Задача близка к прошедшему конкурсу Каггл Санта 2023. Математически - разложение элемента группы по образующим. Математические пакеты, которые частично могут решать эту задачу - GAP,SAGE.
Достигнутые результаты - уже сейчас мы можем за минуты делать то, что авторы работы DeepCube делали за 40 часов на многих GPU.
Набросал книжки/курсы, которые помогут стать хорошим DS
База
1. Классическое машинное обучение (табличные данные)
• Изучить можно по книге "Python Machine Learning by Sebastian Raschka". Читать можно все, кроме 13-й главы, которая устарела
• Специализация "Машинное обучение и анализ данных" от МФТИ и Яндекса
• Внутри 6 курсов (база по ml первые три курса, очень хороший курс по статистике 4й, 5-6 практика можно пропускать)
• Открытые решения / соревнования на Kaggle. Учат метрикам и валидации, и конечно строить звездолеты
• Лекции с датафеста https://www.youtube.com/channel/UCeq6ZIlvC9SVsfhfKnSvM9w и особенно ml training https://www.youtube.com/playlist?list=PLTlO6nV_TaGD21r6xPHhV1k7QfVuug3BB (тк это база старые доклады могут быть даже полезнее)
Практика/документация
• Углубиться в бустинги (надо хорошо понимать как и когда их применять, тк это основа в табличных задачах)
• Документация: https://catboost.ai/ https://xgboost.readthedocs.io/en https://lightgbm.readthedocs.io/en
2. Introducing MLOps (издательство O'Reilly)
• 200 страниц о том, как управлять моделями машинного обучения, чтобы они хорошо работали ("DevOps" для моделей).
3. Хайповый system design книжка Designing Machine Learning Systems (O'Reilly)
• О правильном построении моделей с точки зрения выбора метрик, поддерживаемости и масштабируемости
4. Развитие аналитических навыков – последнее в базе, но первое по важности
• Книга «Девенпорт, аналитика как конкурентное преимущество»
• Книга Data science for business
• Разобраться с SQL и Pandas – для работы с данными
5. Курс по рекомендательным системам Recsys: https://m.youtube.com/watch?v=igwNb7dBlms (основное - 5 лекций, остальное - прикладные кейсы)
6. АБ-тестирование:
• https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f (гайд от VK)
• https://practicum.yandex.ru/statistics-basic/ (бесплатный курс от Яндекса)
• Книга Trustworthy Online Controlled Experiments
7. NLP – путь тут длинный. Нужно разобраться в tf-idf -> Word2vec и fasttext -> lstm -> трансформеры -> berts -> gpt -> LLM (+lora). Помогут один из следующих курсов
• Курс от ШАДа по NLP https://github.com/yandexdataschool/nlp_course
• Хорошо зарекомендовавший https://lena-voita.github.io/nlp_course.html
• База до трансформеров включительно от Abby, хоть и немного устаревший https://github.com/DanAnastasyev/DeepNLP-Course
• Здесь и далее очень круто погружают различные публикации с обзорными статьями. Наприме A Comprehensive Overview of Large Language Models https://arxiv.org/pdf/2307.06435
8. CV. Deep Learning with PyTorch база по DL. Практическая книга по компьютерному зрению (как построить первые модели для классификации, сегментации). А дальше уже самостоятельно изучать темы. Важные блоки:
• image classification
• segmentation
• GAN
• object detection
• instant segmentation
• pose estimation
• diffusion models
• multimodal models
• Vision Transformer
• +обзорные статьи
PS Если есть что добавить пишите в комментарии)
Мы строили, строили и наконец-то построили :) Книга «Охота на электроовец: большая книга искусственного интеллекта» вышла из печати и доступна к заказу. Полные электронные версии книги (epub, docx, pdf) можно скачать с сайта бесплатно: http://markoff.science#book
«Мифы и заблуждения об искусственном интеллекте, страхи, насущные проблемы, перспективные направления исследований — обо всём этом вы узнаете из «Большой книги искусственного интеллекта»
Ребята, мне интересно, у меня одного с момента выхода GPT-4o обычный ChatGPT-3.5 откатился до уровня RNN 2015 года? 🤔
Читать полностью…
Друзья, всем привет) 👋
Возможно некоторые из вас уже знают, что я покидаю SberDevices и в целом Сбер - завтра у меня последний рабочий день 😢
Знаю, что меня в том числе читают мои друзья и коллеги по цеху - хочу обратиться в первую очередь к ним ❤️
Для меня было большим счастьем работать вместе с вами все это время над GigaChat, я искренне считаю, что мы все сделали очень большое дело и сделали это на высшем уровне 🚀
Я много чему научился у вас, вы - топовые ребята в индустрии, уверен, что вы знаете об этом, но лишним никогда не будет об этом напомнить 🤗
Мы ни с кем не прощаемся и не теряемся, я всегда на связи 🙏
Завтра буду накрывать прощальную полянку в Сбере, поэтому всех, кто будет в офисе, буду рад видеть 👀
Друзья, всем привет! 👋
Давно мы с вами не слышались на этом канале, к сожалению, уж такие были обстоятельства...
Если коротко, то можно сказать, что наступила весна, уже и лето близится, и в эти периоды времени я нахожу силы для ведения канала.
Осенью и зимой с этим все сложно 😓
На самом деле мысль написать что-то в канале появилась у меня месяц-полтора назад, но мне не хотелось ограничиваться просто текстом, мол "я жив, всем привет" - мне хотелось обыграть это поинтереснее, сделать что-то интересное и полезное, чем-то поделиться с вами и коммьюнити 🤔
Поэтому я приготовил для вас классную, как мне кажется, вещь, о полезности которой уже судить вам 🤗
Подробнее об этом напишу в посте ниже, а этим сообщение хочется сказать о своем возвращении из спячки - друзья, рад снова быть с вами ❤️
#nlp #про_nlp #nlp_papers
🌸Зоопарк русскоязычных NLP-моделей🌸
Вышел препринт, объединяющий всю работу AI Forever над семейством языковых моделей для русского языка!
A Family of Pretrained Transformer Language Models for Russian
13 русскоязычных трансформеров описаны и провалидированы в одной статье:
— encoder (ruBERT, ruRoBERTa, ruELECTRA)
— decoder (ruGPT-3)
— encoder-decoder (ruT5, FRED-T5)
+ их версии разных размеров.
Результаты приводятся для всех моделей, а также в сравненнии с бейзлайнами, например, YaLM P-tune и RuLeanALBERT.
Бенчмарки и тесты: интеллектуальные навыки (RussianSuperGLUE), оценка способности к языку (RuCoLA), оценка токсичности, а также тесты суммаризации, симпликифации и детоксификации текста.
🟣Статья на Arxiv
🟣Хаб моделей на HuggingFace
🟣Все модели: ruBERT-base, ruBERT-large, ruRoBERTa-large, ruELECTRA-small, ruELECTRA-medium, ruELECTRA-large, ruGPT-3-small, ruGPT3-medium, ruGPT-3-large, ruT5-base, ruT5-large, FRED-T5-large, FRED-T5-XL
Друзья, всем привет!) 👋
Сегодня в 19:00 выступаю с докладом про ChatGPT-подобные модели, присоединяйтесь) 🔥
В четверг 7 сентября будет проходить Practical ML Conf от Яндекса, на котором я выступаю с докладом "GigaChat: наш опыт обучения LLM" 🚀
Поговорим про большие языковые модели, их обучение, оценивание, tips and practices и многое другое 🔬
После официальной части будет афтепати, можно будет пообщаться и классно провести время, поэтому приходите, буду рад со всеми встретиться) ❤️
#nlp
Друзья, всем привет!) 👋
GigaChat наконец-то доступен всем и каждому!) 🚀
Ссылка: тут
Пользовательское соглашение, ответы на вопросы и поддержка тут: @gigachat_helpbot
@cats_shredinger
🔺 ruGPT-3.5. Открытая русскоязычная LLM от Сбера
Друзья, мы выложили в open source нашу языковую модель (pretrain), на основе которой обучали GigaChat!
🔸 Претрейн довольно большой — 13B (13 миллиардов параметров). Модель видела много разнообразного текста (книги, статьи, чаты и т.д.), в основном на русском языке, а также на английском (около10%). Дополнительно дообучали на коде.
🔸 ruGPT-3.5 13B можно дообучать на инструктивных датасетах и получать свои версии ChatGPT, которые бы хорошо понимали русский язык.
🔸 Решили выложить с открытой лицензией (MIT), так что каких-либо ограничений в этом плане в отличии от LLaMA нет.
Написали небольшой пост про это, прошу поддержать, кому интересно.
👉 Хабр | Hugging Face
🔥Meta зарелизила набор моделей LLaMa-2-Chat разного размера!
Это огромное событие в мире опенсоурса и науки. Коллеги из LLM отдела GenAI выпустили бомбу! LLaMa-2 на 70B параметров сравнима по качетству с GPT-3.5 и даже лучше ее на некоторых бенчмарках.
Это кстати первая модель такого размера, затюненая c помощью RLHF, и которую выложили для коммерческого использования БЕСПЛАТНО. Запросить ссылку на скачивание можно тут.
Наконец-то, на базе LLaMa-2-Chat можно ствроить свои аналоги ChatGPT и не отсылать никаких данных в OpenAI.
Llama 2-Chat сравнима по качеству с ChatGPT-3.5 по метрикам human eval, а на математических задачах - даже лучше.
Больше подробностей в статье
@ai_newz
Stack More Layers Differently: High-Rank Training Through Low-Rank Updates
Статья: arxiv.org/abs/2307.05695
Код: GitHub
Мы задались вопросом: если LoRA настолько хороша для файнтюнинга, можем ли мы применить её для претренинга?
Мы представляем ReLoRA — первый метод PEFT, который может использоваться для обучения с нуля! 🔥
Почему мы не можем использовать LoRA для претренинга? Потому что он оптимизирует только в маленьком подпространстве низкого ранга параметров модели. Этого достаточно для файнтюнинга, но не для претренинга. Что мы можем сделать?
Применить LoRA несколько раз подряд. Это работает, потому что параметры LoRA могут быть интегрированы в основную сеть (W += W_A @ W_B) и потому что сумма матриц низкого ранга может иметь ранг больше, ранги слагаемых.
Но теперь у нас новая проблема: оптимизаторы сильно полагаются на momentum который и определяет большую часть направления апдейта по предыдущим градиентам (а не текущему градиенту). Это делает шаги оптимизации сильно скоррелированными
Представьте первый шаг оптимизации после ресета ReLoRA. Он сделает параметры ReLoRA похожими на параметры предыдущей итерации. Это потенциально может "заполнить ранг" параметров LoRA и минимально увеличить суммарный ранг. Поэтому при ресете ReLoRA мы частично ресетим стейт оптимизатора сохраняя только 0-10% весов. Далее, чтобы избежать нестабильностей мы прогреваем LR 10-50 шагов
LayerNorm и эмбеддинги тренируются как обычно, без репараметризации. Наконец, ранняя фаза обучения очень важна, и нам действительно нужно "подогреть" сеть с помощью обычного полноценного обучения. На практике достаточно 3-5 тысяч шагов
TL;DR
1. LoRA + ресеты
1. Частичный сброс стейта оптимизатора
1. "Зубчатый" LR scheduler
1. Прогрев через обычную тренировку
На совсем маленьких сетках всё грустно, но начиная с 250M метод начинает работать близко к обычной тренировке. На 1B видим уменьшение потребления RAM и ускорение на 50%. Сейчас ищем компьют на тренировку 1B-модели
Буду рад ретвиту вот этого треда — продвигать статьи это довольно сложно 😅
Друзья, всем привет! 👋
Выхожу из спячки сегодня вечером с небольшим выступлением - присоединяйтесь) 🤗
Друзья, всем привет!
Мои приятели запустили очень любопытный проект - может кому будет интересно присоединиться 🔥
Друзья, всем привет! 👋
Больше ТГ каналов Богу ТГ каналов 😅
Не могу не поделиться тем, что мой дорогой друг Инсаф завел канал - с его опытом ему точно есть, чем полезным поделиться с людьми) 💪
@ai_tablet
Друзья, посоветуйте хорошие курсы/книги по Data Engineering, но с уклоном в Data Architecture? 🙏
Читать полностью…
Немного GPT-4 intepretability от OpenAI:
https://openai.com/index/extracting-concepts-from-gpt-4/
Друзья, всем привет)
Осенью того года у меня началась череда интересных событий, которыми я не успел тогда поделиться с вами - первый семестр учебного года я читал курс по NLP во ВШЭ и в МФТИ 📖
Честно говоря, давно имел большое желание поделиться знаниями и опытом и наконец-то дошел до этого
По мере чтения лекций и подготовки к ним я сам повторял для себя какие-то моменты из NLP, поэтому в том числе и для меня это было полезно 🔥
Ну а о качестве и полезности курса, тут уж судить не мне, но кажется, что ребята остались довольны 🤗
В этом году планирую продолжить чтение курса
Также с некоторыми студентами мы продолжили взаимодействие уже в рамках написания магистерских диссертаций и вот на этой неделе у них будет защита
Хочу пожелать вам успешно все защитить, была проделена отличная работа - вы большие молодцы и у вас все получится ❤️
Когда дело касается векторизации текстов на русском языке, моим личным фаворитом является модель Multilingual Universal Sentence Encoder (mUSE) версии large, которая помимо русского и английского может работать с еще 14 языками и которая очень хорошо себя зарекомендовала на многих прикладных задачах.
За примером далеко идти не надо, Давид Дале в своей статье про сравнение рускоязычных энкодеров предложений сравнивает много моделей, где mUSE находится в лидерах 💪
Но есть некоторая "проблема", если так можно выразиться - модель доступна только в версии на TF / TF Hub, при этом я сам не раз ощущал потребность в том, чтобы дотюнить ее под свои задачи.
И вот уже на протяжении двух лет я вынашивал идею того, чтобы экспортировать ее на PyTorch. Более того, я даже два раза предпринимал попытки сделать это, упирался в какие-то трудности и ограничения, и бросал это дело 😭
И вот сейчас я наконец-то довел это дело до конца и экспортировал эту модель в PyTorch, чем хочу поделиться с вами! ❤️
Сама модель доступна в HF Models, напрямую через torch (пока без нативной поддержки transformers), код конвертации и сама проделанная работа доступны в GitHub 🔥
Честно говоря, работы была не самой простой, и по факту я полностью вручную переписывал граф вычислений TF/ONNX на PyTorch. Надеюсь, что это будет полезно во времена доминирования PyTorch, особенно учитывая тренд с RAG подходами, где как раз таки нужны хорошие и сильные энкодеры для end-to-end обучения 🙏
🏆Сегодня мы официально запускаем новый AIJ Contest, в котором заявлено 5 крутых задач с общим призовым фондом 11+ млн. рублей!!!
1) Strong Intelligence — создать мультимодальную модель, которая обыгрывает знатоков интеллектуальных викторин и показывает суперуровень эрудиции
2) Unique RecSys — обучить ИИ-алгоритм подбирать наиболее релевантный контент
3) Personal AI — создать человекоцентричного ИИ-помощника
4) Equal AI — сделать сервисы доступными каждому — обучить модель распознавать русский жестовый язык по видео
5) Rescue AI — разработать новый способ расшифровки генома
Обо всех задачах подробно можно прочитать здесь
Первая же задача Strong Intelligence (самая сложная и на повестке современных мультимодальных исследований) разрабатывалась нашей командой AIRI + Sber AI — очень хочется получить много интересных крутых решений. Готов отвечать на вопросы, если будут возникать!
Скоро откроем гитхаб и в ближайшее время проведём вебинар, где расскажем подробно про задачи и ответим на возникающие вопросы, а пока желаю всем продуктивного погружения в контекст задач🦾
Следите за информацией)
Более 100 млн человек в мире уже используют chatGPT. В чем уникальность и секрет популярности этой модели ❓ Что у неё «под капотом» ❓ И как можно ее усовершенствовать ❓
📍 УЖЕ СЕГОДНЯ ответим на эти вопросы и обсудим все детали на вебинаре «ChatGPT & Co».
⏰ Подключайся 25 сентября в 19:00.
🔥 Ссылку найдешь в своем личном канете после регистрации.
С вами встретится один из разработчиков GigaChat, исполнительный директор в SberDevices, магистрант ВМК МГУ Дани Эль-Айясс 👩💻
На лекции разберем методы, лежащие в основе типа ChatGPT и расскажем про GigaChat - мультимодальную нейросеть от Сбера.
#десятилетиенауки #МинобрнаукиРоссии #популяризациянауки
Друзья, всем привет) 👋
Пропал примерно на месяц, навалилось очень много дел и работы, но вроде как сейчас должно стать попроще) 🙈
При этом за это время появилось много крутых собитий в сообществе, новые интересных статей, какие-то мои мысли, которыми хочется поделиться, поэтому все это скоро будет 🔥
А сейчас ближе к делу) 👇
⚡️Запускаем ruGPT-3.5 в Colab'е
Сообщество не дремлет и накидало в личку квантованных версий вышедшей вчера модели (ребята, вы молодцы 🚀).
Ужимали при помощи AutoGPTQ в 4bit, так же как делает TheBloke. Качество, само собой, при квантизации в 4bit проседает, но поиграться можно.
Еще ребята в комьюнити сделали версию в формате GPTQ.
Colab
Хабр
HF
GPTQ
⚡️ Замеры LLaMA 2 на MMLU
Вчера вышла LLaMA 2, нам было интересно качество претрейн-моделей в русском.
Качество на MMLU выросло в среднем на 7 пунктов, как в английском, так и в русском, у всей линейки претрейн-моделей. Семь пунктов на MMLU впечатляет!
При этом русского языка на претрейне LLaMA 2 было всего 0.13%.
Замеряли кодом который выкладывали ранее. Контекст оставляли 2048 чтобы влезало тоже число few-shot примеров (токенайзер в LLaMA 2 такой же как и был в LLaMA 1).
До чат-моделей пока не добрались, и до 34B пока нет к ней доступа.
#nlp #thoughts #insights
Что такое LLM?
Все мы знаем, что LLM - это большие нейронные сети обученные на задачу языкового моделирования.
Но на LLM можно посмотреть под другими углами и несколько таких взглядов я хочу раскрыть в этом посте. 👀
Один из взглядов, который я услышал недавно от одного профессора, заключается в том, что LLM - это распределенная ассоциативная база данных. Мне очень понравилась эта мысль и формулировка - пища для размышлений. Причем эта база с весьма необычным интерфейсом взаимодействия - под такой призмой prompt инженер становится никем иным, как специалистом по работе с БД, а сам prompt к LLM как SQL-запрос. 🙈
А что же из себя представляет обучение LLM?
Сейчас я уйду немного в сторону от предыдущего взгляда к некоторым своим мыслям.
Мне всегда нравилось смотреть на обучение LLM как на алгоритм сжатия данных.
И тут сразу появляется много вопросов:
1) А сжатие происходит с потерями или без?
2) А насколько эффективны существующие алгоритмы сжатия или мы можем добиться большей и лучшей компрессии?
Также логичным встает вопрос, а что из себя представляет RLHF в таких парадигмах? 🤔
Ответы на эти вопросы я оставлю открытыми, чтобы не давать свой bias и была возможность подумать самому, но если интересно, можем перебраться в комментарии и обсудить. 🧐
Всем хорошего дня ❤️
@cats_shredinger
⚡️⚡️⚡️Kandinsky 2.2 выходит в свет
Вот и наступил долгожданный знаменательный день, когда мы готовы порадовать комьюнити новой версией генеративной модели Kandinsky 2.2.
Не буду долго томить вас лирикой и историями, как мы маленькими шагами двигались к качественному скачку эти 3 месяца с момента релиза 2.1, а просто расскажу о ключевых нововведениях:
📌 разрешение генераций теперь достигло 1024 px
📌 генерировать можно с различным соотношением сторон (ура, конец монополии квадратных генераций!)
📌 изображения стали максимально близки к фотореалистичным
📌 у модели появилась возможность изменения частей изображения за счёт внедрения механики ControlNet (пока только на основе карты глубины)
📌 версии 2.1 и 2.2 встроены в самый большой и известный фреймворк генеративных моделей - Diffusers
⚡️В телеграм боте теперь 6 режимов:
1) генерация картинки по тексту
2) смешивание двух изображений
3) смешивание изображения и текста
4) создание вариаций входной картинки
5) локальные изменения с помощью ControlNet механики 💥
6) создание стикеров и стикерпаков по текстовым запросам 💥
Воспользоваться моделью можно тут:
Telegram bot
fusionbrain.ai
Diffusers
rudalle.ru
Салют
📕Почитать подробнее про Kandinsky 2.2 можно в новой статье на Хабре.
❓По вопросам сотрудничества и развития модели пишите в ЛС - с радостью обсудим все идеи😉
P.S. По неожиданной случайности сегодня еще День Фотографа, с чем всех причастных торжественно поздравляю📸 Такой вот подарок для сообщества от нашей команды🎉
@complete_ai