Reliable ML

27 Aug 2023 17:38

Курс ML System Design от Reliable ML
Старт с 28.08.2023

В понедельник стартует курс ML System Design от ReliableML. Бесплатный семестровый курс будет размещен на площадке ODS.AI, все лекции и дополнительные материалы будут публиковаться в нашем канале.

В курс входит:

* 15 видеолекций
* 14 семинаров
* работа над проектами
* разработка ML дизайн документа
* Доклады/туториалы участников курса по смежным темам
* лабораторные работы

Основная цель курса - развить кругозор и "насмотренность" будущих создателей ML-систем. Это не подготовка к собеседованию и не "вхождение в IT", а, скорее, экскурсия по зоопарку. Смотрите, вот тигры, вот слоны, вот потоковые данные, а здесь у нас пасутся большие языковые модели, их можно покормить и погладить.

Интереснее всего проходить курс, делая проект. Если хотите участвовать в проектной деятельности - лучше зарегистрироваться на курс на ODS.AI. У подписчиков канала будет доступ к лекциям и семинарам без дополнительной регистрации - и задавать вопросы по материалам можно прямо тут.

Ваш @Reliable ML

#tech #ml_system_design

Reliable ML

10 Aug 2023 16:09

Winter is coming. Цикл постов про академиков в депрессии - Часть 2
Цикл постов по статье Togelius, Yannakakis (2023). Часть 2

Продолжаем цикл постов “Winter is coming: почему академики сферы AI все чаще оказываются в депрессии и есть ли у них шансы на выживание”. Обсудим, какие пути предлагают авторы для AI-академиков, погрузившихся в депрессию. Причины депрессии обсуждали в предыдущем посте цикла.

Что предлагается делать AI-академикам в депрессии

- Сдаться. Не пытаться совершить прорыв, а публиковать статьи в журналах невысоких рейтингов, улучшая технические детали и рассматривая под-под-вопросы различных тем.

- Все-таки пытаться масштабировать вычислительные ресурсы, а именно - тратить наибольшую возможную часть исследовательского гранта на CPU и GPU. Правда, стоит иметь в виду, что даже самые крутые по суммам научные гранты в мире позволяют выделить на вычисления несопоставимо меньше денег, чем нужно на один (один, не серию) норм эксперимент даже с GPT-3.

- Сужать масштаб экспериментов (анти-масштабирование). Сконцентрироваться на игрушечных проблемах, позволяющих продемонстрировать преимущества нового подхода в теории на каких-то сравнениях. Авторы приводят вполне рабочие примеры такого подхода: Shafiullah et al. (2022), Pearce et al. (2023), Paster, McIlraith, Ba (2022). Недостаток в том, что широкий круг людей обращает внимание на подобные прорывы, как правило, значительно позже - когда кто-то проведет крупный эксперимент на реальных данных.

- Использовать претренированные модели. Хороший вариант не делать все с нуля, но чаще всего недостаточно для значимых результатов.

- Анализировать нюансы работы уже существующих моделей, вместо того, чтобы пытаться создать что-то новое.

- Использовать RL! Данные не нужны! Главное, без фанатизма, ибо грань науки и научной фантастики будет пролегать в непосредственной близости от вас.

- Заниматься небольшими моделями. Как с помощью минимально-нагруженной модели и минимального объема данных сделать ценные выводы? Привет Томасу Байесу. Ценность подобных методов неуклонно растет от года к году, хотя и имеет значительные ограничения в использовании.

- Работать над областями, которые на данный момент неинтересны индустрии. Может быть, они не заметят, как вы совершите прорыв. На этом моменте делаем паузу, для того чтобы сходить за успокоительным, и продолжаем дальше.

- Найти области, о которых еще никто не подумал о вас. Или взять заброшенный всеми метод и дать ему шанс. Тут еще чуточку больше шансов остаться незамеченным до получения важных результатов.

- Пробовать методы, которые не должны работать. Ну, вы поняли логику.

- Развивать сомнительные с точки зрения этики направления, потому что корпорации ограничены общими правилами этики, PR-службами и репутационными рисками, а вы - нет. Ну разве что только законом иногда. Цитата: “if you can’t do the research they couldn’t do, do the research they wouldn’t do”.

- Попытаться скооперироваться с индустрией. Если продать перспективную идею бизнесу, то можно получить как финансирование, так и стартап с вашим участием. Правда, ваша идея должна быть в первую очередь практико-ориентированной (иметь кейс с получением денег на не очень большом временном горизонте), чем направленной на улучшение мира, или новые теоретические научные прорывы. Тут уж извините, nothing personal just business.

- Развивать коллаборации между разными университетами. Здорово, но перспективы не сильно видны.

В следующих постах цикла поделимся размышлениями о том, что нас ждет в связи со всем вышеперечисленным, и что же можно сделать.

Ваш @Reliable ML

#business #tech #thoughts #reliable_ml

Reliable ML

31 Jul 2023 12:06

Опубликован новый пример дизайна ML системы по шаблону Reliable ML
Пишем ML System Design Doc вместе с Reliable ML

Для нас большая гордость добавлять дизайны ML систем, написанные на основе нашего шаблона, в открытый доступ. Огромное спасибо авторам, которые вкладываются в развитие ML System Design своими силами и временем.

Сегодня был опубликован новый пример - дизайн сервиса по кластеризации магазинов, разработанного в компании Лента. Автор: Любава Ткаченко, Data Scientist. Бизнес-цель ML-решения – помочь бизнесу в быстром принятии решений с помощью инструмента для автоматической группировки магазинов по базовым метрикам, важным для ритейла. Один из типовых возможных сценариев использования инструмента - адаптация CVP (Customer Value Proposition) с учетом кластеров. А еще Любава сделала замечательный доклад об опыте составления дизайн-дока на недавнем Data Fest.

Успехов в дальнейшем развитии решения!

Шаблон дизайн-документа ML-систем от Reliable ML - тут.
Лекция о том, как с ним работать - тут.
Как написать док вместе с Reliable ML - тут.

Stay tuned!

P.S. Предыдущий дизайн-док был опубликован с похожими словами в посте. Но что поделать, ничего не изменилось - мы с Димой по-прежнему радуемся 😊 И уже знаем об опыте внедрения нашего дока в более чем 10 крупных компаний российского рынка. А еще больше мы радуемся, когда вы приходите к нам рассказать о своем опыте.

Ваш @Reliable ML

#business #tech #ml_system_design

Reliable ML

19 Jul 2023 17:51

Оценка неопределенности, как быть?
Пост от читателя канала — Максима Кочурова, партнера PyMC Labs

Для построения надежных ML-систем нам нужно не только построить систему, предсказывающую интересующие нас переменные, но и оценить неопределенность предсказания. Эту проблему решают с помощью conformal prediction. Байесовские модели тоже оценивают неопределенность, но делают это немного иначе - различается сам подход к моделированию.

Conformal prediction позволяет получить оценку неопределенности в виде, например, интервалов, содержащих истинное значение с заданной вероятностью. Это model-agnostic подход, который может быть использован с любой моделью машинного обучения. Но эта оценка дается только для целевой переменной.

В противоположность этому байесовские методы явно описывают неопределенности процесса, которым генерируются данные. Мы получаем не только оценку неопределенности нашей целевой переменной, но и вероятностную оценку параметров модели. Когда это может быть важно?

В целом, можно разделить прикладные задачи датасаентиста по степени их «прозрачности»: white, grey, black. Вы наверняка слышали эти термины, между ними принципиальная разница в том, как вообще обычно формулируется постановка, и что в ней на самом деле важно. Условно, это качественная градация задач на “предсказывать” (black box), “предсказывать и делать интервенции”(causal grey box), “предсказывать, делать интервенции, находить неэффективности” (white box).

Если с black box задачами все понятно, то во многих чувствительных приложениях нам важен не только результат, но и параметры процесса. Когда нам нужно организовать валидацию модели экспертами, перенос знаний экспертов доменной области в модель, а так же валидацию экспертами закономерностей, выявленных моделями, нам нужны прозрачные модели, явно формулирующие предположения о процессе генерации данных.

Байесовские модели — самый очевидный выбор для построения таких white-box моделей.

В статье от нашего читателя Максима Кочурова из PyMC Labs выясняем что, как и зачем. Максим также прочитал прекрасный вводный доклад о байесовских методах в июне на секции Reliable ML на Data Fest 2023.

Ваш @Reliable ML

#tech #reliable_ml #bayes_in_ml

Reliable ML

15 Jul 2023 16:32

Видеозаписи докладов - Reliable ML - 4 июня 2023 - Data Fest Online
Видео и презентации докладов второго дня секции: Causal Inference & Interpretable ML

Опубликованы видео и презентации докладов второго дня секции Reliable ML на Data Fest Online 2023. День был посвящен докладам по теме Causal Inference и Interpretable ML.

Все доклады, их описания и презентации можно найти на сайте ODS.ai, а также в плейлисте на YouTube.

Ссылки отдельно по докладам:

- Захар Понимаш, Виктор Носко - Как интерпретируемый ИИ объясняет генерацию трансформеров (видео)

- Сабрина Садиех - Explainable AI: что, как и зачем (видео, презентация)

- Григорий Чернов - Корреляция не подразумевает причинно-следственную связь. А что подразумевает? (видео, презентация)

- Максим Кочуров - Bayes in the Wild (видео, презентация)

- Кристина Лукьянова - Байесовский подход к АБ-тестам на примере теста конверсии (видео, презентация)

- Юрий Кацер - Предварительная обработка и поиск аномалий во временных рядах (видео, презентация)

- Артем Ерохин - Бутстрапирование временных рядов (видео, материалы)

- Богдан Печёнкин - Bag-of-tricks того, как сделать ваш ML-пайплайн более reliable (видео, презентация)

Ваш @Reliable ML

#tech #business #reliable_ml #causal_inference #interpretable_ml

Reliable ML

27 Jun 2023 19:43

Дата ужин Reliable ML 28.06
Почему бы и нет?

Всем привет! Задумали мы тут с Димой дата-ужин в Мск провести, и рассказать вам об этом даже заранее, в выходные.
Но как-то отложился анонс с выходных :)

Поэтому решили брать внезапностью! Если кому интересно завтра с нами пообщаться о Reliable или даже UnReliable ML, то заходите сюда. Мы планируем быть с 18:30 до 21:00.

Расскажем про задумки на сентябрь :)

P.S. Если действительно готовы прийти, то поставьте, пожалуйста, 💯 - нам было бы очень полезно понимать примерное количество людей 😊

Ваш @Reliable ML

#анонс #дата_ужин

Reliable ML

14 Jun 2023 11:03

Вакансии в Raiffeisenbank Operations
По следам предшествующего поста

Всем привет!

Итоги предыдущего поста про вакансии показали, что нас читают очень профессиональные и компетентные люди, вовлеченные в аналитику данных. И часть из них уже с нами :)

Хочу снова поделиться с вами интересными вакансиями в мою команду – предложить вам принять участие в построении Advanced Analytics and Data Management Department в Операционном блоке Райффайзенбанка.

Ниже краткое описание к каждой вакансии, подробнее – можно почитать по ссылкам. Откликаться лучше ко мне в тг (@irina_goloshchapova) – с заголовком, на какую позицию откликаетесь.

- Middle+/Senior Data Analyst – на задачи аналитики, отчетности и исследований в направления Corporate и Retail Operations.

- Senior Data Scientist – на задачи управления эффективностью наличных денежных средств и антифрода.

- Tech Lead Advanced Analytics Team – по сути – Head of Data Science & Data Analytics для нашей замечательной команды аналитиков и data саентистов.

- Product Owner Data Management Team – вести команду по развитию дата-сервисов для аналитики в домене.

#анонс #career

Reliable ML

03 Jun 2023 10:58

Трансляция первого дня секции Reliable ML сегодня доступна также на youtube.
https://www.youtube.com/watch?v=oaRIDDBVDuc

Reliable ML

01 Jun 2023 13:32

Расписание секции Reliable ML - 3-4 июня
Data Fest 2023

Дорогие друзья, мы рады, наконец, опубликовать долгожданное расписание нашей секции Reliable ML, которая пройдет уже в эти выходные - 3-4 июня! Всех очень ждем!

Что будет

Первый день секции - 3 июня - практически полностью посвящен теме ML System Design. Будем слушать и обсуждать практические кейсы дизайна и построения ML систем: успешные внедрения, фейлы и уроки из них, фреймворки и рекомендации от экспертов. В этот день также стартует контест ML System Design Doc Challenge.

Второй день секции - 4 июня - ориентирован на темы Interpretable ML, Causal Inference in ML, Data Centric AI. Завершим день и всю секцию финалом контеста ML System Design Doc Challenge. Участники презентуют свои решения, а зрители и менторы совместно определят победителей.

Как подключиться

- Заходите в спейс по ссылке https://app.spatial.chat/s/ods
- Вбиваете пароль festparroteverywhere23
- Вбиваете свои ник и должность, разрешаете браузеру доступ к микрофону и видео - и вуаля! 😊

Всех очень ждем!

Ваш @Reliable ML

#расписание #business #tech #datafest2023

Reliable ML

30 May 2023 15:31

Дмитрий Раевский - FailConf - DS: почему бывает так больно
3-4 июня - Секция Reliable ML на Data Fest 2023

Во время Data Fest 2023 на нашей секции Reliable ML Дмитрий Раевский, Data Science Lead в Райффайзен Банке, проведёт небольшой FailConf про разные боли в жизни DS.

В рамках фейл-сессии мы рассмотрим несколько реальных проектов, которые не дошли до прода или дошли с рядом значительных переработок, подпортив жизнь и кровь всем причастным.

Количество проектов, уповающих на использовани AI, постоянно растет – бизнес рассчитывает на нереальный буст за счет магической силы DS.

Но что, если данных недостаточно для решения задачи? Или мы не учли реальный сценарий использования нашей модели в проде, из-за чего пришлось все делать заново? Или бизнес-цель поняли в корне неверно, а потому решали другую задачу?

Мы обсудим подобные примеры и постараемся ответить на вопрос: “Как можно избежать таких ситуаций, чтобы не было мучительно больно”.

Регистрация на мероприятие тут.
Расписание будет опубликовано 1 июня.

Ваш @Reliable ML

#анонс #tech #activity #ml_system_design #datafest2023

Reliable ML

29 May 2023 17:19

Между тем, все еще можно заявиться на on-site test по ML System Design!
Заявляйтесь, заполняйте форму и получите бесценный опыт 3го июня - с регистрацией, но без смс 😊
И просто приходите послушать!

Reliable ML

29 May 2023 09:55

Михаил Масагутов - Опыт составления дизайн документа при проектировании ML системы: прогнозирование продаж в магазинах
3-4 июня - Секция Reliable ML на Data Fest 2023

Во время Data Fest 2023 на нашей секции Reliable ML выступит Михаил Масагутов, Data Scientist в компании сферы fmcg, с докладом про свой опыт составления ML System Design Doc для прогнозирования продаж в продуктовых магазинах.

В своем докладе Михаил расскажет про:

- Задачу прогнозирования ежемесячных продаж продуктов в магазинах "у дома"
- Контекст решения при наличии множества бизнес-ограничений
- Проблемы, возникшие при проектировании ML системы
- Решение этих проблем с помощью дизайн документа
- Изменения в процессе разработки и их необходимость в подобной задаче

Регистрация на мероприятие тут.
Расписание будет опубликовано 1 июня.

Ваш @Reliable ML

#анонс #tech #ml_system_design #datafest2023

Reliable ML

27 May 2023 12:25

Богдан Печёнкин - Bag-of-tricks того, как сделать ваш ML-пайплайн более reliable
3-4 июня - Секция Reliable ML на Data Fest 2023

Во время Data Fest 2023 на нашей секции Reliable ML, Богдан Печёнкин, Senior ML Engineer в BrandsGoDigital, автор симулятора ML-инженера на karpov.courses и тг-канала @bogdanisssimo, расскажет основные приёмы и инструменты в арсенале ML инженера, которые помогают застраховать ML проект от неожиданных происшествий на разных этапах его жизненного цикла, и сэкономит вам десятки часов поиска источника проблем.

Машинное обучение у многих ассоциируется чёрным ящиком: такие-то данные на входе, такие-то предсказания на выходе, а внутри – что-то загадочное, неконтролируемое, непредсказуемое, а следовательно, ненадёжное (non-reliable).

Это сильно контрастирует с тем, как на машинное обучение смотрят опытные ML гребцы: для них "код, написанный другим кодом" (так называемое Software 2.0) – это, в первую очередь, про "код". Как и рядовой детерминированный код, веса нейросети и деревья бустинга можно и нужно покрывать тестами, дебажить, мониторить – достаточно лишь знать, как.

Богдан также расскажет о практическом курсе-интенсиве по теме надёжности ML-решений на платформе Educative, который он разработал совместно с Арсением Кравченко, чтобы развенчать миф, о том, что "машинное обучение невозможно держать под контролем" и вооружить вас конкретным набором приёмов карате.

Регистрация на мероприятие тут.
Расписание будет опубликовано на следующей неделе.

Ваш @Reliable ML

#анонс #tech #reliable_ml #mlops #datafest2023

Reliable ML

24 May 2023 11:40

Марина Завгородняя - ML System Design Doc Challenge - запись на контест
3-4 июня - Секция Reliable ML на Data Fest 2023

На Data Fest 2023 в секции Reliable ML Марина Завгородняя, Data Science Community Lead в Райффайзенбанке, проведет небольшой контест по составлению ML System Design Doc – дизайна ML-системы для решения конкретных бизнес-задач. Приглашаем участников!

Предлагаем попрактиковаться в составлении ML System Design Doc на реальном кейсе. По итогам контеста участники получат памятные подарки и командные консультации по получившимся design docs. Зарегистрироваться можно командой до 5 чел. или индивидуально.

Контест будет полезен всем DS-специалистам и позволит:
— прокачать навыки дизайна ML систем
— углубить понимание, как работает ML в определенном домене
— внедрить шаблон design doc в команду в текущих рабочих задачах

Для участия до 1 июня заполните форму заявки, указав свои контакты и профессиональный уровень. Финальные списки участников контеста будут готовы 1 июня. Количество мест ограниченно.

Контест пройдет в 2 этапа:
3 июня с 12:00 — получение кейса, работа команд, до трех созвонов с ментором
4 июня с 17:45 — питч решений на Main Stage, выбор победителей

Приглашаем зрителей присоединиться 4 июня в 17:45 на финальный питчинг решений, чтобы посмотреть варианты ML SD Doc команд и выбрать победителей.

Ждем ваших заявок!

Ваш @Reliable ML

#анонс #tech #ml_system_design #datafest2023

Reliable ML

22 May 2023 15:05

Андрей Денисенко - Как построить real-time ML на криптобирже
3-4 июня - Секция Reliable ML на Data Fest 2023

Во время Data Fest 2023 на нашей секции Reliable ML выступит Андрей Денисенко, Lead ML Product Owner.

В своем докладе Андрей поделится опытом об особенностях построения жизненного цикла real time аналитики с нуля с использованием AWS, Kafka, Airflow. Андрей также расскажет об условиях необходимых для успеха ML-инициатив и продуктовом подходе к data science в hyper-growth среде.

Регистрация на мероприятие тут.
Расписание будет сформировано в конце мая.

Ваш @Reliable ML

#анонс #tech #ml_system_design #mlops #datafest2023

Reliable ML

10 Aug 2023 16:19

Иллюстрация к части 2 - Winter is coming. Цикл постов про академиков в депрессии

Картинка к части 2. Будьте бдительны!

Цикл постов “Winter is coming: почему академики сферы AI все чаще оказываются в депрессии и есть ли у них шансы на выживание”.

- Часть 1. Почему AI-академики оказываются в депрессии.

- Часть 2. Какие пути предлагают авторы дляAI-академиков, погрузившихся в депрессию.

Ваш @Reliable ML

#business #tech #thoughts #reliable_ml

Reliable ML

10 Aug 2023 16:00

Winter is coming: почему академики сферы AI все чаще оказываются в депрессии и есть ли у них шансы на выживание
Цикл постов: обзор статьи Togelius, Yannakakis (2023) от Reliable ML. Предисловие и часть 1

Прочитали с Димой статью от весны 2023 г. - Choose Your Weapon: Survival Strategies for Depressed AI Academics, Togelius J., Yannakakis G.N. - и впечатлились.

Впечатлились уже давно, но собрались с мыслями только сейчас :)

Шуточное название статьи обманчиво - в ней на полном серьезе приведена инструкция по выживанию для сотрудников научных лабораторий, выбравших путь теоретических исследований в области AI. Легкое настроение читателя от названия и бодрого резюме в начале статьи - к концу прочтения сменяется серьезной задумчивостью о том, что ждет наш мир уже в ближайшем будущем.

Поделимся с вами конспектом статьи и нашими мыслями о последствиях. По аналогии с размышлениями о тезисах конференции Gartner Data & Analytics про критичность финансовых эффектов дата-команд. Этот пост оказался одним из наиболее популярных в нашем канале.

Часть 1. Почему грустят AI академики

- Недостаток вычислительных ресурсов. Нет доступа к мощностям, или он несопоставимо ниже, чем в любой корпорации с AI отделом. Ресурса критически не хватает для конкурентоспособных исследований, тогда как еще всего 5-10 лет назад для того, чтобы двигать науку в AI, достаточно было локальной машины. Сейчас же большинство прорывов базируется на больших мощностях и сериях крупных экспериментов.

- Несправедливая конкуренция с корпорациями. Рост важности самого понятия конкуренции в академии. В идеальном мире научные эксперименты - это совместный труд ученых на благо развития науки - с признанием вклада каждого. В случае высокого влияния корпораций любая стоящая идея получает развитие в рамках той компании, которая первая вложила достаточно денег. Ученый в любом случае в проигрыше и его вклад незаметен. В статье исследование ученого и подключение к ним корпораций сравнивается с открытием Walmart напротив местного семейного магазинчика в небольшом городке.

В следующем посте обсудим, что предлагается делать академикам, впавшим в депрессию по причинам выше.

Ваш @Reliable ML

#business #tech #thoughts #reliable_ml

Reliable ML

19 Jul 2023 17:53

Иллюстрация к посту Максима Кочурова об оценке неопределенности ML-систем

#tech #reliable_ml #bayes_in_ml

Reliable ML

17 Jul 2023 10:57

Видеозапись - Финал ML System Design Doc Challenge - Reliable ML - 4 июня 2023 - Data Fest Online
Видео финала контекста по составлению дизайн-документов

Отдельным постом хочется опубликовать видеозапись завершающего мероприятия секции Reliable ML на Data Fest Online 2023 - огненного финала контеста ML System Design Doc Challenge от Марины Завгородней из Райффайзенбанка.

Под руководством Марины участники команд в течение 2х дней работали над дизайн документом ML-системы по антифроду и в финале контеста - поделились своими решениями. Преимущества и возможности улучшения решений обсудили вместе с аудиторией.

Такой формат контеста прошел впервые, и мы с Димой счастливы, что наш проект по дизайн доку уже живет своей жизнью и помогает компаниям строить ML-системы эффективнее.

Ваш @Reliable ML

#tech #business #reliable_ml #ml_system_design

Reliable ML

13 Jul 2023 08:52

Видеозаписи докладов - Reliable ML - 3 июня 2023 - Data Fest Online
Видео и презентации докладов первого дня секции

Опубликованы видео и презентации докладов первого дня секции Reliable ML на Data Fest Online 2023. День был посвящен докладам по теме ML System Design. Можно смотреть, пересматривать и наслаждаться! 😊

Все доклады, их описания и презентации можно найти на сайте ODS.ai, а также в плейлисте на YouTube.

Ссылки отдельно по докладам:

- Евгений Финогеев - Автоматизация заведения новых товаров на маркетплейс с использованием ML (видео, презентация)

- Михаил Масагутов - Опыт составления дизайн документа при проектировании ML системы: прогнозирование продаж в магазинах (видео, презентация, диздок)

- Любава Ткаченко - Опыт составления дизайн документа при проектировании ML системы: сервис для кластеризации магазинов (видео, презентация, диздок опубликуем в репозитории чуть позже)

- Андрей Денисенко - Как построить real-time ML на криптобирже (видео, презентация)

- Максим Берёзов - Алгоритм маршрутизации без компромисса между качеством и скоростью (видео, презентация)

- Павел Филонов - Паттерны инференса ML-моделей (видео, презентация)

- Павел Филонов - Тестовое ML System Design Interview (видео, материалы)

- Дмитрий Колодезев - Reliable ML: Устойчивость моделей после выкатки в прод (видео, презентация)

- Валерий Бабушкин - Метрики и функции потерь при дизайне систем машинного обучения (видео, презентация)

- Даниил Дранга - Дебаты: Fullstack Data Scientist или DS & Machine Learning Engineer — cтоит ли разделять роли? [Виктор Кантор – Big Data Director, МТС vs. Дмитрий Жванский – Expert Data Scientist, Райффайзен Банк] (видео, презентация)

- Дмитрий Раевский - FailConf - DS: почему бывает так больно (видео, презентацию опубликуем чуть позже)

Ваш @Reliable ML

#tech #business #reliable_ml #ml_system_design

Reliable ML

19 Jun 2023 08:29

Новый запуск курса по ML System Design в августе 2023

Собрали программу и примерное расписание нового запуска курса по ML System Design https://kolodezev.ru/mlsystemdesign2023.html

Содержание будет обновлено более чем наполовину. Будет добавлен раздел про вывод языковых моделей в продуктовое окружение. Скорее всего, будут еще материалы про тестирование и риски, дополнительные материалы про устойчивость и переработанное введение в ML Design Doc.

Есть возможность повлиять на содержание - напишите в комментариях, о чем хотелось бы услышать, чего не хватило на прошлом запуске курса.

Курс будет осенью, онлайн, бесплатно, анонсы будут в этом канале.

Ваш @Reliable ML

#анонс #ml_system_design

Reliable ML

04 Jun 2023 09:39

4 июня - продолжение секции Reliable ML на Data Fest 2023
Скоро начинаем!

Сегодня будем говорить об Interpretable ML, Causal Inference in ML, Data Centric AI. Завершим день и всю секцию финалом контеста ML System Design Doc Challenge. Участники презентуют свои решения, а зрители и менторы определят победителей.

Как подключиться

- Открываете браузер Chrome (остальные тоже работают, но не всегда)
- Заходите в спейс по ссылке https://app.spatial.chat/s/ods
- Вбиваете пароль festparroteverywhere23
- Вбиваете свои ник и должность, разрешаете браузеру доступ к микрофону и видео
- Идете в комнату Reliable ML

Всех очень ждем!

Ваш @Reliable ML

Reliable ML

03 Jun 2023 08:58

Всех ждем сегодня в spatial chat!
Скоро начинаем!

Как подключиться

- Заходите в спейс по ссылке https://app.spatial.chat/s/ods
- Вбиваете пароль festparroteverywhere23
- Вбиваете свои ник и должность, разрешаете браузеру доступ к микрофону и видео
- Идем в комнату Reliable ML

Reliable ML

31 May 2023 11:01

Валерий Бабушкин - Метрики и функции потерь при дизайне систем машинного обучения
3-4 июня - Секция Reliable ML на Data Fest 2023

Во время Data Fest 2023 на нашей секции Reliable ML выступит Валерий Бабушкин, автор книги Machine Learning System Design и автор тг-канала Время Валеры.

В своем докладе Валерий расскажет, почему не любит писать анонсы, как просит Ира, а также про метрики и функции потерь при дизайне систем машинного обучения.

Регистрация на мероприятие тут.
Расписание будет опубликовано 1 июня.

Ваш @Reliable ML

#анонс #tech #ml_system_design #datafest2023

Reliable ML

30 May 2023 09:19

Даниил Дранга - Дебаты: Fullstack Data Scientist или DS & Machine Learning Engineer — cтоит ли разделять роли?
3-4 июня - Секция Reliable ML на Data Fest 2023

Во время Data Fest 2023 на нашей секции Reliable ML Даниил Дранга, Data Science Community Lead, Райффайзен Банк, проведет дебаты «Fullstack Data Scientist или DS & Machine Learning Engineer». Поспорим о том, когда и стоит ли разделять эти роли и как организовать их взаимодействие.

Именно эту тему вы, как читатели канала, выбрали как наиболее интересную новую тему для обсуждения в 2023 г.

2 спикера, 4 раунда, по 2 минуты на аргументы в каждом раунде и голосование зрителей. В конце сессии будет возможность задать свои вопросы относительно той или иной позиции. Присоединяйтесь!

Спикеры:

Виктор Кантор – Big Data Director, МТС
Дмитрий Жванский – Expert Data Scientist, Райффайзен Банк

Регистрация на мероприятие тут.
Расписание будет опубликовано 1 июня.

Ваш @Reliable ML

#анонс #business #activity #organisational_design #datafest2023

Reliable ML

29 May 2023 15:21

Любава Ткаченко - Опыт составления дизайн документа при проектировании ML системы: сервис для кластеризации магазинов
3-4 июня - Секция Reliable ML на Data Fest 2023

Во время Data Fest 2023 на нашей секции Reliable ML Любава Ткаченко, Data Scientist в компании Лента, расскажет про работу с ML дизайн документом для построения сервиса кластеризации магазинов.

Составление дизайн документа - важная часть при проектировании систем. В докладе Любава расскажет о том, что из себя представляет дизайн док, зачем он нужен. В докладе также будет показан опыт использования дизайн дока в Ленте на примере сервиса кластеризации магазинов, и как использование дока помогло в разработке.

Регистрация на мероприятие тут.
Расписание будет опубликовано 1 июня.

Ваш @Reliable ML

#анонс #tech #ml_system_design #datafest2023

Reliable ML

28 May 2023 13:01

Евгений Финогеев - Автоматизация процесса заведения новых товаров в маркетплейс с использованием ML
3-4 июня - Секция Reliable ML на Data Fest 2023

На Data Fest 2023 в секции Reliable ML с докладом по внедрению ML в процесс заведения новых товаров в маркетплейс выступит Евгений Финогеев, руководитель группы машинного обучения и матчинга в Samokat.tech.

Почти каждый из нас что-то покупал на различных площадках маркетпейсов. Но все ли знают, как туда попадают товары и сколько человеческих ресурсов затрачивается на их добавление на витрину?

В Samokat.tech мы стараемся максимально автоматизировать процесс добавления новых товаров на витрину маркетплейса. Используя модели глубокого обучения, помогаем контенту:

- определять категории товаров
- объединять одинаковые товары в одни группы
- сопоставлять атрибуты между товарами разных продавцов и информацией для данной категории товаров.

Эти три классических задачи машинного обучения позволяют сократить время заведения одного товара на 30%.

В докладе расскажем про каждую из задач и углубимся в проблемы, с которыми сталкивались: данные, оценка качества, построение прототипа, продуктивизация. Поделимся выводами о качестве, которое удалось достичь, и планами улучшения этих моделей.

Регистрация на мероприятие тут.
Расписание будет опубликовано на следующей неделе.

Ваш @Reliable ML

#анонс #tech #ml_system_design #datafest2023

Reliable ML

26 May 2023 14:47

Дмитрий Колодезев - Reliable ML: Устойчивость моделей после выкатки в прод
3-4 июня - Секция Reliable ML на Data Fest 2023

Во время Data Fest 2023 на нашей секции Reliable ML выступит Дмитрий Колодезев, директор Promsoft, с докладом от нашего канала - с обзором подходов к обеспечению надежной работы моделей после развертывания.

Что такое устойчивость моделей после выкатки в прод? Это мониторинг, моделирование устаревания модели, работа с выбросами, редкими и пропущенными значениями, а также всё остальное, о чем мы иногда забываем подумать до развертывания.

Для тех, кто хочет катить модель в прод и не жалеть об этом.

P.S. Будут спойлеры нового запуска курса ML System Design.

Регистрация на мероприятие тут.
Расписание будет опубликовано на следующей неделе.

Ваш @Reliable ML

#анонс #tech #ml_system_design #reliable_ml #datafest2023

Reliable ML

23 May 2023 14:14

Сабрина Садиех - Explainable AI: что, как и зачем
3-4 июня - Секция Reliable ML на Data Fest 2023

Во время Data Fest 2023 на нашей секции Reliable ML с докладом о текущем состоянии области Explainable AI (XAI) выступит Сабрина Садиех, студент кафедры теории вероятностей и анализа данных Петрозаводского государственного университета.

Понятие интерпретируемого AI (XAI) в последние несколько лет стало настолько востребованным, что трансформировалось в отдельную ветвь научных исследований.

В докладе Сабрина приведёт обзор области XAI. Она расскажет:

- Почему XAI востребован сейчас и будет востребован еще долгое время
- Как исследователи классифицируют XAI
- С помощью каких инструментов можно внедрить XAI в работу
- Какие существуют подходы к построению метрик для оценки качества интерпретаций

Для погружения в практику применения методов XAI в докладе Сабрина также поделится опытом анализа применимости оценки активаций сети в задаче мультиклассовой классификации.

Регистрация на мероприятие тут.
Расписание будет сформировано в конце мая.

Ваш @Reliable ML

#анонс #tech #interpretable_ml #datafest2023

Reliable ML

21 May 2023 12:24

Кристина Лукьянова - Байесовский подход к АБ-тестам на примере теста конверсии
3-4 июня - Секция Reliable ML на Data Fest 2023

Кристина Лукьянова, бизнес-аналитик в компании Glowbyte, выступит с вводным докладом о байесовском подходе к АБ-тестированию на нашей секции Reliable ML на Data Fest 2023.

Байесовский подход к АБ тестам - альтернатива частотному (фреквентистскому) подходу. Поговорим о том, как заменить p-value на более интерпретируемые метрики, используя байесовские методы. Сравним частотный и байесовский подходы на примере теста конверсии.

Регистрация на мероприятие тут.
Расписание будет сформировано в конце мая.

Ваш @Reliable ML

#анонс #tech #causal_inference #datafest2023