2496
Data Сообщество По всем вопросам обращаться @SberlogaHelperBot Чат - @sberlogadataclub
У Никиты Зелинского кстати есть канал /channel/datarascals
Где он пишет о кринжах в DS сфере. Думаю могу тоже эстафету перенять. За столько лет много всякого дерьма пришлось повидать.
Вместо подготовки к сессии ребята из вышки и других вузов в субботу (!) пришли на ML-тренировку Kaggle, которую ведёт самый солнечный и открытый DS которого я знаю — тим лид МТС Аналитики Саша Киреев.
Прошел год как мы с ВШЭ запустили эту активность, и тренировки вели , кроме Саши, еще 2 GM и 3 мастера , участники уже завоевывали и бронзу и серебро (!) в соревнованиях.
Так что велком — будем рады вас видеть , анонсы публикуем здесь /channel/+RWc7IMQxR5djZmNi
Join the http://Inventum.AI Live Webinar!
Explore how our AI platform accelerates drug discovery
🗓 Date: Dec 4, 2024⏰ Time: 15:00 (GMT+0) | 18:00 (GMT+3) | 10:00 (GMT-5) | 07:00 (GMT-8)
🔗 Register now: https://docs.google.com/forms/d/e/1FAIpQLSdv0HgGw1ifpqZzpiG115AiybAsWgtLmjwIJT-OOXWFeKJhmg/viewform
К бывшим коллегам в гости пришел 😏
Ждем, как всегда, интересные доклады
GenAI в 2024 году — важный двигатель рынка и возможность продемонстрировать лидерство.
Узнайте о передовых инженерных подходах и лучших практиках от лидеров отрасли на GenAI-Meetup от МегаФона, который пройдет 17 октября в головном офисе компании в Москве.
Meetup делится на два блока: технологии и бизнес. Мы ждем специалистов обоих треков! А еще вас ждут:
— выступления практикующих AI-инженеров;
— инструменты создания GenAI-приложений;
— актуальные стратегии на рынке и реальные кейсы МегаФона, Яндекс Крауд, JSA Group и SberDevices.
Успейте зарегистрироваться👇🏻
Бизнес направление >>
Технологическое направление >>
Приглашаем талантливых студентов в Ингошколу Data Science от компании «Ингосстрах»! Здесь вы освоите востребованную профессию и получите шанс на успешное трудоустройство в нашу компанию.
Как проходит обучение?
Программа будет доступна в онлайн-формате, и студенты смогут самостоятельно выбирать место для занятий. Наша программа ориентирована на практику, поэтому во время занятий вы вспомните библиотеки Python, познакомитесь с классическими алгоритмами машинного обучения и освоите популярные архитектуры нейросетей; научитесь тренировать и предобучать собственные модели. Во время обучения вы познакомитесь с будущими коллегами, топ-менеджментом компании и начнете решать реальные бизнес-задачи.
Старт занятий – 23 сентября. Длительность обучения - 4,5 мес.
Преимущества обучения в Ингошколе Data Science:
∙Бесплатное обучение — все расходы покрывает Ингосстрах
∙Быстрое освоение профессии — менее чем за полгода вы станете специалистом
∙Профессиональное развитие — решение реальных задач для вашего портфолио
∙Опытные наставники — они помогут вам на каждом этапе
∙Прямой путь к старту карьеры — после обучения вам остается пройти интервью, и вы становитесь частью команды Ингосстраха
Кто может присоединиться к программе?
Она подходит для всех, кто хочет погрузиться в Data Science: программистов, начинающих дата-сайентистов и специалистов со смежным образованием. Опыт работы необязателен.
Количество мест ограничено.
Чтобы попасть на программу, выполните следующие шаги:
1. Заполните анкету до 10 сентября 2024 года https://forms.yandex.ru/u/66c2e4dee010dbb3dd0b0798/
2. Зарегистрируйтесь в личном кабинете (ссылка и инструкция придут к вам на эл.почту и в Telegram)
3. Выполните тестовое задание с 9 по 13 сентября 2024 года. Выполнение тестового задания займет не более 45 минут.
4. Узнайте результаты 16 сентября 2024 года.
Забудьте про Notion: нашёл для вас open source альтернативу — AFFiNE.
Это ультимативная смесь Notion и Miro — тут собрали лучшее от обеих платформ. Базу знаний с досками можно развернуть локально (плюс к безопасности), а можно юзать на сайте — туда уже завезли мощные ИИ-фичечки.
workshop on building AI agents
Details: https://sites.google.com/princeton.edu/agents-workshop
Register for Zoom link: https://docs.google.com/forms/d/e/1FAIpQLSduu6kgktlLZOJ1j3Vivh3Ip9wW8IiEICMri0xE3ZQii3fzbA/viewform
The event will feature conversations with experts who have:
- Built infrastructure for developing AI agents (DSPy, LangChain)
- Led startups that build agents (Sierra, Sybill)
- Created tools and benchmarks to evaluate LLMs and agents (SWE-bench, SPADE, lm-eval-harness)
- Developed solutions to ensure reliability and safety (Constitutional AI, Inspect)
❤️
https://job.mts.ru/vacancies
А тут можно наши вакансии
посмотреть.
В поиске вбить data scientist и выбрать продуктовый блок = BigData
Открыт прием заявок на Лето с AIRI!⚡️
В этом году мы запускаем Школу совместно с Передовой Инженерной Школой ИТМО. Программа пройдет в Санкт-Петербурге с 20 по 30 августа.
🗓 Подать заявку можно по ссылке до 23:59 14 июля 2024 года.
Школа включает в себя лекции, семинары и практическую работу по направлениям:
— Мультимодальные архитектуры и генеративный ИИ в промышленности
— Модели воплощенного ИИ и обучение с подкреплением в робототехнике
— Искусственный интеллект и химия
— Доверенный искусственный интеллект
📍Питание, обучение и проживание бесплатное, оплатить самим нужно будет только проезд.
Подавайте заявки и делитесь постом с друзьями и коллегами!
Уже не новость, что
Docker hub перестал работать в России
И сразу же начали появляться зеркала, чтобы все работало, например хуёкер.ioВ принципе какое решение, такое и название🤣
А вот чего я еще не встречал, так это российские аналоги докера:
Коробки — российский аналог Docker
Ну что, на Коробки переходим? 🤣
Секция Career от Reliable ML на Data Fest 2024
25 мая в офисе VK, Москва
Всем привет!
Есть у нас с Димой такая традиция, каждый год в конце мая мы организуем секцию Reliable ML на Data Fest. А в этом году делаем аж три секции.
А все почему? Потому что очень много крутых докладов. Приходите послушать и обсудить!
Публикуем расписание секции Карьера, которая пройдет 25 мая офлайн в офисе VK в Москве.
Сначала поговорим с вами о рынке труда и карьерных вопросах со стороны работника/кандидата, а потом - со стороны руководителей команд.
Регистрация на площадку на 25 мая тут.
В этот же день после обеда будет вторая наша офлайн секция - Data Strategy. Расписание опубликуем чуть позже.
Ваш @Reliable ML
#datafest #offline #ods #career #reliable_ml #business
🔎 Ищешь работу в сфере аналитики, датасаенса или дата инженерии? Тогда подписывайся на канал в Telegram - Sberlogajobs!
📊 У нас публикуются только актуальные вакансии от ведущих компаний. Мы поможем тебе найти работу мечты!
💼 Подписывайся прямо сейчас: /channel/sberlogajobs
Не упусти свой шанс на успешное трудоустройство! 😉 #vacancy #jobsearch #analytics #datascience #dataengineering
Коллеги, всем привет!
Давно мы не сообщали об обновлениях LightAutoML, но все это время мы не сидели сложа руки - сегодня ночью на PyPI появился релиз LAMA 0.3.8.1 с множеством полезных обновлений:
1) Теперь из коробки вам доступны 9 SOTA архитектур табличных нейросетей таких как MLP, DenseNet, DenseLight, ResNet, SNN, TabNet, NODE, FTTransformer и AutoInt++. Также были добавлены SOTA методы кодирования признаков - PLR и SoftEmb.
2) По многочисленным заявкам в LightAutoML был добавлен алгоритм SSWARM для расчета Shapely значений итоговой модели. Алгоритм позволяет работать с произвольной итоговой моделью (состоящей не только из бустингов) и если сравнивать его с KernelExplainer из SHAP, то удается получить нужные значения на 2-4 порядка быстрее (примерно на уровне TreeExplainer, который поддерживает только бустинги).
3) Всеми любимые отчеты о разработке моделей теперь можно строить для TabularUtilizedAutoML пресета
4) В новой версии LightAutoML поддерживает версии питона 3.8 - 3.11 включая оба конца, что позволяет использовать ее как на Kaggle, так и в Google Colab
5) Исправлено большое количество добавленных ранее багов и проблем с зависимостями (так, например, решена проблема с версией scikit-learn - теперь случайный лес работает в мультиаутпут задачах и временных рядах) 🙃
С примерами использования нововведений можно ознакомиться в нашем обновленном туториале и в кернелах (Tabular_NN, SSWARM_SHAP) на Kaggle.
Будем рады услышать ваш фидбек, а также вопросы/замечания/предложения по работе LightAutoML
С наступающим! В последний рабочий день рекомендую посмотреть на еще одну либу наших друзей:
Augmentex - твой карманный аугментер текста.
Мы недавно вместе с коллегами опубликовали супер-либ SAGE. И зовётся супер-либ не случайно, тк состоит из генеративной части и нашей библиотеки Augmentex.
Если вы хотите получить возможность аугментации текстов на основе добавления опечаток, перестановок и др. и вам не нужны механики генеративной аугментации или custom имитации ошибок- это ваш выбор. Иначе юзайте SAGE.
Например, Augmentex работает на CPU и умеет, на основе general частот ngramm, заменять корректные символы/наборы символов на их комплиментарные ошибки. Тоже самое можно делать и на уровне слов. Встроена возможность добавлять пробелы между символами или склеивать слова и многое другое, см. мануал в репо.
Мы уже поддерживаем 2 языка - русский и английский, а также имитации general ошибок ввода с ПК и мобильной (поддержка Android/IOS раскладок) клавиатур.
Также мы планируем добавить наши bbox атаки , о которых я говорил в своих постах и на выступлениях. Атаки включают и encoders и LLM дискриминацию. Следите за обновлениями!
P. S. Использование атак в генерации батча при обучении наших моделей, добавляет устойчивости и апает метрики качества на 2-5%.
@dealerAI
Ставьте звездочки и присылайте свои либы о которых хотите рассказать (@boyadzhi)
🤯 50% людей учат темы ML, которые не нужны бизнесу
Мы провели исследование среди нашей аудитории и узнали: большинство изучает популярные темы, которые выглядят перспективно, но почти не применяются в реальных задачах.
Какие задачи бизнеса требуют решения с применением ML и как их решать? Расскажем на вебинаре 19 декабря в 20:00 (мск)!
Что вас ждет:
▪️Поделимся информацией о том, какие задачи компании хотят реализовать с помощью машинного обучения и как вы сможете их решить.
▪️Расскажем как проверить, что модель действительно работает?
▪️Разберем практические кейсы и проведем эксперименты.
▪️Презентация курса «ML в бизнесе»: Расскажем, как программа курса помогает освоить востребованные навыки, которые делают вас ценным специалистом в любой компании.
👉 Регистрируйтесь здесь
Присоединяйтесь и начните свой путь к успешной карьере в ML!
Тут статья на хабре появилась броским заголовком
Как TF-IDF обошел SOTA-модель BERT4Rec в персональных рекомендациях
Но есть нюанс - обошел на ретротесте 😁
Вот поэтому WB и теряет рынок потихоньку, потому что рекомендашки в ретро оценивают и какой-то культуры в аб-тестах нет
https://habr.com/ru/companies/wildberries/articles/861466/
/channel/sberlogadataclub/49571?single
Напоминание, что у нас есть ламповый чатик. По ссылке написал более подробно как прошло. Спойлер - хорошо 😁
Привет! Это команда МТС. Мы запустили набор на 3 поток Школы аналитиков данных МТС!
Обучение проходит в онлайн-формате и длится 10 месяцев. Преподаватели — эксперты нашего центра Big Data. Вы научитесь писать на Python, прокачаетесь в математике, основах машинного обучения, ML Ops, Spark и прочих вещах, без которых не выйдет работать в Data Science. Также у студентов будет возможность попасть на стажировку в МТС.
Ждем тех, кто любит учиться, хочет попасть в комьюнити единомышленников, и, конечно, развиваться в анализе данных и ML.
Обучение бесплатное, но места ограничены - чтобы попасть, необходимо подать заявку до 20 октября и выполнить вступительное задание. Старт обучения - 7 ноября!
Подробности по ссылке, ждём тебя!
Реклама. Информация о рекламодателе.
🏆 Российский AutoML побеждает на международной арене
Команда “LightAutoML testers” победила в международном соревновании Kaggle AutoML Grand Prix! Наши ребята: Александр Рыжков, Дмитрий Симаков, Ринчин Дамдинов и Иван Глебов с помощью решений на основе LightAutoML обошли известных конкурентов по индустрии, включая команды из Amazon и H2O!
🚀 LightAutoML - бесплатный и открытый инструмент
Ключом к успеху стала open-source библиотека LightAutoML (LAMA), которая автоматизирует построение моделей машинного обучения. Благодаря использованию библиотеки ускоряется построение моделей и, зачастую, повышается качество. Инструмент подойдет как новичкам, так и профессионалам - решение можно получить как в несколько строк, так и с полной кастомизацией.
🌍 Kaggle AutoML Grand Prix 2024
Это - онлайн соревнование, приуроченное к ежегодной международной конференции International Conference on Automated Machine Learning, которая в этом году пройдет в Париже. Соревнование проходило на Kaggle (самой масштабной мировой платформе для соревнований по анализу данных) в 5 этапов, в каждом из которых было необходимо создать качественную модель машинного обучения всего за 24 часа.
🎓 Делимся опытом
Хотите узнать секреты победителей? Не пропустите предстоящий вебинар, где команда расскажет о своих решениях и ответит на ваши вопросы! Следите за анонсами в канале @lightautoml.
Приглашаем экспертов в data science на закрытую встречу сообщества
Когда: 29 августа, онлайн, в 18:00 по Мск.
Будем обсуждать горизонты профессионального развития в DS и машинном обучении. Темы встречи:
⚡️Как развиваться внутри data science?
⚡️Какие интересные прикладные задачи стоят перед лидерами индустрии?
⚡️Перспективы для сеньора: расти вверх по карьерной лестнице или углубляться внутри своей специализации? Поговорим про вертикальное и горизонтальное развитие
⚡️Где получать практические навыки и обмениваться опытом и связями?
Участники встречи:
- Андрей Кузнецов (AIRI)
- Евгений Смирнов (АЛЬФА-БАНК)
- Роман Поборчий (self-employed)
- Дани Эль-Айясс (Self-employed)
- Владимир Ершов (Яндекс)
- Никита Зелинский (МТС)
- Александр Самойлов (Wildberries)
- Иван Бондаренко (Новосибирский государственный университет)
Встреча пройдет в формате открытой дискуссии, где каждый желающий сможет задать интересующие его вопросы. Участие бесплатное.
✅ Регистрируйтесь на встречу и зовите коллег!
⚡французы получили от Дурова ключи шифрования Telegram
Читать полностью…
В России можно посещать IT-мероприятия хоть каждый день: как оффлайн, так и онлайн
Жаль только, что нет никакой единой "базы" ивентов. Чтобы заглянул -> увидел все что есть -> выбрал -> пошел. Или все-таки есть?
🔥 Смотрите: мы нашли канал, в котором публикуют ВООБЩЕ ВСЕ анонсы вебинаров, хакатонов, конференций, мастер-классов, ивентов от гигантов индустрии и лучших специалистов по кодингу, дизайну, аналитике и т.д.
В общем, очень кайфовая вещь: здесь вы точно не пропустите ничего важного и интересного.
Подпишитесь, чтобы не потерять: IT-мероприятия России / ITMeeting / IT events
Кейсы ML system design
📖 На прошлой неделе провёл занятие со студентами шад мтс по кейсам ml system design. Тема была очень интересной, и мне даже понравилось в новой роли! В будущем обязательно расскажу об этом опыте подробнее.
🔍 Кстати, если вы планируете проходить собеседование на позицию специалиста по Data Science, то вам точно стоит разобраться в этой теме. Вот несколько причин, почему:
1️⃣ Вы узнаете разные подходы к решению задач (рексис, поиск, прайсинг). Это поможет вам поддержать разговор на собеседовании в соответствующую команду и ответить на вопросы.
2️⃣ Систематизация
Все ML системы строятся по определённому паттерну, и важно понимать, с чего начинать работу над проектом.
3️⃣ Новые знания
Разбираться в том, как работают другие команды, всегда интересно и полезно. Даже если вы никогда не будете заниматься поиском, всё равно стоит узнать, как решают проблемы в их отрасли
✅️ В общем, перед собеседованием посмотрите несколько кейсов ml system design, которые касаются команды куда идете и читайте больше литературы по этому вопросу.
Успехов на собеседовании!
Подборка статей от друга сообщества
Лайк, репост статьи приветствуются 👍
🔍 How to Detect Causal Lead-Lag Relationship in Multivariate Time-Series❓
https://www.linkedin.com/posts/nikita-iserson_causality-leadlag-finance-activity-7201121191581900800-P9Qa
про lead-lag зависимости во временных рядах
🔍 Large Language Models for Alternative Financial Data Extraction❓
https://www.linkedin.com/posts/nikita-iserson_topicmodeling-namedentityrecognition-relationextraction-activity-7208718110554566656-5Owl
про всякие последние подходы / библиотеки экстракции финансовых данных из текста (NER, REL, ABSA) с помощью LLM.
🔍 How to Avoid Overfitting and Spurious Correlations with Domain Knowledge?❓
https://www.linkedin.com/posts/nikita-iserson_benignoverfitting-spuriouscorrelations-domainknowledge-activity-7202199071636307969-t8oR
про монотонные ограничения в разных типах моделей, упомянул AutoWOE
Друг из сообщества написал статью о том как начать работать с GNN для временных рядов. В комментариях можно найти ссылки на статьи, книги, доки. 👏
Лайк, репост статьи приветствуются 👍
https://www.linkedin.com/posts/nikita-iserson_graphneuralnetworks-gnn-timeseriesforecasting-activity-7199312050571866113-kImK
Так же у нас есть чатик для обсуждения графов
/channel/sberlogawithgraphs на случай если вы захотите в эту тему погрузиться и нужна будет помощь 💪
💻 Улучшаем навыки программирования!
💬 Уже занимаюсь DS наверное лет 10, еще с тех пор когда слова "Data Science" даже не употреблялись. И, как мне видится, за все это время мало что изменилось с точки зрения написания кода - сложно читаемый, не воспроизводимый и непригодный для использования в production-системах. Кроме этого выявляются многочисленные проблемы, такие как нарушение логики, лики, ошибки реализации тех или иных функций которые в конечном счете влияют на результат.
💬 Хочу поговорить о том как можно улучшить свои скилы в плане написания production ready кода.
Ниже представлены несколько ресурсов, которые помогут систематизировать информацию, понять текущие пробелы в знаниях и начать их изучение:
1⃣ https://goodresearch.dev/
Сайт с базовыми знаниями о том как создавать и вести любой научный проект. От создания структуры проекта, работы с git, написание кода, документации, тестов и т.д. Кратко, понятно, а главное все по делу. Где нужно - есть дополнительные ссылки с более детальной информацией.
В общем если вы видели в своей жизни только jupyter notebook и не знаете с чего начать более сложный проект - начните с этого сайта.
2⃣ https://refactoring.guru/
Паттерны проектирования - нужно знать. Вы же на python код пишите все-таки. Кроме этого есть отдельный раздел по рефакторингу кода, который содержит типичные ошибки при написании кода и принципы которые помогут избегать их.
У меня сложная история с изучением этого материала, связанная с написанием проекта по парсингу документов судебных решений. История полная боли, ошибок, самоосознания насколько фиговый код я пишу, и в итоге - переписыванием кода с нуля, причем 2 или 3 раза. После переработки, код стал чище, понятнее, а главное - можно было легко его доработать.
Мой совет - изучите тему, даже если не все запомните, при реализации проекта вам будут приходить правильные мысли и возможно не потратите уйму времени на переписывание собственного кода.
3⃣ Lott Phillips - Python Object Oriented Programming 4th Edition (2021, Packt)
ООП в python. Конечно я считаю, что посмотрев 2 скринкаста ниже можно основную информацию подчерпнуть сразу потратив всего 2 часа
https://www.youtube.com/watch?v=r1Y7m5bB7l8
https://www.youtube.com/watch?v=Eetg5HIxNow
Прочитать книгу все равно рекомендую если вы хотите улучшить свои хард скилы
4⃣ Luciano Ramalho - Fluent Python- Clear, Concise, and Effective Programming (2022, O'Reilly Media)
Думаю эта книга станет отличным дополнением для людей которые уже знают python и хотят узнать что-то новое. Там с первых строк будет понятно, что книга не для новичка - concurrency, async, метапрограммирование, датаклассы, ООП, функции, структуры данных. Вас ждет погружение в мир Python на максималках
🧑💻 Напишите в комментах свои рекомендации и чем вы пользовались
Митап Победителей в Лотерею 27 февраля!
Всем привет! Как вы, возможно, знаете Гипотеза Лотерейного Билета предполагает, что в нейросетях можно найти мощные подсети, способные обучаться не хуже полных сетей. Наши друзья погрузились в тему и хотят рассказать об этом. Приходите на наш митап, чтобы узнать о том, как можно выявить и оптимизировать такие подсети, и как это открывает двери к нейросетям следующего поколения. 🚀
🔍 Что будет на митапе:
- Узнаем какой прогресс по этой теме существует в мире.
- Посмотрим на работу с подсетью MobileNet_V3, потерявшей половину весов и менее 1% accuracy без дообучения весов.
- Откроем черный ящик нейросетей и разберемся, что происходит внутри.
- Поговорим про перспективы и возможности для разработки совсем иных нейросетей с меньшим количеством параметров, но с гораздо большими возможностями.
На мероприятии выступят:
- Голощапов Владислав (независимый исследователь)
- Денис Кузнеделев (Сколтех, Центр технологий искусственного интеллекта, Резидент исследовательского отдела ООО «ЯНДЕКС», лауреат Yandex ML Prize) 🌟
Доклады:
1. Ансамбль синапсов – структурная единица нейронной сети (Влад Голощапов)
2. История Оптимального хирурга для спарсификации нейронных сетей, в теории и на практике (Денис Кузнеделев)
3. Глубокий анализ полезности весов - путь к успешному прунингу (Влад Голощапов)
4. Как извлечь пользу из прунинга. Нейросети с адаптивно обучаемой архитектурой (Влад Голощапов)
Обязательная регистрация по ссылке
📅 27.02.2024
🕓 18:00 - 22:00
📍 Точка кипения
ODS Moscow
I'ML Meetup: Обучение и запуск в прод моделей на больших данных
Дмитрий Бугайченко, Сбер — «Практический ML на больших данных»
Сергей Саввов — «Слияние LLM»
https://wildcard.timepad.ru/event/2746307/?utm_campaign=JRG_IMLmeetup&utm_medium=newsletter&utm_source=email
https://github.com/EulerSearch/embedding_studio
Знакомые знакомых сделали open-source либу на тему эмбедингов
Поставьте звездочку как откроете почитать о ней. Ребятам приятно будет. Если будут вопросы или комментарии - пишите обязательно 👍
PS присылайте мне в личку cвои библиотеки которые не стыдно показать и рассказать, напишу о них (@boyadzhi )