741
Канал о Data Science, ML, AI - книги, курсы, статьи.
Кстати, если кто хочет в Яндекс вдруг :https://yandex.ru/project/events/fasttrack-poisk-analytics-04-23?utm_source=recruitment&utm_medium=ra&utm_campaign=chaser
Читать полностью…
🌎TOP-25 DS-events all over the world:
• Feb 9-11 • WAICF - World Artificial Intelligence Cannes Festival • Cannes, France https://worldaicannes.com/
• Feb 15-16 • Deep Learning Summit• San Francisco, USA https://ai-west-dl.re-work.co/
• Mar 30 • MLconf • New York City, USA https://mlconf.com/event/mlconf-new-york-city/
• Apr 26-27 • Computer Vision Summit • San Jose, USA https://computervisionsummit.com/location/cvsanjose
• Apr 27-29 • SIAM International Conference on Data Mining (SDM23) • Minneapolis, USA https://www.siam.org/conferences/cm/conference/sdm23
• May 01-05 • ICLR - International Conference on Learning Representations • online https://iclr.cc/
• May 17-19 • World Data Summit• Amsterdam, The Netherlands https://worlddatasummit.com/
• May 25-26 • The Data Science Conference • Chicago, USA https://www.thedatascienceconference.com/
• Jun 14-15 • The AI Summit London • London, UK https://london.theaisummit.com/
• Jun 18-22 • Machine Learning Week • Las Vegas, USA https://www.predictiveanalyticsworld.com/machinelearningweek/
• Jun 19-22 The Event For Machine Learning Technologies & Innovations • Munich, Germany https://mlconference.ai/munich/
• Jul 13-14 • DELTA - International Conference on Deep Learning Theory and Applications • Rome, Italy https://delta.scitevents.org/
• Jul 23-29 • ICML - International Conference on Machine Learning • Honolulu, Hawai’i https://icml.cc/
• Aug 06-10 • KDD - Knowledge Discovery and Data Mining • Long Beach, USA https://kdd.org/kdd2023/
• Sep 18-22 • RecSys – ACM Conference on Recommender Systems • Singapore, Singapore https://recsys.acm.org/recsys23/
• Oct 11-12 • Enterprise AI Summit • Berlin, Germany https://berlin-enterprise-ai.re-work.co/
• Oct 16-20 • AI Everything 2023 Summit • Dubai, UAE https://ai-everything.com/home
• Oct 18-19 • AI in Healthcare Summit • Boston, USA https://boston-ai-healthcare.re-work.co/
• Oct 23-25 • Marketing Analytics & Data Science (MADS) Conference • Denver, USA https://informaconnect.com/marketing-analytics-data-science/
• Oct 24-25 • Data2030 Summit 2023 • Stockholm, Sweden https://data2030summit.com/
• Nov 01-02 • Deep Learning Summit • Montreal, Canada https://montreal-dl.re-work.co/
• Dec 06-07 • The AI Summit New York • New York, USA https://newyork.theaisummit.com/
• Nov • Data Science Conference • Belgrade, Serbia •https://datasciconference.com/
• Dec • NeurIPS • https://nips.cc/
• Dec • Data Science Summit • Warsaw, Poland • https://dssconf.pl/
Данный курс является первым из серии в специализации "Введение в Data Science". Он полностью посвящен теме изучения фундаментальных основ языка программирования Python, одного из самых распространенных и востребованных языков, особенно, в сфере анализа данных.
Читать полностью…
В ЧЕМ РАЗНИЦА???
Business Intelligence VS Data Science
👨💻В работе с данными есть множество направлений, которые тесно пересекаются между собой и даже часто выполняют одни и те же задачи для бизнеса.
С другой стороны, всех специалистов разделяют по специальностям, так как компетенции у каждого преобладают свои. Давайте разберемся в чем разница между Business Intelligence и Data Science.
❗️Понятие Business Intelligence связано с технологиями, практиками и анализом информации для бизнеса. Сами BI системы позволяют делать продукты, которые используют данные в качестве основы для анализа текущей, прошедшей или предсказания будущей ситуации для бизнеса и бизнес-показателей. Это позволяет предоставлять ценную информацию для конечных пользователей и людей, принимающих бизнес-решения.
📌Ключевыми задачами в BI являются: • создание аналитических хранилищ данных внутри компании • разработка и настройка интерактивной отчетности компании на основе данных • построение систем принятия решений на основе анализа данных
👩🎓Соответственно, ключевыми компетенциями специалистов по BI будут: • знание и понимание бизнес-домена • понимание методик бизнес-анализа • работа с аналитическими хранилищами данных • описание и разработка аналитических систем и ETL/ELT процессов • работа с данными (извлечение, проверка на качество, описание модели, очистка) • работа с бизнес-метриками • работа с BI инструментами
❗️Data Science же, в какой то мере, идет дальше, помимо стандартного анализа данных, расчета метрик и получения информации, из данных извлекают знания с помощью алгоритмов машинного обучения (ML).
📌Ключевыми задачами в DS являются: • предобработка данных и построение на их основе признаков для обучения модели • построение ML моделей, их оптимизация и тестирование • внедрение модели в систему принятия решений
👩🎓Ключевые компетенции специалистов по DS: • знание и понимание бизнес-домена • работа с хранилищами для извлечения данных • работа с данными (предобработка, построение признакового пространства) • знание математики, статистики, ML и построение моделей на их основе • работа с ML и бизнес-метриками • навык программирования и знания ПО для разработки: Pycharm, Git и тд;
⁉️Каким направлением вам хотелось бы заниматься?
Совместный пост с /channel/data_study
КАК ПОВЫСИТЬ ЗАРПЛАТУ 2Х?
💸💸Самый простой и очевидный способ это найти хорошую вакансию, подготовиться и заполучить ее.
Но если вы долго работаете на одном месте, у вас хороший коллектив и вообще отличная командная работа - вы не хотите никуда уходить🙄
В таком случае вы можете расчитывать на повышение зп на 20-30% в год/пол года (зависит от компании) или ожидать премию за хорошую работу, если постараетесь.
Но есть некая «несправедливость» на рынке труда 🙃:
- зарплатные вилки новых позиций могут быть выше, чем ваши текущие🙀
Это объясняется конкуренцией на рынке вакансий - компании вынуждены предлагать релевантные цифры, но это совсем не значит повышение зп всем уже имеющимся сотрудникам соответственно🤨
💵 Поэтому если вы хотите получать зп соответствующую рынку, вам необходимо часто менять место работы.
⁉️Так делают многие и в этом есть как + так и -, можете подумать о них в комментариях.
🤓Так же есть ещё один рискованный способ поднять свою зп - принести новый оффер своему начальнику, т.е. заполучить вакансию с интересными вам цифрами и сказать об этом на текущем месте.
‼️Если вы являетесь ценным сотрудником, вам могут предложить контр оффер и обсудить новые условия
⚠️Ну или пожелать вам хорошей работы на новом месте, к этому тоже нужно быть готовым.
⁉️Были ли у вас такие случаи?
Полезные ссылки для знакомства и работы с DataLens
Большой функциональный демо дашборд:
- datalens.yandex/demo - публичный, только чтение
- Развернуть дашборд в своем DataLens для редактирования
Сообщество:
- Телеграм чат (вы сейчас тут)
- Предложить и проголосовать за новую фичу
- Плейлист официальных видео на YouTube
Обучение:
- Быстрый старт, пошаговая инструкция
- Более детальные пошаговые инструкции по сценариям
- Туториалы по аналитическим функциям: агрегации, оконные функции, Level-of-Detail выражения
- Создание SQL-чартов (если вам нужно больше гибкости модели данных)
- Образовательные проекты
FAQ
- FAQ в документации
- ETL для DataLens?
- Яндекс.Метрика и DataLens
Публичные кейсы использования DataLens:
- КазаньЭкспресс - Аналитика retail маркетплейса
- Правительство С.-Петербурга - Аналитика городских сервисов
- Окраина - Аналитика на мясоперерабатывающем заводе
- МВидео - Платформа данных в облаке, геоаналитика
- Rubetek - Аналитика IOT по датчикам домов и квартир застройщика ПИК
- Moneycare - Кредитный брокер, корпоративный BI
- AnywayAnyDay - Аналитика онлайн туристического агентства
- JustSchool - Аналитика над CRM школы английского языка
- SevenTech - Аналитика технологического стартапа над ClickHouse
- НефтеТрансСервис - Промышленная аналитика интернета вещей
- RADAR - Аналитика аудитории наружной рекламы по всей России
- Цифровое образование - Аналитика олимпиад, учеников, школ
- Биологический Факультет МГУ - Предсказание и аналитика урожая
- tproger – Веб аналитика портала
- Car-Taxi - Продуктовая аналитика сервиса эвакуации авто
- Datanomics - Анализ результатов прогнозирования в ритейле
- Кинопоиск - Публичная статистика оценок фильмов
Примеры публичных дашбордов:
- Анализ качества воздуха
- Статистика коронавируса
- Погода
- Показатели Российских ВУЗов
- Демография Ставрополья
- Исследование про работу вахтовым методом в РФ
- Безработица РФ
- Пример с LOD выражениями от @ab0xa
Презентации:
- DataLens
- Yandex Cloud Data Platform
Помощь:
- Обсудить ваш проект
- Завести тикет в техподдержку
- Оставить заявку на помощь партнера Yandex Cloud
- Публичный каталог партнеров
КАК УПРАВЛЯТЬ DATA SCIENCE ПРОЕКТОМ?
В классической разработке программисты взаимодействуют с несколькими версиями кода - любая доработка это изменение исходной версии кода.
Чтобы предотвратить путаницу и ошибки, разработчики используют системы управления версиями, например, Git.
В системе управления версиями есть центральный репозиторий кода, представляющий текущее состояние проекта. Далем его копию, вносим нужные правки, тестируем и, если все хорошо, добавляем к исходной версии👌
😑В проектах связанных с машинным обучением все немного сложнее, помимо кода, есть ещё данные, модели и куча экспериментов, версии которых тоже необходимо отслеживать.
Так вот для контроля версий моделей можно использовать библиотеки с открытием исходным кодом ClearML/MlFlow.
А масштабные эксперименты удобно проводить в AirFlow, так как удобно использовать асинхронный граф между задачами.
А вы следите за своими экспериментами?
Сегодня, 02.06 в 19:00 будет стрим, поговорим о собесах 🤯 c DS @nikolay_frolov
Подключайтесь, задавайте свои вопросы 😅
Краткое саммари и полезные ссылочки:
Дмитрий прошёл путь: МГУ(экономический факультет) -> ШАД -> Яндекс (аналитик)-> небольшая компания по разработке игр на Кипре(аналитик) - Microsoft Прага (software engineer)
Важное замечание: в Яндексе на позицию аналитика/ аналитика- разработчика требуют больше hard skills, чем в Microsoft, по их меркам это полноценный разработчик.
Дмитрий владел английским на старте примерно B2-С1, но никакие специализированные тесты не сдавал, т.к требований таких нет.
В Microsoft готовился около 6 месяцем в своем темпе.
Начал с тренировок решения задач на: https://leetcode.comLeetCode
Затем на канале /channel/FaangInterview
готовился к собеседованию, там же находил людей, с которыми устраивали друг другу тестовые собеседования, тренировался так раз 8-10.
Так же для собеседования рекомендует пройти курс https://www.educative.io/courses/grokking-the-system-design-interview
О зарплатных вилках в разрезе гео/позиции/компании смотреть тут levels.fyi, соответсвует действительности.
Об остальных подробностях:
Как нашёл вакансию?
Почему устройство заняло 6 месяцев, хотя оффер получил быстро?
Какие ещё вопросы спрашивают на собеседовании?
Смотрите, слушайте запись⏬
❗️Вывод: все возможно/ реально , если определить план и двигаться к цели 🎯 , хотя это и может занять не мало времени и усилий.
24 марта в 18:00 мы в МТС проводим онлайн-митап для дата саентистов, дата инженеров и других дата гайз
Коллеги из МТС и ivi.ru расскажут про PU Learning и разберут принципы сортировки блоков с фильмами на главной странице IVI. После этого мы с Валерой Бабушкиным и Пашей Мягких устроим панельную дискуссию про использование Data Science в разных сферах бизнеса.
Участие, бесплатное, регистрируйтесь по ссылке:
https://mts-digital.timepad.ru/event/1962458/
ЧТО С НАЙМОМ В АЙТИ?
Многие компании, даже крупные и стабильные, вчера нанимавшие сотни сотрудников, остановили найм.
Да, звучит это так себе, но не стоит сильно переживать - это вынужденная временная мера, чтобы разобраться с происходящим, скорректировать стратегию и ключевые бизнес процессы.
❗️Я думаю на это потребуется от двух- шести месяцев и далее найм постепенно возобновят.
Также важно отметить, что помимо заморозки найма происходят сокращения и закрытия целых проектов/компаний т.е. освободились специалисты разных направлений с опытом и они активно ищут работу.
❗️Рынок труда изменился: предложение выросло, следовательно требования к кандидатам тоже вырастут - на работу возьмут сильнейших, хорошие специалисты везде нужны.
Ну а для начинающих это время усиливать свои скилы, пополнять портфолио, обучаться новым навыкам, желательно фундаментальным, а так же мониторить рынок и требования, так как сейчас многое меняется.
⁉️Также в поддержку начинающих я хочу поделиться ссылкой на дополнительную скидку 5% на все курсы школы SkillFactory: https://go.avnxt.site/b125ae747ad5ac01
Вы знаете, что я уже около двух лет менторю там ребят, но вот только сейчас подумала, чем же могу быть ещё вам полезна в это нелегкое время и вспомнила про такую возможность, вдруг кому нужно- ❗️не реклама❗️
Всех приветствую на курсе “Программирование на Python”
Если вы дано хотели в сверху IT или конкретно в Data Science, но не знали с чего начать 😔
То ваше время пришло!
❗️Самый главный навык любого АйТи специалиста, это навык программирования.
А обрести его легче всего на языке программирования Python 🐍
Этот язык является одним из самых востребованных и распространённых, а в Data Science он вошёл быстрыми уверенными шагами и занял лидирующую позицию.
Представляю вашему внимаю курс по основам программирования на Python, который мы разработали в соавторстве с Евгением :
https://stepik.org/a/100567
Евгений Левянт
Аспирант Прикладной математики и информатики. Senior Data Scientist в компании ИТ Магнит. Python разработчик. Ментор Junior Data Scientist более 3 лет. Опыт преподавания математики более 5 лет.
Виктория Тюфякова
Магистр Прикладной математики и информатики. Middle Data Scientist в компании ИТ Магнит. Преподаватель/ ментор студентов более 2 лет. Спикер профессиональных конференций PyConf. Автор экспертного блога о Data Science в instagram//telegram: @vic.dscience
На данном курсе вы ознакомитесь с типами и структурами данных, изучите основы программирования: условные операторы, циклы, функциональное программирование, а так же ООП. Научитесь работать в профессиональном IDE Pycharm и использовать Debug.
❗️Длительность курса 4 недели.
❗️Старт 22.10
❗️❗️успейте на самые первые низкие цены❗️❗️
Кто хочет узнать всю информацию о курсе одним из первых, оставляете заявку:
https://forms.yandex.ru/cloud/62dbb3e0fe6772ff501936d6/
Приглашаем на тест-драйв Yandex DataLens по следам «BI круг Громова»
🗓 21 июля в 15:00 (Мск) эксперты «Ёлва», BI Consult и Yandex проведут тест-драйв Yandex DataLens в рамках road-show российских BI-решений.
На вебинаре познакомим с компонентами и архитектурой DataLens и детально разберем решение реального кейса:
▫️ Загрузка данных в Yandex Cloud с помощью Object Storage
▫️ Импорт данных в витрину ClickHouse и подключение DataLens к ClickHouse как к источнику данных
▫️ Создание набора данных (датасета)
▫️ Построение визуализаций и дашбордов в сервисе DataLens
Регистрация 👈
Олег Харатов из команды DWH выступит 21 июля на IT’s Tinkoff Data Meetup, чтобы поделиться знанием, как найти данные о данных. Приглашаем зарегистрироваться!
Тем временем в открытом доступе появился доклад Жени Николаева, коллеги Олега, который презентовался на Smart Data 2021. В нём — о продуктовом подходе к разработке платформы хранилища данных.
Кстати, мы даже статью такую писали. Помните?
#dwh_avitotech #видео_avitotech #avitoteam
Стажировки лучший способ притронуться к реальным задачам и получить первый опыт, а если повезёт то первый offer.
Поэтому я собрала несколько актуальных стажировок в крупных компаниях:
https://vk.tinkoff.ru/start_osen2022
https://job.mts.ru/youth#section-steps
https://job.megafon.ru/internship
https://job.ozon.ru/internships/
https://yandex.ru/yaintern/?ysclid=l5ebax4k61718876020
Рекомендую попытаться, подготовить резюме и порешать тестовые, пройти собесы🔥
Удачи 🍀
ЧТО ОБЯЗАТЕЛЬНО НУЖНО ЗНАТЬ В DATA SCIENCE?
1. Машинное обучение
Машинное обучение - это основа науки о данных. Специалисты по обработке данных должны хорошо разбираться в ML.
2. Моделирование
Математические модели позволяют выполнять быстрые вычисления и делать прогнозы на основе данных. Моделирование является частью машинного обучения и включает в себя определение того, какой алгоритм является наиболее подходящим для решения конкретной задачи.
3. Статистика
Статистика лежит в основе науки о данных. Уверенное владение статистикой может помочь извлечь больше информации и получить более значимые результаты.
4. Программирование
Для успешного выполнения проекта по DS требуется определенный уровень программирования. Наиболее распространенными языком программирования является Python. Он особенно популярен, потому что прост в освоении и поддерживает множество библиотек для data science и ML.
5. Базы данных
Специалист по обработке данных должен понимать, как работают базы данных, как ими управлять и как извлекать из них данные.
⁉️Продолжите список?
Запись стрима о собеседованиях в DS.
Ссылка на упомянутое соревнование:
https://www.kaggle.com/competitions/image-matching-challenge-2022
КАК УЗНАТЬ КАКИЕ ВОПРОСЫ ЗАДАДУТ НА СОБЕСЕДОВАНИИ???
Классическое собеседование можно разделитесь на три части:
1. Звонок от HR, расскажут о вакансии, узнают релевантно ли вам и ваш опыт, передадут резюме команде, если ок, назначат встречу;
2. Первый этап собеседования — рассказываете о себе и своём опыте подробно: какие задачи решали, какие подходы использовали, на какую метрику ориентировались и почему. 🙉Тут важно хорошо вспомнить, что вы делали, или прям просмотреть проекты, для этого хорошо бы иметь портфолио на git, к которому можно быстро обратиться. ☝🏻Это очень важно, так как чаще всего вопросы задают именно по вашим проектам, что, как и почему, разбираются на сколько хорошо вы понимаете то, что делали. ❗️После этого теоретического этапа могут дать тестовое задание - новичкам обязательно соглашаться и делать, потом можно будет так же добавить проект в портфолио. Если прошли первый этап, по итогам созвона или тестового задания идете дальше.
3. Второй этап собеседования проходит обычно с тимлидом/ техлидом и представляет собой техническое собеседование, где проверяют навыки программирования, знания алгоритмов и структур данных и тд.. ⁉️Вопросов может быть великое множество, но подготовиться вполне реально и полезно, выучив один раз будите счастливы многие годы. Если было тестовое, то могут задать вопросы по нему.
Интервью с Дмитрием Браженко.
Работа за границей: Яндекс ➡️ Microsoft
Ссылка: https://telemost.yandex.ru/j/81595513320297
О чем будем говорить:
1. Расскажи о себе: где учился, где работал( кратко карьерный путь в России, сколько лет опыта наработал).
2. Почему решил уехать работать за границу?
3. Карьерный путь за границей.
4. Что необходимо для устройства?
5. Особенности собеседований?
6. Как и где готовился к собеседованиям?
7. Уровень зп относительно уровня жизни там?
8. Какие планы дальше?
9. Если какие-то грабли/ тонкости, о которых хотел бы рассказать/ предупредить?
10. Можешь порекомендовать с чего начать этот путь релокации?
🎬 Ламповый стрим уже завтра. Поболтаем за жизнь и за DS. Начало в 18:00 по Мск.
👨🎨 Пригласил на стрим 3-х любопытных ребят (Андрей, Виктория и Иван). Про каждого для затравки расскажу в комментариях. Тут же в комментариях можете продолжать задавать вопросы и предлагать темы для обсуждений. Я все читаю🥷.
🤪 Про то, как начать в DS можно уже не спрашивать, вопрос уже избитый донельзя.
📜 Примерная повестка:
- Как работать и развиваться эффективнее.
- Организация рабочего пространства
- Пет проекты и стартапы
- Способы зарабатывать выше среднего в своей сфере.
📎Ссылка на стрим. Запись стрима будет 😇
Поделись постом со своими =)
ЧТО НАС ЖДЁТ ДАЛЬШЕ?
Отмечу сразу, несмотря на некоторое шоковое состояние всего рынка/ компаний, востребованность Data Science по-прежнему высокая, с некоторыми корректировками.
❓Чтобы понять о чем я, подумайте, что обычно происходит в кризис?
⁃ компании включают режим выживания: все силы концентрируются на основополагающих процессах, а проекты типа «развитие» замораживаются/закрываются.
Если трактовать с точки зрения влияния на DS, то проекты связанные с ключевыми процессами бизнеса никуда не денутся, а будут только набирать обороты, т.е аналитика и классический ML по прежнему будут сильным конкурентным преимуществом.
А вот проекты по внедрению передовых нейросетевых технологий CV/NLP/RL могут притормозить, если это непосредственно не влияет на бизнес или это не основные проекты.
❓Второй влияющий аспект:
⁃ перестройка инфраструктуры - по возможности переход на наше ПО и облака, например, Яндекс, благо есть open source, который нам ещё оставили.
Отсюда вывод: ценны фундаментальные знания (математика/ статистика/ алгоритмы) и навыки (программирование, работа с данными), а не знание конкретных инструментов.
В любом случае, это только начало и никто не может знать о всех изменениях, которые нас ждут, но я точно знаю, что в информационный век, только Data Science сможет нам помочь со всем этим справиться.
⁉️А какие процессы происходят в ваших компаниях???
❗️По поводу найма в DS, напишу в следующем посте.
❤️Ну а чтобы меня не потерять, мой вк https://vk.com/vicdscience