Анализ данных (Data analysis)

01 Feb 2023 14:19

🖥 Шпаргалка по регулярным выражениям Python 2023

Эта шпаргалка по регулярным выражениям покажет вам наиболее часто используемые регулярные выражения, которые любой python разработчик или системный администратор может использовать в качестве краткого справочника.

▪ Читать
▪Зеркало
▪ Pdf

@data_analysis_ml

Анализ данных (Data analysis)

31 Jan 2023 11:20

🖥 5 расширения VS Code для датасаентиста.

Любой специалист по инженерии данных может установить несколько расширений и таким способом сделать редактор удобнее для работы с данными.

Рассмотрим некоторые из расширений VS Code, которые помогут дата-инженерам оптимизировать работу и увеличить объем выполненной работы.

CodeGPT - Это расширение: пишет код по текстовому запросу, сравнивает лучшие ответы Stackoverflow с ответом ИИ, находит проблемы в коде, отвечает на любые вопросу по коду, рефакторинг, документация и даже пишет модульные тесты.

Pylance - Приложение предоставляет мощный инстумент - автодополнения кода IntelliSense (дописывает функции при вводе начальных букв ).Расширения с продвинутой функцией
определения типов, предложениями функций, автоимпортами и многим другим.

Jupyter - расширение Jupyter пригодится при выполнении повседневных задач инженерии данных в ноутбуках Jupyter. Расширение позволяет редактировать блоки ноутбуков и запускать их на сервере Jupyter-ноутбуков, аналогично работе с ноутбуками Jupyter.

Excel Viewer - Расширение, которое позволит просматривать и редактировать файлы CSV и Excel прямо в VS Code без необходимости открывать другое приложение и обладает еще рядом удобного функционала.


IntelliCode - Расширение IntelliCode для Visual Studio предоставляет функции разработки с помощью ИИ для разработчиков Python, TypeScript/JavaScript , основанными на понимании контекста вашего кода в сочетании с машинным обучением. В приложении есть примеры с кодом для более чем 100 000 различных API.

▪Подробнее

@data_analysis_ml

Анализ данных (Data analysis)

30 Jan 2023 14:07

🔟 продвинутых SQL вопросов с собеседований, на которые вы должны знать ответ.

Продолжаем серию статей по вопросам с SQL собеседований для аналитика данных.

▪ Читать
▪ Зеркало

@data_analysis_ml

Анализ данных (Data analysis)

27 Jan 2023 19:40

📂 3 способа сбора данных для DS-проекта.

Любой проект по науке о данных нуждается в данных. Чтобы извлечь их с сайта и создать необходимый набор, используются инструменты веб-скрейпинга.

Однако на одном сайте не всегда находятся все нужные данные либо там могут быть несоответствия, из-за которых можно извлечь только часть данных.

Так случилось со мной, когда я искал данные о футбольных матчах, проведенных на Чемпионатах мира с 1930 по 2022 год. Некоторые данные были извлечены, но не все. С помощью этого руководства мы извлечем остальные данные с нуля с помощью Selenium, чтобы в дальнейшем использовать их в проекте.

▪Читать

@data_analysis_ml

Анализ данных (Data analysis)

27 Jan 2023 17:20

🔥 7 расширенных операций со списками Python, которые могут эффективно оптимизировать ваш код

В этой статье мы покажем вам семь расширенных операций со списками, которые сделают ваш код аккуратнее, чище и качественнее.

▪Читать
▪Зеркало

@data_analysis_ml

Анализ данных (Data analysis)

27 Jan 2023 11:04

📊 5 шагов для создания красивых столбчатых диаграмм

Рассказывать убедительную историю с помощью данных на Python становится намного проще, когда диаграммы, поддерживающие эту самую историю, ясны, не требуют пояснений и визуально приятны для аудитории.

Во многих случаях содержание и форма одинаково важны.
Отличные данные, плохо представленные, не привлекут того внимания, которого они заслуживают, в то время как плохие данные, представленные визуально приятным способом, легко будут дискредитированы.

▪Читать дальше
▪Зеркало

@data_analysis_ml

Анализ данных (Data analysis)

26 Jan 2023 10:12

🔍 4 Библиотеки Python для Feature Engineering, которые вам стоит использовать в 2023 году

"Feature Engineering" (отбор признаков)- это процесс использования предметной области данных для создания признаков.

Feature Engineering является фундаментом для приложений машинного обучения, a также процессом трудным и затратным. Необходимости ручного конструирования признаков можно избежать при автоматизации прикладного обучения признакам.

В этой статье я покажу вам 4 популярные библиотеки Python для автоматизированного отбора признаков с которыми каждый Data Science-разработчик должен быть знаком.

▪Читать
▪Зеркало

@data_analysis_ml

Анализ данных (Data analysis)

25 Jan 2023 10:12

🖥 Увеличиваем скорость работы Python с Numba

На самом деле существует несколько способов разогнать код на Python. Самыми популярными из них являются:

▪использование Cython;
▪использование PyPy;
▪расширение Python с использованием C/C++.

Читать

@data_analysis_ml

Анализ данных (Data analysis)

24 Jan 2023 17:23

⚡️ Как работать с Big Data быстрее и эффективнее: Kubernetes для Data Science

Традиционный подход к построению работы с большими данными — развернуть Hadoop-кластер, установить дополнительные инструменты и построить на нем платформу для работы с данными. Но в таком подходе есть несколько ограничений, вроде невозможности разделения Storage- и Compute-слоев, сложностей масштабирования и изоляции сред для разных приложений. Даже несмотря на то, что Hadoop можно арендовать у облачного провайдера как сервис (aaS), такой подход все равно мало чем отличается от развертывания на собственном оборудовании.

Однако есть другой, Cloud-Native подход работы с большими данными. Он позволяет решить эти проблемы, а также получить дополнительные возможности от облачных технологий. Для этого используют Kubernetes, интегрируя его с различными инструментами.

Из статьи вы узнаете, как Kubernetes помогает в работе с Big Data, какие используются инструменты и какие преимущества можно получить по сравнению с классическим развертыванием.

▪Читать

@data_analysis_ml

Анализ данных (Data analysis)

24 Jan 2023 13:24

🏠 Строим свое будущее: как выбрать квартиру, опираясь на методы регрессионного анализа?

Для анализа ситуации на рынке недвижимости будем использовать готовый датасет, который состоит из списков уникальных объектов популярных порталов по продаже недвижимости.

Набор данных содержит информацию о месторасположении дома, материале, из которого он построен (кирпичный, панельный, деревянный и т.д.), количестве этажей, площади квартиры и его стоимости.

▪Читать

@data_analysis_ml

Анализ данных (Data analysis)

23 Jan 2023 11:53

🖥 ChatGPT в качестве помощника по программированию и анализу данных на Python.

ChatGPT от OpenAI это… да ладно, вы и сами знаете, что такое ChatGPT. Вы уже достаточно прочитали об этом, и представления больше не нужны.

А если вы всё-таки не знаете, что такое ChatGPT, сначала взгляните на эту статью, а затем вернитесь, чтобы продолжить.

О ChatGPT можно разговаривать очень долго, но давайте посмотрим, насколько данная технология может быть полезной на самом деле.

Сейчас вы узнаете, что может сделать ChatGPT, когда дело доходит до написания кода из спецификаций, которые мы предоставляем. Как обычно, начнём по нарастающей – с простого!

▪Читать дальше
▪Зеркало
▪Как заработать с помощью ChatGPT

@data_analysis_ml

Анализ данных (Data analysis)

22 Jan 2023 12:44

📃 Шпаргалка для подготовки к экзамену по машинному обучению

Данная статья обладает необходимой комплексностью повествования, описывающего специфику использования перечисленных инструментов в контексте сдачи экзамена по машинному обучению.

▪Читать

@data_analysis_ml

Анализ данных (Data analysis)

21 Jan 2023 14:00

👉 Приглашаем на первое знакомство с машинным обучением!

Бесплатный урок «Первичный анализ данных с Pandas» в OTUS в рамках запуска специализации «Machine Learning».

💪 После занятия вы будете знать:

- Зачем нужен первичный анализ данных в машинном обучении

- Какие существуют инструменты для первичного анализа данных в Python

- Как визуализировать данные и какая преобработка данных нужна в ML

👱‍♀️ Спикер: Тихонова Мария, руководитель онлайн-курса и Senior Data Scientist в SberDevices.

👉 Чтобы участвовать в прямом эфире, зарегистрируйтесь https://otus.pw/q3yn/

Анализ данных (Data analysis)

21 Jan 2023 08:21

🌍 Как правильно использовать геоданные в аналитике и как это может повысить точность предиктивных моделей?

Значительная часть собираемых данных содержит географическую составляющую, которая зачастую не используется в анализе. В данном канале вы найдете информацию об инструментах обработки и визуализации геоданных, обзоры статей и библиотек, последние новости из мира Location Intelligence, открытые датасеты и примеры использования геоданных для решения практических задач.

👉 Читать

Анализ данных (Data analysis)

20 Jan 2023 07:59

Если бы java-разработчика спросили, в чём сила, он бы ответил: «В надёжности».

Java — надёжный язык, потому что помогает отлавливать ошибки до запуска программы. Код состоит из маленьких блоков-объектов, как в конструкторе. Можно исправить кусочек кода в одном месте, чтобы поменять поведение целой системы.

Такой подход идеален для разработки масштабных систем с высокой нагрузкой. Так что если вы мечтаете своими руками создавать крупные проекты вроде стримингов и маркет-плейсов с миллионами посетителей — вам в java-разработку.

Проверьте, подходит ли вам Java. Напишите приложение для учёта финансов в бесплатной вводной части курса →

P.S: в начале может быть сложновато, но как только разберётесь в базе, дело пойдёт быстрее!

Анализ данных (Data analysis)

01 Feb 2023 11:18

🔥 Вы готовы начать этот год с мощнейшего Web3-события?

Спешим объявить об онлайн-хакатоне VK NFT x Definition для разработчиков. Участникам первого Web3-хакатона от ВКонтакте нужно будет создать мини-приложения, основанные на технологии NFT. В декабре соцсеть уже запустила сервис VK NFT, в котором можно управлять токенами. Теперь разработчики будут придумывать новые решения c NFT, а авторы лучших продуктов разделят призовой фонд — 1 500 000 рублей 🦾

Участникам надо будет решить одну из трёх задач:

1. Сделать сервис по созданию и авторизации NFT-билетов.

2. Создать механизм управления доступом к контенту через NFT.

3. Разработать любой другой интересный продукт на основе технологии NFT.

Приглашаются frontend, backend/web3-разработчики и UX/UI-дизайнеры

🗓 Дата проведения:

18–19 февраля 2023 года, онлайн.

Регистрация открыта до 16 февраля 2023 года.

👉 Узнать подробности и подать заявку на участие можно на сайте хакатона: https://cnrlink.com/definitionhack23

Анализ данных (Data analysis)

31 Jan 2023 09:00

Вопрос ко всем участникам проектных команд — какие мысли вас посещают при создании около 700 листов документации строго по ГОСТу? Если в душе у вас зарождается праведное негодование, а в голове вы формируете план, как же избежать этой жуткой рутины, то у нас отличные новости.

9 февраля в 11:00 МСК на вебинаре «Просто о сложном: сокращение трудозатрат на разработку программной документации» мы расскажем о том, как автоматизировать большинство процессов со Сфера.Документы и сосредоточиться на самом интересном в работе — изучению, развитию и внедрению инноваций.

Зарегистрироваться на вебинар

Мы разберем вашу головную боль рутинную работу с сложными документами по полочкам, чтобы показать, как легко и просто можно закрыть все проблемные места.

Также в прямом эфире владелец продукта ответит на все ваши вопросы и за самый интересный вы сможете получить бесплатный аудит работы с документами. Подключайтесь к вебинару https://clck.ru/33Qgff и сделайте надоевшие, сложные процессы простыми.

Анализ данных (Data analysis)

29 Jan 2023 10:17

5️⃣ генераторов синтетических данных на Python и как их использовать, когда вам не хватает данных

В этой статье будут рассмотрены пять библиотек Python для генерации данных и то, как их использовать.

Список Библиотек:

▪ Faker
▪ Scikit learn datasets
▪ Pyod
▪ CTGAN
▪ Mimesis

📌 Читать
📍Зеркало

@data_analysis_ml

Анализ данных (Data analysis)

27 Jan 2023 17:20

Хакатон с призом в 650 000 рублей

Big Data МТС готовит турнир по Machine Learning для датасаентистов, ML-инженеров и аналитиков.

Задача – определить пол и возраст владельца синтетических cookie. Участником может стать любой, от джуна до сеньора.

Призовой фонд MTC ML Cup – 650 000 рублей: 350 000 рублей за первое место, 200 000 рублей – за второе, 100 000 рублей – обладателю бронзы.

Начало – 30 января, регистрация открыта до 15 марта: простая анкета для участников и все подробности.

Анализ данных (Data analysis)

27 Jan 2023 14:25

Насколько перспективно учиться анализу данных в 2023 году? Вместе разберёмся на вебинаре. Эксперты расскажут, в каких специалистах нуждаются компании и так ли важно знать математику на 5+.

→ Бесплатно, 30 января в 15:00

Ваши проводники в профессию:
◾️Ирина Ефимова, руководитель продуктовых исследований направления анализа данных в Яндекс Практикуме
◾️Артём Исакин, руководитель трудоустройства направления анализа данных
◾️Выпускник курса Практикума «Аналитик данных», который также поделится своим опытом.

На вебинаре рассмотрим:
— какие аналитики данных работают в компаниях, чем они различаются;
— что от начинающего аналитика ждут работодатели;
— насколько профессия будет востребована в будущем;
— и нужны ли для неё математика и программирование.

После вебинара вы сможете задать вопросы.
→ Зарегистрироваться на вебинар

Анализ данных (Data analysis)

27 Jan 2023 09:04

❓Хотите перейти в BI-аналитику?

Сделайте первые шаги на пути к новому этапу в карьере уже 30 января в 20:00! Приглашаем вас на открытый урок «Подготовка данных для дашборда в Pandas» в OTUS.

Вебинар состоится в рамках онлайн-курса «BI-аналитика» для продуктовых и маркетинговых аналитиков, аналитиков данных, Product Owner’ов и Project Manager’ов, Data Scientist’ов, Data Engineer’ов и выпускников, которые хотят работать в области BI-аналитики.

✅На занятии вы узнаете про методы предобработки и “очистки” данных для дальнейшего построения дашбордов в Python Pandas.

➡️Какой результат мы получим?
Преобразуем учебный набор данных, очистим его от пропусков и дубликатов, посмотрим различные способы трансформации (группировка, транспонирование строк/столбцов и т.д.).

➡️Пройдите вступительный тест, чтобы определить уровень своей подготовки и записаться на урок: https://otus.pw/3QTv/

Анализ данных (Data analysis)

26 Jan 2023 08:09

⚡️Как системному аналитику выбрать технологию для API?

🗓Обсудим во вторник, 31 января в 20:00 мск на вебинаре онлайн-курса «Системный аналитик. Advanced» в OTUS.

Вместе с преподавателем курса и ведущим аналитиком продуктовой команды Иннокентием Бодровым, посмотрим, как можно работать с классическими REST и SOAP, попробуем заменить их на gRPC и GraphQL. А также разберем несколько кейсов и решим, в каком из них какую технологию лучше применить.

✅Занятие «Выбираем технологию для API» будет полезно:
— Аналитикам, перед которыми стоят задачи работы с API, использующими разные технологии
— Тем, кто только пытается выбрать, какой API создавать

👉Для регистрации пройдите вступительный тест: https://otus.pw/8kb1/

Реклама. Информация о рекламодателе на сайте www.otus.ru.

Анализ данных (Data analysis)

25 Jan 2023 08:36

Хотите освоить новую профессию в сфере data science?

14 февраля стартует программа профессиональной переподготовки «Специалист по Data Science».

Программа организована Центром непрерывного образования ФКН НИУ ВШЭ. Обучение очное, ведется онлайн-трансляция и рассылаются видеозаписи каждого занятия.

📋Вы начнете обучение с программирования и базовых разделов математики.

А потом приступите к последовательному освоению разделов по:
✅машинному обучению,
✅прикладной статистике и обработке данных,
✅работе с большими данными,
✅глубинному обучению и его применениям к изображениям, текстам и сигналам.

Большой акцент в программе сделан на практическую работу, поэтому к окончанию курса вы получите не только знания и диплом, но и портфолио проектов.

Старт: 14 февраля ❤️
Продолжительность обучения: 15 месяцев.
Стоимость: 465 000 рублей. Оплату можно разделить на 8 взносов.

Программа курса и регистрация по ссылке.

Анализ данных (Data analysis)

24 Jan 2023 15:19

Каждый классический БА периодически сталкивается с проблемами:

🧐не понимает, о чём говорят разработчики
🤔есть технические знания, но нет системности и структурности
😞 коллеги вынуждены объяснять технические вопросы буквально на пальцах
😕чувствует себя неуверенно при общении в команде
😐 есть страх приступить к работе на начальной стадии проекта

Возможно, и вам знакомы эти проблемы из-за недостаточности технических знаний, отсутствия их системности?

26 января в 19:00 МСК мы проведем вебинар «Технические навыки как спасательный круг для бизнес-аналитика».

🔥Разберём реальные кейсы, поставившие в тупик опытных БА:

✔️как спроектировать информационную систему с применением объектной модели и диаграммы классов;

✔️как разработать требования по интеграции с применением разных паттернов в зависимости от количества и особенностей интегрируемых систем и необходимого функционала;

✔️как описать требования к разным моделям управления доступом.

На вебинаре вы узнаете, как технические знания помогают эффективно решать задачи БА, какие навыки прокачать, чтобы повысить свою зарплату.

В подарок за регистрацию на вебинар
🎁 Гайд «Типы интеграции информационных систем с подробным описанием»

Регистрируйтесь! >>>

❌Повтор и запись вебинара не планируются!

Спикер - Александр Грижневич:
➡️ Основатель онлайн-школы для аналитиков GetSkills (Минск)
➡️ 20 лет в IT - 12 лет в разработке и 8+ лет в системном и бизнес-анализе
➡️ 6+ лет преподавания и менторства
➡️ 8 авторских курсов
➡️ 450+ выпускников

Анализ данных (Data analysis)

24 Jan 2023 11:24

Для старта карьеры в машинном обучении не хватает опыта?

Решайте реальные рабочие задачи на Симуляторе ML. Под руководством ведущих Data Scientists — Валерия Бабушкина и Богдана Печёнкина — вы не просто прокачаете отдельные навыки, а поймёте, как сводить бизнес-задачи к задачам машинного обучения.

Поработав над проектами различного уровня сложности, вы научитесь:
- Понимать, какие у бизнеса есть проблемы и какими метриками их можно измерить
- Проводить А/В-тесты, чтобы подтверждать прирост метрик
- Формулировать задачу для модели
- Выбирать подходящую модель и обучать её
- Организовывать процесс доставки данных для модели
- Оборачивать модель в сервис и деплоить его

После симулятора вы сможете успешно пройти собеседование на позицию в сфере ML, получить хорошую работу и приносить пользу бизнесу уже с первых дней.

Симулятор работает в режиме подписки и постоянно пополняется новыми задачами. А первые задачи можно порешать бесплатно на демоверсии симулятора.

Присоединяйтесь: https://bit.ly/3Hp1AYe

Анализ данных (Data analysis)

23 Jan 2023 09:39

Как работают облачные технологии и какой реальный эффект от искусственного интеллекта – эксперты показывают на конкретных кейсах

Команда облачного провайдера Cloud (ТОП-3 быстрорастущих it-компаний) пригласила своих заказчиков на интервью, чтобы из первых уст и в прямом эфире задать вопросы о том, каких результатов удалось достичь с помощью современных технологий в 2022 году.

24 января в 11:00 приходите на бесплатный вебинар «Облака и ML в бизнесе: истории клиентов Cloud», где вы узнаете:

✅ какие неочевидные возможности скрывают эти технологии;
✅ каких результатов достигли клиенты Cloud после успешного внедрения облаков и AI;
❗️а также все участники вебинара получат доступ к результатам масштабного исследования облачной зрелости, в котором приняло участие более 650 российских компаний (спойлер: по прогнозам Cloud, к 2025 году облака и AI будут применять более 130 тыс. компаний в России)

Зарегистрироваться на вебинар

Анализ данных (Data analysis)

21 Jan 2023 15:00

🖥 Git большая шпаргалка для data scientist от основных команд до продвинутых 40 командами


▪Статья
▪Шпаргалка в Pdf
Полезные команды

@data_analysis_ml

Анализ данных (Data analysis)

21 Jan 2023 10:21

🖥 ML-задача на 30 минут: гадаем по cookie

Решаем задачу - можно ли составить хотя бы приблизительное представление о человеке, обладая информацией о сайтах, которые он посещает. Для этого мы сгенерировали полусинтетические данные, чтобы понять, насколько смелыми можно быть в этих ваших интернетах.

▪Читать

@data_analysis_ml

Анализ данных (Data analysis)

20 Jan 2023 10:01

🪐 Повышаем продуктивность работы в Jupyter notebook с помощью Nbextensions

Jupyter notebook — удобная среда для функционального программирования. В работе часто приходится писать код, который подходит под конкретную задачу (анализ данных, обработка информации, парсинг сайтов, process mining и т.д). Такие задачи проще выполнять с функциональным подходом, и среда Jupyter notebook идеально подходит для этого.

Однако использование notebook’ов можно сделать ещё более удобным и продуктивным с помощью Jupyter Notebook Extensions. Это расширения для notebook, которые позволяют добавить множество «фич» для удобства работы. Сегодня я хочу поделиться собственным топом таких расширений.

pip install jupyter_contrib_nbextensions

➡️ Читать
🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

19 Jan 2023 19:10

5️⃣ Хитростей Python, которые отличают Senior-разработчика от Juniors

В этой статье мы рассмотрим пять подходов к решению распространённых задач кодинга Senior-способами, а не Junior.

Каждая задача является производной от головоломки AoC, причём многие из них многократно повторяются на протяжении AoC и других задач кодинга и задач, с которыми вы можете столкнуться, например, на собеседованиях при приёме на работу.

▪Читать
▪Зеркало

@data_analysis_ml