Анализ данных (Data analysis)

19 Jan 2023 15:59

Хотите выйти на новый уровень в аналитике данных и стать действительно крутым специалистом?

Всему необходимому для решения своих рабочих задач можно научиться на курсе «Аналитик данных» от школы karpovꓸcourses. За 5 месяцев вы не только изучите теорию, но и на практических кейсах отточите навыки работы со всеми актуальными инструментами для анализа данных.

В программу курса входят:
– Python и SQL
– Git и Airflow
– Теория вероятностей
– Статистика и A/B-тесты
– Продуктовая аналитика
– Визуализация данных

Обучение построено на реальных задачах индустрии и проходит в формате буткемпа, когда максимум знаний даётся за минимальный срок. Вас будут учить специалисты с опытом работы в топовых IT-компаниях: вы сможете перенять их опыт и не допустить множество ошибок на старте.

Записывайтесь на курс по ссылке до 23 января — по промокоду DAML37 вы получите скидку 10%.

Также на сайте доступна бесплатная демоверсия — можете начать с неё.

Анализ данных (Data analysis)

19 Jan 2023 09:42

💪🏻Прокачайте свои навыки в системном анализе!

🔵OTUS запускает поток хардового онлайн-курса «Системный аналитик. Advanced». Программа рассчитана на ИТ и системных аналитиков с опытом работы от 1 года, желающих улучшить свои навыки и начать путь до уровня Senior.

За 6 месяцев вы научитесь эффективно визуализировать требования, проектировать сервисы RESTFul API и сравнивать их с SOAP и gRPC.

🧑🏻‍💻Обучение проходит на живых вебинарах, где вам дают всю необходимую базу, а закрепление навыков происходит за счет практических домашних заданий и выпускного проекта — разработки информационной технологической и ресурсной модели (API) и проектирование архитектуры для нового приложения.

👉Пройдите вступительный тест, чтобы получить спец.цену на курс: https://otus.pw/0OVl/

🗓Открытые уроки курса:
31 января — «Выбираем технологию для API»
16 февраля — «Нефункциональные требования глазами аналитика»

Реклама. Информация о рекламодателе на сайте www.otus.ru.

Анализ данных (Data analysis)

18 Jan 2023 10:16

🧙‍♂️ 9 волшебных команд IPython, которые упростят вам процесс программирования


IPython является ядром Jupyter Notebook и лучшим другом специалистов по обработке данных.

Конечно, мы можем просто использовать IPython как обычную утилиту Python, не прибегая к каким-либо специальным трюкам.

Однако будет большим вашим преимуществом, если вы изучите “магические” трюки IPython ,а затем внедрите их в свою практику написания кода.

В этой статье будут описаны 9 простых в использовании “волшебных” команд IPython с интуитивно понятными примерами.

▪ Читать
▪Зеркало

@data_analysis_ml

Анализ данных (Data analysis)

17 Jan 2023 09:40

500+ список проектов AI с кодами

500 крутых проектов AI, Машинное обучение,Глубокое обучение Компьютерное зрение, NLP, Data Science.

Все проекты с кодом !!!

Полезный ресурс, если вы ищете вдохновение для своего следующего проекта, опирающегося на машину.

🖥 Github

@bigdatai

Анализ данных (Data analysis)

15 Jan 2023 12:33

🐼 Pandas vs Polars: сравнение синтаксиса и скорости 🐻

Pandas - это незаменимая библиотека Python для Data Science. Её самым большим недостатком является то, что она может быть медленной при операциях с большими наборами данных. Polars - это альтернатива Pandas, предназначенная для более быстрой обработки данных.

Polars - это альтернатива Pandas, предназначенная для более быстрой обработки данных.

Эта статья кратко познакомит вас с библиотекой Polars и сравнит её с Pandas в отношении синтаксиса и скорости.

▪ Читать дальше
▪ Зеркало
▪ Код

@data_analysis_ml

Анализ данных (Data analysis)

13 Jan 2023 14:52

💲 Прогнозирование временных рядов криптовалют с Python

В обанкротившейся криптофирме FTX отсутствует, по меньшей мере, 1 миллиард долларов клиентских средств, а их токен FTX потерял большую часть своей стоимости в ноябре 2022 года. Как бы вы уберегли свой портфель от огромных потерь в случае краха?

Это руководство поможет вам понять метод очистки данных временных рядов и то, как крупные финансовые компании создают популярные индексы, такие как S &P 500 или Nasdaq. Самое главное, как создать индекс вашего портфеля, содержащий различные криптовалюты, чтобы отслеживать ваши показатели и использовать машинное обучение для прогнозирования движения индекса в ближайшем будущем.

Цель этого руководства – помочь новичку, который немного разбирается во временных рядах, но испытывает трудности с обработкой реальных наборов данных. Вы сможете быстро восполнить пробел с помощью этого руководства. Я надеюсь, что каждый сможет найти что-то полезное в нём.

➡️ Читать дальше

@data_analysis_ml

Анализ данных (Data analysis)

12 Jan 2023 11:02

🚀 50 бесплатных датасетов для создания неотразимого портфолио (2023)

Если вы хотите улучшить своё портфолио, показав, что умеете хорошо визуализировать данные, или если у вас есть несколько свободных часов и вы хотите приобрести новые навыки машинного обучения, в этой статье есть всё, что вам нужно!

▪ Читать
▪Зеркало

@data_analysis_ml

Анализ данных (Data analysis)

10 Jan 2023 11:23

✔️ NoNa: Алгоритм заполнения отсутствующих данных

В реальных наборах данных пропущенные значения создают проблему для дальнейшей обработки. Большую ценность имеет подстановка или заполнение отсутствующих значений. К сожалению, стандартные «ленивые» методы, такие как простое использование медианы столбца или среднего значения, не всегда работают должным образом.

В 2021-ом году ко мне пришла идея создания алгоритма на основе методов машинного обучения с прогнозированием по каждому столбцу с пропусками. Данную идею я воплотил сначала схематично на бумаге.

pip install nona

➡️ Читать дальше
🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

07 Jan 2023 11:52

🚀 Mathematical Foundations for Data Analysis

Бесплатный курс математические основы анализа данных.

Курс начинается с теории вероятности и линейной алгебры и постепенно переходит к и решениям, используемым в современных исследовательских работах, уделяя особое внимание фундаментальным математическим методам, которые используются на практике аналитиками данных. Курс наполнен множеством простых примеров, сотнями иллюстраций и пояснениями.

✔️ Курс

@data_analysis_ml

Анализ данных (Data analysis)

05 Jan 2023 18:31

🗣 Новая модель распознавания русской речи и набор речевых данных

🖥 Github
⭐️ Dataset

@data_analysis_ml

Анализ данных (Data analysis)

05 Jan 2023 13:46

❄️ Самая быстрая библиотека для работы с данными. Как Pandas, но гораздо быстрее (Polars)

Давайте посмотрим правде в глаза. Фреймворк Pandas медленный. Когда у вас есть миллионы строк в вашей структуре данных, становится очень неприятно ждать в течение минуты выполнения одной строки кода. В конечном итоге, вы потратите больше времени на ожидание, чем на реальную аналитику.

Для решения этой проблемы существует множество библиотек. PySpark, Vaex, Modin и Dask – вот некоторые из них.

Сегодня я предлагаю ознакомиться с фреймом Polars.

pip install polars

➡️ Читать дальше
🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

04 Jan 2023 11:02

✔️ Погружаемся в Stable Diffusion

Большая часть недавних работ с искусственным интеллектом, найденных в Интернете, создана с использованием модели стабильной диффузии. Поскольку это инструмент с открытым исходным кодом, любой человек может легко создавать фантастические художественные иллюстрации, используя всего лишь текстовую подсказку.

В этой статье я собираюсь объяснить, как работает данная модель машинного обучения с открытым кодом.

➡️ Читать

@data_analysis_ml

Анализ данных (Data analysis)

02 Jan 2023 11:37

🔥 Обучение с подкреплением для реальных задач

Книга посвящена промышленно-ориентированному применению обучения с подкреплением (Reinforcement Learning, RL). Объяснено, как обучать промышленные и научные системы решению любых пошаговых задач методом проб и ошибок – без подготовки узкоспециализированных учебных множеств данных и без риска переобучить или переусложнить алгоритм. Рассмотрены марковские процессы принятия решений, глубокие Q-сети, градиенты политик и их вычисление, методы устранения энтропии и многое другое. Данная книга – первая на русском языке, где теоретический базис RL и алгоритмы даны в прикладном, отраслевом ключе.

📚 Книга

@data_analysis_ml

Анализ данных (Data analysis)

01 Jan 2023 09:39

🔥 Data Science Math Skills

Великолепный бесплатный курс для датасаентистов от Duke University. Data Science Math Skills знакомит с математикой, на которой строится наука о данных.

Учащиеся, завершившие этот курс, овладеют навыками, основными теоремами и концепциями, которые должны знать все специалисты по данным, прежде чем переходить к более сложному материалу.

▪ Курс

@data_analysis_ml

Анализ данных (Data analysis)

30 Dec 2022 14:24

✔️ 38 лучших библиотек для Data Science, Data Visualization и Машинного Обучения

Мы решили, что будем группировать все библиотеки по общим признакам, будь то библиотеки для машинного обучения или библиотеки для математики. Тем не менее, все 38 из них будут полезны для разработки в области Data Science.

➡️ Смотреть

@data_analysis_ml

Анализ данных (Data analysis)

19 Jan 2023 11:31

🖥 Efficient Python Tricks and Tools for Data Scientists

Отличный репозитрий-книга, который содержит более 300 советов и инструментов с кодом для дата-сайентистов. От самых простых до продвинутых.

В каждой главе вы найдет колаб с кодом, графиками и пояснениями.

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

18 Jan 2023 18:54

🖥 Мощные утилиты Python для анализа данных

В этой статье я предоставляю пошаговое руководство по некоторым очень полезным утилитам Python для анализа и управления данными.

В примерах этой статьи используются данные из датафрейма S&P 500, которые я сохранил в файле pickle.

▪Читать дальше
▪ Зеркало

@data_analysis_ml

Анализ данных (Data analysis)

17 Jan 2023 17:10

📃 Самообучение в Data science, с нуля до Senior за два года

Хочу поделиться методами освоения Data science с нуля человеком из другой ИТ специальности. Цель: дать понять, подходит ли Вам эта специальность в принципе, и рассказать про эффективные подходы к самообучению, которые мне помогли (отдельно планирую потом детальные статьи по отдельным темам).

Отличные материалы уже существуют по большинству конкретных тем, я сам по ним учился.

Думаю, многим будут полезны "мета" материалы о том, как выбирать курсы и статьи, по которым учиться. Например, я пересмотрел десятки статей и книг, пробовал много разных он-лайн курсов, но полезной оказалась лишь малая часть всего доступного.

Надеюсь, что смогу серьезно сэкономить вам время и помочь достигнуть большего, показав более эффективный путь самообучения.

▪Читать дальше

@bigdatai

Анализ данных (Data analysis)

16 Jan 2023 14:06

🔥Продолжение подборки полезных, бесплатных курсов для вкатывания в Data Science.

▪Основы работы с данными
Курс поможет разобраться с ключевыми аспектами работы с данными, систематизировать знания в этой актуальной и востребованной предметной области в сегодняшнем цифровом мире.

▪Big Data и Data Science: начни погружение с нуля (Русская школа программирования)
Курс состоит из четырех модулей, которые помогут поэтапно освоить основные понятия науки о данных и научиться применять их на практике

▪Principles, Statistical and Computational Tools for Reproducible Data Science (Harvard university)
Курс от Гарварда. Изучите навыки и инструменты, которые используются в науке о данных. Хорошая практика и доступная подача.

▪Анализ данных просто и доступно.
Курс знакомит студентов с основами анализа данных.
Вы познакомитесь с исследованиями и примерами из практики в которых использовался анализ данных. Научитесь решать самостоятельно задачи анализа данных.

▪Бесплатный курс по Python программированию с нуля.
Работает прямо в браузере.
Курс автоматизации и анализа данных на Python.

1 часть

@data_analysis_ml

Анализ данных (Data analysis)

14 Jan 2023 11:38

🚀 Tableau подборка бесплатных и полезных материалов.

- Основы работы в Tableau по основам работы в программе Tableau Public. В этом курсе вы узнаете, как подключаться к источникам данных, создавать дашборды и отдельные визуализации. Созданные дашборды вы сможете загрузить в интернет, чтобы показать своим друзьям и коллегам.

- Tableau Blueprint 2022
Бесплатная книга.

- Visual Vocabulary 
Интерактивное шпаргалка по всем видам графиков.

- Специализация Data Visualization with Tableau от  Coursera
Пройдя курс, и вы сможете создавать мощные отчеты и информационные панели, которые помогут людям принимать решения и действовать на основе данных.

- Дата йога 8 ступеней
Бесплатная 8-ми недельная программа углубления навыков работы с Tableau и изучения продвинутых аспектов визуализации данных.

- Between Tableau and Power BI

- Библиотека материалов бесплатня библиотека полезных книг по визуализации данных

- QLIK SENSE МАРАФОН: ВИЗУАЛИЗАЦИЯ ДАННЫХ

- Новые крутые визуализацию каждый день

- Tableau Training от simplilearn

- Бесплатные видео Tableau

- Learning Tableau Third Edition

Сохраняйте себе, чтобы не потерять и делитесь с коллегами.

@data_analysis_ml

Анализ данных (Data analysis)

13 Jan 2023 10:44

🔥 6 новых библиотек Machine Learning (ML), которые стоит изучить, чтобы улучшить свои навыки в 2023

На дворе только начался 2023 год, а это значит, что пришло время открыть для себя новые тенденции в области Data Science и машинного обучения. Хотя старые материалы по-прежнему актуальны, знаний Pandas, NumPy, Matplotlib и Scikit-learn уже недостаточно.

Данная статья посвящена шести восходящим звёздам экосистемы MLOps; инструментам, ориентированным на создание наиболее эффективных моделей и последующее внедрение их в продакшен. Давайте начнём!

▪ Читать
▪Зеркало

@data_analysis_ml

Анализ данных (Data analysis)

11 Jan 2023 11:16

🖥 Вопросы с собеседования по анализу данных SQL в 2023 году.

Вы готовитесь к собеседованию по SQL для анализ данных? Тогда вы пришли в нужное место!

Это руководство поможет вам усовершенствовать свои навыки работы с SQL, вернуть уверенность в себе и быть готовым к работе!

Здесь вы найдёте подборку реальных вопросов для собеседований, задаваемых в таких компаниях, как Google, Oracle, Amazon, Microsoft и т.д. К каждому вопросу прилагается идеально написанный ответ, что экономит ваше время на подготовку к собеседованию.

➡️ Читать дальше

@data_analysis_ml

Анализ данных (Data analysis)

09 Jan 2023 12:06

🖥 Как оптимизировать размер памяти при обработке крупных файлов.

Нередко я сталкиваюсь с большими объемами данных, которые требуют дополнительной обработки с помощью известной всем библиотеки Pandas. Однако, загружая или сохраняя огромные датасеты, неприятно столкнуться с ошибкой Memory error. В таких ситуациях применение таких методов, как .drop_duplicates() (удаление дубликатов) или .dropna() (удаление пустых строк) слабо влияет на сокращение занимаемого объема памяти.

Существует несколько способов эффективного решения проблем с памятью.

➡️ Читать дальше

@data_analysis_ml

Анализ данных (Data analysis)

06 Jan 2023 09:24

🖥 Вопросы на собеседовании Python, ответы, на которые вам стоит знать.

В этой статье я превратил некоторые из своих заметок в 20 вопросов для собеседований, которые охватывают структуры данных, основные концепции программирования и лучшие практики Python.
Интересно, что многие из этих вопросов также задаются на собеседованиях по Data Science.

➡️ Читать дальше

@data_analysis_ml

Анализ данных (Data analysis)

05 Jan 2023 16:28

Курс «Английский для аналитиков» от Яндекс Практикума

Для специалистов, которые хотят изменить свою профессиональную жизнь и работать в международной команде. Обучение построено вокруг рабочих ситуаций и полезных для карьеры навыков:

• Самопрезентация. Рассказ о своей роли, задачах, сфере ответственности на поведенческом интервью и в неформальной беседе.
• Работа в команде. Стендапы, планирование спринтов, демонстрация навыков командной работы на собеседовании.
• Общение с заказчиками и исполнителями. Сбор требований у стейкхолдеров и постановка задач для разработчиков.
• Презентация результатов работы. Выступление на митапах, неформальное общение с коллегами из отрасли.
• Обсуждение решений по проекту. Генерация и аргументация идей, участие в мозговых штурмах.
• Рефлексия и самоанализ. Ретроспектива, ревью, ответы на сложные вопросы.

Запишитесь на бесплатную консультацию. Определим ваш уровень языка, расскажем про обучение и ответим на все вопросы

Анализ данных (Data analysis)

05 Jan 2023 11:46

В DataWorkshop новогодняя распродажа курсов по Data Science - скидки до 50%
С 2017 года на платных курсах они обучили более 1000 человек, которые работают в Google, Microsoft, Intel, Oracle и т.д.

10000+ человек прошли у них обучение на различных интенсивах, в том числе и бесплатных. Узнать о таких возможностях можно в их канале.

Все курсы в DataWorkshop авторские - разработал практик с опытом 10+ лет. Учит тому, что сам применяет в своей работе.

Предложение действительно только до 7 января (включительно).
При покупке любого курса, курс по статистике идет в подарок 🎁.

Самые выгодные предложения - ЗДЕСЬ.

@data_work

Анализ данных (Data analysis)

04 Jan 2023 09:01

Знаете Python и имеете базу в аналитике данных? Поможем освоить машинное обучение и выйти на новый уровень в 2023 году!

На курсе Start ML за 7 месяцев объясним, как устроены алгоритмы машинного обучения, и научим применять их на практике. Опытные аналитики и ML-инженеры из Яндекса и Райффайзен расскажут, как обучать модели и нейронные сети, а также оценивать их влияние на ключевые бизнес-метрики с помощью статистики и A/B-тестов.

Благодаря курсу вы расширите свои компетенции аналитика и сможете применять продвинутые методы для решения ваших рабочих задач. В конце обучения вы создадите собственный ML-сервис — рекомендательную систему социальной сети, которая поможет закрепить все полученные знания.

Попробуйте бесплатную демоверсию на сайте, а также записывайтесь на ближайший поток курса до 9 января — по промокоду ANALYSISML10 дарим скидку 10%.

Анализ данных (Data analysis)

02 Jan 2023 11:36

📚 20 лучших бесплатных книг по Python для начинающих и продвинутых программистов

Настоящий новогодний подарок всем Python разработчикам.

✔️ Смотреть список

@bigdatai

Анализ данных (Data analysis)

31 Dec 2022 11:13

📚 Список лучших (и бесплатных) книг для изучения Машинного обучения

📚 Список

@data_analysis_ml

Анализ данных (Data analysis)

30 Dec 2022 12:24

В подкасте «Деньги любят техно» есть специальный сезон Data Science, посвященный актуальным для дата-сайентистов темам. В свежем выпуске Дмитрий Берестнев, лидер стрима моделей и партнерств и платформы больших данных ВТБ, поговорил с Григорием Кабатянским, д. ф.-м.н., вице-президентом по академическому сотрудничеству Сколтеха, и Иваном Фурсовым, специалистом в области разговорного искусственного интеллекта, об ошибках и уязвимостях ИИ. Как часто в жизни встречаются адверсальные атаки и почему многое зависит от входных данных на этапе обучения нейросети.

Подкаст можно послушать тут.

Реклама, Банк ВТБ (ПАО) https://www.vtb.ru/