Анализ данных (Data analysis)

05 Jun 2023 17:01

🔥 8 июня пройдет вебинар «Интеграции с помощью API и интеграционной шины»

Что будет на занятии:
— роль интеграций в сложных бизнес-процессах;
— когда и для чего используется интеграция через интеграционную шину;
— методы и инструменты при описании и документировании API (OpenApi - Swagger, SOAP - WSDL).

Спикер: Семен Тикунов — системный аналитик в Сбере. Более 10 лет в системном анализе. Преподаватель курса «Системный аналитик в FinTech».

🚀 Стартуем 8 июня в 19.00 по МСК
Регистрируйся бесплатно 👇
https://clck.ru/34ahpL

Анализ данных (Data analysis)

05 Jun 2023 10:01

👉Присоединяйтесь к нашему сообществу Data Analyst REBRAIN, если вы интересуетесь аналитикой данных, управлением проектами или маркетингом.

У нас для вас есть множество открытых онлайн-практикумов каждый месяц, которые проводят профессиональные аналитики. В рамках практикумов мы разбираем реальные кейсы анализа данных с использованием самых актуальных инструментов, таких как Python, SQL, Tableau, бизнес-метрики и визуализация данных, статистика, теория вероятностей и другие.

Уровень сложности и направление каждого практикума подобраны таким образом, чтобы каждый мог найти для себя интересные задачи и развиваться в соответствии с уровнем своей компетенции.

✔️ Подключайтесь к нам уже сегодня и начинайте развивать свои навыки в области анализа данных совершенно бесплатно!

Анализ данных (Data analysis)

04 Jun 2023 16:01

Что дают аналитику навыки машинного обучения?

Представьте двух аналитиков: один анализирует данные продукта и визуализирует результаты; второй делает то же самое, но потом ещё и исследует неоднозначные события, глубже погружаясь в продукт, и прогнозирует будущие показатели.

Кто приносит бизнесу больше пользы? Однозначно, второй. Он решает больше задач компании. Знание машинного обучения поможет вам стать более востребованным специалистом.

Освоить всё необходимое для работы можно на курсе Start ML. Вы будете учиться под руководством опытных специалистов из Райффайзен и Яндекс.

За 7 месяцев вы прокачаетесь в написании кода на Python, научитесь обучать классические модели и нейронные сети, а также оценивать их влияние на бизнес с помощью статистики и A/B-тестов — всё на реальных задачах бизнеса.

Новый поток стартует уже 8 июня, а по промокоду DATAML21 для вас действует скидка 5%. Присоединяйтесь!

[Зарегистрироваться]

Анализ данных (Data analysis)

04 Jun 2023 09:48

🔥 Подборка полезных папок с каналами для датасаентисов

Папки, где вы найдете каналы с разбором лучших практик написания кода на Python и Golang до каналов по машинному обучению и нейросетям (папки работают на последних версиях тг).

/channel/addlist/2Ls-snqEeytkMDgy - Машинное обучение

/channel/addlist/8vDUwYRGujRmZjFi - Python

/channel/addlist/MUtJEeJSxeY2YTFi - Golang

Анализ данных (Data analysis)

03 Jun 2023 10:02

Даже если у вас нет диплома мехмата, вы можете успешно работать в IT. Например, крутые аналитики получаются из научных работников, исследователей, продавцов, медиков и других специалистов. Каких ещё — расскажем на вебинаре. А ещё поделимся историями студентов, которые кардинально меняли сферу работы на IT.

→ Бесплатно, 6 июня в 19:00 Мск

Вебинар проведёт Артём Исакин, руководитель трудоустройства в направлении анализа данных Яндекс Практикума.

Вы узнаете:
— из каких 10 профессий чаще всего переходят в анализ данных;
— какие навыки и качества помогают закончить обучение и найти работу;
— как кардинально поменять сферу деятельности;
— как новичкам «переупаковать» прошлый опыт, чтобы понравиться работодателям.

В конце можно будет задать вопросы и попросить совета.

→ Зарегистрироваться на вебинар

Анализ данных (Data analysis)

02 Jun 2023 11:01

В сервисе Yandex Data Proc стало доступно создание управляемых кластеров Hive Metastore (Public Preview)

Hive Metastore связывает разнородные ETL-системы и инструменты для работы с общими данными и упрощает их развёртывание. Кластеры Metastore управляют табличными метаданными объектов, которые находятся в бакетах Object Storage.

Теперь решать задачи подготовки и очистки данных, создания хранилищ и предметно-ориентированных витрин данных стало проще.

➡️ Подробнее о новинке и о том, как первым получить доступ по ссылке

Анализ данных (Data analysis)

01 Jun 2023 13:16

В международных IT-командах вы можете встретить непривычные акценты, например, шотландский, испанский или индийский, — и будет сложно понять собеседников. В таких условиях непросто уловить, о чем все в итоге договорились, или принять активное участие в обсуждении.

Чтобы подготовиться к этому, советуем курсы «Английский для работы в IT» в Яндекс Практикуме. Вам помогут с тем:
— Что говорить.
Личный преподаватель расскажет про грамматические конструкции и фразы, которые уместно применять на стендапах, собеседованиях и ревью.
— Как говорить.
Иностранцы из IT и преподаватель будут регулярно тренировать разговорные навыки на примере рабочих ситуаций.
— Как слушать.
На разговорной практике с иностранными IT-специалистами вы быстрее привыкнете к разным акцентам.

Послушайте подробнее про курс в подкасте «Запуск завтра». Выпуск «Как учить английский», с 40-ой минуты.

Если хотите узнать, подойдёт ли вам обучение — запишитесь на бесплатную консультацию. Куратор определит ваш уровень языка и ответит на вопросы.

Реклама АНО ДПО "Образовательные технологии Яндекса», ИНН:7704282033, erid: LjN8JvxZU

Анализ данных (Data analysis)

31 May 2023 09:38

⚡️Стартовал прием заявок на Технологический конкурс НТИ Up Great «Экстренный поиск»!

Участникам предстоит преодолеть комплексный технологический барьер, предусматривающий разработку технологий и технических решений, объединенных в единую систему, позволяющую эффективно использовать техническое зрение при поиске пропавших людей с применением беспилотных воздушных судов (БВС).

На первом этапе (Сателлит №1) участникам необходимо разработать программное решение для поиска объектов (людей) на изображениях, полученных с БВС.

Призовой фонд Сателлита №1 составляет 5 млн руб.
Лучшим командам, удовлетворяющим требованиям технического регламента, организаторами будут предоставлены БВС для участия во втором этапе (Сателлит №2) и финале конкурса.

Призерами и победителями могут стать только налоговые резиденты РФ.

📲Заявки на Сателлит № 1 принимаются до 12 июня 2023 г. по ссылке: https://goo.su/hkgUM

Конкурс организуется совместно МФТИ, Фондом НТИ и добровольческим поисково-спасательным отрядом «ЛизаАлерт». Общий призовой фонд составляет 135 млн руб. Подробнее: https://goo.su/hkgUM

Анализ данных (Data analysis)

30 May 2023 10:02

✅ Покажем на практике как деплоить модели в production

Владение инструментами MLOps открывает новые карьерные горизонты специалистам ML, Data Scientist’ам и Software инженерам.

📌 Ответьте на 10 вопросов и проверьте, насколько вы готовы к обучению на курсе «MLOps» от OTUS.

Время прохождения теста ограничено 30 минут

ПРОЙДИТЕ ТЕСТ — сможете занять место в группе по спец.цене
👉 https://otus.pw/1i9N/

Нативная интеграция. Информация о продукте www.otus.ru

Анализ данных (Data analysis)

29 May 2023 08:51

Создай цифровой продукт вместе с государством и бизнесом и улучши качество жизни в Арктике

🏆 Участвуй в технологическом конкурсе «АРКТЕК ДАТА 2023» и создай цифровой продукт в области устойчивого развития за 2 месяца. Направления: экология, туризм, урбанизация. Подать заявку можно с готовым продуктом или создать с нуля.

У тебя будут:
✅ Реальные данные по Арктической зоне
✅ Встречи с экспертами
✅ Трекеры
✅ Онлайн-участие и оффлайн-финал

Принять участие могут студенты, молодые профессионалы и отраслевые эксперты, Data Science лаборатории, студии разработки IT-продуктов и стартапы. Состав команд от 3 до 5 человек.

💸 Призовой фонд 3 000 000 рублей.

Конкурс организован при поддержке Минвостокразвития России, МИД России, ФАНУ «Востокгосплан», госкорпорации «Росатом», компании МегаФон и геомаркетингового сервиса «Геоинтеллект».

❗️Регистрация открыта до 23:59 8 июня. https://clck.ru/34YDvE

Анализ данных (Data analysis)

26 May 2023 10:21

🗺 Создание географической карты с интерактивными маркерами: руководство по Plotly Dash

Хочу поделиться с вами решением задачи наглядного представления большого объёма данных с возможностью детального просмотра информации по интересующим объектам.

▪Читать

@data_analysis_ml

Анализ данных (Data analysis)

25 May 2023 10:02

🔥 Data scientist и другие digital-специалисты! Открыта регистрация на онлайн-чемпионат по анализу данных SIBUR CHALLENGE 2023 // ГЕНЕРАЛИЗАЦИЯ.

Участникам предстоит поработать с реальными кейсами крупной нефтехимической компании Сибур и решить две задачи на выбор.

Вы получите поддержку от экспертов индустрии, доступ к сообществу единомышленников и дополнительные вознаграждения за активности. А еще — шанс получить приглашение на работу или стажировку!

🏆 Призовой фонд — 1 млн рублей.
На каждую из двух задач приходится по 3 места:
1 место — 250 тысяч рублей.
2 место — 150 тысяч рублей.
3 место — 100 тысяч рублей.

Основная работа будет проходить в онлайне на платформе AI Today. Можно участвовать индивидуально или в команде.
Присоединиться к соревнованию можно до 7 июня.

Успейте подать заявку и побороться за призовой фонд в 1 млн рублей.

👨‍💻 Регистрация и подробности: https://clck.ru/34WAyY

Организаторы: Сибур Диджитал, AI Community и AI Today.

Анализ данных (Data analysis)

24 May 2023 18:02

Ребята из Авито ищут аналитиков в кластеры Trust and Safety и Business Security.

Открыты позиции:
➡️ Команда жилой недвижимости
➡️ Команда модерации
➡️ Команда рейтингов и отзывов

Из приятного:
• Много качественных данных, мощная инфраструктура и инструменты, любое необходимое железо — всё готово для продуктивной работы;
• Возможность влиять на бизнес и развитие продукта;
• Прозрачная система премий, достойная зарплата — размер обсудим на собеседовании;
• Личный бюджет на обучение — книги, курсы и конференции;
• ДМС со стоматологией с первого дня, в офисе принимают терапевт и массажист;
• Возможность совмещать работу из дома и комфортного офиса в 2 минутах от «Белорусской» с панорамным видом на центр города, местами для уединенной работы, двумя спортивными залами, зонами отдыха и гамаками.

Не откладываем (а то мы вас знаем), а сразу переходим по ссылкам и откликаемся!

Анализ данных (Data analysis)

22 May 2023 18:22

nbdime: Полезная библиотека для контроля версий для Jupyter Notebook

Если вы хотите сравнить предыдущую и текущую версии ноутбука, используйте nbdime. На картинке выше показано, как сравниваются две версии ноутбука с помощью nbdime. Так же инструмент позволяет удобно мерджить ноутбуки.

pip install nbdime

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

20 May 2023 11:01

🖥 Полезный интсрумент Класс ChainMap() модуля collections в Python.

Обновляемый, производительный контейнер словарей dict().

Класс ChainMap() предназначен для быстрого объединения нескольких словарей, чтобы их можно было рассматривать как единое целое. Такой контейнер объединяет словари и ищет ключи намного быстрее, чем создание нового словаря и выполнение объединения при помощи вызовов dict.update().

Класс ChainMap() может использоваться для имитации вложенных областей и полезен при создании шаблонов. Смотрите примеры использования ChainMap

Синтаксис:
import collections

d = collections.ChainMap(*maps)
Параметры:

*maps - один или несколько словарей.

Возвращаемое значение:
собственный тип ChainMap.

Описание:
Класс ChainMap() модуля collections группирует несколько словарей или других сопоставлений для создания единого обновляемого представления. Если словари maps не указаны, то будет создан один пустой словарь.

>>> from collections import ChainMap
>>> first = {'two': 22, 'three': 3}
>>> last = {'one': 1, 'two': 2}
>>> d = ChainMap(first, last)
>>> d
# ChainMap({'two': 22, 'three': 3}, {'one': 1, 'two': 2})

При добавлении словарей, одинаковые ключи не затираются новыми значениями, вместо этого словари добавляются и хранятся в обновляемом списке. Доступ к этому списку можно получить используя атрибут d.maps.

Класс поддерживает все основные методы словарей dict(). Операции добавления, обновления и удаления значений могут быть произведены только со словарем, который был добавлен первым.

Через атрибут maps можно изменять ВСЕ словари. Доступ к конкретному словарю осуществляется по индексу в списке атрибута d.maps[i], а изменения осуществляются через их методы dict().

# доступ к словарям
>>> d.maps[0]
# {'one': 1, 'two': 2, 'four': 4}
>>> d.maps[1]['three']
# 3

# изменяем словари и не забываем, что мы
# поменяли их местами - 'd.maps.reverse()'
>>> d.maps[0]['five'] = 5
>>> del d.maps[0]['four']
>>> d.maps[1]['four'] = 4
>>> d
# ChainMap({'one': 1, 'two': 2, 'five': 5}, {'three': 3, 'one': 11, 'four': 4})

# исходные словари то же изменились
>>> first
# {'three': 3, 'one': 11, 'four': 4}
>>> last
# {'one': 1, 'two': 2, 'five': 5}

# изменяем список словарей
>>> d.maps.pop()
# {'three': 3, 'one': 11, 'four': 4}
>>> d
# ChainMap({'one': 1, 'two': 2, 'five': 5})

# добавляем в экземпляр `ChainMap()` новый словарь
>>> new_dict = {'a': 10, 'b': 20, 'c': 30}
>>> d.maps.append(new_dict)
>>> d
# ChainMap({'one': 1, 'two': 2, 'five': 5}, {'a': 10, 'b': 20, 'c': 30})
>>> del d.maps[1]['c']
>>> d.maps[0]['one'] = 0
>>> d
# ChainMap({'one': 0, 'two': 2, 'five': 5}, {'a': 10, 'b': 20})

# исходные словари
>>> last
{'one': 0, 'two': 2, 'five': 5}
>>> new_dict
{'a': 10, 'b': 20}

▪Подробнее

@data_analysis_ml

Анализ данных (Data analysis)

05 Jun 2023 12:05

Прощайте, циклы в Python: знакомство с возможностями векторизации

В этой статье я хочу поделиться с вами захватывающей техникой, которая произвела революцию в моём подходе к анализу и визуализации данных в Python.

Она называется векторизацией и позволяет вам попрощаться с циклами и использовать более эффективный и элегантный способ программирования.

▪ Читать

@data_analysis_ml

Анализ данных (Data analysis)

04 Jun 2023 18:01

🔥 5 примеров использования Redis с кодом на Python

1. Caching
Redis можно использовать для кэширования часто используемых данных, снижая нагрузку на ваше основное хранилище данных. Вот пример того, как реализовать кэширование с помощью Redis в Python

import redis

# Connect to Redis
r = redis.Redis(host='localhost', port=6379, db=0)

def get_data_from_cache(key):
# Check if data exists in the cache
if r.exists(key):
# Retrieve data from the cache
data = r.get(key)
return data.decode('utf-8') # Convert bytes to string
else:
# Fetch data from the primary data source
data = fetch_data_from_source()

# Store data in the cache with a timeout of 1 hour
r.setex(key, 3600, data)
return data

2. Pub/Sub (Publish/Subscribe):
Redis поддерживает паттерн pub/sub, позволяя вам создавать системы обмена сообщениями. Вот пример:

import redis
import time

# Connect to Redis
r = redis.Redis(host='localhost', port=6379, db=0)

def publish_message(channel, message):
# Publish a message to the specified channel
r.publish(channel, message)

def subscribe_channel(channel):
# Subscribe to a channel and process incoming messages
pubsub = r.pubsub()
pubsub.subscribe(channel)

for message in pubsub.listen():
print(message['data'].decode('utf-8')) # Process the received message

3. Rate Limiting:
Redis можно использовать для реализации ограничения скорости, чтобы контролировать количество запросов или операций за период времени. Пример:

import redis

# Connect to Redis
r = redis.Redis(host='localhost', port=6379, db=0)

def check_rate_limit(ip_address):
# Increment the request count for the IP address
request_count = r.incr(ip_address)

# If the count exceeds the limit (e.g., 100 requests per minute), deny the request
if request_count > 100:
return False

return True

4. Session Storage:
Redis можно использовать для хранения данных сеанса в веб-приложениях. Пример:

import redis
import uuid

# Connect to Redis
r = redis.Redis(host='localhost', port=6379, db=0)

def create_session(user_id):
# Generate a unique session ID
session_id = str(uuid.uuid4())

# Store the session data in Redis with a timeout of 30 minutes
r.setex(session_id, 1800, user_id)

return session_id

def get_user_id_from_session(session_id):
# Retrieve the user ID from the session data in Redis
user_id = r.get(session_id)

if user_id is not None:
return user_id.decode('utf-8') # Convert bytes to string
else:
return None

5. Leaderboard:
Redis можно использовать для создания таблиц лидеров или рейтингов на основе набранных баллов. Пример:

import redis

# Connect to Redis
r = redis.Redis(host='localhost', port=6379, db=0)

def update_score(player_id, score):
# Update the score of a player
r.zadd('leaderboard', {player_id: score})

def get_leaderboard():
# Get the top 10 players from the leaderboard
leaderboard = r.zrevrange('leaderboard', 0, 9, withscores=True)

for player, score in leaderboard:
print(f"Player: {player.decode('utf-8')}, Score: {score}")

Это лишь несколько примеров того, как Redis можно использовать в Python. Redis предоставляет множество других мощных функций и структур данных, которые можно использовать в различных приложениях.

▪Github

@data_analysis_ml

Анализ данных (Data analysis)

04 Jun 2023 11:48

🖥 Как переписать и оптимизировать ваши SQL-запросы к Pandas на пяти простых примерах

Аналитики данных, инженеры и учёные одинаково знакомы с SQL. Язык запросов по-прежнему широко используется для работы с реляционными базами данных любого типа.

Однако, в настоящее время, всё больше и больше, особенно для аналитиков данных, растут технические требования, и ожидается, что люди, по крайней мере, знают основы языка программирования. При работе с данными Python и Pandas являются обычным дополнением к списку требований в описании вакансий.

Хотя Pandas может быть новым для людей, знакомых с SQL, концепции выбора, фильтрации и агрегирования данных в SQL легко переносятся в Pandas. Давайте рассмотрим в этой статье некоторые распространённые SQL-запросы и способы их написания и оптимизации в Pandas.

▪ Читать

@data_analysis_ml

Анализ данных (Data analysis)

03 Jun 2023 12:02

🗺 Список полезных Python-библиотек для работы с геоданными:

1. Gmaps - библиотека для работы с Google maps, кот позволяет визуализировать и взаимодействовать с геоданными.

2. Leafmap - Python пакет для создания интерактивных карт для геопространственного анализа. Эта библиотека доступна в среде Jupyter, Google Colab, Jupyter Notebook и JupyterLab, и позволяет анализировать и визуализировать геоданные без особого труда.

3. Folium - это Python-библиотека для бычтрой визуализации геоданных, которая предоставляет интерфейс Python для работы с leaflet.js, одной из самых популярных библиотек JavaScript, используемых для создания интерактивных карт. Библиотека позволяет работать с файлами GeoJSON и TopoJSON, создавать фоновые картограммы с различными цветовыми схемами, персонализировать всплывающие подсказки и интерактивные карты-врезки.

4. Geopandas - это библиотека, которая предназначена для работы с геоданными в Python. Она предоставляет объект геодатафрейм, который по своей сущности аналогичен датафрейму Pandas, но который содержит информацию о геометрии, являющейся определением пространственного объекта.

5. Ipyleaflet - это интерактивная и многофункциональная библиотека виджетов, которая предоставляет возможность визуализировать карты.

Анализ данных (Data analysis)

02 Jun 2023 13:01

💡 Начало работы с pytest

Если вы хотите протестировать свою функцию на разных примерах, используйте декоратор pytest.mark.parametrize из библиотеки pytest.

В приведенном выше коде ожидается, что первое предложение будет содержать слово "duck", а второе предложение не будет содержать этого слова. При запуске pytest прошло 2 теста.

import pytest

def text_contain_word(word: str, text: str):
'''Find whether the text contains a particular word'''

return word in text

test = [
('There is a duck in this text',True),
('There is nothing here', False)
]

@pytest.mark.parametrize('sample, expected', test)
def test_text_contain_word(sample, expected):

word = 'duck'

assert text_contain_word(word, sample) == expected

▪Github
▪Python Testing с pytest

@data_analysis_ml

Анализ данных (Data analysis)

01 Jun 2023 15:16

📌 Предлагаем вам подборку бесплатных курсов по аналитике и визуализации данных

▪Digital-аналитика — This is Data

▪Визуализация данных - Онлайн-школа ILYN

▪Microsoft Power BI — Microsoft Learn

▪Power Bi для интернет-маркетинга — NeedForData

▪Основы работы с DataLens — Яндекс Практикум

▪Google Data Studio (2022) — Яков Осипенков

▪Google Data Studio (2022) — Школа аналитики "Байкал"

@data_analysis_ml

Анализ данных (Data analysis)

31 May 2023 11:38

📌 Полезные бесплатные курсы от Google.

▪Ускоренный курс Google машинное обучение — база машинного обучения, включает видеолекции от исследователей из Google.

▪Основы Python для анализа данных — программирование на Python.

▪Введение в Data Science и аналитику — курс по Data Science и Data Science Life Cycle.

@data_analysis_ml

Анализ данных (Data analysis)

30 May 2023 12:02

🖥 dtreeviz: инструмент визуализации и интерпретации деревьев решений

Если вы хотите найти простой способ визуализации и интерпретации модели дерева решений, используйте dtreeviz.

На изображении выше показан результат работы dtreeviz при применении инструмента к DecisionTreeClassifier.

▪Github

@data_analysis_ml

Анализ данных (Data analysis)

29 May 2023 10:51

🖥 Полезая подборка бесплатных курсов по Python и R

1. Автоматизация тестирования с помощью Selenium и Python - Stepik (INT)

2. Добрый, добрый Python - обучающий курс от Сергея Балакирева - Сергей Балакирев (Stepik) (BEG)

3. Основы программирования на Python - Coursera (BEG)

4. Питонтьютор: Бесплатный курс по программированию с нуля - Виталий Павленко, Владимир Соломатин, Д. П. Кириенко, команда Pythontutor (BEG)

5. "Поколение Python": курс для начинающих - Тимур Гуев, Руслан Чаниев, Анри Табуев (Stepik) (BEG)

6. "Поколение Python": курс для продвинутых - Тимур Гуев, Руслан Чаниев, Благотворительный фонд "Айкью Опшн" (Stepik) (INT)

7. Программирование на Python - Тимофей Бондарев, Павел Федотов (Stepik) (BEG)

8. Python: быстрый старт - Дмитрий Фёдоров (BEG)

9. Python для начинающих (BEG)

10. Python для тех, у кого лапки - Мария Чакчурина, Дмитрий Колосов (Stepik) (INT)

11. Python: основы и применение - Константин Зайцев, Антон Гардер (Stepik) (INT)

🖊 Курсы по R

1. Анализ данных в R - Stepik (INT)

2. Анализ данных в R. Часть 2 - Stepik (INT)

3. Основы программирования на R - Stepik (BEG)

@data_analysis_ml

Анализ данных (Data analysis)

27 May 2023 11:58

Полезные инструменты: RATH — альтернатива Tableau с открытым исходным кодом

RATH относительно новый инструмент, который имеет одно из самых быстрорастущих сообществ на GitHub. Благодаря передовым технологиям и новаторскому подходу к анализу и визуализации данных, RATH быстро завоевала популярность среди профессионалов по работе с данными.

Сообщество RATH быстро растет: разработчики, специалисты по данным и бизнес-аналитики вносят свой вклад в его развитие и делятся идеями о том, как максимально использовать его потенциал. Независимо от того, являетесь ли вы опытным аналитиком данных или только начинаете, RATH является обязательным инструментом для всех, кто хочет улучшить свои навыки анализа и визуализации данных.

▪Kanaries(k6s) RATH
▪Больше информации о RATH

@data_analysis_ml

Анализ данных (Data analysis)

25 May 2023 12:02

🖥 faker: Create Fake Data in One Line of Code

Чтобы быстро создать фейковые данные для тестов, попробуйте использовать faker. В приведенном коде показаны некоторые возможности быстрой генерации данных с faker.

pip install Faker

from faker import Faker
fake = Faker()

fake.name()
# 'Lucy Cechtelar'

fake.address()
# '426 Jordy Lodge
# Cartwrightshire, SC 88120-6700'

fake.text()
# 'Sint velit eveniet. Rerum atque repellat voluptatem quia rerum. Numquam excepturi'

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

24 May 2023 20:03

🖥 snoop : Интеллектуальная печать для отладки вашей функции Python


Если вы хотите понять, что происходит в вашем коде, без использования множества операторов print, попробуйте использовать snoop. Вы увидите журнал работы вашей функции, включая то, какие строки выполнялись и когда, и что происходит с каждой из переменных.

Чтобы использовать библиотеку, просто добавьте декоратор @snoop в свою функцию.

import snoop

@snoop
def factorial(x: int):
if x == 1:
return 1
else:
return (x * factorial(x-1))

if __name__ == '__main__':
num = 2
print(f'The factorial of {num} is {factorial(num)}')

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

24 May 2023 13:06

📖wordfreq: оценка частоты слова на 40 языках

Если вы хотите определить частоту употребления определенного слова в вашем тексте, попробуйте использовать wordfreq.

wordfreq поддерживает 40 языков. Библиотека охватывает даже слова, которые встречаются хотя бы один раз на 10 миллионов слов.

Пример использования приведен выше.

pip3 install wordfreq

Пример работы:

import matplotlib.pyplot as plt
import seaborn as sns
from wordfreq import word_frequency

print(word_frequency("eat", "en")) # 0.000135
print(word_frequency("the", "en")) # 0.0537

sentence = "There is a dog running in a park"
words = sentence.split(" ")
word_frequencies = [word_frequency(word, "en") for word in words]

sns.barplot(words, word_frequencies)
plt.show()

▪Ссылка на wordfreq

@data_analysis_ml

Анализ данных (Data analysis)

21 May 2023 12:47

Я попробовал 84 плагина на ChatGPT. Вот лучшие из них!

Плагины — это новые модули, доступные пользователям ChatGPT Plus, которые навсегда изменят ChatGPT, поскольку они добавляют множество функций к тому, что искусственный интеллект может делать изначально.

На сегодняшний день в магазине плагинов их насчитывается около 84. Я попробовал их все, и в этой статье я поделюсь с вами теми, которые я считаю лучшими.

▪Читать

@data_analysis_ml

Анализ данных (Data analysis)

19 May 2023 11:44

🔍 Где искать работу Дата Саентисту?

Собрали для вас список площадок для поиска работы или фрланс-проекта в области Data Science.

1. Toptal
Toptal - один из крупнейших фриланс сайтов для специалистов по анализу данных. В отличие от многих других бирж фриланса в Toptal соискатели проходят тестирование в различных областях, включая знание английского языка и технические навыки, в области SQL и Python для data science.

2. Open Data Science Jobs
Open Data Science Jobs - одна из крупнейших площадок вакансий, посвященных только науке о данных. Такие компании, как Bose, использовали эту доску объявлений для поиска специалистов по науке о данных для оптимизации своей бизнес-аналитики.

3. Kaggle
Kaggle - одно из крупнейших сообществ датасаентистов. Kaggle предоставляет наборы данных, проводит соревнования и вообще способствует процветанию сообщества специалистов по анализу данных.

Доска вакансий Kaggle - один из лучших вариантов для начала поиска проекта для рабрты. Ее услугами пользуются крупнейшие компании (Amazon, Capital One и AIG и тд).

4. Scalable Path

Если у вас есть готовая команда датасаентистов и вы хотите найти интерсный проект , Scalable Path - отличный вариант.

5. Gigster
Еще одина крупная фриланс площадка с проектами ds.

6. iCrunchData - это доска объявлений c вакансиями в области науки о данных.

7. X-Team
X-Team - рынок фриланса, где можно работать, как одному, так и в команде.

8. Gun.io
Gun.io очень похож на Toptal, быстро и эффективно подбирая для компаний квалифицированных инженеров по науке о данных. С тысячами зарегистрированных членов Gun.io является восходящей звездой в индустрии фриаланса.

9. R-users
Простой поиск по сайту R-users позволяет найти десятки вакансий в области науки о данных, в которых используется язык программирования R.

10. AngelList
AngelList - это место, где встречаются ит- предприниматели и инвесторы.

11. Engineering Jobs
Если вы ищете ds проект Engineering Jobs может стать отличным местом для поиска интересной работы.

12. Dice
Dice - доскоа объявлений о карьере в сфере технологий и ИТ. Эта доска известна тем, что привлекает архитекторов программного обеспечения, инженеров, QA-тестеров и инженеров по анализу данных.

13. SimplyHired
SimplyHired - это еще одна крупная доска объявлений о работе, похожая на Indeed или Monster.

14. Папка с каналами для поиска работы в телеграме.

Телеграм каналы и чаты, где публикуются вакансии ds, python и не только. Очень полезная папка (папки поддерживаются только в последних версиях тг), где можно найти вакансию на любой ЯП.

Ставьте 👍 , если полезно.

@data_analysis_ml