Анализ данных (Data analysis)

14 Feb 2023 10:45

🔍 Нечеткое сравнение строк как метод обнаружения и исправления ошибок.

Существуют контекстно-независимые и контекстно-зависимые методы обнаружения и исправления ошибок. Мы рассмотрим контекстно-независимый способ обнаружения и исправления опечаток и орфографических ошибок.

Для выполнения этой задачи нам понадобится алгоритм нечеткого сравнения строк. Существует множество реализаций данных алгоритмов, однако базовый принцип у них похож – данные алгоритмы выявляют разницу между входным словом и словом из словаря и выдают на выходе информацию о том, на сколько они похожи.

Так, выполнив проход по словарю, можно получить список слов, наиболее похожих на слово с опечаткой. Далее, выбрать то слово, в котором разница будет минимальна и осуществить замену.

В статье мы рассмотрим 4 популярных алгоритма нечеткого сравнения строк.

▪Читать

@data_analysis_ml

Анализ данных (Data analysis)

11 Feb 2023 11:11

🖥 ChatGPT — как я повысил свою производительность разработчика с помощью нейросети.

Оказывается, существует такая вещь, как мгновенное повышение производительности — и оно осуществляется с помощью ChatGPT. Возможно, вам интересно, чем данный инструмент может помочь вам; будьте уверены, что мой опыт его использования был невероятно позитивным!

В этой статье я собираюсь углубиться в то, как работает ChatGPT, почему он спас меня от бесчисленных часов разочарования и боли, и как вы тоже можете использовать его функции для увеличения собственной производительности.

Так что, если вы готовы глубоко погрузиться в то, как технологии могут помочь сделать ваши повседневные задачи более эффективными (и менее обременительными) — читайте дальше!

▪Читать дальше
▪Зеркало
▪Как писать код с ChatGpt!

@data_analysis_ml

Анализ данных (Data analysis)

10 Feb 2023 11:01

🖥 Решение бизнес-задачи с помощью многофакторного кластерного анализа и здравого смысла

В рамках данной публикации я постарался не только поделиться своим практическим опытом решения аналитической задачи, но и уделить внимание профессиональным особенностям, связанным и с софт-скиллами, так как глубоко убеждён, что когнитивные умения в работе не менее важны, чем умение использовать тот или иной инструмент.

▪Читать дальше

@data_analysis_ml

Анализ данных (Data analysis)

09 Feb 2023 10:12

🖥 Google’s Open Images

Огромный датасет о Google, который включает коллекцию из более чем 9 миллионов URL-адресов, имеющих метки и охватывающих большое количество категорий под лицензией Creative Commons.

https://ai.googleblog.com/2022/10/open-images-v7-now-featuring-point.html

@data_analysis_ml

Анализ данных (Data analysis)

08 Feb 2023 17:26

The Cityscapes Dataset

Великолепный датасет, можно найти множество записей с уличных камер из 50 городов.

https://www.cityscapes-dataset.com/

@data_analysis_ml

Анализ данных (Data analysis)

08 Feb 2023 09:40

❤️ Инструкция по созданию Telegram бота с ChatGpt на Python.

Это руководство по созданию ChatGPT бота Telegram всего несколькими строками кода на ЯП Python.

Независимо от того, являетесь ли вы профессионалом в области программирования или только начинаете, мы подготовили для вас пошаговое руководство. Приготовьтесь произвести революцию в ваших чатах и хорошенько повеселиться!

▪Читать
▪Зеркало

@data_analysis_ml

Анализ данных (Data analysis)

07 Feb 2023 17:01

🖥 Задачи из интервью Google Data Science

Простые, интуитивно понятные объяснения некоторых вопросов Google по решению проблем

Помимо задач по программированию, работодатель обязательно проверяет знание математики, и особенно решение задач в области статистики и теории вероятности. Ниже мы приводим разбор вопросов из интервью Google.

▪Читать

@data_analysis_ml

Анализ данных (Data analysis)

07 Feb 2023 11:07

🔟 полезных инструментов визуализации данных

Инструменты визуализации данных идеально подходят для создания графики о конкретных событиях, проектах, а также для создания аналитических и информационных сводок.

Такие инструменты могут радикально отличаться друг от друга. Мы составили этот список, чтобы помочь вам выбрать лучший и самый подходящий именно для вас вариант.

▪Читать

@data_analysis_ml

Анализ данных (Data analysis)

06 Feb 2023 19:14

🖥 Сокращаем количество изображений , применив хеширование из стандартной библиотеки Python.

Используем библиотека hashlib, чтобы почистить память и удалить ненужные данные.

▪Читать
▪ Код

@data_analysis_ml

Анализ данных (Data analysis)

06 Feb 2023 10:53

🖥 Шесть малоизвестных библиотек Python 2023

В этой статье я делюсь шестью малоизвестными, но полезными библиотеками python для работой с данными и не только, которые помогут вам в работе.

▪Читать
▪Зеркло

@data_analysis_ml

Анализ данных (Data analysis)

05 Feb 2023 10:31

🔟 Советов по улучшению работы с ChatGPT

Список советов, которые помогут вам улучшить работу с ChatGPT. Список кратко:

1. ChatGPT имеет ограничение на вывод текста, но это можно легко обойти, воспользовавшись командой “continue”.

2. Иногда длинные, запутанные запросы могут иметь противоположный эффект, поэтому всегда полезно делать их конкретными и короткими.

3. Добавление ключевого слова “list” в вашу подсказку может изменить способ вывода ChatGPT. Список может оказаться более точным, чем обычный запрос.

4. ChatGPT может помочь вам в написании чёткой и сжатой документации для вашего кода, включая README.md файлы для проектов.

5. Вставляя фрагменты кода и запрашивая советы, ChatGPT может помочь с завершением кода.

6. Не отправляйте в Chatgpt запросы, содержащие личную информацию о вас, ваших коллегах или компании.

7. Вот несколько примеров запросов, которые помогут вам в ваших попытках упрощения кода и рефакторинга:

Code alternative example
input <yourcode>

Simplify below code
input <yourcode>

Refactor this code
input <yourcode>

8. Всегда перепроверяйте код от chatgpt или найдите эксперта , который сможет проверить сгенерированный код.

9. Chatgpt напишет за вас тесты высокого уровня.

10. Chatgpt отлично спарвляется с :

- Созданием запросо SQL

- CRUD код

- Отправка электронных писем

- Экспорт данных в CSV Excel

- Создание форм ввода данных

▪Подробнее
▪ Видео

@data_analysis_ml

Анализ данных (Data analysis)

04 Feb 2023 10:08

📃 Эксперимент для исследования различных форматов хранения данных.

Перед нами встала задача проведения эксперимента для исследования различных форматов хранения.

Перед началом проведения эксперимента нами были выделены наиболее, на наш взгляд, важные аспекты, которые помогут определить лучший формат хранения:

- Скорость чтения файла
- Скорость записи файла
- Занимаемый объем сохраненного файла

▪Читать
▪Подробнее о parquet

@data_analysis_ml

Анализ данных (Data analysis)

03 Feb 2023 11:17

Теория вероятностей в машинном обучении. Часть 1: модель регрессии

Продолжаем тему теории вероятностей в машинном обучении.

В данной статье мы подробно рассмотрим вероятностную постановку задачи машинного обучения: что такое распределение данных, дискриминативная модель, i.i.d.-гипотеза и метод максимизации правдоподобия, что такое регрессия Пуассона и регрессия с оценкой уверенности, и как нормальное распределение связано с минимизацией среднеквадратичного отклонения.

▪Читать
▪Часть 2
▪Книга Байесовские модели
▪Курс от Сендфорда

@data_analysis_ml

Анализ данных (Data analysis)

02 Feb 2023 10:50

🔬 Введение в Оптимизацию с ограничениями на SciPy.

В этом посте мы делимся примером оптимизации с использованием SciPy, популярной библиотеки Python для научных вычислений.

▪Читать
▪Зеркало
▪Scipy

@data_analysis_ml

Анализ данных (Data analysis)

01 Feb 2023 18:08

⭐️ Еще 100 датасетов для анализа данных на все случаи жизни.

▪Список
▪Зеркало

@data_analysis_ml

Анализ данных (Data analysis)

12 Feb 2023 10:22

📊 Регрессионный анализ в DataScience. Простая линейная регрессия. Библиотека statsmodels

Про регрессионный анализ вообще, и его применение в DataScience написано очень много. Есть множество учебников, монографий, справочников и статей по прикладной статистике, огромное количество информации в интернете, примеров расчетов. Можно найти множество кейсов, реализованных с использованием средств Python. Казалось бы - что тут еще можно добавить?

Однако, как всегда, есть нюансы:

Регрессионный анализ - это прежде всего процесс, набор действий исследователя по определенному алгоритму: "подготовка исходных данных - построение модели - анализ модели - прогнозирование с помощью модели".

▪Часть 1
▪Часть 2
▪Код

@data_analysis_ml

Анализ данных (Data analysis)

11 Feb 2023 09:02

Начните изучать профессию тестировщика на бесплатном онлайн-интенсиве Skillbox. Подключайтесь к прямому эфиру с 13 по 15 февраля в 19:00 по московскому времени. За 3 дня пройдёте путь от основ юзабилити до автотестов.

Станьте гуру в востребованной профессии: 👉 https://clc.to/6xMCwg

Для новичков в сфере IT:

📎 познакомитесь с профессией;
📎 изучите основы и ключевые инструменты тестирования;
📎 проведёте первые тесты.

Для начинающего тестировщика:

📍 структурируете знания, изучите правила юзабилити и стандарты тестирования в крупных IT-компаниях;
📍 научитесь проверять сервисы на баги через API с помощью инструмента Postman.

Спикер интенсива — старший специалист по тестированию, организатор тест-сессий, митапов по тестированию и мастер-классов, участник конференций SQA-days, TechTrain и CodeFest Дмитрий Якин.

🎁 Участвуйте и прокачайте знания. Получите в подарок электронную книгу «Человек + машина» и сертификат на скидку 10 000 рублей на любой курс Skillbox.

Анализ данных (Data analysis)

10 Feb 2023 09:01

Интересуетесь бизнес-аналитикой? Интенсив Skillbox «3 дня в роли бизнес-аналитика» — это возможность выполнить задачи, с которыми сталкиваются такие специалисты каждый день.

Интенсив ведёт Антон Антипин, преподаватель НИУ ВШЭ, генеральный директор компании Business Set. Антон занимается бизнес-аналитикой 21 год, за это время он реализовал более 30 проектов организационного развития и поработал с такими компаниями, как «Сургутнефтегаз», «Татнефть», «Газпром переработка», банк «Открытие».

Несколько причин посетить интенсив:

✅ Вы положите кейс в портфолио.
✅ Получите доступ в закрытый Telegram-канал по теме.
✅ Сможете оценить качество подачи материала и получить сертификат на скидку 10 000 рублей на любой курс Skillbox.
✅ У вас будет чек-лист для старта в профессии: поймёте, какие навыки развивать в первую очередь.

Где и когда: онлайн, 13–15 февраля.

🎁 А ещё получите в подарок электронную книгу Адель Линн «Сила эмоционального интеллекта» издательства МИФ.

Смотрите подробности и регистрируйтесь на бесплатный интенсив: https://clc.to/bkOkkQ

Анализ данных (Data analysis)

09 Feb 2023 08:12

За какого специалиста компании готовы переплачивать?

Того, который понимает бизнес, выдаëт прибыльные гипотезы и продуктовые рекомендации, меняет отношение коллег к данным.

Как научиться этому бесплатно?

Павел в своем канале пишет о карьерном росте при работе с данными и развитии аналитической культуры в компаниях.

Благодаря автору, вы узнаете:

- как получать офферы выше среднего по рынку
- как специалисту расти и развивать за собой компанию
- как проходить 8 из 10 собеседований и попасть в компанию мечты

Еще 6 лет назад Павел начинал с онлайн курсов, а сегодня руководит командой из 8 аналитиков и инженеров данных. А также менторит компании и профессионалов из Сбера, X5, Lamoda и других крупных брендов.

Ссылка для тех, кто хочет быстрее расти по карьере: /channel/nodatanogrowth

Анализ данных (Data analysis)

08 Feb 2023 12:07

Сбер запускает сайт о своих исследованиях и разработках, на котором можно узнать о проектах всех 10 лабораторий компании по таким направлениям, как блокчейн, нейронауки, AR/VR, геймификация, интернет вещей, кибербезопасность, новые технологические решения, искусственный интеллект, клиентский опыт и новые способы продаж и робототехника.

• Среди представленных проектов:
• блокчейн-платформа,
• Volumetric студия, которая позволяет создать эффект присутствия спикера
• платформы для построения и повышения эффективности моделей машинного обучения

На сайте можно узнать и присоединиться к мероприятиям, которые проводят исследователи Сбера, узнать о партнёрских проектах лабораторий Сбера, об исследованиях, запущенных с центрами искусственного интеллекта на базе ВШЭ, Сколтеха и МФТИ.

@data_analysis_ml

Анализ данных (Data analysis)

08 Feb 2023 08:39

Хочешь получить востребованную профессию в ИТ?👍

Сейчас все больше компаний принимают решения на основе данных и используют искусственный интеллект для автоматизации процессов. Поэтому навыки AI-разработчика всегда востребованы - об этом говорят зарплаты специалистов по нейросетям:

▫️Junior специалист - от 70 000 ₽

▫️Middle специалист - от 150 000 ₽

▫️Senior специалист - от 300 000 ₽

Мы проводим бесплатный🔥 3-х дневный практикум, на котором познакомим тебя с миром AI - это идеальный формат, который поможет тебе принять решение о дальнейшем обучении и, возможно, смене профессии.💪

👌Будет полезно всем, кто хочет разобраться в карьерных перспективах сферы работы c нейросетями.

Регистрация по ссылке 👈

Анализ данных (Data analysis)

07 Feb 2023 15:00

16 февраля ребята из Авито приглашают на Avito Analytics meetup #9.

Кто в гостях:
🗣 Людмила Кучина, старший аналитик в Авито Недвижимости.
🗣 Иван Еремеев, руководитель аналитики контента в VK (Дзен).
🗣 Егор Сёмин, аналитик EXPF.

Что в программе:
1. Этапы построения репутационной системы.
2. Создание инструмента для мониторинга метрик.
3. Методы сокращения дисперсии и работа с VWE.

Встреча пройдёт онлайн на YouTube-канале AvitoTech. Зарегистрируйтесь, чтобы получить напоминание.

Реклама. ООО «Авито Тех». LdtCKU5eU

Анализ данных (Data analysis)

07 Feb 2023 09:01

Для востребованности на рынке труда в постоянно меняющемся мире уже недостаточно одного классического образования – время изучать что-то новое.
Скоро стартуют наши очные курсы!

⚡️Курс
«Python для автоматизации и анализа данных»
Подходит как начинающим, так и тем, у кого есть опыт в программировании. Познакомитесь с базовыми возможностями языка Python и начнёте применять его
в повседневной работе.

Старт: 7 февраля.
Стоимость: 70 000₽. Оплату можно разделить
на 2 взноса.

⚡️Профессия «Специалист по Data Science»
В программу входит математика
и программирование с нуля, а также машинное обучение, статистика, работа с Big Data и прикладное глубинное обучение.

Старт: 14 февраля.
Стоимость: 465 000₽. Оплату можно разделить на 8 взносов.

⚡️Курс «Машинное обучение»
Курс для тех, кто имеет опыт работы на языке Python (достаточно прохождения курса), а также базовые знания высшей математики, и хочет освоить классические
ML-алгоритмы.

Старт: 15 февраля.
Стоимость: 72 000₽. Оплату можно разделить
на 2 взноса.

Анализ данных (Data analysis)

06 Feb 2023 17:19

🚀Положите начало карьере системного аналитика!

🟣Приходите 7 февраля в 20:00 мск на открытый урок специализации «Системный аналитик» в OTUS. Урок онлайн-курса рассчитан на тех, кто только начинает свой путь в IT и хочет освоить востребованную профессию.

➡️Обсудим одну из важных тем в системном анализе — «Фиксация требований с помощью Use Case».

✅На занятии вы узнаете:
▫️Как описать взаимодействие Актора и Системы
▫️Как отобразить все процессы и всех Акторов и не запутаться
▫️Кто в команде скажет «спасибо» за Use Case
▫️Как выбрать между Use Case и User Story

👉🏻Для участия зарегистрируйтесь: https://otus.pw/DYc3/

📌Приобрести курс возможно в рассрочку.

Анализ данных (Data analysis)

06 Feb 2023 07:36

Прокачайте свои навыки в сфере IT и аналитики данных — примерьте роль Data Scientist! Участвуйте в бесплатном онлайн-интенсиве, который пройдёт с 9 по 11 февраля. Начало — в 19:00 по московскому времени.

Записывайтесь: 👉 https://clc.to/gayj0w
Сразу после регистрации отправим вам на почту материал по Data Science с полезными ресурсами и советами, где найти первые заказы для портфолио.

За 3 дня вы научитесь:

⚡️ исследовать данные с помощью языка программирования Python;
⚡️ строить модели для реальных кейсов;
⚡️ находить аномалии в данных;
⚡️ автоматизировать решение бизнес-задач с помощью искусственного интеллекта и машинного обучения.

Спикер интенсива — руководитель направления исследования данных в Сбере с семилетним опытом в программировании Анастасия Борнева.

🎉 Участвуйте, задавайте вопросы и получите сертификат на скидку 10 000 рублей на любой курс Skillbox.

Присоединяйтесь!

Анализ данных (Data analysis)

05 Feb 2023 09:30

🔥 Подборка каналов для Дата сайентиста

⭐️ Нейронные сети
@vistehno - chatgpt ведет блог, решает любые задачи и отвечает на любые ваши вопросы.
@aigen - сети для генерации картинок. видео, музыки и многого другого.
@neural – погружение в нейросети.

🖥 Machine learning
@ai_ml – погружение в нейросети, ai, Chatgpt, midjourney, машинное обучение.
@machinelearning_ru – машинное обучении на русском от новичка до профессионала.
@machinelearning_interview – подготовка к собеседованию.
@datascienceiot – бесплатные книги Machine learning
@ArtificialIntelligencedl – канал о искусственном интеллекте

@machinee_learning – чат о машинном обучении
@datascienceml_jobs - работа ds, ml
@Machinelearning_Jobs - чат работы мл

🖥 SQL базы данных

@sqlhub - блог ведущего аналитика Ozon tech. Повышение эффективности кода с грамотным использованием бд.
@chat_sql - чат изучения бд.

🖥 Python

@pythonl - главный канал самого популярного языка программирования.
@pro_python_code – учим python с ментором.
@python_job_interview – подготовка к Python собеседованию.
@python_testit - проверочные тесты на python
@pythonlbooks - современные книги Python
@python_djangojobs - работа для Python программистов
@python_django_work - чат обсуждения вакансий


🖥 Javascript / front

@react_tg - - 40,14% разработчиков сайтов использовали React в 2022 году - это самая популярная библиотека для создания сайтов.
@javascript -канал для JS и FrontEnd разработчиков. Лучшие практики и примеры кода. Туториалы и фишки JS
@Js Tests - каверзные тесты JS
@hashdev - погружение в web разработку.
@javascriptjobjs - отборные вакансии и работа FrontEnd.
@jsspeak - чат поиска FrontEnd работы.

🖥 Java
@javatg - выучить Java с senior разработчиком по профессиональной методике.
@javachats - чат для ответов на вопросы по Java
@java_library - библиотека книг Java
@android_its - Android разработка
@java_quizes - тесты Java
@Java_workit - работа Java
@progersit - шпаргалки ит

👣 Golang
@Golang_google - восхитительный язык от Google, мощный и перспективный.
@golang_interview - вопросы и ответы с собеседований по Go. Для всех уровней разработчиков.
@golangtests - интересные тесты и задачи GO
@golangl - чат изучающих Go
@GolangJobsit - отборные вакансии и работа GO
@golang_jobsgo - чат для ищущих работу.
@golang_books - полезные книги Golang
@golang_speak - обсуждение языка Go

🖥 Linux
@linux -топ фишки, гайды, уроки по работе  с Linux.
@linux chat - чат linux для обучения и помощи.
@linux_read - бесплатные книги linux

👷‍♂️ IT работа

@hr_itwork -кураторский список актуальных ит-ваканнсии

🤡It memes
@memes_prog - ит-мемы

⚙️ Rust
@rust_code - Rust избавлен от болевых точек, которые есть во многих современных яп
@rust_chats - чат rust

#️⃣ c# c++
C# - объединяет лучшие идеи современных языков программирования
@csharp_cplus чат
С++ - Универсальность. Возможно, этот главный плюс C++.

📓 Книги

@programming_books_it - большая библиотека. программиста
@datascienceiot -ds книги
@pythonlbooks - python библиотека.
@golang_books - книги Golang
@frontendbooksit - front книги
@progersit - ит-шпаргалки
@linux_read - Linux books
@java_library - Java books

🖥 Github
@github_code - лучшие проекты с github
@bigdatai - инструменты по работе с данными

🖥 Devops
Devops - специалист общего профиля, которому нужны обширные знания в области разработки.

📢 English for coders

@english_forprogrammers - Английский для программистов

Анализ данных (Data analysis)

04 Feb 2023 08:02

❓Хотите стать специалистом по компьютерному зрению? Сделайте первые шаги на открытом уроке онлайн-курса «Компьютерное зрение».

🔥9 февраля в 20:00 мск пройдет открытый урок «Kornia — убийца OpenCV?». На занятии мы обсудим дифференцируемую библиотеку Computer Vision — Kornia.

Вы узнаете:
- Почему Kornia применяется в обучении нейронных сетей и PyTorch, а OpenCV — нет
- За счет чего Kornia работает в разы быстрее, чем OpenCV
- Какие продвинутые функции потерь и алгоритмы для моделей CV предоставляет Kornia
- Как написать алгоритм, которые автоматически сшивает несколько фотографий в панорамный снимок
- Почему Kornia — это лучший инструмент для задач, связанных с геометрией изображений

🧑‍💻 Для участия пройдите вступительный тест: https://otus.pw/fnv7/

Анализ данных (Data analysis)

03 Feb 2023 09:01

Интервью по System Design — это обязательный этап собеседований в большие технологические компании уровня FAANG, по результатам которого принимается финальное решение о найме.

Но на русском языке почти нет материалов для комплексной подготовки!

Поэтому Валерий Бабушкин, Vice President, Data Science в Blockchainꓸcom, и Евгений Нижибицкий, Lead Machine Learning Engineer в AliExpress, создали свой авторский курс, где вы научитесь выстраивать сложные и масштабируемые архитектуры программных систем.

За 4 недели вы научитесь:
- собирать требования и оценивать нагрузку
- применять высокоуровневые схемы и модульный дизайн
- масштабировать и повышать отзывчивость систем
- создавать подсистемы для хранения данных, поиска и аналитики

На курсе System Design вы получите готовый план идеального ответа на собеседовании, а также знания о системах, которые помогут выделиться среди других кандидатов.

Записывайтесь на курс по ссылке до 6 февраля! Ждём вас!

Анализ данных (Data analysis)

02 Feb 2023 08:50

Как не забывать теорию Deep Learning и учить новое?

Можно подписаться на канал DeepSchool. В нем вы найдете
- короткие посты с теорией;
- разборы статей;
- советы по обучению сетей;
- вопросы с собеседований;
- и обзоры фреймворков.

Вот примеры полезных постов:
1. Обзор ключевых идей MobileNet — что делает эту архитектуру столь эффективной
2. Инструкция: как ускорить разметку изображений при помощи CVAT и FiftyOne
3. Что такое attention
4. Об асинхронности вычислений на GPU
5. Вопрос с собеседования на дообучение сегментационной модели

Подписывайтесь, чтобы не забывать теорию Deep Learning и учить новое :)

Анализ данных (Data analysis)

01 Feb 2023 16:08

🤖 Как создать прототип системы контроля доступа транспорта и людей на территорию? Практика с AI в облаке

⏰ Когда: 16 февраля, 17:00 MSK
📍 https://vk.company/ru/press/events/968/

На вебинаре разберем, как за 1 час создать прототип системы для автоматизации доступа людей и транспорта на территорию. Занятие пройдет с применением сервиса Vision от VK Cloud. Для того, чтобы выполнять задания, рекомендуем заранее подключить его в личном кабинете VK Cloud.

В программе:

▪️ Обзор инструментов и моделей в сервисе Vision от VK Cloud.
▪️ Практика с Vision: разработка системы контроля доступа транспорта и людей на территорию.
▪️ QA-сессия.

Спикер:

🔸 Димитрий Муштаков, Product Manager сервиса Vision в VK Cloud.

Зарегистрироваться бесплатно