data_analysis_ml | Unsorted

Telegram-канал data_analysis_ml - Анализ данных (Data analysis)

10807

Аналитика данных админ - @haarrp @ai_machinelearning_big_data - Machine learning @itchannels_telegram - 🔥лучшие ит-каналы @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚

Subscribe to a channel

Анализ данных (Data analysis)

Обучайтесь бесплатно на магистерской программе от Альфа-Банка и МФТИ и получите прикладную специализацию в Data Science.

На программе «Машинный интеллект в финансах» вас ждут:
— бесплатное обучение с ежемесячной стипендией;
— возможность получить оффер в IT-команду банка;
— практические задачи и стажировка в Альфа-Банке с первого семестра;
— полное погружение в Data Science — вы научитесь создавать и обучать модели, анализировать данные с помощью Python и защищать свои идеи.

Подайте заявку на программу до 7 апреля, чтобы освоить востребованную профессию и начать карьеру в банке: https://u.to/d5uTIA

Читать полностью…

Анализ данных (Data analysis)

🔥 Компания Anthropic только что выпустила метод джейлбрейка, позволяющий обойти все меры безопасности LLMs.

"manyshot jailbreaking" использует преимущества больших контекстных окон, добавляя в промпты сотни вредоносных диалогов между человеком и искусственным интеллектом.

Простого включения очень большого количества фальшивых диалогов, предшествующих последнему вопросу, было достаточно, чтобы обойти меры безопасности.

🔥 Подробнее

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

📌Основные типы распределений вероятностей в примерах

Статистические исследования и эксперименты являются краеугольным камнем развития любой компании. Особенно это касается интернет-проектов, где учёт количества пользователей в день, времени нахождения на сайте, нажатий на целевые кнопки, покупок товаров является обычным и необходимым явлением. Любые изменения в пользовательском опыте на сайте компании (внешний вид, структура, контент) приводят к изменениям в работе пользователя и, как результат, изменения наблюдаются в собираемых данных. Важным элементом анализа изменений данных и его фундаментом является использование основных типов распределений случайных величин, от понимания которых напрямую зависит качество оценки значимости наблюдаемого изменения.

В данной статье автор делает упор не на функции и формулы, которые обычно сопутствуют распределениям (функции вероятности, распределения, PMF, PDF, CDF). Скорее он пытается показать, как генерируются те или иные распределения на конкретных примерах.

Отличная статья для понимания сути этих распределений и того, как они в итоге применяются на практике для решения конкретных задач анализа.
Enjoy)

📎 Статья

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

🔥 Большая подборка вопросов для собеседования по DS, AI, ML, DL, NLP, компьютерному зрению.

Подборка вопросов для собеседования поможет вам на собеседовании в области науки о данных, искусственного интеллекта, машинного обучения, глубинного обучения, обработки естественного языка, компьютерного зрения.

100 вопросов для собеседования по машинному обучению в 2024 году

50 вопросов для собеседования по компьютерному зрению в 2024 году

50 вопросов для интервью по глубинному обучению в 2024 году

50 вопросов для интервью по НЛП (обработке естественного языка) в 2024 году

▪100 вопросов с собеседований Data Science 

@machinelearning_interview

Читать полностью…

Анализ данных (Data analysis)

📌Подборка полезных материалов по Data Science

Держите, здесь ссылки на шпаргалки, полезные статьи, курсы на Stepik и ещё много всего
Enjoy)

📎 Ссылка

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

🔥 Сегодня выпущены два самых больших открытых набора данных для распознавания текста за всю историю 📜 📜

Набор данных содержит миллионы реальных документов, изображений и текстов для задач распознавания текста, анализа и разбора документов VQA.: https://huggingface.co/datasets/pixparse/idl-wds
Датасет дополнен аннотациями из проекта idl_data Бриттена и др. (https://arxiv.org/abs/2202.12985 )

PDFA: https://huggingface.co/datasets/pixparse/pdfa-eng-wds

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

Российский AI-ассистент разработчика доступен на GitVerse

AI-ассистенты (AI, artificial intelligence — искусственный интеллект) — это программы, которые анализируют код и предлагают варианты завершения в режиме онлайн. Разработчик может быстрее выполнять привычные задачи, избавиться от рутины сосредоточиться на важных проектах.

К одному из таких помощников вы можете получить доступ уже сейчас!
GigaCode – это AI-ассистент, который знает 15 языков программирования — Java, Python, TypeScript, C/C++ и другие. GigaCode работает в любой привычной среде разработки. Его можно подключить к IDEA, PyCharm, VSCode, Jupyter и другим.

GigaCode развивается вместе c сервисом GigaChat. В AI-ассистенте есть нейросетевые модели, которые обучены на больших корпусах исходного кода и специализируются на определенных задачах разработки. А по опыту команд в Сбере, GigaCode может сокращать время для создания кода до 25%. Ранний доступ к AI-ассистенту можно получить на площадке GitVerse. Это российская платформа для работы с исходным кодом от СберТеха, где можно хранить открытые и закрытые репозитории и продвигать свои проекты.

Чтобы получить доступ к GitVerse и протестировать GigaCode в своем проекте, оставьте заявку на сайте.

Читать полностью…

Анализ данных (Data analysis)

Яндекс зовёт в летнюю Школу аналитиков-разработчиков

В этом году Академия Яндекса запустила новую пятую школу, для бесплатного обучения навыкам, востребованным в IT. Студентов научат работать с реальными проектами и делать выводы на основе данных: извлекать из них смыслы и принимать решения.

Как попасть

Подайте заявку и успешно пройдите отбор, состоящий из двух туров. В первом — выполнение тестового задания и запись видеоинтервью, во втором — онлайн-собеседование. Чтобы лучше подготовиться, посмотрите подборку полезных материалов.

Где и когда пройдет обучение

С 11 июня по 31 августа: cначала лекции онлайн, а потом очный этап в офисах Яндекса в Москве и Санкт-Петербурге. Компания оплатит билеты и проживание участникам из других городов.

Лучшие студенты пройдут очный этап в новом формате — Лаборатории

Ученики, показавшие самые высокие результаты на онлайн-этапе, будут приглашены на пятинедельную оплачиваемую практику с погружением во внутренние сервисы Яндекса и возможностью поработать бок о бок с опытными программистами.

Подать заявку и получить тестовое задание можно по ссылке

Читать полностью…

Анализ данных (Data analysis)

Программа бакалавриата в Центральном университете от Тинькофф с грантом до 100% для сильных и мотивированных абитуриентов!

Грант можно получить на одно из направлений бакалавриата по искусственному интеллекту, разработке и бизнес-аналитике. Помимо диплома и практико-ориентированного образования студенты получат:
- Персонализацию учебной траектории;
- Стажировку в одной из лучших ИТ-компании страны;
- Личного ментора на все время обучения;
- Доступ к современному кампусу в центре Москвы.

Получить полную информацию и оставить заявку можно здесь.

erid:2VtzqwB4n38
Реклама, АНО ВО «Центральный университет», ИНН 7743418023

Читать полностью…

Анализ данных (Data analysis)

💼 Quantstats

Полезная библиотека QuantStats на Python, которая выполняет анализ финансового портфеля, позволяя инвесторам и аналитикам данных лучше понимать свою работу.

QuantStats предоставляет функции для углубленной аналитики, визуализации данных и генерации метрик риска.

Чтобы визуализировать и анализировать эффективность роста цен конкретных акций в вашем портфеле, используя всего несколько строк на #Python, попробуйте Quantitated.

Github

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

🔥 Хотите добавить в резюме компетенции Spark-разработчика? 

Приходите на бесплатный практический урок «Spark Connect — что это такое и зачем оно нужно» от OTUS. Спикер Вадим Заигрин — Team Lead команд инженеров данных. 

В Spark 3.4.0 появился Spark Connect. На вебинаре мы разберем, что это такое, какие задачи он решает и как его использовать.

📌 Встречаемся 4 апреля в 20:00 мск в рамках курса «Spark Developer». Доступна рассрочка на обучение!

💣 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок и получить запись: https://otus.pw/CLno/?erid=LjN8KQwrr

Читать полностью…

Анализ данных (Data analysis)

⁉️ Интересуетесь сферой Computer Vision? Разберите одну из важных тем на практике

Приходите на бесплатный практический урок «Современные self-supervised подходы в computer vision: решаем задачи без обучения моделей» Otus, лекцию читает Борис Цейтлин — опытный CV-эксперт. 

Segment Anything, DINO и другие foundational модели меняют ландшафт Computer Vision. На этом занятии вы узнаете, как ими пользоваться, в каких случаях можно вообще не обучать модели, а когда все-таки придется.

🔜 Встречаемся 4 апреля в 20:00 мск в рамках курса «Компьютерное зрение». Доступна рассрочка на обучение!

🟢 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок и получить запись: https://otus.pw/f0Fx/?erid=LjN8Kb2Jn

Читать полностью…

Анализ данных (Data analysis)

erid: LjN8Jy14X

Как инженеру данных дорасти до уверенного мидла?

Если у вас уже есть опыт работы, но вы хотите структурировать знания и восполнить пробелы, чтобы охватить весь стек и выделиться на фоне «джунов», присоединяйтесь к курсу «Инженер данных» от karpov.courses.

За 5 месяцев вы освоите:
— Проектирование DWH;
— Реляционные и MPP СУБД;
— Автоматизация ETL-процессов;
— Big data;
— Облачное хранилище;
— Визуализация данных;
— Big ML;
— Управление моделями и данными.

Авторы курса — топовые профи из «Яндекса», Ozon.Fintech, VK Cloud Solutions и Сбера.

Старт программы 4 апреля — получите скидку 5% по промокоду DAML и расширьте свои навыки: https://clc.to/kUS3Xg

Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627.

Читать полностью…

Анализ данных (Data analysis)

Постройте свою модель для прогнозирования цен на недвижимость, открыв двери в мир машинного обучения вместе с нами!
 
👉  Отус приглашает 2 апреля в 20:00 мск на бесплатный практический вебинар «Линейная регрессия — ваша первая модель»
 
Вебинар является частью полноценного онлайн-курса «Специализация Machine Learning»
 
➡️ Регистрация на вебинар: https://otus.pw/yfj9/?erid=LjN8KXtxj
 
Спикером выступит: Игорь Стурейко — (к.ф.-м.н.) Teamlead, Data Scientist
 
В результате вебинара вы:
✅ познакомитесь с популярным алгоритмом машинного обучения — линейной регрессией;
✅ узнаете, как устроены алгоритм линейной регрессии и метод наименьших квадратов;
✅ освоите принципы решения задачи регрессии;
✅ построите свою первую модель предсказания цены на недвижимость.
 
Записывайтесь сейчас, а мы потом напомним. Участие бесплатно.

Читать полностью…

Анализ данных (Data analysis)

🌟 Как проходит собеседование на продуктового аналитика в Авито?

Присоединяйтесь к трансляции на канале AvitoTech 4 апреля в 18:00. Вместе с Вовой Камчаткиным, продуктовым аналитиком в компании inDrive, увидите, какие вызовы и задачи ждут вас и как к ним лучше подготовиться. А ещё сможете отвечать на вопросы Егора Беседина, руководителя продуктовой аналитики в Авито, и задавать свои.

А 6 и 7 апреля используйте полученные знания на Weekend Offer для аналитиков. Оставляйте заявку, проходите собеседование и получайте оффер! 🔥

Читать полностью…

Анализ данных (Data analysis)

👨‍🎓 AIDE стала первым агентом искусственного интеллекта человеческого уровня для работы с данными!

AIDE превосходит половину специалистов по обработке данных в широком спектре конкурсов Kaggle, превосходя обычных агентов AutoML, LangChain и ChatGPT 🏆

Статья
Github

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

erid: LjN8KVC3X

🌐 Не пропусти митап по работе с каталогами данных!

X5 Tech совместно с сообществом dbt & modern data stack собирают экспертов, чтобы обсудить, как в мире, перегруженном данными, систематизировать их так, чтобы это работало.

👨🏻‍💻Спикеры из X5 Tech, Beeline и Tele2 рассмотрят успешные внедрения открытых каталогов данных на базе OpenMetadata и DataHub с месячной аудиторией от десятков специалистов машинного обучения до тысяч бизнес пользователей.

🛎 Добавь в календарь!
Х5 Tech Talk: Наводим порядок в данных
11 апреля, 19:00
Зарегистрироваться

Реклама. ООО "Корпоративный центр ИКС 5", ИНН 7728632689

Читать полностью…

Анализ данных (Data analysis)

Считаешь себя экспертом в IT? Участвуй в «Цифровом марафоне» от Сбера и «Школы 21» и будь на код впереди! Миллион рублей уже ждёт тебя.

В этом масштабном конкурсе ты будешь соревноваться со специалистами по всей России. Тройка лучших поделит в финале в Москве призовой фонд в 1,8 миллионов рублей.

Но сначала нужно пройти онлайн-игру, тестирование и цифровой диктант. Начнёшь с «разминки» и покажешь свои аналитические и мягкие навыки. Далее — ответь на вопросы теста согласно своему уровню подготовки. Прослушай на диктанте техническое задание и напиши код решения.

Поспеши: 20 апреля — твой последний шанс нажать на кнопку «Хочу участвовать». Переходи
на сайт и регистрируйся прямо сейчас!

Читать полностью…

Анализ данных (Data analysis)

💲 Financial Datasets - это библиотека Python с открытым исходным кодом, которая позволяет разработчикам создавать синтетические наборы финансовых данных с использованием больших языковых моделей (LLM).

С помощью этой библиотеки вы можете генерировать реалистичные наборы финансовых данных за 5 строк кода, на основе отчетов SEC, таких как 10-Ks, 10-Qs и других финансовых отчетов.

Такие датасеты полезны для:
• оценки LLM
• точной настройки LLM
• тестирования финансовых инструментов
• и многого другого

Проект полностью открытым исходным кодом.

pip financial-datasets.

GitHub: https://github.com/virattt/financial-datasets

Пример с кодом: https://colab.research.google.com/gist/virattt/f9b5a0ae82cc0caab57df5dedc2927c9/intro-financial-datasets.ipynb#scrollTo=K-b_1BPtJsS1

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

Хотите учиться у экспертов в области IT? Школа анализа данных Яндекса принимает заявки
до 12 мая, успейте зарегистрироваться.

ШАД для вас, если вы:

· интересуетесь Machine Learning
· имеете хорошую математическую подготовку
· уверенно владеете каким-либо языком программирования

Программа длится два года, обучение бесплатное. Можно выбрать одно из направлений: Data
Science, инфраструктура больших данных, разработка машинного обучения или анализ
данных и ИИ в прикладных науках.

Больше об учёбе в ШАД и возможностях для выпускников расскажем на днях открытых
дверей. Узнать даты и зарегистрироваться можно по ссылке.

Читать полностью…

Анализ данных (Data analysis)

✨ Знакомьтесь, #Moirai: Библиотека, которая революционизирует прогнозирование временных рядов с помощью универсальных моделей!

Целью этой библиотеки является предоставление унифицированного решения для работы с временными рядами.

Uni2TS также предоставляет инструменты для точной настройки, оценки и прогнозирования временных рядов.

Github
Hf
Blog

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

🖥 Мультиклассовая классификация текста с использованием Spark ML в Python

Итак, кейс: мы имеем дело с наборами данных, которые слишком велики или сложны для обработки с помощью традиционного прикладного программного обеспечения для обработки данных.
В руководстве ниже описано использование механизма распределенной обработки данных общего назначения под названием Apache Spark для обработки наших данных и создания модели машинного обучения для классификации текста.

Apache Spark — это многоязычный механизм для выполнения обработки данных, обработки данных и машинного обучения на одноузловых компьютерах или кластерах.

PySpark — это интерфейс для Apache Spark в Python. Он позволяет писать приложения Spark с использованием API-интерфейсов Python, а также предоставляет оболочку PySpark для интерактивного анализа ваших данных в распределенной среде.
PySpark поддерживает большинство функций Spark, таких как Spark SQL, DataFrame, Streaming, MLlib (машинное обучение) и Spark Core.

📎 Руководство

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

💡 Во время работы с таблицами в Spark возникают ситуации, когда для обработки данных набора встроенных функций оказывается недостаточно.

В этом случае можно выгрузить таблицу в Pandas DataFrame и обрабатывать данные на Python привычными функциями. Однако, есть способ сделать это быстрее – UDF-функции в Spark.

UDF (User Defined Functions)
– это функции, которые не содержатся во встроенных модулях Spark и определяются самим пользователем. UDF позволяют расширить возможности обработки данных и могут содержать в себе комбинацию встроенных функций.

Использование UDFS в PySpark может помочь упростить выполнение сложных запросов #SQL, за счет запуска сложных операций в одном вызове функции.

В приведенном примере кода мы определяем UDF с именем modify_name, эта функция приводит все имена в нашей таблице к верхнему регистру.

📌 Подробнее о UDF

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

🔜 DSGW - Data Science GPU Workplace

Проект DSGW призван упростить разворот полноценного рабочего места на сервере с GPU для Data Science разработки

DSGW базируется на:
— Ubuntu 22.04
— Nvidia CUDA 12.3.2
— Nvidia cuDNN 9
— Python 3.12
— VsCode Server

🤓 GitLab

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

🌟 Microsoft построит дата-центр Stargate для OpenAI за $100 млрд

По информации нескольких источников СМИ, Microsoft профинансирует строительство крупнейшего в мире дата-центра под названием Stargate для OpenAI. Проект оценивается в $100 млрд, займёт около шести лет на реализацию и будет включать в себя кластер из суперкомпьютеров с искусственным интеллектом.

В рамках проекта Stargate каждый суперкомпьютер в кластере будет включать в себя «миллионы специализированных серверных чипов» для поддержки ИИ-систем OpenAI.

Эксперты считают, что это самый амбициозный проект Microsoft, «который будет в 100 раз дороже, чем некоторые из крупнейших современных дата-центров».

В Microsoft и OpenAI планируют, что первый суперкомпьютер проекта Stargate появится в 2026 году, а в 2028 году к нему добавится ещё серия аналогичных установок. Руководство Microsoft планирует запустить Stargate на полную мощность до 2030 года.

По данным СМИ, что реализация проекта Stargate зависит от того, сможет ли OpenAI представить свою ИИ-модель следующего поколения GPT-5 в определённые сроки. В компании планирует запустить GPT-5 где-то в начале 2025 года без уточнения даты.

В марте этого года СМИ сообщили, что OpenAI уже некоторое время активно тестирует в закрытом формате следующее поколение модели искусственного интеллекта под названием GPT-5. По словам тестировщиков, эта модель существенно лучше GPT-4. Там доступны новые опции типа интеллектуального агента, который умеет самостоятельно выполнять задания человека в течение длительных промежутков времени, а также различные системы для автономного выполнения задач.

Ранее глава OpenAI Сэм Альтман заявил, что разработчики обучают ИИ-модель пятого поколения не только на открытой информации и комбинациях общедоступных наборов данных в интернете, но и на внутренних базах данных многих крупных IT-компаний, которые сотрудничают с OpenAI.

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

▶️xAI анонсировала ИИ-модель Grok-1.5

Стартап Илона Маска X.ai объявил о скором выходе новой версии ИИ-модели Grok. Версия Grok-1.5 станет основой чат-бота Grok соцсети X «в ближайшие дни». Согласно результатам тестов, обновлённая модель показывает улучшенные по сравнению с первой версией результаты в тестах по математике и программированию.

По данным X.ai, Grok-1.5 более чем вдвое превысила показатели Grok-1 в популярном математическом тесте MATH и набрала на 10% больше в тесте HumanEval на способность генерировать код и решать задачи по программированию.

Как отмечает TechCrunch, пока трудно предсказать, как эти результаты отразятся на реальном использовании чат-бота: то, как ИИ сдаёт тесты, не всегда коррелирует с его способностью выполнять повседневные задачи пользователей.

Серьёзным улучшением стал увеличенный объём контекста, который Grok-1.5 способна воспринимать по сравнению с предыдущей версией. Как сообщают разработчики, Grok-1.5 может обрабатывать до 128 000 токенов, что позволит чат-боту выполнять более сложные запросы и лучше понимать входящие данные.

«[Grok-1.5 способна] использовать информацию из значительно более объёмных документов, — пишет X.ai. — Более того, модель может обрабатывать более сложные запросы, сохраняя при этом способность следовать инструкциям по мере расширения контекстного окна»

Модель Grok от X.ai отличается от других моделей генеративного ИИ способностью отвечать на вопросы по темам, которые обычно закрыты для других моделей, таким как заговоры и противоречивые политические идеи. Модели также отвечают на вопросы с «бунтарской жилкой», по словам Маска, и могут грубо выражаться, если их попросят.

В ближайшее время доступ к Grok-1.5 получат участники программы раннего тестирования X.

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

📌Временная сложность разных ML-алгоритмов

И вспомним про некоторые алгоритмы

Логистическая регрессия
Где применять — там, где требуется несложная классификация малого числа объектов на малое число классов.

K-means
Может сгруппировать объекты по степени похожести.
Где применять — поиск закономерностей, классификация объектов по нескольким параметрам. Работа с объектами, которые можно описывать набором переменных.

Метод опорных векторов (SVM)
Пытается построить такую линию, чтобы самым точным образом разделить между собой разные типы объектов.
Где применять — классификация объектов.

Байесовский классификатор
Определяет класс, к которому принадлежит объект. В основе — расчет вероятности, с которой объект относится к тому или иному типу данных.
Где применять — в задачах классификации, конечно же. Например, классическая задача — сказать, относится ли письмо к спаму или нет.

📎 А вот подробная статья по самым популярным ML-алгоритмам

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

📌Python Data Science Bootcamp

Держите мощное практическое видео по работе с Pandas, Matplotlib, NumPy, Seaborn, Scikit-learn, Plotly

Ключевые моменты в видео:
01:28:00 — Pandas
02:54:02 — NumPy
03:05:26 — Визуализация данных с помощью Matplotlib
03:26:22 — Визуализация данных с помощью Seaborn
04:39:40 — Анализ данных
05:03:12 — Элементы ML, использование Scikit-learn

📎 Видео

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

Парадокс Монти-Холла из теории вероятностей

В Data Science нужно хорошо ориентироваться в статистике и теории вероятностей. Как у вас с этим?
Хотите взорвать себе мозг?
Не проблема, сейчас всё будет

Итак, перед вами 3 двери, только за 1 из них приз.
Вы выбрали любую дверь.
Ведущий открывает другую дверь (не вашу), за которой приза нет (ведущий знает об этом).
Дальше вы можете либо не менять свою дверь, либо выбрать другую дверь.
Изменится ли вероятность победы, если поменять дверь?

Подумайте очень хорошо;
Когда мы выбираем дверь в самом начале, вероятность выиграть 1/3 — очевидно, потому что из приз только за 1 из 3 дверей.
После того, как ведущий открывает дверь, где приза нет, приз может быть либо за нашей выбранной дверью, либо за другой.
2 двери: наша и оставшаяся, приз может быть за любой из них. Вроде с равной вероятностью 1/3.
Или нет?

Итак, поменяется ли вероятность выиграть, если вы выберете другую дверь?
Для большей уверенности можно смоделировать это в Python

Да, если поменять дверь, вероятность выиграть будет 2/3, а не 1/3, как было бы, если не менять дверь
Что?!
Это реально контринтуитивно, но численный эксперимент на Python это подтверждает.
Вообще, можете написать своё решение, чтобы 100% удостовериться


📎А вот статья, которая поможет в этом разобраться — «Голуби брутфорсят парадокс Монти-Холла лучше людей»

📎 Код можно запустить тут

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

▶️7 типов баз данных, понимание которых пригодится специалисту Data Science

Иерархические БД — DNS, LDAP
В иерархических БД каждая запись имеет одного «родителя». Это создаёт древовидную структуру, в которой записи классифицируются по их отношениям с цепочкой родительских записей.

Сетевые БД — IDMS
Сетевые БД расширяют функциональность иерархических: записи могут иметь более одного родителя. А значит, можно моделировать сложные отношения.

Реляционные БД — PostgreSQL, MariaDB, SQLite, MySQL
Реляционные БД – старейший тип до сих пор широко используемых БД общего назначения. Данные и связи между данными организованы с помощью таблиц. Каждый столбец в таблице имеет имя и тип. Каждая строка представляет отдельную запись или элемент данных в таблице, который содержит значения для каждого из столбцов.

Базы данных «ключ-значение» — Redis, Memcached
В БД «ключ-значение» для хранения информации вы предоставляте ключ и объект данных, который нужно сохранить. Например, JSON-объект, изображение или текст. Чтобы запросить данные, отправляете ключ и получаете blob-объект.

Документная база данных — MongoDB, RethinkDB
Документные БД совместно используют базовую семантику доступа и поиска хранилищ ключей и значений. Такие БД также используют ключ для уникальной идентификации данных. Разница между хранилищами «ключ-значение» и документными БД заключается в том, что вместо хранения blob-объектов, документоориентированные базы хранят данные в структурированных форматах – JSON, BSON или XML.

Графовая база данных — Neo4j, JanusGraph, Dgraph
Вместо сопоставления связей с таблицами и внешними ключами, графовые БД устанавливают связи, используя узлы, рёбра и свойства.

Колоночные БД — Cassandra, HBase
Колоночные БД принадлежат к семейству NoSQL БД, но внешне похож на реляционные БД. Как и реляционные, колоночные БД хранят данные, используя строки и столбцы, но с иной связью между элементами.

📎 Читать подробнее

@data_analysis_ml

Читать полностью…
Subscribe to a channel