30088
Всё о базах данных простым языком. Сотрудничество: @max_excel РКН: vk.cc/cHhG5h
Erid: LdtCKX9XR
Реклама. ООО "Яндекс" , ИНН: 7736207543
Оптимизация работы с большим объемом данных при помощи партиционирования в SQL
Оптимизация работы с данными позволяет снизить временные затраты, улучшить производительность и повысить доступность приложения. В этой статье автор подробно разбирает партиционирование - один из эффективных методов оптимизации работы с большим объемом данных.
Базы данных
Администрирование SQL Server
В этом видео автор подробно разбирает процесс администрирования баз данных для начинающих.
0:00:13 sqlcmd
0:29:31 sys.databases
0:35:24 База master
0:36:15 База msdb
0:37:27 База tempdb
0:42:19 База model
2:07:41 Файловые группы
2:43:14 Резервное копирование
3:08:46 Full backUp
3:16:55 Restore Database
3:18:34 Restore HeaderOnly
3:31:06 Differential backup
Смотреть это видео на youtube: youtu.be/X508KcPidyk
Почему Trino такой быстрый: архитектура оптимизатора SQL-запросов
Аналитические системы должны эффективно обрабатывать сложные пользовательские запросы к десяткам и сотням терабайт данных. Продвинутый оптимизатор запросов является важнейшим компонентом любого big data движка. В этой статье автор разбирает, как устроен оптимизатор запросов в массивно-параллельном аналитическом SQL-движке Trino.
Базы данных
Postgresso за 2023
В этой материале автор делает обзор на все ключевые события в мире PostgreSQL за 2023 год.
Базы данных
Правильная работа с базой данных на Python
Эта статья рассчитана в основном на новичков, в ней автор подробно рассматривает, как не упереться в лимиты подключений к базе, чтобы приложение в продакшн при этом не упало.
Базы данных
Немного про OR в SQL запросах
Несмотря на избитость темы и многочисленные рекомендации избегать OR в выражениях WHERE/ON SQL запросов, жизнь вносит свои коррективы. Иногда сама постановка задачи подразумевает необходимость использовать OR. В этой статье автор разберет случай, когда OR должно привести к двум разным выборкам по разным индексам одной и той же таблицы.
Базы данных
Производственный календарь в PostgreSQL
Наступил 2024 год, а значит нужен свежий производственный календарь в базе данных PostgreSQL. Но заводить его руками не хочется. Хочется, чтобы он появился вызовом одной функции. Цель этой статьи - показать возможности COPY ... FROM PROGRAM и простейшие приемы парсинга XML в PostgreSQL.
Базы данных
Анализ данных на языке SQL: Хранилища и витрины данных
В этом видеоуроке автор подробно и наглядно разбирает процесс работы с хранилищами и витринами данных в SQL.
00:00 Вступление
13:48 OLTP
19:15 DWH
Смотреть это видео на youtube: youtu.be/wtm82_IY1sY
Сравнительный анализ методов аппроксимации на основе SQL-запросов
В этой статье автор показывает, что для решения задач аппроксимации совсем не обязательно использовать сторонние инструменты. Если ваши экспериментальные данные хранятся в базе, и есть возможность выполнять к данным SQL запросы, значит у вас есть все необходимое, чтобы решить задачу аппроксимации.
Базы данных
Мастер-класс: SQL с нуля
Знание SQL – один из важных навыков, ведь практически любой сайт, от маленького блога до крупнейшего интернет-ресурса, использует базы данных. Чтение почты, перевод денег другу, покупки в интернет-магазинах или регистрация на сайте – всё это происходит через обращение к различным базам данным.
На этом мастер-классе автор разбирает работу с СУБД Microsoft SQL Server при помощи Microsoft SQL Server Management Studio.
В процессе вы научитесь:
• подключаться к серверу баз данных;
• восстанавливать базу данных из резервной копии;
• основным элементам интерфейса Management Studio;
• основным элементам самой СУБД SQL Server;
• смотреть содержимое и структуру таблиц;
• разберете базовые команды для выборки и обновления данных в таблицах.
Смотреть это видео на youtube: youtu.be/xd2H4jR1nrI
Кейс миграции MS SQL Server из Azure в VK Cloud
В этом материале автор разберет опыт миграции PaaS MS SQL Server с гигабайтами данных из Azure в VK Cloud и расскажет, как выстроить процесс, какие подводные камни встретились и что получилось в итоге.
Базы данных
SQL vs NoSQL: блеск и нищета реляционных СУБД
В этом видео мы погрузимся в мир реляционных систем управления базами данных. Начнем с истории их развития, затем подробно рассмотрим особенности и преимущества реляционных СУБД. Обсудим современные требования к базам данных и выявим слабые стороны реляционных систем, включая их ограничения в масштабируемости и гибкости.
00:00 Вступление
00:42 История развития СУБД
01:15 Реляционные СУБД
02:27 Новые требования к базам данных
02:55 Что не так с реляционными СУБД
03:05 CAP-теорема / теорема Брюера
05:00 Транзакционность реляционных СУБД
05:47 Как реляционные СУБД хранят данные
07:30 Жёсткие схемы в реляционных базах данных
08:25 ACID и транзакции
11:10 Big Data и другие сценарии
12:22 Итоги
Смотреть это видео на youtube: youtu.be/X7hwc-KmhaY
Рекомендации по ведению SQL-кода
В этом материале автор разберет общие рекомендации по ведению SQL-кода на примере СУБД MS SQL (T-SQL). Однако, многие пункты можно также применить и к другим СУБД.
Базы данных
Как выбирать технологии для базы данных?
В этом видео автор подробно говорит о современных задачах работы с данными, чем они отличаются и по каким критериям стоит выбирать ту или иную СУБД. Автор разберет примеры использования таких инструментов как GreenPlum, ClickHouse, Cassandra.
В результате вы узнаете маячки, на которые можно обращать внимание при выборе СУБД, и рассмотрите, какие инструменты работы с данными сейчас активно используются.
01:30 Цели и задачи вебинара
04:10 Как нам разговаривать с нашей БД?
05:19 SQL или noSQL?
08:52 Задача №1
18:00 Задача №2
25:40 Задача №3
32:40 Задача №4
39:07 Как выбрать правильный инструмент?
45:25 Последствия выбора неправильного инструмента
47:15 Сравнение с ClickHouse
48:25 Результаты
Смотреть это видео на youtube: youtu.be/hwN1k-jkvmg
Нормальные формы баз данных
В этом ролике автор рассматривает процесс нормализации баз данных и разбирает для чего он нужен. Вы узнаете что такое нормальная форма и какие формы существуют.
00:00 Введение
01:20 Что такое нормализация
02:08 Что такое избыточность данных с примерами
04:51 Какие бывают нормальные формы БД
08:00 Ненормализованная форма
09:37 Первая нормальная форма
11:24 Вторая нормальная форма
15:29 Что такое декомпозиция
16:18 Третья нормальная форма
18:54 Нормальная форма Бойса-Кодда
21:54 Четвертая нормальная форма
27:45 Почему обычно не нормализуют до 5 или 6 формы
29:14 Пятая нормальная форма
35:39 Шестая нормальная форма
38:02 Выводы и заключение
Смотреть это видео на youtube: youtu.be/zqQxWdTpSIA
⚡️Фишки и приемы Excel, Google-таблиц, Power Query, BI от Ведущего Дата аналитика 😮Валерии Артис:
🔹8 лет опыт финансового анализа в международных FMCG и IT компаниях
🔹C 2019 преподаю в Финансовом университете при Правительстве РФ
🔹С 2023 занимаюсь внедрением Power BI в дочерней компании Сбера
🔹Среди моих учеников — сотрудники X5 Retail Group, Pfizer, Johnson & Johnson, Reckitt Benckiser, Simple, Philips
Изучайте и тренируйтесь по урокам и статьям⤵️
Excel/BI/SQL:
▪️Progress Chart — прогресс выполнения по этапам + файл-шаблон
▪️Быстрое суммирование и выбор пустых ячеек
▪️Автоформат ячеек с VBA
▪️Строка поиска прямо в отчете за 5 минут в Excel + файл-шаблон
▪️Как быстро объединить файлы в Power BI
▪️Диаграмма План-факт и визуализация за 2 минуты
+ файл-шаблон
▪️Как сделать визуализацию данных за 2 минуты?
▪️План изучения SQL за 14 дней
▪️Суть SQL простым словами
Задания и тесты собеседований с разборами:
⚡️Задание с реального собеседования на позицию Аналитика и его разбор
⚡️Решение аналитических задачек из собеседования на позицию Аналитика
⚡️Логические задачки на собеседованиях
⚡️Как провалить собеседование из-за диаграммы?
⚡️Решение SQL-задачи с помощью ChatGPT
Самые популярные темы:
🔸Что такое Power Query, какие возможности?
🔸Что такое Power Pivot и какие ключевые возможности?
🔸Power BI: чем полезен, и как использовать его возможности
🔸Как прокачать свои навыки обработки данных
🔸Интерактивный отчет/дашборд — как создать и настроить?
Эффективность и достижение целей:
▫️Метод из бизнес-аналитики для приоритизации задач и грамотной постановки своих целей (AS IS — TO BE)
▫️Метод решения задач и проблем и пирамида Дилтса
▫️6 методик для фокуса и эффективности
Подпишись на @valeriartis и прокачивай свои навыки для карьеры и личного развития 👏
Реклама. ИП Разбегаева Валерия Андреевна. ИНН 182908627805. erid: 2VtzqwfBLZ3
📦 Оптимизируйте стоимость и производительность СУБД Greenplum®
В Yandex Managed Service for Greenplum® стал доступен новый функционал: командный центр и интеграция с холодным хранилищем.
Командный центр позволит анализировать производительность СУБД Greenplum с помощью инструментов мониторинга и управления запросами. Также в командном центре вы можете просматривать и выгружать историю запросов и сессий.
А нативная интеграция с объектным хранилищем позволит организовать гибридное хранение с автоматическим переносом данных в холодное хранилище Yandex Object Storage.
🗣 Подробнее
Стать аналитиком, чтобы работать с большими объёмами данных, или стать дата-сайентистом, чтобы… тоже работать с большими объёмами данных?
Ребята из Нетологии помогут увидеть разницу между этими похожими на первый взгляд профессиями. На бесплатном занятии «Аналитик данных и Data Scientist: как выбрать профессию» вы на реальных примерах узнаете:
- чем занимаются и как помогают бизнесу Data Scientist и аналитик данных;
- какие есть сходства и различия в задачах, навыках и инструментах специалистов;
- как использовать предыдущий опыт при переходе в эту сферу.
Занятие пройдёт 17 января в 19:00 по Москве.
Регистрируйтесь https://netolo.gy/cHQi
Реклама. ООО "Нетология". Erid LatgC4wJW
Что такое оконные функции SQL
В этом ролике автор дает подробные ответы на следующие вопросы:
• Что такое оконные функции SQL
• Зачем нужны оконные функции
• Примеры использования
• Синтаксис
• Разница оконных функций и GROUP BY
• Классы
Смотреть это видео на youtube: youtu.be/phIR9W0yIaE
📈 Как за год повысить ROI с 3 до 4,5%: опыт «Мокка»
Сервис «Мокка» сотрудничает более чем с 7500 магазинами, предлагая клиентам возможность разбивать оплату на части. Команда запланировала оптимизировать сервис, повысив Data ROI в 3 раза к 2025 году. Для этого компания создала DWH на базе сервисов платформы данных в Yandex Cloud.
За год «Мокка» повысила показатель ROI с 3 до 4,5%. Время с несоблюдением SLA уменьшилось в 6 раз, а время восстановления после сбоя сократилось с 24 до 4 часов. Благодаря ML-моделям принятие кредитного решения занимает всего 10–15 секунд.
🗣 Об опыте «Мокка» по построению DWH в Yandex Cloud читайте по ссылке.
Представления в SQL
В этом видеоуроке автор подробно разбирает процесс работы с представлениями (оператор VIEW) в SQL.
00:00 Представления в SQL
01:20 Работа представлений
02:21 VIEW из нескольких таблиц
03:32 Зачем использовать VIEW?
05:05 Материализованные представления
06:35 Удаление представлений
06:48 Итоги
Смотреть это видео на youtube: youtu.be/B3RRgBx_foc
«PostgreSQL для начинающих»: #2 — Простые SELECT
В этой статье автор разберет самые простые, но важные возможности команды SELECT, наиболее часто используемой при работе с базами данных - формирование выборок (VALUES), их ограничение (LIMIT/OFFSET/FETCH), фильтрацию (WHERE/HAVING), сортировку (ORDER BY), уникализацию (DISTINCT) и группировку (GROUP BY).
Базы данных
SQL HowTo: итоги по строкам и столбцам «в одно действие»
В этой статье автор предлагает немного отвлечься от простых SELECT и посмотреть на реальной бизнес-задаче построения различных "тепловых карт" и "шахматок" как знание возможностей SQL может облегчить жизнь и разработчику, и его базе.
Базы данных
«PostgreSQL для начинающих»: #1 — Основы SQL
В статье: рассказ об основах SQL, возможностях простых и сложных SELECT, анализ производительности запросов, разбор [не]эффективного применения индексов и особенностей работы транзакций и блокировок в этой СУБД.
Базы данных
Работа с множествами в SQL
В этом видеоуроке автор подробно разбирает процесс работы с операторами множеств в SQL (UNION, MINUS, INTERSECT).
00:00 Вступление
00:29 Объединение множеств строк (UNION ALL и UNION)
01:46 Вычитание множеств строк (MINUS)
02:06 Пересечение множеств строк (INTERSECT)
Смотреть это видео на youtube: youtu.be/1n9oQE9i85c
Практика по JOIN в SQL: упрощаем ежедневные задачи и решаем тестовое
Один из самых распространённых операторов в SQL — это JOIN. В статье автор расскажет об особенностях этого оператора: как использовать другие операторы в JOIN после ON, кроме «равно», и зачем это может быть нужно.
Базы данных
Как распараллелить тесты с базой данных
Представьте проект, в котором уже написано несколько сотен тестов. Каждый тест настраивает базу под себя: добавляет данные, вызывает truncate по окончанию. Хочется запускать тесты параллельно, чтобы ускориться, но если два теста запустить одновременно, они почти наверняка друг другу помешают. В этой статье автор поделится подходом, который позволил решить проблему без рефакторинга.
Базы данных
На грани ИИ: пример поиска и обработки векторов в PostgreSQL + pgvector
В этой статье автор на практическом примере покажет как хранить и кластеризовать векторы алгоритмом DBSCAN и искать по ним в базе данных. В примере задача с векторами на грани типичного хранения и обработки результатов работы нейросетевых моделей в базе данных.
Базы данных
⚡Российские разработчики создали бесплатную версию нейросети ChatGPT-5, которая работает прямо в Телеграм
Она рассчитана специально на бытовые задачи и умеет:
➤ Писать курсовые, сочинения
➤ Переводить, редактировать и рерайтить большие массивы текста
➤ Решать задачи любой сложности
➤ Автоматически заполнять отчёты и таблицы
➤ Переводить тексты
➤ Составлять предложения на другом языке
➤ Писать коды
➤ И многое другое
А по промокоду PROMOCODE50 премиум-версию бота можно забрать бесплатно. Пользуйся: ChatGPT Бот