30088
Всё о базах данных простым языком. Сотрудничество: @max_excel РКН: vk.cc/cHhG5h
Как оптимизировать PostgreSQL и не лишиться сна
В работе автор часто сталкивается с вопросами производительности PostgreSQL, поэтому собрал практические советы для разработчиков, инженеров и архитекторов облачной инфраструктуры. В статье вы рассмотрите, как правильно использовать индексы, анализировать планы выполнения запросов и избегать типичных ошибок при проектировании схемы.
Базы данных
СУБД ClickHouse: настоящее и будущее
В этом видео автор поделится основными принципами и целями развития ClickHouse, отличительными чертами и преимуществами системы, которые планируют развивать. Также автор рассмотрит недостатки и неудобства системы.
Помимо этого вы познакомитесь с некоторыми новыми возможностями ClickHouse, которые раньше сложно было даже представить.
Смотреть это видео на youtube: youtu.be/qeZOT8B8QiA
🤸🏻Вкатились в работу с данными и Data-инжиниринг. А что дальше?
- Управление знаниями: персональная Data-инженерная вики.
- Где и как рисовать диаграммы и схемы?
- Чат-боты и ChatOps: персональный помощник Data-инженера.
- Какие софт скиллы нужны Data-инженеру?
- Нужны ли Data-инженеру пет-проекты и участие в хакатонах?
- Как влиться в DE-комьюнити?
🌝Отвечаем на эти вопросы в видеоуроке от
Data Platform Lead и Data-разработчика.
Смотрите урок, чтобы упорядочить знания в голове и в данных проекта👉🏻 видеоурок
Соединение SortMergeJoin в Apache Spark
Рассмотрим, как реализован SortMergeJoin в Apache Spark, и заодно заглянем в исходный код на GitHub. Spark написан на языке Scala, и вся логика работы оператора доступна в открытом репозитории проекта.
Базы данных
Функции SQL для даты и времени
В этом видеоуроке автор подробно разбирает функции SQL, необходимые для работы с датой и временем.
00:00 Вступление
00:27 Получение системной даты и времени (SYSDATE)
01:05 Преобразовать строку в дату (TO_DATE)
01:59 Получить последний день месяца (LAST_DAY)
02:28 Добавить N-ое количество месяцев (ADD_MONTHS)
02:57 Извлечь год, квартал, месяц (EXTRACT)
03:14 Получить первый день года, квартала, месяца или недели (TRUNC)
Смотреть это видео на youtube: youtu.be/_6XWUJ2zf8Y
Использование миграций баз данных в Go
В этом материале автор расскажет о том, как можно использовать миграции базы данных в ваших сервисах, написанных на Golang.
Базы данных
Как дисциплина управления мастер-данными влияет на продажи
В этой статье автор поделится, чем грамотно построенные процессы управления мастер-данными могут помочь продажам.
Базы данных
Базовые SELECT запросы в SQL
В этом видеокурсе автор разбирает основы SQL: вы узнаете что такое SQL, научитесь писать SQL-запросы различной сложности. Все эти знания будут легко применимы не только к PostgreSQL, но и к другим СУБД: MySQL, Microsoft SQL Server, Oracle.
0:00:00 Полная выборка данных с SELECT
0:07:06 Выборка и простая арифметика в SQL
0:10:30 Использование DISTINCT
0:15:29 Использование COUNT
0:25:17 Использование WHERE
0:36:17 AND и OR
0:46:56 BETWEEN
0:52:27 IN, NOT IN
0:57:24 Сортировка с ORDER BY
1:02:37 MIN, MAX, AVG
1:16:14 LIKE для поиска строк
1:22:21 LIMIT
1:24:36 Проверка на NULL: IS NULL, IS NOT NULL
1:27:38 Группировка с GROUP BY
1:37:06 UNION, INTERSECT, EXCEPT
Смотреть это видео на youtube: youtu.be/QlTKtC0_Wgk
Нормализация и денормализация базы данных
Понимание нормализации и денормализации - это основа основ SQL. Если кратко, нормализованное состояние БД удобно для хранения и редактирования данных, а денормализованное - для отображения.
SQL имеет большое количество инструментов, как из нормального состояния преобразовать таблицы в денормализованные, одна из таких возможностей - это объединение таблиц через FROM и перечисление нескольких таблиц.
Умение склеивать таблицы разными способами поможет вам на собеседовании, а также облегчит понимание темы JOIN в SQL.
00:00 Введение
00:25 Нормализованная структура БД
00:40 Денормализовання структура БД
01:28 Анализ БД
02:25 Первичный и внешний ключ SQL
05:16 Склейка через FROM и псевдонимы
09:19 SELECT с указанием таблицы
11:37 Целостность баз данных
Смотреть это видео на youtube: youtu.be/oOJgHQ5Yuto
Восхитительная теория якорных баз данных
Transitional Modeling призвано отразить происходящие в реальной жизни события в простом, но эффективном формате, минимизируя при этом потерю информации в процессе записи таких событий. По своей сути оно сообщает об объектах и разнообразных, многогранных ситуациях, в которых эти объекты оказываются.
Базы данных
Как мы переносили базу Clickhouse между географически удаленными дата-центрами
В этой статье автор рассказывает, как в его компании переносили данные, не имея возможности отключить сервис или воспользоваться автоматической репликацией.
Базы данных
Схема базы данных
В этом ролике автор подробно и наглядно рассматривает процесс построения схем баз данных.
00:00 Схема базы данных
00:48 Таблицы на схеме
01:20 Столбцы и типы данных
02:26 Связи между таблицами
02:49 Типы связей между таблицами
04:42 Примеры таблиц базы данных
06:11 Пример SQL запроса с JOIN для извлечения данных
08:07 Пример использования для объединения трех таблиц
10:38 Итоги
12:05 Инструмент для создания схем DrawSQL
Смотреть это видео на youtube: youtu.be/d67ZjgY12G8
SQL: бесплатные курсы и тренажёры, которые стоит попробовать
В этой подборке вы найдёте ресурсы, которые помогут освоить основы, потренироваться в написании запросов и расширить знания о работе с базами данных. Многие из них интерактивные, что позволяет сразу перейти к практике и углубиться в интересующие темы.
Базы данных
Yandex B2B Tech представила платформу YTsaurus как сервис в Yandex Cloud
YTsaurus — это масштабируемая платформа для хранения и обработки больших данных, ранее использовавшаяся в проектах Яндекса и доступная в open source. Теперь она доступна внешнему бизнесу как управляемый облачный сервис.
Платформа поддерживает широкий набор инструментов — ClickHouse, Apache Spark, MapReduce — и позволяет работать с различными типами данных: структурированными, полуструктурированными и неструктурированными. Она подходит для построения дата-хранилищ, реализации ETL-процессов и обучения ML-моделей.
YTsaurus масштабируется под задачи любой сложности, обеспечивая устойчивую работу даже при больших вычислительных нагрузках. Новый формат поставки в облаке упрощает подключение и техническое сопровождение, позволяя сосредоточиться на решении прикладных задач.
Как ускорить базу данных при помощи шардирования
Шардирование было одним из первых механизмов, позволяющих распределять базы данных для повышения их производительности. Последние инновации превратили шардирование в один из лучших механизмов в своем роде.
Базы данных
Хочешь разбираться в 1С?
Для тебя уже всё сделали.
⚙️ Канал 1С Hacks рассказывает обо всех возможностях, приёмах и лайфхаках по работе в 1С.
Подписывайтесь и прокачивайте свои навыки: @secrets_1C
Почему граф в RAG работает лучше, чем вы думаете… но не так, как вам рассказали
В RAG-решениях все чаще обращаются к графовым базам данных. В этой статье автор опишет своё мнение относительно того, в каких ситуациях графовые базы данных действительно оправданы в RAG, а в каких стоит остаться на традиционном векторном подходе.
Базы данных
Базы данных: SQL уроки для начинающих
В этом видеоуроке автор кратко проходится по теории реляционных баз данных и рассматривает язык запросов SQL на примере СУБД MySQL. Вы разберете основные конструкции языка и научитесь создавать и изменять таблицы и получать с них данные.
00:00 Введение
02:53 О реляционных БД
03:15 1 и 2 нормальные формы
04:50 Связи между таблицами
06:12 Начало работы с MySQL
06:47 SHOW, CREATE, DROP DATABASE
07:40 SHOW, CREATE TABLES
10:10 INSERT INTO
10:45 SELECT
11:40 DISTINCT
12:10 WHERE
13:07 AS
13:30 ORDER BY
14:40 UPDATE, SET
15:30 LIKE
18:10 Multiple INSERT
19:10 Объединение таблиц (JOINS)
22:04 Агрегатные функции
23:10 GROUP BY
Смотреть это видео на youtube: youtu.be/IK6e1SFCdow
Делаем резервное копирование кластера ClickHouse: простая инструкция
Документация ClickHouse по резервному копированию довольно небольшая и содержит инструкции по созданию резервных копий отдельной инсталляции СУБД. К сожалению, информации о том, как создавать резервные копии кластера, практически нет. Как и нет промышленного решения для управления бэкапом.
Базы данных
Как Figma удалось открыть себе путь к почти бесконечному масштабированию баз данных
С 2020 года стек баз данных Figma вырос почти в сотню раз. Это хорошая проблема, ведь она означает, что бизнес расширяется. Но в то же время она стала причиной технических сложностей. В течение последних четырёх лет они усиленно старались не отставать от прогресса и избегать потенциальных проблем, связанных с ростом.
Базы данных
Основы SQL: Подзапросы
В этом видео автор подробно и наглядно разбирает работу с подзапросам в SQL.
00:00 Подзапросы в SQL (subqueries)
00:52 Запуск подзапросов в SELECT
02:01 Подзапрос, возвращающий список значений
04:25 Подзапросы в UPDATE
05:57 Итоги
Смотреть это видео на youtube: youtu.be/Df6tQlWhn3Q
Ликбез по методологиям проектирования хранилищ данных
Хранилище данных — это информационная система, в которой хранятся исторические и коммутативные данные из одного или нескольких источников. Он предназначен для анализа, составления отчетов и интеграции данных транзакций из разных источников. В этой статье автор рассмотрит сильные и слабые стороны самых популярных методологий.
Базы данных
Что такое Data Service и почему он может быть вам полезен
Сегодня компании собирают огромное количество данных разных типов и качества. Естественно, эти данные нужно хранить, обрабатывать и находить им применение. В данной статье автор расскажет, как это происходит в его компании.
Базы данных
Трассировка запросов в Postgres с расширением pg_trace
В этой статье автор расскажет о расширении pg_trace, предназначенном для сбора трассировок запросов в PostgreSQL, соберет трассировку на реальном примере работы приложения, оценит влияние сбора трассировки на производительность и агрегирует данные трассировки.
Базы данных
Big Data
В этом ролике авторы обсуждают следующие вопросы: что такое большие данные, кто такие data scientist специалисты, как управлять data специалистами, зачем каждой компании нужно задуматься о больших данных и др.
00:00 Вступление
00:50 Почему большие данные — это важно
03:25 Магия и Big data
06:42 Как сейчас большие данные помогают в ритейле
13:20 Про историю взаимодействия с клиентом
14:49 Кто такие data scientist специалисты
18:20 Как управлять data специалистами
22:55 Про эффективного руководителя
32:01 Развитие сотрудников, ответственность и гордыня
36:48 Что нужно молодым программистам
42:30 Про проведение изменений в большой компании
Смотреть это видео на youtube: youtu.be/eGWYKmX7PoI
Вся мощь открытого исходного кода в PostgreSQL
В этом материале автор разбирает мощь и преимущества использования открытого исходного кода в PostgreSQL, а также его влияние на развитие технологий и сообщества.
Базы данных
Зачем нужен fillfactor в PostgreSQL
Один параметр PostgreSQL может похоронить вашу производительность, если вы о нём забудете — это fillfactor. Почему однократная настройка числа приводит к неожиданным page split, bloat и мучительному откату запросов? Давайте разбираться.
Базы данных
Модель SQLAlchemy с базой данных SQL Server в Python
В этой статье автор покажет, как создать модель на основе существующей базы данных SQL Server, используя ту же файловую структуру, чтобы сохранить организованность вашего проекта. Это означает, что каждый класс и модель базы данных будут храниться в отдельном файле.
Базы данных
Классификация и область применения различных типов баз данных
В этом видео автор представляет полную классификацию существующих баз данных. Вы разберете их преимущества, недостатки, область применения, а также популярность по отношению друг к другу.
00:00 Введение
01:13 Общий обзор разновидностей баз данных
08:54 Временная шкала развития БД
10:50 График популярности разных БД
12:04 Oracle
14:32 MySQL
16:10 MariaDB
17:34 Microsoft SQL Server
19:15 PostgreSQL
20:41 MongoDB (документо-ориентированная)
23:27 Redis ("ключ-значение")
24:29 ElasticSearch (поисковая)
25:16 Cassandra (многостолбцовая)
26:30 Neo4j (графовая)
27:25 Couchbase (многомодельная)
28:29 InfluxDB (временные ряды)
32:43 Итоги
Смотреть это видео на youtube: youtu.be/_Ucy2TtHqBM
DevOps для данных: как ускорить обработку и передачу информации за счет принципов DataOps
DevOps — это набор принципов, лучшие практики и инструменты, которые помогают компаниям быстро разрабатывать и доставлять ПО. Суть этого подхода заключается в максимальной автоматизации продуктового жизненного цикла — создания, тестирования, развертывания и т.д. DataOps описывают как DevOps, только применительно к данным. Продукты данных (data product) добавляют больше переменных в процессы, относящиеся к доставке ценности, а не к ПО.
Базы данных