databases_secrets | Unsorted

Telegram-канал databases_secrets - Базы данных | Access, SQL, Big Data

30088

Всё о базах данных простым языком. Сотрудничество: @max_excel РКН: vk.cc/cHhG5h

Subscribe to a channel

Базы данных | Access, SQL, Big Data

Erid: LdtCKX9XR
Реклама. ООО "Яндекс" , ИНН: 7736207543

Читать полностью…

Базы данных | Access, SQL, Big Data

Оптимизация работы с большим объемом данных при помощи партиционирования в SQL

Оптимизация работы с данными позволяет снизить временные затраты, улучшить производительность и повысить доступность приложения. В этой статье автор подробно разбирает партиционирование - один из эффективных методов оптимизации работы с большим объемом данных.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Администрирование SQL Server

В этом видео автор подробно разбирает процесс администрирования баз данных для начинающих.

0:00:13 sqlcmd
0:29:31 sys.databases
0:35:24 База master
0:36:15 База msdb
0:37:27 База tempdb
0:42:19 База model
2:07:41 Файловые группы
2:43:14 Резервное копирование
3:08:46 Full backUp
3:16:55 Restore Database
3:18:34 Restore HeaderOnly
3:31:06 Differential backup

Смотреть это видео на youtube: youtu.be/X508KcPidyk

Читать полностью…

Базы данных | Access, SQL, Big Data

Почему Trino такой быстрый: архитектура оптимизатора SQL-запросов

Аналитические системы должны эффективно обрабатывать сложные пользовательские запросы к десяткам и сотням терабайт данных. Продвинутый оптимизатор запросов является важнейшим компонентом любого big data движка. В этой статье автор разбирает, как устроен оптимизатор запросов в массивно-параллельном аналитическом SQL-движке Trino.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Postgresso за 2023

В этой материале автор делает обзор на все ключевые события в мире PostgreSQL за 2023 год.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Правильная работа с базой данных на Python

Эта статья рассчитана в основном на новичков, в ней автор подробно рассматривает, как не упереться в лимиты подключений к базе, чтобы приложение в продакшн при этом не упало.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Немного про OR в SQL запросах

Несмотря на избитость темы и многочисленные рекомендации избегать OR в выражениях WHERE/ON SQL запросов, жизнь вносит свои коррективы. Иногда сама постановка задачи подразумевает необходимость использовать OR. В этой статье автор разберет случай, когда OR должно привести к двум разным выборкам по разным индексам одной и той же таблицы.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Производственный календарь в PostgreSQL

Наступил 2024 год, а значит нужен свежий производственный календарь в базе данных PostgreSQL. Но заводить его руками не хочется. Хочется, чтобы он появился вызовом одной функции. Цель этой статьи - показать возможности COPY ... FROM PROGRAM и простейшие приемы парсинга XML в PostgreSQL.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Анализ данных на языке SQL: Хранилища и витрины данных

В этом видеоуроке автор подробно и наглядно разбирает процесс работы с хранилищами и витринами данных в SQL.

00:00 Вступление
13:48 OLTP
19:15 DWH

Смотреть это видео на youtube: youtu.be/wtm82_IY1sY

Читать полностью…

Базы данных | Access, SQL, Big Data

Сравнительный анализ методов аппроксимации на основе SQL-запросов

В этой статье автор показывает, что для решения задач аппроксимации совсем не обязательно использовать сторонние инструменты. Если ваши экспериментальные данные хранятся в базе, и есть возможность выполнять к данным SQL запросы, значит у вас есть все необходимое, чтобы решить задачу аппроксимации.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Мастер-класс: SQL с нуля

Знание SQL – один из важных навыков, ведь практически любой сайт, от маленького блога до крупнейшего интернет-ресурса, использует базы данных. Чтение почты, перевод денег другу, покупки в интернет-магазинах или регистрация на сайте – всё это происходит через обращение к различным базам данным.

На этом мастер-классе автор разбирает работу с СУБД Microsoft SQL Server при помощи Microsoft SQL Server Management Studio.

В процессе вы научитесь:
• подключаться к серверу баз данных;
• восстанавливать базу данных из резервной копии;
• основным элементам интерфейса Management Studio;
• основным элементам самой СУБД SQL Server;
• смотреть содержимое и структуру таблиц;
• разберете базовые команды для выборки и обновления данных в таблицах.

Смотреть это видео на youtube: youtu.be/xd2H4jR1nrI

Читать полностью…

Базы данных | Access, SQL, Big Data

Кейс миграции MS SQL Server из Azure в VK Cloud

В этом материале автор разберет опыт миграции PaaS MS SQL Server с гигабайтами данных из Azure в VK Cloud и расскажет, как выстроить процесс, какие подводные камни встретились и что получилось в итоге.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

SQL vs NoSQL: блеск и нищета реляционных СУБД

В этом видео мы погрузимся в мир реляционных систем управления базами данных. Начнем с истории их развития, затем подробно рассмотрим особенности и преимущества реляционных СУБД. Обсудим современные требования к базам данных и выявим слабые стороны реляционных систем, включая их ограничения в масштабируемости и гибкости.

00:00 Вступление
00:42 История развития СУБД
01:15 Реляционные СУБД
02:27 Новые требования к базам данных
02:55 Что не так с реляционными СУБД
03:05 CAP-теорема / теорема Брюера
05:00 Транзакционность реляционных СУБД
05:47 Как реляционные СУБД хранят данные
07:30 Жёсткие схемы в реляционных базах данных
08:25 ACID и транзакции
11:10 Big Data и другие сценарии
12:22 Итоги

Смотреть это видео на youtube: youtu.be/X7hwc-KmhaY

Читать полностью…

Базы данных | Access, SQL, Big Data

Рекомендации по ведению SQL-кода

В этом материале автор разберет общие рекомендации по ведению SQL-кода на примере СУБД MS SQL (T-SQL). Однако, многие пункты можно также применить и к другим СУБД.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Как выбирать технологии для базы данных?

В этом видео автор подробно говорит о современных задачах работы с данными, чем они отличаются и по каким критериям стоит выбирать ту или иную СУБД. Автор разберет примеры использования таких инструментов как GreenPlum, ClickHouse, Cassandra.

В результате вы узнаете маячки, на которые можно обращать внимание при выборе СУБД, и рассмотрите, какие инструменты работы с данными сейчас активно используются.

01:30 Цели и задачи вебинара
04:10 Как нам разговаривать с нашей БД?
05:19 SQL или noSQL?
08:52 Задача №1
18:00 Задача №2
25:40 Задача №3
32:40 Задача №4
39:07 Как выбрать правильный инструмент?
45:25 Последствия выбора неправильного инструмента
47:15 Сравнение с ClickHouse
48:25 Результаты

Смотреть это видео на youtube: youtu.be/hwN1k-jkvmg

Читать полностью…

Базы данных | Access, SQL, Big Data

Нормальные формы баз данных

В этом ролике автор рассматривает процесс нормализации баз данных и разбирает для чего он нужен. Вы узнаете что такое нормальная форма и какие формы существуют.

00:00 Введение
01:20 Что такое нормализация
02:08 Что такое избыточность данных с примерами
04:51 Какие бывают нормальные формы БД
08:00 Ненормализованная форма
09:37 Первая нормальная форма
11:24 Вторая нормальная форма
15:29 Что такое декомпозиция
16:18 Третья нормальная форма
18:54 Нормальная форма Бойса-Кодда
21:54 Четвертая нормальная форма
27:45 Почему обычно не нормализуют до 5 или 6 формы
29:14 Пятая нормальная форма
35:39 Шестая нормальная форма
38:02 Выводы и заключение

Смотреть это видео на youtube: youtu.be/zqQxWdTpSIA

Читать полностью…

Базы данных | Access, SQL, Big Data

⚡️Фишки и приемы Excel, Google-таблиц, Power Query, BI от Ведущего Дата аналитика 😮Валерии Артис:

🔹8 лет опыт финансового анализа в международных FMCG и IT компаниях
🔹C 2019 преподаю в Финансовом университете при Правительстве РФ
🔹С 2023 занимаюсь внедрением Power BI в дочерней компании Сбера
🔹Среди моих учеников — сотрудники X5 Retail Group, Pfizer, Johnson & Johnson, Reckitt Benckiser, Simple, Philips

Изучайте и тренируйтесь по урокам и статьям⤵️
Excel/BI/SQL:

▪️Progress Chart — прогресс выполнения по этапам + файл-шаблон
▪️Быстрое суммирование и выбор пустых ячеек
▪️Автоформат ячеек с VBA
▪️Строка поиска прямо в отчете за 5 минут в Excel + файл-шаблон
▪️Как быстро объединить файлы в Power BI
▪️Диаграмма План-факт и визуализация за 2 минуты
+ файл-шаблон

▪️Как сделать визуализацию данных за 2 минуты?
▪️План изучения SQL за 14 дней
▪️Суть SQL простым словами

Задания и тесты собеседований с разборами:

⚡️Задание с реального собеседования на позицию Аналитика и его разбор
⚡️Решение аналитических задачек из собеседования на позицию Аналитика
⚡️Логические задачки на собеседованиях
⚡️Как провалить собеседование из-за диаграммы?
⚡️Решение SQL-задачи с помощью ChatGPT

Самые популярные темы:

🔸Что такое Power Query, какие возможности?
🔸Что такое Power Pivot и какие ключевые возможности?
🔸Power BI: чем полезен, и как использовать его возможности
🔸Как прокачать свои навыки обработки данных
🔸Интерактивный отчет/дашборд — как создать и настроить?

Эффективность и достижение целей:

▫️Метод из бизнес-аналитики для приоритизации задач и грамотной постановки своих целей (AS IS — TO BE)
▫️Метод решения задач и проблем и пирамида Дилтса
▫️6 методик для фокуса и эффективности

Подпишись на @valeriartis и прокачивай свои навыки для карьеры и личного развития 👏

Реклама. ИП Разбегаева Валерия Андреевна. ИНН 182908627805. erid: 2VtzqwfBLZ3

Читать полностью…

Базы данных | Access, SQL, Big Data

📦 Оптимизируйте стоимость и производительность СУБД Greenplum®

В Yandex Managed Service for Greenplum® стал доступен новый функционал: командный центр и интеграция с холодным хранилищем.

Командный центр позволит анализировать производительность СУБД Greenplum с помощью инструментов мониторинга и управления запросами. Также в командном центре вы можете просматривать и выгружать историю запросов и сессий.

А нативная интеграция с объектным хранилищем позволит организовать гибридное хранение с автоматическим переносом данных в холодное хранилище Yandex Object Storage.

🗣 Подробнее

Читать полностью…

Базы данных | Access, SQL, Big Data

Стать аналитиком, чтобы работать с большими объёмами данных, или стать дата-сайентистом, чтобы… тоже работать с большими объёмами данных?

Ребята из Нетологии помогут увидеть разницу между этими похожими на первый взгляд профессиями. На бесплатном занятии «Аналитик данных и Data Scientist: как выбрать профессию» вы на реальных примерах узнаете:

- чем занимаются и как помогают бизнесу Data Scientist и аналитик данных;
- какие есть сходства и различия в задачах, навыках и инструментах специалистов;
- как использовать предыдущий опыт при переходе в эту сферу.

Занятие пройдёт 17 января в 19:00 по Москве.

Регистрируйтесь https://netolo.gy/cHQi

Реклама. ООО "Нетология". Erid LatgC4wJW

Читать полностью…

Базы данных | Access, SQL, Big Data

Что такое оконные функции SQL

В этом ролике автор дает подробные ответы на следующие вопросы:
• Что такое оконные функции SQL
• Зачем нужны оконные функции
• Примеры использования
• Синтаксис
• Разница оконных функций и GROUP BY
• Классы

Смотреть это видео на youtube: youtu.be/phIR9W0yIaE

Читать полностью…

Базы данных | Access, SQL, Big Data

📈 Как за год повысить ROI с 3 до 4,5%: опыт «Мокка»

Сервис «Мокка» сотрудничает более чем с 7500 магазинами, предлагая клиентам возможность разбивать оплату на части. Команда запланировала оптимизировать сервис, повысив Data ROI в 3 раза к 2025 году. Для этого компания создала DWH на базе сервисов платформы данных в Yandex Cloud.

За год «Мокка» повысила показатель ROI с 3 до 4,5%. Время с несоблюдением SLA уменьшилось в 6 раз, а время восстановления после сбоя сократилось с 24 до 4 часов. Благодаря ML-моделям принятие кредитного решения занимает всего 10–15 секунд.

🗣 Об опыте «Мокка» по построению DWH в Yandex Cloud читайте по ссылке.

Читать полностью…

Базы данных | Access, SQL, Big Data

Представления в SQL

В этом видеоуроке автор подробно разбирает процесс работы с представлениями (оператор VIEW) в SQL.

00:00 Представления в SQL
01:20 Работа представлений
02:21 VIEW из нескольких таблиц
03:32 Зачем использовать VIEW?
05:05 Материализованные представления
06:35 Удаление представлений
06:48 Итоги

Смотреть это видео на youtube: youtu.be/B3RRgBx_foc

Читать полностью…

Базы данных | Access, SQL, Big Data

«PostgreSQL для начинающих»: #2 — Простые SELECT

В этой статье автор разберет самые простые, но важные возможности команды SELECT, наиболее часто используемой при работе с базами данных - формирование выборок (VALUES), их ограничение (LIMIT/OFFSET/FETCH), фильтрацию (WHERE/HAVING), сортировку (ORDER BY), уникализацию (DISTINCT) и группировку (GROUP BY).

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

SQL HowTo: итоги по строкам и столбцам «в одно действие»

В этой статье автор предлагает немного отвлечься от простых SELECT и посмотреть на реальной бизнес-задаче построения различных "тепловых карт" и "шахматок" как знание возможностей SQL может облегчить жизнь и разработчику, и его базе.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

«PostgreSQL для начинающих»: #1 — Основы SQL

В статье: рассказ об основах SQL, возможностях простых и сложных SELECT, анализ производительности запросов, разбор [не]эффективного применения индексов и особенностей работы транзакций и блокировок в этой СУБД.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Работа с множествами в SQL

В этом видеоуроке автор подробно разбирает процесс работы с операторами множеств в SQL (UNION, MINUS, INTERSECT).

00:00 Вступление
00:29 Объединение множеств строк (UNION ALL и UNION)
01:46 Вычитание множеств строк (MINUS)
02:06 Пересечение множеств строк (INTERSECT)

Смотреть это видео на youtube: youtu.be/1n9oQE9i85c

Читать полностью…

Базы данных | Access, SQL, Big Data

Практика по JOIN в SQL: упрощаем ежедневные задачи и решаем тестовое

Один из самых распространённых операторов в SQL — это JOIN. В статье автор расскажет об особенностях этого оператора: как использовать другие операторы в JOIN после ON, кроме «равно», и зачем это может быть нужно.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Как распараллелить тесты с базой данных

Представьте проект, в котором уже написано несколько сотен тестов. Каждый тест настраивает базу под себя: добавляет данные, вызывает truncate по окончанию. Хочется запускать тесты параллельно, чтобы ускориться, но если два теста запустить одновременно, они почти наверняка друг другу помешают. В этой статье автор поделится подходом, который позволил решить проблему без рефакторинга.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

На грани ИИ: пример поиска и обработки векторов в PostgreSQL + pgvector

В этой статье автор на практическом примере покажет как хранить и кластеризовать векторы алгоритмом DBSCAN и искать по ним в базе данных. В примере задача с векторами на грани типичного хранения и обработки результатов работы нейросетевых моделей в базе данных.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

⚡Российские разработчики создали бесплатную версию нейросети ChatGPT-5, которая работает прямо в Телеграм

Она рассчитана специально на бытовые задачи и умеет:

➤ Писать курсовые, сочинения
➤ Переводить, редактировать и рерайтить большие массивы текста
➤ Решать задачи любой сложности
➤ Автоматически заполнять отчёты и таблицы
➤ Переводить тексты
➤ Составлять предложения на другом языке
➤ Писать коды
➤ И многое другое


А по промокоду PROMOCODE50 премиум-версию бота можно забрать бесплатно. Пользуйся: ChatGPT Бот

Читать полностью…
Subscribe to a channel