databases_secrets | Unsorted

Telegram-канал databases_secrets - Базы данных | Access, SQL, Big Data

29992

Всё о базах данных простым языком. Сотрудничество: @max_excel РКН: vk.cc/cHhG5h

Subscribe to a channel

Базы данных | Access, SQL, Big Data

DataHub: веб-песочница для тех, кто изучает SQL

В этой статье автор разберет на что способен веб-редактор MySQL хранилища и почему это отличный инструмент для работы тем, кто изучает SQL.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Условный оператор CASE в SQL

В этом видеоуроке автор подробно и наглядно разберет оператор CASE в SQL. CASE — это условный оператор, который позволяет осуществлять проверку и возвращать результат, который зависит от того, какое условие выполнено.

Смотреть это видео на youtube: youtu.be/d-tY8vm_SHM

Читать полностью…

Базы данных | Access, SQL, Big Data

Как мы сократили потребление ресурсов без потери производительности благодаря exactly-once

В этой статье автор расскажет, как в его компании решили задачу объединения двух топиков с соотношением один ко многим и почему не устроило решение на Kafka-streams и RocksDB. А также о том, как, опираясь на гарантии доставки exactly-once, смогли снизить требования к ресурсам в несколько раз.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Основы SQL

В этом ролике автор рассматривает на практике работу с основными командами языка запросов SQL.

00:00 Подготовка базы данных
04:36 Выбор данных (SELECT)
08:30 Указание текущей базы данных
09:58 Чувствительность к регистру
12:14 Выбор определенных колонок
15:28 Фильтрация с помощью WHERE
20:59 Фильтрация с И и ИЛИ
26:38 Поиск строки по шаблону
29:18 Свой среди чужих
31:26 NULL когда данные отсутствуют
34:27 Сортировка данных
38:37 Добавление записей
45:36 Обновление данных
52:32 Удаление данных

Смотреть это видео на youtube: youtu.be/WhzZZqoM-AY

Читать полностью…

Базы данных | Access, SQL, Big Data

Курс Mongo DB для начинающих

В этом видеоуроке автор на практике подробно рассматривает СУБД Mongo DB.

00:00 Теория
00:25 Что представляет из себя Mongo DB?
02:10 Создание, удаление, использование баз данных
03:20 Добавление документа в коллекцию
04:00 Поиск документов в коллекции
05:10 Поиск по критериям
07:20 Сортировка
08:50 Обновление документов в коллекции
10:10 Переименование полей документа
10:40 Удаление документа из коллекции
11:10 Множественный запрос
12:32 Типы связей
16:15 Подключение Mongo к Node js

Смотреть это видео на youtube: youtu.be/LNvmI8a9jwY

Читать полностью…

Базы данных | Access, SQL, Big Data

Как надёжно стереть секретную информацию из базы данных

Зачем вообще "надёжно" стирать данные? Главное же, чтобы пользователь через интерфейс СУБД не мог их достать. Мало ли, что там за остатки данных в файлах болтаются, это же не проблема. Или нет?

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

10 бесплатных утилит ApexSQL для управления базами данных Microsoft SQL Server

ApexSQL — это производитель решений для управления и мониторинга баз данных Microsoft SQL Server. В России об этих ребятах знают мало. На главной своего сайта они пишут «Killer tools for SQL Server», звучит угрожающе. В этом материале автор разберет, что же такого убийственного есть в их решениях. Начнём с хайповой части — бесплатных продуктов. После них будет краткая часть о коммерческих продуктах.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Решения разработки баз данных

В процессе развития проекта приходится сталкиваться с проблемой производительности баз данных, т.к. объём данных растёт, и волей неволей выплывают проблемные участки. В этой статье описаны не очень удачные решения, которые незаметны на ранних стадиях проекта. И решения, которые могут в дальнейшем в разы повысить производительность.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Знакомство со слоем абстракции Netflix для хранилищ данных типа «ключ-значение»

Netflix способна организовывать бесперебойную, высококачественную потоковую передачу видео миллионам пользователей благодаря своей надёжной глобальной серверной инфраструктуре. В самом центре этой инфраструктуры лежит множество онлайновых распределённых баз данных. Среди них — Apache Cassandra — NoSQL-СУБД, известная высокой доступностью и хорошей масштабируемостью.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Освойте универсальные навыки в мире цифровых профессий — научитесь работать с SQL, Python, Power BI и DataLens на бесплатном курсе от Нетологии.

В результате вы:

— разберётесь в основах Python для анализа данных и узнаете, как извлекать информацию.

— научитесь делать запросы и отчёты с помощью SQL.

— сможете строить интерактивные дашборды в Power BI и DataLens.

Курс подойдёт новичкам и тем, кто хочет расширить свои навыки.

Присоединяйтесь

🎁 После бесплатного курса вы пройдете карьерную консультацию и сможете дальше развивать навыки на курсе Аналитик данных или Data Scientist в Нетологии с выгодой до 50%.

Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5zChSqE

Читать полностью…

Базы данных | Access, SQL, Big Data

Согласованность в распределённой сети — вызов, который мы готовы принять!

На открытом уроке «Распределённые транзакции» разберём, как добиться согласованности данных в микросервисной и распределённой архитектуре. Изучим шаблон Saga, методы обработки ошибок и практики отката данных.

Представьте систему, которая работает без сбоев, несмотря на распределённость данных. Архитектура, которая поддерживает масштабируемость и надёжность, даже при высоких нагрузках.

🔥 Спикер Олег Мифле — бэкенд-разработчик в одной из крупнейших отечественных соцсетей с 15-летним опытом в IT.

🔴 Присоединяйтесь к вебинару 16 декабря в 20:00 мск! Урок пройдёт перед стартом курса «Highload Architect». Участники вебинара получат скидку на обучение: https://vk.cc/cFX7af

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Читать полностью…

Базы данных | Access, SQL, Big Data

✅️ GitHub теперь в Telegram!

Подписывайтесь: @GitHub

Читать полностью…

Базы данных | Access, SQL, Big Data

А вы тоже все еще выбираете направление для своей карьеры в 2025 году?

🙄 Маркетинг или программирование?
🙄 Логистика или финансы?
🙄 … или аналитика?

2024 год показал: аналитика — профессия будущего. Принимать решения на коленке больше никто не хочет, даже в условиях турбулентности. Темп роста рынка — более 30% в год! Джуны со знанием SQL, Python и BI-систем получают от 100 000 рублей, а уверенные мидлы — более 250 000. Кстати, аналитика – тоже IT-профессия.

Итого, если при виде зарплат в аналитике у вас загораются глаза, то мы поможем определиться с направлением, которое вам точно подойдет!

🔮 Предлагаем вам пройти бесплатный тест на профориентацию, он займет всего 3 минуты и сразу выдаст результаты. Представляйте себя на месте любимых киногероев, отвечайте на вопросы и узнайте, какой вы аналитик! 🧚‍♀️

Кстати, в конце теста вас ждет промокод на скидку до 30 000 рублей на обучение аналитике в школе Changellenge >> Education, чтобы начать погружаться в любимое направление было еще приятнее!

Пройдите бесплатный тест до 15 декабря и узнайте, какой вы аналитик 🪄

Пройти тест »

Реклама. ООО «Высшая школа аналитики и стратегии». ИНН 7716917009. erid: 2VtzqxXh9vZ

Читать полностью…

Базы данных | Access, SQL, Big Data

В ClickHouse джоины всегда считались слабым местом. Но система развивается, производительность и функциональность джоинов совершенствуется.

На вебинаре «Надо ли бояться джоинов в современном ClickHouse?» вы узнате:
- Как работают разные типы джоинов в ClickHouse: INNER, LEFT, RIGHT, CROSS
- Какие подходы к организации таблиц для выполнения джоинов – оптимальны
- Как использовать функциональность JOIN и ARRAY JOIN для сложных аналитических запросов
- Как настроить параметры ClickHouse для повышения производительности джоинов

Cпикер: Алексей Железной: старший инженер данных и руководитель курса «ClickHouse для инженеров и архитекторов БД».

Будет интересно: руководителям проектов, аналитикам данных, разработчикам и архитекторам баз данных, инженерам по обработке данных.

Бонус для участников! Скидка 5% на любой курс OTUS и гайд «Как не положить ClickHouse: примеры из практики»

10 декабря, 18:30 МСК
Бесплатно

Записаться на событие: https://vk.cc/cFPmrR

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Читать полностью…

Базы данных | Access, SQL, Big Data

Хочешь разбираться в Linux?

Для тебя уже всё сделали.
🐧 Канал Секреты Сисадмина делится полезными инструментами, приёмами и лайфхаками системного администрирования, DevOps и Linux.

Подписывайтесь и прокачивайте свои навыки: @sysadmin_library

Читать полностью…

Базы данных | Access, SQL, Big Data

Как обновить PostgreSQL и не потерять данные: метод минимизации простоя

Недавно автору этой статьи потребовалось обновить кластер PostgreSQL, который обрабатывает более 20 000 транзакций в секунду и состоит из мастера и реплики, с версии 13 до 16 с минимальным простоем. Помимо перехода на более актуальную версию, это решало и ряд существующих проблем, связанных с производительностью и поддержкой.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Аналитики с диапазонами дат в MS SQL

Развернув разработчику обратно очередной Pull Request с поиском по аналитике, принимающей разные значения в разные промежутки времени, автор решил обсудить этот вопрос на планерке. И был удивлен, что подавляющее большинство разработчиков не понимают, как эффективно искать на SQL в таких случаях. В итоге автор решил написать эту статью.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Кэшируем поток данных из Kafka в Tarantool: подробный пример реализации с кодом и результатами

В этой статье автор расскажет о том, как можно наладить взаимодействие Kafka и Tarantool, зачем может понадобиться кэширование потока из Kafka в Tarantool, и даст подробную пошаговую инструкцию, с которой каждый сможет применить эти наработки в собственной системе.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

ZIP-бомба в формате Apache Parquet

Исторически ZIP-бомба представляла собой архивный файл, при распаковке которого можно вызвать зависание операционной системы или рабочего приложения путём заполнения всего свободного места на носителе или оперативной/рабочей памяти. В этом смысле её можно считать разновидностью DoS-атаки.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Яндекс продолжает добавлять новую функциональность в СУБД собственной разработки. Компания анонсировала запуск нового компонента системы – YDB DWH. Он поддерживает аналитическую обработку данных.

С новым компонентом СУБД Яндекса может работать со сложными аналитическими запросами (OLAP) и способна хранить сотни терабайт данных. Платформа горизонтально масштабируется за счет автоматического партиционирования по объему и нагрузке, а МРР-архитектура позволяет быстро выполнять запросы.

Помимо YDB DWH, в надстройках системы также есть шина данных YDB Topics и надстройка для задач машинного обучения YDB Search. Основной компонент платформы – YDB Enterprise, он отвечает за обработку транзакций.

Читать полностью…

Базы данных | Access, SQL, Big Data

О векторных базах данных простым языком

Векторная база данных — это простая база данных, оптимизированная под хранение и поиск векторов, даже таких, которые состоят из сотен и тысяч измерений. Когда вы запрашиваете вектор, вместо поиска точных совпадений, он находит элементы на основе их приближённости к запросу.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Полный курс по базам данных MySQL в phpMyAdmin

В этом видеокурсе автор подробно разбирает базы данных на примере системы управления базами данных phpMyAdmin. Вы научитесь создавать базы данных и таблицы со связями, импортировать и экспортировать базы данных и таблицы. Зная всё это вы в любой момент сможете быстро и без особых сложностей изучить другую СУБД, так как отличия будут минимальны.

0:00:00 Введение и основные понятия
0:04:20 Установка сервера и запуск phpMyAdmin
0:12:04 Типы полей в MySQL
0:16:05 Пользователи и привилегии
0:20:49 Основные операции с БД
0:24:56 Таблицы в БД
0:40:01 Записи в таблице
0:49:45 Индекс и первичный ключ
0:53:46 Импорт и экспорт
0:59:30 Связи между таблицами
1:25:30 Теория создания базы данных Фильмы
1:28:55 Практика создания базы данных Фильмы
1:39:24 Сложный SQL запрос для связанных таблиц

Смотреть это видео на youtube: youtu.be/oevyoqUK-YY

Читать полностью…

Базы данных | Access, SQL, Big Data

Работа с базами данных на Python

В этом видеоуроке автор разбирает процесс работы с базами данных на Python. Вы рассмотрите как создавать таблицу, как смотреть ее содержимое, как вносить, изменять и удалять данные, а также узнаете, что такое первичный ключ и типизация ячеек.

00:00 Введение
00:35 Создание файла базы данных
02:05 Создание таблицы
04:15 Запись данных в таблицу (метод execute)
06:20 Запись массива (метод executemany)
08:00 Как посмотреть содержимое БД
11:52 PRIMARY KEY
13:00 Типизация ячеек
16:25 Чтение из базы данных
21:57 Изменение значений
26:30 Удаление значений
28:20 Удаление таблицы

Смотреть это видео на youtube: youtu.be/siSRd4s7_ro

Читать полностью…

Базы данных | Access, SQL, Big Data

Как установить SQLite на Windows 10?

Первостепенно необходимо скачать файлы SQLite, чтобы в дальнейшем настроить их работу для использования в операционной системе Windows 10. Загружать базу данных рекомендуется с официального сайта разработчиков, это исключит вероятность заражения компьютера вирусными программами.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Аналитика небольших данных: как совместить Excel, Python и SQL с помощью инструментов с открытым исходным кодом

В этом материале автор разбирает, как с помощью двух мощных инструментов с открытым исходным кодом можно совместить привычный для пользователей интерфейс, надежность и мощь SQL, гибкость Python и командную работу как в Google Spreadsheet.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Индексы в PostgreSQL

В этом ролике автор говорит о проблемах производительности в PostgreSQL. Вы разберете как устроены таблицы и сами базы данных, как работает дефрагментация данных, что такое и как работают индексы, какие виды существуют и для чего их используют. Без всех этих знаний невозможно полноценно заниматься оптимизацией запросов в PostgreSQL.

00:00 Вступление
01:19 Индексы в SQL
02:22 Устройство базы данных в PostgreSQL
04:35 Устройство таблиц
05:16 Страницы и строки таблиц
07:28 FSM и команда VACUUM
11:34 Проблема фрагментации данных в PostgreSQL
15:32 Оптимизация выборки записей
19:35 Обзор видов индексов
20:20 Методы сканирования

Смотреть это видео на youtube: youtu.be/lAWQNcAEiKw

Читать полностью…

Базы данных | Access, SQL, Big Data

Ускоряем PostgreSQL с помощью Tuned

Есть множество различных параметров и настроек, которые позволяют оптимизировать работу БД PostgreSQL. В этой статье автор не будет пытаться охватить их все и поговорит об оптимизации параметров операционной и файловой систем, а также памяти на самом сервере СУБД.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Синхронизация баз данных между монолитом и микросервисами с помощью Kafka

В этой статье автор расскажет про готовое решение для поддержки консистентности данных между растущей микросервисной и унаследованной архитектурой. Вы рассмотрите код для репликации двух баз данных с проверкой синхронизации, который может пригодиться для решения аналогичных задач.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Уровни изоляции транзакций в PostgreSQL, MySQL, MSQL, Oracle с примерами на Go

В этой статье автор обсудит проблемы, возникающие при конкурентной работе с данными, а также инструменты для их решения – атомарные инструкции, явные и неявные блокировки и уровни изолированности транзакций, реализованные в OLTP СУБД PostgreSQL, MySQL, SQL Server, Oracle с примерами на Go.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Функции SQL для числовых типов данных

В этом видеоуроке автор подробно разбирает процесс работы с числовыми функциями и операторами SQL (ROUND, ABS, TRUNC).

00:00 Вступление
00:47 Округление в SQL (ROUND)
01:15 Получение абсолютного значения (ABS)
01:48 Усечение числа до определенного количества знаков (TRUNC)
02:35 Описание таблицы DUAL в Oracle SQL

Смотреть это видео на youtube: youtu.be/m3ZeiBxkg70

Читать полностью…
Subscribe to a channel