7786
Авторский канал про Базы Данных и SQL Ресурсы, гайды, задачи, шпаргалки. Информация ежедневно пополняется! Автор: @energy_it
🖥 MVCC — что реально происходит при UPDATE!MVCC объясняет, почему строки в базе не перезаписываются, а накапливают версии и почему таблица может расти, даже если количество записей не изменилось.
Сегодня в гайде:
• Как возникают версии строк при UPDATE;
• Почему длинные транзакции удерживают старые данные;
• Откуда появляется bloat и как он влияет на индексы.
VACUUM под нагрузкой.
Нужно сделать очередь задач, чтобы несколько воркеров могли брать задания параллельно?FOR UPDATE SKIP LOCKED — флаг, который позволяет захватить строку, а занятые другими процессами — пропустить, не ожидая их.
SELECT id
FROM jobs
WHERE taken_at IS NULL
ORDER BY created_at
FOR UPDATE SKIP LOCKED
LIMIT 1;
UPDATE jobs
SET taken_at = now()
WHERE id = ( ... тот самый SELECT ... )
RETURNING *;
SELECT просто пропустит её.WHERE taken_at IS NULL
OR taken_at < now() - interval '5 minutes'
🔄 Миграция на российскую СУБД без переписывания кода
25 ноября в 14:00 (МСК) — вебинар о переходе с MS SQL или Oracle на Digital Q.DataBase с минимальными издержками.
💡 На вебинаре узнаете:
1️⃣ Как Digital Q.DataBase объединила три диалекта — T-SQL, PL/SQL и PL/pgSQL.
2️⃣ Как мигрировать ПО с любой СУБД без переписывания кода.
3️⃣ Что входит в поставку (включая то, что другие вендоры лицензируют отдельно).
4️⃣ Как получить бесплатную версию Digital Q.DataBase.
🏆 Digital Q.DataBase:
— Сертификация ФСТЭК 4-го уровня
— 1 место в рейтинге CNews Market «Конвергентные СУБД»
👥 Для кого:
Разработчики, администраторы БД, CIO, CDTO, руководители проектов импортозамещения.
🎤 Спикер: Андрей Жуйков, руководитель направления
📅 25 ноября | 🕐 14:00 (МСК) | 💻 Онлайн, бесплатно
👉 Регистрация
#реклама
О рекламодателе
🖥 Генерация данных прямо в базе!GENERATE_SERIES превращает PostgreSQL в гибкий источник диапазонов: дат, чисел, временных интервалов без таблиц и вспомогательных скриптов.
В сегодняшнем гайде:
• Строим календарь напрямую в запросе;
• Закрываем пропуски в отчётах и логах;
• Генерируем тестовые данные и последовательности для расчётов;
• Создаём временные ряды и интервалы.
Производительные или и выгодные базы данных в облаке
Безопасные, масштабируемые и отказоустойчивые базы данных — одна из ключевых потребностей любого проекта. Именно такие предлагает Selectel. СУБД под разные запросы: от универсальной PostgreSQL до поисковой и аналитической БД Opensearch
Новые клиенты сейчас могут получить до 30 000 бонусов на использование облачных баз данных Selectel. Провайдер гарантирует:
🔹Высокую производительность. Выбирайте оптимальную конфигурацию кластера на базе мощного железа и локальных NVMe-дисков.
🔹Надежность. Автоматические бесплатные бэкапы с восстановлением вплоть до секунды — на стороне Selectel. А создать отказоустойчивый кластер можно всего от двух нод и сэкономить до 33%.
🔹Гибкое масштабирование. При росте нагрузки можно поменять конфигурацию облачного сервера и количество реплик без простоя.
Успейте зарегистрироваться и оставить заявку на участие в акции, чтобы протестировать сервис бесплатно: https://slc.tl/qt6tv
Реклама. АО "Селектел". erid:2W5zFHAWMma
UNNEST + WITH ORDINALITY — управляемая распаковка массивов в PostgreSQL!
Обычный UNNEST() не сохраняет позицию элемента, что критично, когда важен порядок: восстановление списков, сортировка, работа с JSON-массивами.
В PostgreSQL есть решение — WITH ORDINALITY. Оно добавляет индекс элемента прямо при распаковке.
Пример: распакуем массив ингредиентов с сохранением порядка:
SELECT recipe_id, ingredient, ord
FROM recipes,
UNNEST(ingredients) WITH ORDINALITY AS t(ingredient, ord);
UNNEST(), здесь мы сразу получаем порядковый номер — без оконных функций и без дополнительных JOIN.SELECT recipe_id,
STRING_AGG(ingredient, ', ' ORDER BY ord) AS ordered_list
FROM (
SELECT recipe_id, ingredient, ord
FROM recipes,
UNNEST(ingredients) WITH ORDINALITY t(ingredient, ord)
) q
GROUP BY recipe_id;
SELECT order_id,
item ->> 'name' AS name,
item ->> 'price' AS price,
ord
FROM orders,
jsonb_array_elements(items) WITH ORDINALITY AS t(item, ord);
WITH ORDINALITY в PostgreSQL, когда критична позиция элемента в массиве или JSON-списке.
⚡️ Программисты из CodeGuard слили в телеграмм тонны инфы
🔥 Отсортировали и разбили по каналам:
|- - - 📂 Python — 428ГБ
|
|- - - 📂 Хакинг & infosec — 573ГБ
|
|- - - 📂 Linux & Bash — 652ГБ
|
|- - - 📂 Работа IT — 356ГБ
|
|- - - 📂 Общее IT — 1526ГБ
📌 Гайды, шпаргалки, книги, задачи и ресурсы для каждого.
🖥 Находим маршруты с пересадками (мини-навигация в базе)
Соберём все возможные маршруты из аэропорта A в B — прямые, через одну пересадку и через две, без рекурсий и сложных конструкций.
В этом посте:
• Проверим, существует ли прямой путь, простой случай, но часто самый важный;
• Расширим поиск и найдём маршруты вида A => X => B, где X — автоматически вычисленная пересадка;
• Построим цепочки A => X => Y => B, что по сути является маленьким обходом графа.
Сгенерированные колонки в PostgreSQL: ускоряем фильтры без лишних вычислений!
Когда одно и то же выражение постоянно считается в WHERE, запросы тормозят. В PostgreSQL это решается GENERATED ALWAYS AS … STORED — выражение вычисляется один раз и хранится как обычное поле.
Создаём таблицу с материализованным выражением:
CREATE TABLE events (
id BIGSERIAL PRIMARY KEY,
payload JSONB NOT NULL,
event_type TEXT GENERATED ALWAYS AS (payload->>'type') STORED
);
event_type больше не вычисляется на лету — значение лежит прямо в строке.SELECT id
FROM events
WHERE event_type = 'purchase';
CREATE INDEX idx_events_event_type
ON events(event_type);
EXPLAIN ANALYZE
SELECT id
FROM events
WHERE event_type = 'purchase';
Index Scan, без тяжёлых операций над JSONB. Сгенерированные колонки отлично подходят для повторяющихся вычислений:
🖥 Oracle — псевдоколонки и их возможности!Эта шпаргалка собирает основные псевдоколонки Oracle и показывает, как использовать их на практике: нумерация строк, доступ к физическому адресу, работа с иерархиями, определение листовых/корневых узлов, генерация UUID, отслеживание изменений по SCN и просмотр историй строк.
➡️ SQL Ready | #шпора
Нужно найти, где бронирования, подписки или сессии пересекаются по времени?
Два интервала пересекаются, если начало одного раньше конца другого, и наоборот:
a.start_at < b.end_at
AND b.start_at < a.end_at
SELECT a.id, b.id
FROM bookings a
JOIN bookings b
ON a.id < b.id
AND a.start_at < b.end_at
AND b.start_at < a.end_at;
a.id < b.id, чтобы не получить пары в обе стороны.AND a.room_id = b.room_id
🖥 SQLHUB – с помощью понятных картинок и коротких видео авторы объясняют сложные концепции и учат профессиональному подходу в работе с БД.
💼 Data Jobs - нужна работа? Здесь отборные вакансии и фриланс проекты по работе с базами данных, sql и не только.
🧠 Machine learning - показываем на примере как использовать AI, который может генерировать готовые базы данных, код, разбираем все что нужно знать в области ИИ.
🖥 SQL задачи - решайте отборные задачи и качайте скилы.
📚 Библиотека - мы создали канал с книгами по SQL и залили туда наверное самую большую подборку книг по SQL. Около 200 книг бесплатно.
🔝 А здесь мы собрали целую кладезь полезных SQL ресурсов для прокачки
🖥 Контроль целостности данных!
С помощью оконных функций SQL можно находить разрывы во временных рядах, пропущенные интервалы и повторяющиеся записи.
Сегодня в гайде:
• Выявляем пропущенные минуты и события;
• Находим дубликаты временных меток;
• Контролируем качество потоков и ETL прямо в запросах.
Хочешь узнать, когда именно заказ сменил статус?
Используй LAG(), она возвращает значение из предыдущей строки в рамках группы:
LAG(status) OVER (PARTITION BY order_id ORDER BY updated_at)
status <> LAG(status) OVER (...)
true, когда статус поменялся.SELECT *
FROM (
SELECT order_id, status, updated_at,
status <> LAG(status) OVER (PARTITION BY order_id ORDER BY updated_at) AS changed
FROM order_status_log
) t
WHERE changed;
WITHIN GROUP — агрегаты с управляемым порядком!
Обычные агрегаты в SQL не гарантируют порядок входных данных, что важно для медиан и упорядоченных списков. Конструкция WITHIN GROUP решает это, задавая порядок элементов внутри агрегатной функции.
Пример: соберём список продуктов по категории в порядке убывания продаж:
SELECT
category_id,
LISTAGG(product_name, ', ') WITHIN GROUP (ORDER BY total_sales DESC) AS top_products
FROM product_sales
GROUP BY category_id;
ARRAY_AGG(product_name ORDER BY ...), синтаксис WITHIN GROUP используется для ordered-set функций, а не для любых агрегатов.SELECT
region_id,
PERCENTILE_CONT(0.9) WITHIN GROUP (ORDER BY total_amount) AS p90_sales
FROM orders
GROUP BY region_id;
PERCENTILE_CONT() и PERCENTILE_DISC() позволяют вычислять медиану или любое процентное значение без оконных функций.SELECT
store_id,
PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY total_amount) AS median_check
FROM orders
GROUP BY store_id;
NTILE() или RANK() в оконных выражениях.WITHIN GROUP, когда важен порядок в агрегатах.
Привет. Вот тебе самые топовые каналы по IT!
⚙️ Free Znanija (IT) — Самая огромная коллекция платных курсов, которые можно скачать бесплатно;
👩💻 IT Books — Самая огромная библиотека книг;
💻 Hacking & InfoSec Base — Крутой блог белого хакера;
🛡 CyberGuard — Всё про ИБ;
🤔 ИБ Вакансии— Всё, чтобы найти работу в ИБ;
👩💻 linux administration — Всё про Линукс;
👩💻 Программистика — Python, python и ещё раз python;
👩💻 GameDev Base — Всё про GameDev;
😆 //code — Самые топовые мемы по IT:
Подпишись, чтобы не потерять!
🖥 Функции для работы с временными интервалами и диапазонами в MySQL!В этой шпаргалке собраны функции MySQL для сложения, вычитания и преобразования временных интервалов, а также для вычисления разницы между моментами времени. Эти операции применяются при расчёте длительностей, сроков истечения, аналитике пользовательских сессий, построении временных окон и обработке событийных данных.
➡️ SQL Ready | #шпора
👩💻 Знал ли ты, что можно открывать проекты прямо на сервере через VS Code?
Remote – SSH даёт возможность с лёгкостью получать доступ, редактировать и передавать файлы на удалённый сервер, при этом оставаясь в знакомом интерфейсе VS Code.
➡️ SQL Ready | #vscode
Айтишники, это вам — в телеграм есть комьюнити по каждому направлению в IT
Там есть буквально всё: чаты для общения, тонны материала(книги, курсы, ресурсы и гайды), свежие новости и конечно же мемы
Выбирайте своё направление:
💩 Frontend 🐍 Python
🐧 Linux 👩💻 С/С++
👩💻 C# 🤔 Хакинг & ИБ
📱 GitHub 🖥 SQL
👩💻 Сисадмин 🤟 DevOps
⚙️ Backend 🖥 Data Science
🧑💻 Java 🐞 Тестирование
🖥 PM / PdM 👩💻 GameDev
🧑💻 Golang 🤵♂️ IT-Митапы
🧑💻 PHP 💻 WebDev
🖥 Моб. Dev 🖥Анали.(SA&BA)
👩💻 Дизайн 🖥 Нейросети
💛 1C 🤓 Книги IT
➡️ Сохраняйте в закладки
💅 SQLTutorial — шпаргалка, которая реально пригодиться!
Хочешь быстро вспомнить команды для запросов, объединений таблиц или операций с данными? На этом сайте найдёшь множество готовых подсказок. Отлично подойдёт, если учишь SQL, готовишься к собесу или просто не хочешь каждый раз гуглить синтаксис.
📌 Оставляю ссылочку: sqltutorial.org
➡️ SQL Ready | #ресурс
🖥 Функции для работы с датой и временем в MySQL!В этой шпаргалке собраны функции MySQL, применяемые для получения отдельных компонентов даты и времени: года, месяца, дня, часов, минут, секунд, номера недели и дня недели. Эти операции используются в большинстве рабочих запросов — от фильтрации и группировки данных до подготовки отчётов и временной аналитики.
➡️ SQL Ready | #шпора
Нужно получить список всех дней, даже тех, которых нет в таблице?
Например, показать дни без заказов. PostgreSQL умеет генерировать последовательности прямо в запросе:
SELECT *
FROM generate_series('2025-01-01', '2025-01-31', interval '1 day');
generate_series() создаёт виртуальную таблицу с шагом по дате.SELECT g.day, COUNT(o.id) AS total
FROM generate_series('2025-01-01', '2025-01-31', interval '1 day') AS g(day)
LEFT JOIN orders o ON date(o.created_at) = g.day
GROUP BY g.day
ORDER BY g.day;
— Ты уволен
— Почему?
— Мы оплатили GPT-5, ты больше не нужен.
Вы тоже в ах@е с такого расклада? Учился лет 5, потом столько же батрачил за копейки ради опыта — чтобы тебя заменила еб@чая железяка.
А теперь задумайтесь: нейронки развиваются с бешеной скоростью. Поэтому сейчас как никогда нужны спецы для их обучения.
Чтобы в кратчайшие сроки выйти на уровень элиты и стать топом в сфере — подпишитесь на канал @devsp. Его автор раскрывает неочевидные секреты: как в 3 месяца уместить 6 лет обучения, достойно пройти любое собеседование и что делать, чтобы лучшие компании дрались за вас.
А временами подкидывает крутые вакансии и лайфхаки, после которых вас с руками оторвут даже без опыта.
Это всё равно что встретить Нео и войти в 10% тех, кто сломал систему. Подписывайтесь: @devsp
🖥 Очередь без конфликтов!SKIP LOCKED позволяет управлять конкурентным доступом на уровне строки, а не всей таблицы, поэтому воркеры не ждут друг друга и не создают лишних блокировок.
Сегодня в гайде:
• Забираем задачи параллельно и без конфликтов;
• Делаем атомарный “взять + обновить” в одном запросе;
• Распределяем очереди между воркерами под высокой нагрузкой.
👩💻 ChatGPT – умер!
Власти начали регулирование, и ИИ больше не заменит программистов.
Хочешь реально уметь программировать, а не копировать код?
Выбирай своё направление и учись по карточкам и фото,
а не по сухим текстам.
👩💻 Python Flow — @pythonn_flow
👩💻 C & C++ Flow — @cpp_flow
💻 IT News Flow — @itnews_flow
👩💻 Java Flow — @java_flow
👩💻 SQL & Базы данных Flow — @sql_flow
👩💻 C# & Unity Flow — @csharp_flow
👩💻 Node.js Flow — @nodejs_flow
👩💻 Linux & DevOps Flow — @linux_flow
👩💻 InfoSec & Хакинг — @hacking_flow
👩💻 Git & GitHub Flow — @git_flow
💎 Присоединяйся к тем кто реально думает и растёт, а не ждёт чуда!
🖥 SQL-генерация полного набора домино!
Сегодня соберём 28 уникальных костяшек домино — только силами SQL. Без циклов и хранимых процедур, используя лишь CROSS JOIN и простое условие.
В этом посте:
• Генерируем все пары чисел от 0 до 6;
• Фильтруем зеркальные комбинации;
• Получаем финальный набор костяшек в правильном порядке.
Оптимистическая блокировка: обновляем данные без конфликтов!
Когда несколько пользователей редактируют одну запись, можно избежать конфликтов с помощью оптимистической блокировки — без явного FOR UPDATE.
Создаём таблицу с версией записи:
CREATE TABLE products (
id INT GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
name TEXT,
price DECIMAL(10,2),
version INT DEFAULT 1 NOT NULL
);
SELECT id, name, price, version
FROM products
WHERE id = 1;
UPDATE products
SET price = 199.99,
version = version + 1
WHERE id = 1
AND version = 1;
UPDATE не затронет ни одной записи — значит, версия изменилась, и данные устарели.rows_affected = 1, и при необходимости повторить попытку или показать сообщение об ошибке.SELECT * FROM products WHERE id = 1;
🖥 Работа с JSON в PostgreSQL!В этой шпаргалке собраны основные приёмы работы с JSON и JSONB в PostgreSQL: доступ к элементам, извлечение вложенных данных, обновление значений, создание объектов, раскрытие массивов, форматирование и проверка вхождения. Эти инструменты позволяют удобно хранить и обрабатывать структурированные данные прямо в базе.
➡️ SQL Ready | #шпора
🖥 Корреляция: как связаны просмотры и продажи!
SQL умеет не только суммировать и фильтровать данные, он способен показывать насколько сильно одно влияет на другое.
В этом посте:
• Находим средние значения метрик;
• Считаем ковариацию и дисперсии;
• Собираем финальную формулу корреляции прямо в запросе.
🖥 Временные таблицы и переменные в SQL Server!В этой шпаргалке собраны основные приёмы работы с временными данными в SQL Server: создание, заполнение, очистка и удаление временных таблиц, а также использование табличных переменных. Эти методы помогают выполнять промежуточные расчёты, строить отчёты и оптимизировать сложные запросы без изменения основной схемы базы.
➡️ SQL Ready | #шпора