14137
Присоединяйтесь к нашему каналу и погрузитесь в мир баз данных Связь: @devmangx РКН: https://clck.ru/3H4Wo3
В копилку тренажёров: sqltutor.ru
Годный онлайн-тренажёр для запросов. Простой интерфейс, полностью на русском, все задачи бесплатные, есть теоретические разделы, регистрация по желанию
👉 @SQLPortal
JSON и JSONB удобны, когда нужно просто складывать схемно-нефиксированные данные, но иногда требуется добавить контроль структуры.
Можно использовать расширение pg_jsonschema, чтобы задать схему и валидировать содержимое. Это даёт больше контроля над форматом данных в таких колонках.
👉 @SQLPortal
Современный редактор SQL и баз данных PostgreSQL
https://github.com/cin12211/orca-q
👉 @SQLPortal
Расширение Postgres, которое у вас уже есть: pg_visibility.
Оно отслеживает, какие страницы таблиц полностью видимы для транзакций, а какие содержат строки, которые ещё не были обработаны VACUUM.
Используйте его, чтобы диагностировать, почему медленно работают сканирования только по индексу, проверить, успевает ли VACUUM, и мониторить заморозку строк и циклическое переполнение xID.
Какой процент страниц видим и заморожен
SELECT
c.relpages AS total_pages,
s.all_visible,
s.all_frozen,
round(100.0 * s.all_visible / NULLIF(c.relpages, 0), 1) AS pct_visible,
round(100.0 * s.all_frozen / NULLIF(c.relpages, 0), 1) AS pct_frozen
FROM pg_class c
CROSS JOIN LATERAL pg_visibility_map_summary(c.oid) s
WHERE c.relname = 'employees';
Интегрированное рабочее окружение для инженеров баз данных с поддержкой ИИ: написание SQL, отладка и сопровождение.
Dory объединяет SQL-редактор, ИИ-ассистента и инструменты для эксплуатации и сопровождения баз данных в одном десктопном приложении. Есть глубокая интеграция с ClickHouse (мониторинг + управление правами), также поддерживаются популярные базы вроде PostgreSQL и MySQL.
Поддерживает локальную установку и развёртывание через Docker, данные хранятся локально — в облако через Cloudflare уходят только запросы к ИИ.
https://github.com/dorylab/dory
👉 @SQLPortal
pg_buffercache позволяет читать таблицы и отношения, находящиеся в кеше общей памяти (shared buffers).
Как включить:CREATE EXTENSION pg_buffercache;
Как использовать:select * from pg_buffercache или писать свои запросы, чтобы смотреть таблицы или отношения в shared buffers и сколько буферов они занимают
Таблицы Postgres в shared buffers
SELECT
c.relname AS table_name,
pg_size_pretty(count(*) * 8192) AS buffered,
count(*) AS buffers,
ROUND(100.0 * count(*) / (SELECT count(*) FROM pg_buffercache
WHERE relfilenode IS NOT NULL), 1) AS pct_of_cache
FROM pg_buffercache b
JOIN pg_class c ON c.relfilenode = b.relfilenode
JOIN pg_namespace n ON n.oid = c.relnamespace
WHERE b.relfilenode IS NOT NULL
AND c.relkind = 'r' -- только обычные таблицы (не индексы, toast, последовательности)
AND n.nspname NOT IN ('pg_catalog', 'information_schema', 'pg_toast') -- исключаем системные схемы
GROUP BY c.relname
ORDER BY buffers DESC
LIMIT 10;
На этой неделе разбираем расширения Postgres, которые у тебя уже есть — они идут в составе библиотеки contrib.
Их нужно просто включить, но из коробки всё уже готово к работе. Начнём с pg_stat_statements — это одно из самых полезных расширений для отслеживания метрик запросов.
Что делает: после включения отслеживает статистику запросов
Как включить:CREATE EXTENSION pg_stat_statements;
добавить в shared_preload_libraries
Как использовать:SELECT * FROM pg_stat_statements
или писать кастомные запросы для просмотра самых долгих и самых часто выполняемых запросов
Самые медленные запросы по суммарному времени
SELECT
LEFT(query, 80) AS query,
calls,
ROUND(total_exec_time::numeric, 2) AS total_ms,
ROUND(mean_exec_time::numeric, 2) AS avg_ms,
rows
FROM pg_stat_statements
ORDER BY total_exec_time DESC
LIMIT 10;
Совет для аналитиков данных;
Если проект в твоём портфолио почти не показывает, как он сэкономил компании деньги или время, с вероятностью 99% он никого не впечатлит.
Менеджеры редко хотят слушать про то, как ты считал R-квадрат. Им важно понять, как твой проект помогает зарабатывать больше денег.
👉 @SQLPortal
Не пиши SELECT DISTINCT, если проблему создаёт плохой JOIN
Частая ошибка - сначала размножают строки джойном, потом сверху лечат это DISTINCT. Это дорого и часто убивает план.
Плохо:
SELECT DISTINCT u.id, u.name
FROM users u
JOIN orders o ON o.user_id = u.id
WHERE o.created_at >= CURRENT_DATE - INTERVAL '30 days';
SELECT u.id, u.name
FROM users u
WHERE EXISTS (
SELECT 1
FROM orders o
WHERE o.user_id = u.id
AND o.created_at >= CURRENT_DATE - INTERVAL '30 days'
);
Образовательный сайт для обучения и практики SQL-запросов, предлагающий задачи и проверки в реальном времени.
⛓ Ссылка: тык
👉 @SQLPortal
Здесь вы найдете практические примеры и задания по SQL, предназначенные для обучения и отработки навыков работы с базами данных.
⛓ Ссылка: тык
👉 @SQLPortal
Шпаргалка для изучения SQL и NoSQL баз данных
Выбор правильной базы данных имеет решающее значение для успеха проекта:
⏩Базы данных SQL предлагают структурированное хранилище данных, поддержку SQL и реляционной модели
⏩Базы данных NoSQL обеспечивают гибкость, масштабируемость и распределенную архитектуру
⏩Специализированные базы данных, такие как столбчатые, графовые, пространственные и базы данных временных рядов, удовлетворяют конкретные потребности
👉 @SQLPortal
Сегодня мы изучим импорт и экспорт данных в SQL:
SQL предоставляет механизмы для импорта данных в базу данных и экспорта их во внешние файлы.
Импорт данных:
Использование команды INSERT INTO SELECT для импорта данных из одной таблицы в другую:
INSERT INTO destination_table (column1, column2)
SELECT column3, column4 FROM source_table;
SELECT column1, column2 INTO OUTFILE 'file_path.csv'
FIELDS TERMINATED BY ',' FROM table_name;
🚀 GigaChat 3.1 Ultra и GigaChat 3.1 Lightning в опенсорс под MIT лицензией!
Обе модели
• Обучены с нуля — без инициализации зарубежными весами
• MoE + MTP + MLA
• Совместимы с HuggingFace, llama.cpp / vLLM / SGLang
Код и веса уже на платформе GitVerse.
Это не просто релиз весов, а результат большой инженерной работы над качеством, alignment и стабильностью модели. В блоге команда поделилась результатами и своими наработками.
В релизе: высокие результаты на аренах, улучшенный function calling, решённая проблема циклов, DPO в нативном FP8, найденный и зарепорченный баг в SGLang при dp > 1.
LangChain Community Spotlight: text2sql
Агентный text-to-SQL SDK, построенный на Deep Agents из LangChain, который автономно исследует схемы, пишет запросы и сам себя корректирует — достигая 100% точности на бенчмарке Spider без использования извлечения с дополнением генерации или предрассчитанных схем.
Посмотреть: https://github.com/Text2SqlAgent/text2sql-framework
👉 @SQLPortal
🚫 Никогда не используй COUNT для проверки существования
Если нужно просто проверить, существует ли запись, не используй COUNT() с фильтром (WHERE)
SELECT COUNT(*)
FROM users
WHERE email = 'http://thisemaildontexist.com';
COUNT(*) отвечает на другой вопрос — считает количество строк, подходящих под условие, хотя нужна только проверка наличия хотя бы одной.COUNT(*) база может просканировать все подходящие строки, чтобы посчитать итог. Даже если совпадение найдено сразу, выполнение может продолжиться, потому что запрошен полный подсчёт. На больших таблицах это лишняя работа.COUNT() используй EXISTSSELECT EXISTS (
SELECT 1
FROM users
WHERE email = 'http://thisemaildontexist.com'
);
pgstattuple - Расширения Postgres, которые у тебя уже есть
Что делает: проверяет раздувание таблиц и индексов
Как включить:
CREATE EXTENSION pgstattuple;
select * from pgstattuple или писать свои запросы, чтобы смотреть таблицы, количество «живых» и «мертвых» строк и процент.SELECT
relname AS table_name,
pg_size_pretty(pg_relation_size(relid)) AS table_size,
(pgstattuple(relid)).dead_tuple_percent AS dead_pct,
(pgstattuple(relid)).free_percent AS free_pct
FROM pg_catalog.pg_stat_user_tables
ORDER BY dead_pct DESC;
В SQL есть разные уровни
📍Стиль 1
SELECT
COUNT(CASE
WHEN days_lost = 1 THEN NULL
ELSE days_lost
END
) AS count_of_days_lost
FROM safety;
SELECT
COUNT(NULLIF(days_lost, 1)) AS count_of_days_lost
FROM safety;
SELECT
COUNT(*) FILTER (WHERE days_lost != 1) AS count_of_days_lost
FROM safety;
Термины в Data engineering, которые нужно знать
ETL — извлечение, трансформация, загрузка. Очистка до сохранения.
ELT — извлечение, загрузка, трансформация. Очистка внутри хранилища.
CDC — отслеживание изменений данных. Перенос только новых изменений.
DAG — граф воркфлоу. Задачи + зависимости.
OLAP — системы, ориентированные на аналитику. Оптимизированы под инсайты.
SLA — соглашение об уровне сервиса. Доступность и производительность.
Data Lake — хранилище сырых данных. Любой формат, любой объем.
Medallion Architecture — Bronze → Silver → Gold. Слои качества данных.
Reverse ETL — хранилище → бизнес-инструменты. Данные обратно в приложения.
👉 @SQLPortal
Оператор CASE в SQL
Оператор CASE в SQL позволяет выполнять условные логические операции непосредственно в запросах. Это аналог конструкции if-else в языках программирования и полезен для создания вычисляемых столбцов и реализации сложной логики выборки данных.
Два варианта синтаксиса:
🍩Простой CASE
Используется для сравнения выражения с набором значений.
CASE выражение
WHEN значение1 THEN результат1
WHEN значение2 THEN результат2
ELSE результат_по_умолчанию
END
CASE
WHEN условие1 THEN результат1
WHEN условие2 THEN результат2
ELSE результат_по_умолчанию
END
SELECT
product_name,
CASE category_id
WHEN 1 THEN 'Электроника'
WHEN 2 THEN 'Одежда'
WHEN 3 THEN 'Книги'
ELSE 'Другое'
END AS category_name
FROM products;
SELECT
employee_name,
salary,
CASE
WHEN salary >= 100000 THEN ' Высокий доход'
WHEN salary >= 50000 THEN 'Средний доход'
ELSE 'Низкий доход'
END AS income_level
FROM employees;
Некоторые cron-задачи не должны покидать базу данных.
И Postgres даёт механизм, чтобы это реализовать.
Background Workers в Postgres — это процессы, которые работают внутри самого сервера базы данных. Не рядом, не «поблизости», а внутри него.
Типичный паттерн, который используют команды:
scheduler → приложение → база → логика в приложении → запись в базу
Приложение просыпается, проверяет изменения, обрабатывает их и записывает обратно. Пять переходов для задачи, которой не нужно было выходить за пределы базы.
Инструменты вроде pg_cron построены на Background Workers. Задача выполняется как фоновый процесс внутри Postgres: читает состояние, выполняет логику, записывает результат — без участия приложения.
Это не просто «ближе к данным».
Это когда данные сами обрабатывают себя.
Где такой подход выигрывает:
→ истечение просроченных резерваций
→ очистка старых строк
→ обновление производных данных
→ смена состояния записей
→ небольшие задачи обслуживания, завязанные только на локальные данные
Это не универсальный паттерн. Внешние API-вызовы, координация между сервисами, долгие воркфлоу, бизнес-оркестрация — остаются в приложении.
Но для небольших задач, завязанных на состояние и локальные данные — фоновый воркер внутри Postgres даёт более чистую архитектуру.
Проблема не в использовании cron.
Проблема в том, что задачи, связанные только с данными, выполняются далеко от этих данных.
Background Workers в Postgres позволяют это исправить.
Используешь pg_cron или фоновые воркеры в проде?
👉 @SQLPortal
Когда-нибудь случайно удаляли таблицу? 👍
Oracle Database помещает её в корзину (recyclebin), так что вы можете восстановить её с помощью
FLASHBACK TABLE ... TO BEFORE DROP
DROP TABLE ... PURGE
До сих пор разворачиваете PostgreSQL вручную?
Сэкономьте силы для задач разработки.
21 апреля в 16:00 (мск) пройдёт вебинар от MWS Cloud Platform, где эксперты компании расскажут, как получить готовую базу для бэкенда за несколько минут.
Что будет в эфире:
⚫️️️ облачный PostgreSQL: плюсы/минусы решения;
⚫️️️ как устроен управляемый сервис в новом облаке от MWS Cloud;
⚫️️️ машинерия под капотом бэкапов, автообновлений, switch и failover;
⚫️️️ создадим кластер за несколько минут и настроим подключение.
Вебинар будет интересен администраторам баз данных (DBA), бэкенд-разработчикам, DevOps- и SRE-инженерам, техническим лидам и архитекторам, владельцам продуктов и стартапам.
Зарегистрироваться
В PostgreSQL есть специальный параметр для логирования долго выполняющихся запросов — log_min_duration_statement.
После установки этого параметра PostgreSQL будет записывать в лог длительность и текст запроса, если он выполняется дольше указанного времени.
ALTER DATABASE postgres SET log_min_duration_statement = '500ms';
SET log_min_duration_statement = '20000ms';
log_min_duration_statement — действительно мощный инструмент, но мы обычно не рекомендуем устанавливать его на очень низкие значения (0, 1 или 5 мс), так как это приведёт к логированию практически всех операций базы данных. Это создаст шум в логах и может занять много места на диске.
Держите потрясающе полезную шпаргалку по SQL ⚡️
👉 @SQLPortal
NocoDB — превращает любой MySQL, PostgreSQL, SQL Server, SQLite и MariaDB в интеллектуальную электронную таблицу.
⛓ Ссылка: тык
👉 @SQLPortal
Нужна быстрая задержка в скрипте или тесте?
SELECT pg_sleep(2); -- 2 секунды
SELECT pg_sleep(0.5); -- полсекунды
SELECT pg_sleep_for('5 minutes'); -- самодокументируемо
Удобно для симуляции медленных запросов, тестирования таймаутов или просто чтобы добавить драматизма в демо.
👉 @SQLPortal
Понимание порядка выполнения SQL-запроса критично для написания корректных и оптимизированных запросов.
Запомни последовательность: FROM и JOIN, WHERE, GROUP BY, HAVING, SELECT, DISTINCT, ORDER BY, затем LIMIT.
Освоение этого порядка ускоряет отладку и помогает мыслить как СУБД. #SQL #DataAnalytics #LearnSQL #Database
👉 @SQLPortal
Для фоновых задач, таких как vacuum и создание индексов, Postgres использует специальное выделение памяти под названием maintenance_work_mem. Обычные запросы используют work_mem, чтобы определить, сколько памяти может быть выделено на одну операцию или соединение.
Если требуется ускорить выполнение задач, таких как:
> выполнение vacuum,
> создание индексов,
> создание индексов для материализованных представлений,
используйте:
SET maintenance_work_mem = '8GB';