🖥 А что не вернет?

@sqlhub

Читать полностью…

👣 Greenmask — это инструмент с открытым исходным кодом для маскировки данных, обфускации и логического резервного копирования баз данных PostgreSQL. Он предназначен для анонимизации конфиденциальной информации в дампах баз данных, что делает его полезным для подготовки данных к использованию в непродукционных средах, таких как разработка или тестирование

🔍 Основные возможности:

🌟 Маскирование и анонимизация данных: Обеспечивает защиту конфиденциальных данных при перемещении между различными средами

🌟 Детерминированные преобразователи: Используют хеш-функции для обеспечения повторяемости результатов

🌟 Кроссплатформенность

🌟 Отсутствие состояния и независимость от схемы: Не требует изменений в структуре базы данных и работает с утилитами PostgreSQL, такими как pg_dump и pg_restore

🌟 Параллельная обработка: Ускоряет процессы дампа и восстановления за счет параллельного выполнения задач

🔐 Лицензия: Apache-2.0

▪️Github

@sqlhub

Читать полностью…

🖥 Эта статья описывает, как создать документацию для базы данных с помощью инструмента DBdocs, используя язык DBML. Она демонстрирует, как автоматически генерировать документацию, что упрощает процесс документирования структуры базы данных

💡 В статье объясняется, как настроить DBML, создать документацию и делиться ею с командой для улучшения понимания структуры данных.

🔗 ссылка: *клик*

@sqlhub

Читать полностью…

🖥 Базы данных в деталях — полный курс! (2024)

💡 Узнайте все о базах данных в этом курсе, разработанном, чтобы помочь вам понять сложности архитектуры и оптимизации баз данных. От понимания базовых компонентов, таких как управление транзакциями и механизмы хранения, до освоения расширенных методов индексации и изучения внутренней работы SQLite, этот курс снабжает вас знаниями для эффективного управления и оптимизации систем данных

🕞 Продолжительность: 3:41:19

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

⚡️ Marimo — это реактивный ноутбук на Python, который теперь поддерживает SQL.

Вот его основные возможности:

▪️Запуск одной ячейки приводит к автоматическому запуску всех зависимых ячеек.

▪️Вы можете запускать свои ноутбуки как скрипты Python, параметры которых задаются через аргументы командной строки.

▪️Встроенная поддержка SQL и удобная панель для работы с данными делают Marimo мощным инструментом для анализа информации.

▪️Ноутбуки Marimo сохраняются в формате .py, что позволяет легко управлять версиями через Git.

Важно отметить, что поддержка SQL была добавлена недавно. Это позволяет вам писать запросы и получать результаты в виде датафреймов.

pip install marimo && marimo tutorial intro

🔗 Ссылка

@sqlhub

Читать полностью…

🖥 Transact SQL для анализа данных!

💡 Язык Transact SQL является процедурным расширением языка SQL и используется в СУБД Microsoft SQL Server. В этой статье автор рассматривает использование некоторых элементов T-SQL для анализа данных

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

🖥 Учебная программа SQL для дата-сайентистов

Эксперт с семилетним стажем в области дата-сайенс разработал пошаговую программу изучения SQL. Эта программа размещена в виде репозитория на GitHub и дополнена ссылками на обучающие материалы. Вот подробный план на шесть недель:

Неделя 1: Основы SQL
Узнаем, как извлекать данные из базы данных.

Неделя 2: GROUP BY
Рассмотрение группировки данных.

Неделя 3: Виды JOIN
Знакомство с различными типами соединений таблиц.

Неделя 4: Оконные функции
Изучение оконных функций для анализа данных.

Неделя 5: CTE и подзапросы
Понимание концепции временных таблиц и подзапросов.

Неделя 6: Собственный проект
Применение полученных знаний на практике через выполнение самостоятельного проекта.

Ссылки на все материалы доступны по следующей ссылке: Дорожная карта обучения SQL.

https://github.com/andresvourakis/free-6-week-sql-roadmap-data-science

@sqlhub

Читать полностью…

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/python_job_interview
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/java_library
Базы данных: t.me/sqlhub
Linux: t.me/linuxacademiya
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/golang_interview
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc


💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Читать полностью…

🖥 Курс по MySQL с использованием Python! (2024)

🌟 Небольшой курс для новичков по работе с БД MySQL через Python код!

🔗 Ссылка: *клик*

#курс #python #mysql

@sqlhub

Читать полностью…

Как видеть состояние тысяч баз данных в одном окне и собирать с них метрики? Узнайте на бесплатном вебинаре от СберТеха.

СберТех проводит серию вебинаров о своих продуктах. Новое мероприятие посвящено тому, как сопровождать базы данных быстрее и удобнее. Разберемся в этом на примере обновленного продукта Platform V Kintsugi — это графическая консоль для управления и диагностики PostgreSQL-like СУБД.

Какие функции покажут:
— оперативный центр – единое окно мониторинга всех подключенных активов;
— отчеты pg_profile в интерфейсе продукта;
— расширенную ресурсно-логическую модель. Когда: 24 октября в 11:00.

Кому полезно: администраторы СУБД, разработчики БД, руководители и бизнес.

Рассказываем с техническими деталями, но просто и популярно.

Регистрация.

Читать полностью…

✔️ MongoDB создает партнерскую экосистему ИИ.

MongoDB представила обновлённую версию 8.0 своей базы данных линейки Enterprise и облачного сервиса Atlas. Обновления обещают увеличить пропускную способность на 32%, ускорить пакетную запись на 56% и повысить скорость параллельной записи на 20%.

Для решения проблем, связанных с быстрым развитием ИИ, неопределённостью в выборе технологий и нехваткой навыков, MongoDB запустила программу MongoDB AI Application Program (MAAP).

Компания планирует создать глобальную экосистему партнёров, которые будут устанавливать отраслевые стандарты для решений на основе ИИ, сотрудничая с Microsoft Azure, Google Cloud Platform, Amazon Web Services, Accenture, Anthropic и Fireworks AI.
Уже реализованы коммерческие решения для «французской автомобильной компании» и «глобального производителя бытовой техники».

🔗 iteuropa.com

@sqlhub

Читать полностью…

💫 StarbaseDB

Мощная опенсорс база данных HTTP SQLite с открытым исходным кодом, масштабируемая до нуля и построенная на базе в Cloudflare.

▪ Язык: Typescript

⚡ Особенности
- Эндпоинты HTTPS для взаимодействия с вашей базой данных
- Поддержка транзакций для взаимодействия с базой данных ACID
- Вычисления с нулевым масштабированием

▪ Github

@sqlhub

Читать полностью…

Научитесь эффективно использовать нейросети в своей работе. Приглашаем на бесплатный мини-курс Skillbox «Data Science с нуля: пробуем профессии на практике за 5 дней». Окунитесь в сферу IT и решите, какая специальность вам ближе.


🎁 Регистрация по ссылке: https://epic.st/eEwmp?erid=2VtzqvZPs5z

Чем займётесь на мини-курсе? Узнаете, где востребована наука о данных, и разберётесь в различиях её основных направлений. Освоите азы главного языка Data Science — Python, а также визуализируете с помощью него данные. Изучите базовые конструкции языка SQL и наконец поймёте, как же работают нейросети.

В знакомстве с профессиями вас будет сопровождать Анастасия Борнева — руководитель направления по исследованию данных в «Сбере». В финале мини-курса в прямом эфире она разберёт практические задания и ответит на все вопросы.

🎉 Все участники получат крутые бонусы и подарки!


Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880

Читать полностью…

🖥 Полный курс по работе с SQL за 3 часа!

🔥 У этого видео 8 млн просмотров на YouTube, что безусловно говорит о его качестве!

🕞 Продолжительность: 3:16:13

🔗 Ссылка: *клик*

#курс #sql #datascience

@sqlhub

Читать полностью…

🖥 Функция STUFF() в SQL

❓ Пример:

SELECT STUFF('Hello World', 7, 5, 'SQL') AS Result;

🌟 Результат: Hello SQL

🔍 Объяснение:

🌟 Начальная позиция: 7 — замена начинается с 7-го символа (буква W).
🌟 Длина: 5 — удаляем 5 символов (World).
🌟 Замещающая строка: 'SQL' — вставляем вместо удалённой подстроки

💡 Другой пример: иногда STUFF() используется совместно с другими функциями для создания строк с разделителями. Например, объединим значения из нескольких строк в одну строку через запятую:

SELECT
  DepartmentID,
  STUFF(
    (SELECT ',' + EmployeeName
     FROM Employees
     WHERE DepartmentID = E.DepartmentID
     FOR XML PATH('')), 
     1, 1, '') AS EmployeesList
FROM Employees E
GROUP BY DepartmentID;

🌟 В данном примере STUFF() удаляет первый символ запятой и создает аккуратный список сотрудников для каждого отдела

@sqlhub

Читать полностью…

🖥 EfCore.SchemaCompare — инструмент для сравнения схем баз данных Entity Framework Core (EF Core). Он позволяет проверять различия между базой данных и миграциями, обеспечивая удобный способ отслеживания изменений в схемах данных

🌟 Этот инструмент может быть полезен для управления версиями баз данных и предотвращения ошибок, связанных с несовпадением структуры данных при разработке приложений на EF Core

▪️GitHub

@sqlhub

Читать полностью…

🖥 postgres-backup-local - это инструмент для создания резервных копий базы данных PostgreSQL в локальной файловой системе с автоматическим переключением между различными копиями.

Он позволяет делать резервные копии сразу нескольких баз данных с одного сервера, указывая их названия через запятую или пробел в переменной окружения POSTGRES_DB.

Также поддерживает выполнение вебхуков до и после выполнения задания, автоматически управляет ротацией и удалением устаревших копий. Инструмент работает под Docker и поддерживает архитектуры Linux: amd64, arm64, arm/v7, s390x, ppc64le.

🖥 GitHub: https://github.com/prodrigestivill/docker-postgres-backup-local

@sqlhub

Читать полностью…

⚡️ Выпуск СУБД MySQL 9.1.0

Компания Oracle выпустила новую версию MySQL 9.1.0. Теперь сборки MySQL Community Server доступны для всех основных дистрибутивов Linux, FreeBSD, macOS и Windows. Благодаря новой модели выпуска версий, MySQL 9.1 относится к веткам "Innovation".

Эти ветки предназначены для раннего доступа к новым функциям и выпускаются каждые 3 месяца.

Их поддержка прекращается после выхода следующей значительной версии. Планируется выпуск LTS-версии летом следующего года, которая рекомендуется для стабильных внедрений.

После этого будет выпущена новая версия MySQL 10.0.

Что нового в MySQL 9.1?

- Добавлена поддержка IF NOT EXISTS в CREATE VIEW, предотвращая ошибки при создании представлений с существующими именами.

- Прекращена загрузка триггеров при операциях чтения, уменьшая потребление памяти и нагрузку на CPU. Триггеры теперь загружаются только при модификациях данных.

- Расширен вывод EXPLAIN, включающий информацию о многодиапазонном чтении и полуобъединении.
- Обеспечено атомарное выполнение операций CREATE DATABASE и DROP DATABASE для защиты от сбоев.

- В JavaScript-хранимых процедурах добавлен тип VECTOR для передачи данных между процедурами.

- Поддержка аутентификации через протокол OpenID Connect.

- Исправлено 27 уязвимостей, включая критическую CVE-2024-5535, вызванную чтением данных вне выделенного буфера в OpenSSL.

@sqlhub

Читать полностью…

Разогреем эту осень на IT Talk by Sber в Омске! ⚡️

24 октября эксперты Сбера расскажут о сложных запросах в ClickHouse, импортозамещении технологических стеков и инструментах бизнес-аналитики.

Спикеры и темы:
✅ Григорий Пилипейко, Senior Data-инженер – «Clickhouse и сложные запросы»
✅ Светлана Ромашева, Senior Data-инженер – «Импортозамещение инструментов Business Intelligence на примере управленческой отчётности»
✅ Александр Ткаченко, руководитель направления – «Как мы делали Корпоративный Портал, а получилась WEB-платформа "СРЕДА" для разработчиков и бизнеса».

Митап будет интересен всем без исключения, а особенно инженерам данных, владельцам продуктов и DB-инженерам.
Если это ты, то регистрируйся здесь!💚

Читать полностью…

🖥 Как Uber интегрировал SQL в свой чат

Блог Uber Engineering опубликовал статью о том, как компания внедрила функцию преобразования текста в SQL в своем чат-интерфейсе.

Эта функция включает в себя использование технологий NLP (natural language processing) для понимания запросов пользователей и последующего генерирования соответствующих SQL-запросов.

Uber добавил множество дополнительных функций, таких как автоматические подсказки таблиц и параметров, из которых пользователь может выбрать нужные данные для своего запроса. Эти улучшения делают процесс взаимодействия с базой данных через чат намного удобнее и проще.

Эта статья подчеркивает инновационный подход компании к улучшению пользовательского опыта и автоматизации рутинных процессов.

https://www.uber.com/en-DE/blog/query-gpt/

@sqlhub

Читать полностью…

👩‍💻 Streamlit — бесплатный пакет Python для науки о данных и визуализации данных . В этом видео вы познаете базовые навыки запуска проекта Streamlit с интеграцией с MySQL!

💡 Вы узнаете, как создать панель инструментов веб-сайта аналитики с помощью Python и библиотеки Streamlit. В качестве примера будет использована база данных Excel для хранения данных и Streamlit для создания интерактивной панели, которая позволит визуализировать и исследовать данные!

🕞 Продолжительность: 1:29:42

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

Большая шпаргалка по SQL — внутри ждёт всё, от основных команд до продвинутых фишек, вроде оконных функций.

— Основные команды SQL;
— SOL Joins;
— SQL Unions, Intersect, Except;
— Временные таблицы SQL, таблицы просмотра, CTE;
— Ранги SQL.

Сохраняйте себе, чтобы не потерять.

@sqlhub

Читать полностью…

🖥Полезная шппаргалка по проектированию реляционных баз данных

Реляционные базы данных представляют собой базы данных, которые используются для хранения и предоставления доступа к взаимосвязанным элементам информации. Реляционные базы данных основаны на реляционной модели — интуитивно понятном, наглядном табличном способе представления данных. Каждая строка, содержащая в таблице такой базы данных, представляет собой запись с уникальным идентификатором, который называют ключом. Столбцы таблицы имеют атрибуты данных, а каждая запись обычно содержит значение для каждого атрибута, что дает возможность легко устанавливать взаимосвязь между элементами данных.

Таблицы в такой базе данных также соотносятся друг с другом строго определенным образом. Реляционные базы данных используют целый комплекс инструментов, которые обеспечивают целостность данных, т. е. их точность, полноту и единообразие.

На картинке представлены ключевые моменты, которые следует знать о проектировании реляционных баз данных.

#азы #sql

@sqlhub

Читать полностью…

🖥 Уровни изоляции транзакций в базах данных

В различных системах очен важно обеспечить согласованность данных при параллельных транзакциях. Одним из ключевых механизмов, который помогает в этом, являются уровни изоляции транзакций. Они регулируют, как обрабатываются изменения в данных при параллельной работе транзакций, предотвращая возможные аномалии.

🔑 Что такое изоляция транзакций?

Изоляция транзакций указывает степень, до которой операции в одной транзакции изолированы от операций в других. Это предотвращает такие проблемы, как грязные чтения, неповторяемые чтения и фантомные записи, обеспечивая целостность данных.

🔒 Типы уровней изоляции:

📌 Read Uncommitted:
Самый низкий уровень изоляции.

Транзакции могут читать изменения, сделанные другими транзакциями, даже если они не были зафиксированы (грязные чтения). Быстро, но рискованно.

📌 Read Committed:
Видны только зафиксированные данные. Это исключает грязные чтения, но могут возникать неповторяемые чтения (данные меняются между двумя запросами).

📌 Repeatable Read:
Это уровень, что данные, прочитанные транзакцией, не могут быть изменены другой транзакцией до завершения первой. Однако возможны фантомные чтения (новые строки появляются при повторных запросах).

📌 Serializable:
Самый высокий уровень изоляции. Полностью изолирует транзакцию, предотвращая грязные, неповторяемые и фантомные чтения. Однако это существенно снижает производительность.

Каждый уровень предлагает компромисс между производительностью и консистентностью данных. Более высокий уровень изоляции снижает конкурентоспособность, тогда как более низкий увеличивает риск возникновения аномалий. Важно правильно подобрать уровень в зависимости от требований приложения.

@sqlhub

Читать полностью…

🖥 Создание высокопроизводительного RAG с использованием только PostgreSQL (полное руководство)!

🌟 Узнайте, как настроить PG Factor Scale для создания высокопроизводительных RAG для приложений ИИ с использованием Python. Изучите шаги по созданию собственной базы данных с открытым исходным кодом и ее использованию с ИИ!

🕞 Продолжительность: 35:42

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

🖥 Статья, в которой автор подробно рассказывает о различиях между SQL и noSQL базами данных, а также о преимуществах и недостатках каждого

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

🖥 Довольно сложная задача по SQL: Анализ продаж с использованием оконных функций и вложенных подзапросов

🌟 Допустим, у вас есть следующие таблицы с данными о продажах и товарах:

CREATE TABLE sales (
  sale_id INT PRIMARY KEY,
  product_id INT,
  sale_date DATE,
  sale_amount INT
);

CREATE TABLE products (
  product_id INT PRIMARY KEY,
  category VARCHAR(50),
  price DECIMAL(10, 2)
);

🌟 Таблица sales содержит информацию о продажах: ID продажи (sale_id), ID продукта (product_id), дата продажи (sale_date) и количество проданных единиц (sale_amount)
🌟 Таблица products хранит данные о продуктах: ID продукта (product_id), категория продукта (category) и цена (price)

❓ Нужно создать запрос, который выполнит следующие действия:

🌟 Найти самую популярную категорию товаров по количеству продаж в каждом месяце.
🌟 Вывести результаты по месяцам, начиная с самого первого месяца продаж.
🌟 В каждой строке указать:
- Месяц (sale_month)
- Название категории (category)
- Общее количество проданных товаров в этой категории за месяц (total_sales)
- Разницу (difference) между текущими продажами категории и продажами этой же категории в предыдущем месяце. Если предыдущего месяца нет, вывести NULL

❗️ Решение:

WITH MonthlySales AS (
  SELECT 
    DATE_FORMAT(sale_date, '%Y-%m') AS sale_month,
    p.category,
    SUM(sale_amount) AS total_sales
  FROM sales s
  JOIN products p ON s.product_id = p.product_id
  GROUP BY DATE_FORMAT(sale_date, '%Y-%m'), p.category
),
RankedCategories AS (
  SELECT 
    sale_month,
    category,
    total_sales,
    ROW_NUMBER() OVER (PARTITION BY sale_month ORDER BY total_sales DESC) AS sales_rank
  FROM MonthlySales
),
PopularCategories AS (
  SELECT 
    sale_month,
    category,
    total_sales
  FROM RankedCategories
  WHERE sales_rank = 1
),
CategoryWithDifference AS (
  SELECT 
    sale_month,
    category,
    total_sales,
    LAG(total_sales, 1) OVER (PARTITION BY category ORDER BY sale_month) AS previous_sales
  FROM PopularCategories
)
SELECT 
  sale_month,
  category,
  total_sales,
  total_sales - previous_sales AS difference
FROM CategoryWithDifference
ORDER BY sale_month;

💡 Как это работает:

🌟 MonthlySales: Подзапрос агрегирует данные продаж по месяцам и категориям товаров, чтобы получить общее количество продаж (total_sales) в каждом месяце.
🌟 RankedCategories: Присваивает каждой категории её ранг (ROW_NUMBER()) в зависимости от количества продаж в месяц.
🌟 PopularCategories: Фильтрует только самую популярную категорию (с sales_rank = 1) для каждого месяца.
🌟 CategoryWithDifference: Использует оконную функцию LAG() для расчета разницы между продажами в текущем месяце и предыдущем

@sqlhub

Читать полностью…

🖥 sqlpd.com — онлайн игра, в которой нужно раскрывать преступления, используя язык SQL

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

📊 OpenBB — это платформа для инвестиционных исследований, предоставляющая доступ к акциям, опционам, криптовалютам, форексу и макроэкономическим данным. Платформа ориентирована на пользователей всех уровней и включает в себя как командную строку, так и графический интерфейс. 🌟 OpenBB предлагает бесплатный и открытый доступ к аналитическим инструментам и может быть расширен через различные плагины. Проект также поддерживает автоматизацию процессов и интеграцию с внешними сервисами

🔥 Инструмент является бесплатным аналогом Bloomberg terminal (подписка на который стоит $20 тыс. в год!)

👩‍💻 Язык: Python

🔐 Лицензия: GNU

▪ Github

@sqlhub

Читать полностью…

Вебинар «Возьмите кластеры под контроль»


15 октября в 16:00 на вебинаре команда Tarantool расскажет, как построить высокопроизводительное кластерное хранилище с простым управлением и гарантиями отказоустойчивости. Покажем демо: развернем кластер и продемонстрируем работу с ним из JAVA-приложения с использованием spring data 3.x.

В программе:

-В каких системах вам не обойтись без in-memory хранилища.
-Как легко развернуть «горячее» кластерное in-memory хранилище под ваши задачи и централизованно управлять им через интуитивно понятный графический интерфейс и CLI.
-Как построить геораспределенный кластер, не падающий даже при неустойчивом канале связи или аварии в ЦОДе.

Вебинар будет полезен системным и корпоративным архитекторам, инженерам DevOps и разработчикам высоконагруженных систем.

Регистрация

Читать полностью…