sqlhub | Unsorted

Telegram-канал sqlhub - Data Science. SQL hub

36043

По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo

Subscribe to a channel

Data Science. SQL hub

💻 DbGate — open-source менеджер SQL и NoSQL БД

DbGate — это кроссплатформенный менеджер баз данных. Разработан, чтобы быть простым в использовании и эффективным при работе с несколькими БД одновременно.
Также имеет множество дополнительных функций, таких как сравнение схем, визуальный конструктор запросов, визуализация графиков или пакетный экспорт и импорт.

Поддерживает MySQL, PostgreSQL, SQL Server, MongoDB, SQLite и других.
Работает под Windows, Linux, Mac и как веб-приложение.

🖥 GitHub
🟡 Запустить онлайн

@sqlhub

Читать полностью…

Data Science. SQL hub

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.

Ближайшие Fast Track мероприятия:

• 3–7 июня — для технических менеджеров и Crowd Solutions Architect, офер за 5 дней в команду Crowd.

• 8–9 июня — для дата-инженеров, офер за 2 дня в DWH команды Маркета.

Зарегистрироваться

Читать полностью…

Data Science. SQL hub

🔘 «Мне нравится смотреть за роботом и понимать, почему он так себя ведёт».

Недавно мы начали тестировать на складе Маркета Роборуку, которая помогает разбирать партии товаров и складывать их на палеты. Есть и другое направление — мы учим Роборуки работать с маленькими предметами, чтобы в будущем они могли собирать заказы покупателей.

Обучением этой Роборуки занимается Андрей Маношин. Говорим с ним о том, как устроена работа ML-инженера и как объяснить роботу устройство нашего мира.

↗️ Если хотите тоже делать роботов, смотрите наши вакансии.

Подписывайтесь ✨ @yandex

Читать полностью…

Data Science. SQL hub

💻Psycopg 3 — адаптер PostgreSQL для Python

— pip install "psycopg[binary,pool]"

Psycopg 3 — это реализация самого используемого, надежного и многофункционального адаптера PostgreSQL для Python.

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

Data Science. SQL hub

💻PostgREST — REST API для любой Postgres БД

PostgREST обеспечивает полностью RESTful API из любой существующей базы данных PostgreSQL.
Он предоставляет более чистый, соответствующий стандартам и быстрый API, чем тот, который вы можете написать с нуля.

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

Data Science. SQL hub

💻 Kysely — типобезопасный скриптовый конструктор SQL-запросов

Kysely — это безопасный для типов и удобный для автозаполнения построитель SQL-запросов на TypeScript. Создан под вдохновением от Knex. В основном разработан для node.js, но также работает во всех других JavaScript-окружениях, таких как deno и bun.

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

Data Science. SQL hub

💻 Настройка производительности PostgreSQL: max и group by

Анализ временных рядов в PostgreSQL может предоставить ценную информацию, помочь в принятии обоснованных решений и более глубоком понимании данных. Используя мощные возможности PostgreSQL, мы можем эффективно запрашивать все типы данных измерений для отслеживания тенденций, закономерностей и аномалий во времени.

▶️ Но есть одно требование

@sqlhub

Читать полностью…

Data Science. SQL hub

👣 goqu — go-библиотека для построения и выполнения SQL-запросов

— go get -u github.com/doug-martin/goqu/v9

Без проблем поддерживает Postgres, MySQL, SQLite3, SQLServer и кастомные диалекты

🖥 GitHub

@sqlhub

Читать полностью…

Data Science. SQL hub

💻Эксперименты с временными таблицами PostgreSQL

Чтобы лучше понять работу TEMP TABLE в PostgreSQL, нужно просто поглубже в них погрузиться, проверить разные гипотезы — именно с практикой и придёт понимание.
Так что держите — здесь подробное исследование TEMP TABLE, рассмотрение временных таблиц под разными углами

📎 Исследование
🖥 GitHub

@sqlhub

Читать полностью…

Data Science. SQL hub

⭐️ Data Science разбор реальной задачи с собеседования. Прогнозирование оттока клиентов.

▪Смотреть
▪Данные
▪Ноутбук

@machinelearning_interview

Читать полностью…

Data Science. SQL hub

💻Вопросы и ответы по SQL и по БД в целом

Держите, пригодится освежить самые основные моменты перед собеседованием.

Вот некоторые из затронутых здесь вопросов

🟡Вопросы по БД:
— Реляционные БД (SQL)
— Нереляционные БД (NoSQL): Key/Value, документные (документ-ориентированные), колоночные, графовые
— Что такое CAP-теорема (теорема Брюера)?
— Что такое свойство ACID в базе данных?

🟡Вопросы по SQL:
— Из каких подмножеств состоит SQL?
— Что подразумевается под таблицей и полем в SQL?
— В чем разница между операторами DELETE и TRUNCATE?
— Что такое соединения (JOIN) в SQL?
— В чем разница между типом данных CHAR и VARCHAR в SQL?
— Что такое первичный ключ (Primary key)?
— Что такое ограничения (Constraints)?
— Что такое уникальный ключ (Unique key)?
— Что такое внешний ключ (Foreign key)?
— Что подразумевается под целостностью данных?
— Какие уровни изолированности транзакций можешь назвать?
— Что вы подразумеваете под денормализацией?
— Напишите SQL-запрос для отображения текущей даты?

📎 Вопросы/ответы

@sqlhub

Читать полностью…

Data Science. SQL hub

💻Руководство по MySQL JOIN с примерами

JOIN в MySQL — это мощный оператор, позволяющий объединять данные из нескольких таблиц на основе соответствия критериям.
Именно об этом и идёт речь в туториале, параллельно разбирается ещё много полезных вещей, рекомендую

Оглавление
⏩Различные типы соединений в MySQL
— INNER JOIN
— LEFT JOIN
— RIGHT JOIN
— FULL JOIN (не поддерживается напрямую MySQL)

⏩Реальные сценарии использования соединений в веб-разработке
— Отображение профилей пользователей с заказами
— Фильтрация товаров по категориям и брендам
— Отображение отзывов с информацией о продукте

⏩Советы по эффективным и оптимизированным соединениям в MySQL

📎 Руководство

@sqlhub

Читать полностью…

Data Science. SQL hub

💻 Шпаргалка по SQL-инъекциям

Эта шпаргалка по SQL-инъекциям содержит примеры синтаксиса, который часто используется для проведения атак на БД. Примеры инъекций приведены для разных СУБД: Oracle, PostgreSQL, MySQL, MicrosoftSQL.
Проверьте, не подвержено ли ваше приложение SQL-инъекциям

🟡Рассматриваются SQL-инъекции для извлечения такой информации как:
├╼ Объединение строк
├╼ Подстрока
├╼ Комментарии
├╼ Версия базы данных
├╼ Содержимое базы данных
├╼ Условные ошибки
├╼ Извлечение данных с помощью сообщений об ошибках
├╼ Пакетные (или штабелированные) запросы
├╼ Временные задержки
├╼ Условные временные задержки
├╼ DNS lookup (Поиск DNS)
╰╼ DNS lookup с эксфильтрацией данных

📎 Шпаргалка

@sqlhub

Читать полностью…

Data Science. SQL hub

Переходите на формат монитора 4K

Вы сможете увидеть больше контента, чем при обычных разрешениях, и наслаждаться детализированным изображением. Компания MSI рекомендует свою новинку Modern MD271UL для повседневной работы c фото- и видеоредакторами, проведения стриминговых сессий и удаленной работы.

Именно сейчас удачный момент воспользоваться выгодным предложением, чтобы обновить свой старый монитор на новый в сети магазинов DNS.

Подробнее

Читать полностью…

Data Science. SQL hub

💻Как сделать дамп PostgreSQL

⏩Держите полезную статью
В ней рассматриваются процессы резервного копирования и восстановления данных в PostgreSQL, обсуждаются различные стратегии и методы, которые позволят обеспечить надежность и доступность ценных информационных ресурсов.

Уверен, будет полезно)

📎 Статья

@sqlhub

Читать полностью…

Data Science. SQL hub

💻Patroni — создание high availability решений PostgreSQL

— pip install patroni[dependencies]

Patroni — это шаблон для создания high availability решений PostgreSQL с использованием Python.
Для максимальной доступности Patroni поддерживает различные распределенные хранилища конфигурации, такие как ZooKeeper, etcd, Consul или Kubernetes.

Patroni особенно актуален для инженеров баз данных, DBA, DevOps и SRE, которые хотят быстро развернуть HA PostgreSQL в центрах обработки данных.

Поддерживает версии PostgreSQL от 9.3 до 16

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

Data Science. SQL hub

💻SQLCheck — поиск антипаттернов в запросе

Инструмент на C++ для выявления антипаттернов в SQL

SQLCheck имеет такие зависимости:
• g++ 4.9+
• cmake (установка)

🖥 GitHub

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 SQLGlot — парсер, оптимизатор и движок SQL на Python

— pip3 install "sqlglot[rs]"

SQLGlot может использоваться для форматирования SQL или перевода между 21 различными диалектами, в том числе DuckDB, Presto / Trino, Spark / Databricks, Snowflake и BigQuery. Он предназначен для чтения широкого спектра входных данных SQL и вывода синтаксически и семантически корректного SQL на целевых диалектах.

SQLGlot — это очень полный общий парсер SQL с надежным набором тестов. Он также достаточно производителен (за счёт токенизатора на Rust) и при этом написан исключительно на Python.

Вы можете легко настраивать парсер, анализировать запросы, обходить деревья выражений и программно создавать SQL.

Синтаксические ошибки подсвечиваются, несовместимость диалектов отображается, однако SQLGlot не стремится быть валидатором SQL, поэтому он может не обнаружить некоторые синтаксические ошибки.

🖥 GitHub

@sqlhub

Читать полностью…

Data Science. SQL hub

level up вашей карьеры инженера данных

У вас уже есть опыт работы, но вы хотите выделиться на фоне «джунов» и охватить всю архитектуру DWH целиком — тогда присоединяйтесь к курсу «Инженер данных» от karpov.courses и экспертов из Яндекса, Ozon, Vk и Сбера.

За 5 месяцев вы освоите все актуальные технологии. А для большего погружения в работу, вы поработаете с ETL-процессами крупной двухуровневой платформы данных, закрепите понимание инструментов Airflow, Spark + S3 и Greenplum и поймёте, как использовать их в связке друг с другом.

А чтобы вы могли ещё больше вырасти, до конца мая karpov.courses даёт возможность по выгодной цене приобрести комбо «курс Инженер данных + Симулятор Data Science». Кроме прокачки навыков, вы будете решать реальные задачи бизнеса и выполните свой уникальный пет-проект, под руководством опытных менторов.

Купить комбо можно до 31 мая, а если усиленная практика пока не нужна - записывайтесь только на курс Инженер данных со скидкой 7% по промокоду SQLHUBB: https://clc.to/erid_LjN8KWtuB

Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627

Читать полностью…

Data Science. SQL hub

Ищем технических писателей и системных аналитиков в команду Riverstart. Компания в IT с 2012 года, аккредитована Минцифры.

Наши преимущества:
● не требуем присутствия в офисе, многие наши сотрудники работают удаленно из разных городов России
● сможете выбирать проекты в тех отраслях, которые любите
● платим по рынку, даем премии и составляем план развития на каждые полгода

Требования для Системного аналитика:
● опыт работы от 3-х лет
● опыт сбора требований и их формализации (Use Cases, User Story, CJM, User Story Map и т. п)
● анализ данных с использованием SQL
● практический опыт работы с описанием API и процессов

Требования для Технического писателя:
● опыт работы от 2-х лет
● хорошее знание ГОСТов (19 и 34)
● опыт написания ТЗ, ПМИ, спецификации, руководства, пояснительная записка, внутренней и другой проектной документации

Узнайте больше о вакансиях и оставьте отклик на сайте!

Читать полностью…

Data Science. SQL hub

💻 Supabase вышел из беты

Совсем недавно вышел из беты Supabase — open-source инструмент на базе PostgreSQL, альтернатива Firebase.
Инструмент предоставляет разработчикам различные сервисы и утилиты, которые упрощают процесс создания и запуска приложений.

Примечательно то, что больше трети проектов из последнего батча YC используют именно Supabase. Кажется, это яркое подтверждение тезиса об упрощении разработки (ну или маркетологи компании хорошо постарались). Так что, если делаете стартап, и не используете Supabase, то можно задать вопросы CTO, почему он не делает как «лучшие» стартапы, которых отобрал YC.

🖥 GitHub

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 SQL генератор

Выпущена Sqlcode 8b на базе Llama-3!

Вероятно, это лучшая на данный момент модель размером <10B для преобразования текста в SQL.

Работает лучше, чем gpt-4-turbo и claude opus для генерации SQL запросов.

▪Github: https://github.com/defog-ai/sql-eval
▪Weights: https://huggingface.co/defog/llama-3-sqlcoder-8b/
▪Demo (optimized for postgres): https://defog.ai/sqlcoder-demo/

@sqlhub

Читать полностью…

Data Science. SQL hub

💻Маленькая загадка для любителей PostgreSQL

🟡В таблице получилось дублирование cat_id, хотя это primary key. Что должно быть на месте -- do some things, чтобы это было возможно?

CREATE TABLE cats (
cat_id bigint,
name varchar(128) NOT NULL,
PRIMARY KEY (cat_id)
);

INSERT INTO cats VALUES (1, 'Tihon'), (2, 'Marfa');

SELECT * FROM cats;
cat_id | name
--------+-------
1 | Tihon
2 | Marfa
(2 rows)

-- do some things

SELECT * FROM cats;
cat_id | name
--------+--------
1 | Tihon
2 | Marfa
1 | Tihon2
(3 rows)


Для такого эффекта на месте --do some things должно быть наследование таблиц. Понятно же, почему так происходит?

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 DrawDB

Крутой инструмент для создания баз данных и генерации SQL запросов.

Создание диаграмм займет всего несколько секунд, вы сможете экспортировать готовые скрипты и настроить свой редактор без необходимости создания учётной записи.

▪ GitHub

@sqlhub

Читать полностью…

Data Science. SQL hub

👣 Convex

Conve векторная бд, написанная в 200 тысяч строк Convex, "реактивной" базы данных, созданной с нуля на Rust.

Она включает в себя набор клиентских библиотек, которые интегрируются с интерфейсным кодом приложения, и обеспечивает кэширование данных и обновления в режиме реального времени.

git clone https://github.com/get-convex/convex-backend.git
cd convex-backend


▪Github
▪Docs

@sqlhub

Читать полностью…

Data Science. SQL hub

💻Диагностика производительности PostgreSQL

В этой статье рассмотрим методы диагностики производительности PostgreSQL, которая состоит из 3 шагов.

🟡Шаг 1: Оптимизировать кластер

Для улучшения работы вашей базы данных используйте следующие методы диагностики производительности PostgreSQL:
— примените вертикальное или горизонтальное масштабирование и затем проведите анализ запросов;
— настройте конфигурационные параметры развернутого кластера. Например, используйте онлайн генераторы конфигурационных параметров.

🟡Шаг 2: Анализ логов

Обратите внимание, что включение анализаторов запросов может потреблять около 10% ресурсов. Но после завершения процесса анализа и оптимизации запросов производительность может значительно вырасти.

Вы можете использовать встроенные инструменты для анализа производительности PostgreSQL, чтобы идентифицировать узкие места и медленные запросы:
— pg_stat_statements
— pg_stat_kcache
— auto_explain
— log_min_duration_statement

🟡Шаг 3: Анализ планов

Оптимизация запросов может быть сложной и часто представляет собой итеративный процесс. Вносите изменения постепенно и измеряйте влияние каждого изменения на производительность запросов. Также рекомендуем протестировать выполненные оптимизации в промежуточной среде, прежде чем применять их к рабочей базе данных. Убедитесь в отсутствии непредвиденных последствий.

План запроса PostgreSQL описывает выполнение SQL-запроса, включая сортировку и фильтрацию, а также использование ресурсов во время выполнения.

📎 Статья

@sqlhub

Читать полностью…

Data Science. SQL hub

Tarantool Column Store — это новая российская in-memory колоночная СУБД для гибридной транзакционно-аналитической обработки данных (HTAP) в реальном времени.

Позволяет анализировать данные в real-time, ускорять аналитические расчеты. Обладает высокой производительностью благодаря многопоточности.

Где можно применять новую СУБД:

• Формирование финансовой отчетности в real-time;
• Ускорение и повышение точности антифрод-систем — обнаружение подозрительных транзакций практически с нулевой задержкой;
• Повышение производительности системы выдачи кредитов. Tarantool Columnstore в реальном времени анализирует матрицы, в которых содержится более 100 000 вариантов кредитных предложений и дополнительных услуг.

Попробуйте высокую производительность и скорость — 1,6 млн. сканирований и 200 тыс. агрегаций в секунду на ядро, <200 микросекунд на запрос.

➡️ Оставить заявку

Читать полностью…

Data Science. SQL hub

💻Работа с PostgreSQL: настройка и масштабирование — открытый учебник

Держите ценный контент — открытый учебник от А. Ю. Васильева aka leopard по Postgres.
Нереально полезно, здесь раскрывается множество важных моментов, связанных с этой СУБД

📎 PDF

@sqlhub

Читать полностью…

Data Science. SQL hub

💻 Внутренности PostgreSQL: кэш системного каталога

Системный каталог, или просто каталог — это таблицы, в которых PostgreSQL хранит информацию обо всех остальных объектах, хранящихся в базе данных. К ним относятся таблицы, функции, триггеры, и т.д. Обращение к системному каталогу происходит часто, поэтому для него предусмотрен кэш. Давайте же разберемся, как этот кэш устроен.

Реализация кэша находится в следующих файлах:
⏩syscache.{c,h} — реализация основных функций кэша. Функции оперируют с Datum’ами и HeapTuple’ами;

⏩catcache.{c,h} — низкоуровневые функции, используемые syscache.c. Выделение и освобождение памяти реализовано здесь;

⏩lsyscache.{c,h} — высокоуровневая обертка над syscache.c. Содержит функции «получить имя отношения по его Oid» и подобного рода;

⏩inval.{c,h} — логика инвалидации кэша. Подробности см ниже по тексту;

⏩sinvaladt.{c,h} — реализация кольцевого буфера в разделяемой памяти, через который рассылаются сообщения об инвалидации кэшей;

⏩sinval.{c,h} — интерфейс коммуникации через sinvaladt.c. Содержит функции вроде «отправить / получить SharedInvalidationMessage»;

📎 Подробнее

@sqlhub

Читать полностью…

Data Science. SQL hub

Считаешь себя экспертом в IT? Участвуй в «Цифровом марафоне» от Сбера и «Школы 21» и будь на код впереди! Миллион рублей уже ждёт тебя.

В этом масштабном конкурсе ты будешь соревноваться со специалистами по всей России. Тройка лучших поделит в финале в Москве призовой фонд в 1,8 миллионов рублей.

Но сначала нужно пройти онлайн-игру, тестирование и цифровой диктант. Начнёшь с «разминки» и покажешь свои аналитические и мягкие навыки. Далее — ответь на вопросы теста согласно своему уровню подготовки. Прослушай на диктанте техническое задание и напиши код решения.

Поспеши: 20 апреля — твой последний шанс нажать на кнопку «Хочу участвовать». Переходи на сайт и регистрируйся прямо сейчас!

Читать полностью…
Subscribe to a channel