36043
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo
💻 DbGate — open-source менеджер SQL и NoSQL БД
DbGate — это кроссплатформенный менеджер баз данных. Разработан, чтобы быть простым в использовании и эффективным при работе с несколькими БД одновременно.
Также имеет множество дополнительных функций, таких как сравнение схем, визуальный конструктор запросов, визуализация графиков или пакетный экспорт и импорт.
Поддерживает MySQL, PostgreSQL, SQL Server, MongoDB, SQLite и других.
Работает под Windows, Linux, Mac и как веб-приложение.
🖥 GitHub
🟡 Запустить онлайн
@sqlhub
Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.
Ближайшие Fast Track мероприятия:
• 3–7 июня — для технических менеджеров и Crowd Solutions Architect, офер за 5 дней в команду Crowd.
• 8–9 июня — для дата-инженеров, офер за 2 дня в DWH команды Маркета.
Зарегистрироваться
🔘 «Мне нравится смотреть за роботом и понимать, почему он так себя ведёт».
Недавно мы начали тестировать на складе Маркета Роборуку, которая помогает разбирать партии товаров и складывать их на палеты. Есть и другое направление — мы учим Роборуки работать с маленькими предметами, чтобы в будущем они могли собирать заказы покупателей.
Обучением этой Роборуки занимается Андрей Маношин. Говорим с ним о том, как устроена работа ML-инженера и как объяснить роботу устройство нашего мира.
↗️ Если хотите тоже делать роботов, смотрите наши вакансии.
Подписывайтесь ✨ @yandex
💻Psycopg 3 — адаптер PostgreSQL для Python
— pip install "psycopg[binary,pool]"
Psycopg 3 — это реализация самого используемого, надежного и многофункционального адаптера PostgreSQL для Python.
🖥 GitHub
🟡 Доки
@sqlhub
💻PostgREST — REST API для любой Postgres БД
PostgREST обеспечивает полностью RESTful API из любой существующей базы данных PostgreSQL.
Он предоставляет более чистый, соответствующий стандартам и быстрый API, чем тот, который вы можете написать с нуля.
🖥 GitHub
🟡 Доки
@sqlhub
💻 Kysely — типобезопасный скриптовый конструктор SQL-запросов
Kysely — это безопасный для типов и удобный для автозаполнения построитель SQL-запросов на TypeScript. Создан под вдохновением от Knex. В основном разработан для node.js, но также работает во всех других JavaScript-окружениях, таких как deno и bun.
🖥 GitHub
🟡 Доки
@sqlhub
💻 Настройка производительности PostgreSQL: max и group by
Анализ временных рядов в PostgreSQL может предоставить ценную информацию, помочь в принятии обоснованных решений и более глубоком понимании данных. Используя мощные возможности PostgreSQL, мы можем эффективно запрашивать все типы данных измерений для отслеживания тенденций, закономерностей и аномалий во времени.
▶️ Но есть одно требование
@sqlhub
👣 goqu — go-библиотека для построения и выполнения SQL-запросов
— go get -u github.com/doug-martin/goqu/v9
Без проблем поддерживает Postgres, MySQL, SQLite3, SQLServer и кастомные диалекты
🖥 GitHub
@sqlhub
💻Эксперименты с временными таблицами PostgreSQL
Чтобы лучше понять работу TEMP TABLE в PostgreSQL, нужно просто поглубже в них погрузиться, проверить разные гипотезы — именно с практикой и придёт понимание.
Так что держите — здесь подробное исследование TEMP TABLE, рассмотрение временных таблиц под разными углами
📎 Исследование
🖥 GitHub
@sqlhub
⭐️ Data Science разбор реальной задачи с собеседования. Прогнозирование оттока клиентов.
▪Смотреть
▪Данные
▪Ноутбук
@machinelearning_interview
💻Вопросы и ответы по SQL и по БД в целом
Держите, пригодится освежить самые основные моменты перед собеседованием.
Вот некоторые из затронутых здесь вопросов
🟡Вопросы по БД:
— Реляционные БД (SQL)
— Нереляционные БД (NoSQL): Key/Value, документные (документ-ориентированные), колоночные, графовые
— Что такое CAP-теорема (теорема Брюера)?
— Что такое свойство ACID в базе данных?
🟡Вопросы по SQL:
— Из каких подмножеств состоит SQL?
— Что подразумевается под таблицей и полем в SQL?
— В чем разница между операторами DELETE и TRUNCATE?
— Что такое соединения (JOIN) в SQL?
— В чем разница между типом данных CHAR и VARCHAR в SQL?
— Что такое первичный ключ (Primary key)?
— Что такое ограничения (Constraints)?
— Что такое уникальный ключ (Unique key)?
— Что такое внешний ключ (Foreign key)?
— Что подразумевается под целостностью данных?
— Какие уровни изолированности транзакций можешь назвать?
— Что вы подразумеваете под денормализацией?
— Напишите SQL-запрос для отображения текущей даты?
📎 Вопросы/ответы
@sqlhub
💻Руководство по MySQL JOIN с примерами
JOIN в MySQL — это мощный оператор, позволяющий объединять данные из нескольких таблиц на основе соответствия критериям.
Именно об этом и идёт речь в туториале, параллельно разбирается ещё много полезных вещей, рекомендую
Оглавление
⏩Различные типы соединений в MySQL
— INNER JOIN
— LEFT JOIN
— RIGHT JOIN
— FULL JOIN (не поддерживается напрямую MySQL)
⏩Реальные сценарии использования соединений в веб-разработке
— Отображение профилей пользователей с заказами
— Фильтрация товаров по категориям и брендам
— Отображение отзывов с информацией о продукте
⏩Советы по эффективным и оптимизированным соединениям в MySQL
📎 Руководство
@sqlhub
💻 Шпаргалка по SQL-инъекциям
Эта шпаргалка по SQL-инъекциям содержит примеры синтаксиса, который часто используется для проведения атак на БД. Примеры инъекций приведены для разных СУБД: Oracle, PostgreSQL, MySQL, MicrosoftSQL.
Проверьте, не подвержено ли ваше приложение SQL-инъекциям
🟡Рассматриваются SQL-инъекции для извлечения такой информации как:
├╼ Объединение строк
├╼ Подстрока
├╼ Комментарии
├╼ Версия базы данных
├╼ Содержимое базы данных
├╼ Условные ошибки
├╼ Извлечение данных с помощью сообщений об ошибках
├╼ Пакетные (или штабелированные) запросы
├╼ Временные задержки
├╼ Условные временные задержки
├╼ DNS lookup (Поиск DNS)
╰╼ DNS lookup с эксфильтрацией данных
📎 Шпаргалка
@sqlhub
Переходите на формат монитора 4K
Вы сможете увидеть больше контента, чем при обычных разрешениях, и наслаждаться детализированным изображением. Компания MSI рекомендует свою новинку Modern MD271UL для повседневной работы c фото- и видеоредакторами, проведения стриминговых сессий и удаленной работы.
Именно сейчас удачный момент воспользоваться выгодным предложением, чтобы обновить свой старый монитор на новый в сети магазинов DNS.
Подробнее
💻Как сделать дамп PostgreSQL
⏩Держите полезную статью
В ней рассматриваются процессы резервного копирования и восстановления данных в PostgreSQL, обсуждаются различные стратегии и методы, которые позволят обеспечить надежность и доступность ценных информационных ресурсов.
Уверен, будет полезно)
📎 Статья
@sqlhub
💻Patroni — создание high availability решений PostgreSQL
— pip install patroni[dependencies]
Patroni — это шаблон для создания high availability решений PostgreSQL с использованием Python.
Для максимальной доступности Patroni поддерживает различные распределенные хранилища конфигурации, такие как ZooKeeper, etcd, Consul или Kubernetes.
Patroni особенно актуален для инженеров баз данных, DBA, DevOps и SRE, которые хотят быстро развернуть HA PostgreSQL в центрах обработки данных.
Поддерживает версии PostgreSQL от 9.3 до 16
🖥 GitHub
🟡 Доки
@sqlhub
💻SQLCheck — поиск антипаттернов в запросе
Инструмент на C++ для выявления антипаттернов в SQL
SQLCheck имеет такие зависимости:
• g++ 4.9+
• cmake (установка)
🖥 GitHub
@sqlhub
🖥 SQLGlot — парсер, оптимизатор и движок SQL на Python
— pip3 install "sqlglot[rs]"
SQLGlot может использоваться для форматирования SQL или перевода между 21 различными диалектами, в том числе DuckDB, Presto / Trino, Spark / Databricks, Snowflake и BigQuery. Он предназначен для чтения широкого спектра входных данных SQL и вывода синтаксически и семантически корректного SQL на целевых диалектах.
SQLGlot — это очень полный общий парсер SQL с надежным набором тестов. Он также достаточно производителен (за счёт токенизатора на Rust) и при этом написан исключительно на Python.
Вы можете легко настраивать парсер, анализировать запросы, обходить деревья выражений и программно создавать SQL.
Синтаксические ошибки подсвечиваются, несовместимость диалектов отображается, однако SQLGlot не стремится быть валидатором SQL, поэтому он может не обнаружить некоторые синтаксические ошибки.
🖥 GitHub
@sqlhub
level up вашей карьеры инженера данных
У вас уже есть опыт работы, но вы хотите выделиться на фоне «джунов» и охватить всю архитектуру DWH целиком — тогда присоединяйтесь к курсу «Инженер данных» от karpov.courses и экспертов из Яндекса, Ozon, Vk и Сбера.
За 5 месяцев вы освоите все актуальные технологии. А для большего погружения в работу, вы поработаете с ETL-процессами крупной двухуровневой платформы данных, закрепите понимание инструментов Airflow, Spark + S3 и Greenplum и поймёте, как использовать их в связке друг с другом.
А чтобы вы могли ещё больше вырасти, до конца мая karpov.courses даёт возможность по выгодной цене приобрести комбо «курс Инженер данных + Симулятор Data Science». Кроме прокачки навыков, вы будете решать реальные задачи бизнеса и выполните свой уникальный пет-проект, под руководством опытных менторов.
Купить комбо можно до 31 мая, а если усиленная практика пока не нужна - записывайтесь только на курс Инженер данных со скидкой 7% по промокоду SQLHUBB: https://clc.to/erid_LjN8KWtuB
Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627
Ищем технических писателей и системных аналитиков в команду Riverstart. Компания в IT с 2012 года, аккредитована Минцифры.
Наши преимущества:
● не требуем присутствия в офисе, многие наши сотрудники работают удаленно из разных городов России
● сможете выбирать проекты в тех отраслях, которые любите
● платим по рынку, даем премии и составляем план развития на каждые полгода
Требования для Системного аналитика:
● опыт работы от 3-х лет
● опыт сбора требований и их формализации (Use Cases, User Story, CJM, User Story Map и т. п)
● анализ данных с использованием SQL
● практический опыт работы с описанием API и процессов
Требования для Технического писателя:
● опыт работы от 2-х лет
● хорошее знание ГОСТов (19 и 34)
● опыт написания ТЗ, ПМИ, спецификации, руководства, пояснительная записка, внутренней и другой проектной документации
Узнайте больше о вакансиях и оставьте отклик на сайте!
💻 Supabase вышел из беты
Совсем недавно вышел из беты Supabase — open-source инструмент на базе PostgreSQL, альтернатива Firebase.
Инструмент предоставляет разработчикам различные сервисы и утилиты, которые упрощают процесс создания и запуска приложений.
Примечательно то, что больше трети проектов из последнего батча YC используют именно Supabase. Кажется, это яркое подтверждение тезиса об упрощении разработки (ну или маркетологи компании хорошо постарались). Так что, если делаете стартап, и не используете Supabase, то можно задать вопросы CTO, почему он не делает как «лучшие» стартапы, которых отобрал YC.
🖥 GitHub
@sqlhub
🖥 SQL генератор
Выпущена Sqlcode 8b на базе Llama-3!
Вероятно, это лучшая на данный момент модель размером <10B для преобразования текста в SQL.
Работает лучше, чем gpt-4-turbo и claude opus для генерации SQL запросов.
▪Github: https://github.com/defog-ai/sql-eval
▪Weights: https://huggingface.co/defog/llama-3-sqlcoder-8b/
▪Demo (optimized for postgres): https://defog.ai/sqlcoder-demo/
@sqlhub
💻Маленькая загадка для любителей PostgreSQL
🟡В таблице получилось дублирование cat_id, хотя это primary key. Что должно быть на месте -- do some things, чтобы это было возможно?
CREATE TABLE cats (
cat_id bigint,
name varchar(128) NOT NULL,
PRIMARY KEY (cat_id)
);
INSERT INTO cats VALUES (1, 'Tihon'), (2, 'Marfa');
SELECT * FROM cats;
cat_id | name
--------+-------
1 | Tihon
2 | Marfa
(2 rows)
-- do some things
SELECT * FROM cats;
cat_id | name
--------+--------
1 | Tihon
2 | Marfa
1 | Tihon2
(3 rows)
🖥 DrawDB
Крутой инструмент для создания баз данных и генерации SQL запросов.
Создание диаграмм займет всего несколько секунд, вы сможете экспортировать готовые скрипты и настроить свой редактор без необходимости создания учётной записи.
▪ GitHub
@sqlhub
👣 Convex
Conve векторная бд, написанная в 200 тысяч строк Convex, "реактивной" базы данных, созданной с нуля на Rust.
Она включает в себя набор клиентских библиотек, которые интегрируются с интерфейсным кодом приложения, и обеспечивает кэширование данных и обновления в режиме реального времени.git clone https://github.com/get-convex/convex-backend.git
cd convex-backend
▪Github
▪Docs
@sqlhub
💻Диагностика производительности PostgreSQL
В этой статье рассмотрим методы диагностики производительности PostgreSQL, которая состоит из 3 шагов.
🟡Шаг 1: Оптимизировать кластер
Для улучшения работы вашей базы данных используйте следующие методы диагностики производительности PostgreSQL:
— примените вертикальное или горизонтальное масштабирование и затем проведите анализ запросов;
— настройте конфигурационные параметры развернутого кластера. Например, используйте онлайн генераторы конфигурационных параметров.
🟡Шаг 2: Анализ логов
Обратите внимание, что включение анализаторов запросов может потреблять около 10% ресурсов. Но после завершения процесса анализа и оптимизации запросов производительность может значительно вырасти.
Вы можете использовать встроенные инструменты для анализа производительности PostgreSQL, чтобы идентифицировать узкие места и медленные запросы:
— pg_stat_statements
— pg_stat_kcache
— auto_explain
— log_min_duration_statement
🟡Шаг 3: Анализ планов
Оптимизация запросов может быть сложной и часто представляет собой итеративный процесс. Вносите изменения постепенно и измеряйте влияние каждого изменения на производительность запросов. Также рекомендуем протестировать выполненные оптимизации в промежуточной среде, прежде чем применять их к рабочей базе данных. Убедитесь в отсутствии непредвиденных последствий.
План запроса PostgreSQL описывает выполнение SQL-запроса, включая сортировку и фильтрацию, а также использование ресурсов во время выполнения.
📎 Статья
@sqlhub
Tarantool Column Store — это новая российская in-memory колоночная СУБД для гибридной транзакционно-аналитической обработки данных (HTAP) в реальном времени.
Позволяет анализировать данные в real-time, ускорять аналитические расчеты. Обладает высокой производительностью благодаря многопоточности.
Где можно применять новую СУБД:
• Формирование финансовой отчетности в real-time;
• Ускорение и повышение точности антифрод-систем — обнаружение подозрительных транзакций практически с нулевой задержкой;
• Повышение производительности системы выдачи кредитов. Tarantool Columnstore в реальном времени анализирует матрицы, в которых содержится более 100 000 вариантов кредитных предложений и дополнительных услуг.
Попробуйте высокую производительность и скорость — 1,6 млн. сканирований и 200 тыс. агрегаций в секунду на ядро, <200 микросекунд на запрос.
➡️ Оставить заявку
💻Работа с PostgreSQL: настройка и масштабирование — открытый учебник
Держите ценный контент — открытый учебник от А. Ю. Васильева aka leopard по Postgres.
Нереально полезно, здесь раскрывается множество важных моментов, связанных с этой СУБД
📎 PDF
@sqlhub
💻 Внутренности PostgreSQL: кэш системного каталога
Системный каталог, или просто каталог — это таблицы, в которых PostgreSQL хранит информацию обо всех остальных объектах, хранящихся в базе данных. К ним относятся таблицы, функции, триггеры, и т.д. Обращение к системному каталогу происходит часто, поэтому для него предусмотрен кэш. Давайте же разберемся, как этот кэш устроен.
Реализация кэша находится в следующих файлах:
⏩syscache.{c,h} — реализация основных функций кэша. Функции оперируют с Datum’ами и HeapTuple’ами;
⏩catcache.{c,h} — низкоуровневые функции, используемые syscache.c. Выделение и освобождение памяти реализовано здесь;
⏩lsyscache.{c,h} — высокоуровневая обертка над syscache.c. Содержит функции «получить имя отношения по его Oid» и подобного рода;
⏩inval.{c,h} — логика инвалидации кэша. Подробности см ниже по тексту;
⏩sinvaladt.{c,h} — реализация кольцевого буфера в разделяемой памяти, через который рассылаются сообщения об инвалидации кэшей;
⏩sinval.{c,h} — интерфейс коммуникации через sinvaladt.c. Содержит функции вроде «отправить / получить SharedInvalidationMessage»;
📎 Подробнее
@sqlhub
Считаешь себя экспертом в IT? Участвуй в «Цифровом марафоне» от Сбера и «Школы 21» и будь на код впереди! Миллион рублей уже ждёт тебя.
В этом масштабном конкурсе ты будешь соревноваться со специалистами по всей России. Тройка лучших поделит в финале в Москве призовой фонд в 1,8 миллионов рублей.
Но сначала нужно пройти онлайн-игру, тестирование и цифровой диктант. Начнёшь с «разминки» и покажешь свои аналитические и мягкие навыки. Далее — ответь на вопросы теста согласно своему уровню подготовки. Прослушай на диктанте техническое задание и напиши код решения.
Поспеши: 20 апреля — твой последний шанс нажать на кнопку «Хочу участвовать». Переходи на сайт и регистрируйся прямо сейчас!