sqlhub | Unsorted

Telegram-канал sqlhub - Data Science. SQL hub

36043

По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo

Subscribe to a channel

Data Science. SQL hub

🔥 ds-cheatsheet — репозиторий на Github с огромным количеством всевозможных шпаргалок по Data Science!

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Эта статья описывает лучшие практики работы с MongoDB в .NET. Автор объясняет, как настроить MongoDB в ASP.NET Core, регистрировать зависимости через DI-контейнер и работать с ID-шниками в MongoDB

🌟 Статья также включает примеры работы с коллекциями, демонстрирует использование Guid для идентификаторов и предлагает удобную организацию кода через класс MongoDbContext. В конце статьи даны рекомендации по сериализации данных и использовании camelCase для полей

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Полный перевод документации PostgreSQL на русский язык.

Здесь представлены эти переводы, оригинальная англоязычная документация PostgreSQL и документация к СУБД Postgres Pro в вариантах Standard и Enterprise.

📌 Скачать

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Шпаргалка по SQL JOINS!

🌟 Сохрани в избранное, чтобы не потерять!

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 ChatGPT попросили написать SQL запросы для базы данных магазина. Ответ убил

🌟 Кажется, ии медленно уничтожает человечество...

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 А что не вернет?

@sqlhub

Читать полностью…

Data Science. SQL hub

👣 Greenmask — это инструмент с открытым исходным кодом для маскировки данных, обфускации и логического резервного копирования баз данных PostgreSQL. Он предназначен для анонимизации конфиденциальной информации в дампах баз данных, что делает его полезным для подготовки данных к использованию в непродукционных средах, таких как разработка или тестирование

🔍 Основные возможности:

🌟 Маскирование и анонимизация данных: Обеспечивает защиту конфиденциальных данных при перемещении между различными средами

🌟 Детерминированные преобразователи: Используют хеш-функции для обеспечения повторяемости результатов

🌟 Кроссплатформенность

🌟 Отсутствие состояния и независимость от схемы: Не требует изменений в структуре базы данных и работает с утилитами PostgreSQL, такими как pg_dump и pg_restore

🌟 Параллельная обработка: Ускоряет процессы дампа и восстановления за счет параллельного выполнения задач

🔐 Лицензия: Apache-2.0

▪️Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Эта статья описывает, как создать документацию для базы данных с помощью инструмента DBdocs, используя язык DBML. Она демонстрирует, как автоматически генерировать документацию, что упрощает процесс документирования структуры базы данных

💡 В статье объясняется, как настроить DBML, создать документацию и делиться ею с командой для улучшения понимания структуры данных.

🔗 ссылка: *клик*

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Базы данных в деталях — полный курс! (2024)

💡 Узнайте все о базах данных в этом курсе, разработанном, чтобы помочь вам понять сложности архитектуры и оптимизации баз данных. От понимания базовых компонентов, таких как управление транзакциями и механизмы хранения, до освоения расширенных методов индексации и изучения внутренней работы SQLite, этот курс снабжает вас знаниями для эффективного управления и оптимизации систем данных

🕞 Продолжительность: 3:41:19

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

Data Science. SQL hub

⚡️ Marimo — это реактивный ноутбук на Python, который теперь поддерживает SQL.

Вот его основные возможности:

▪️Запуск одной ячейки приводит к автоматическому запуску всех зависимых ячеек.

▪️Вы можете запускать свои ноутбуки как скрипты Python, параметры которых задаются через аргументы командной строки.

▪️Встроенная поддержка SQL и удобная панель для работы с данными делают Marimo мощным инструментом для анализа информации.

▪️Ноутбуки Marimo сохраняются в формате .py, что позволяет легко управлять версиями через Git.

Важно отметить, что поддержка SQL была добавлена недавно. Это позволяет вам писать запросы и получать результаты в виде датафреймов.

pip install marimo && marimo tutorial intro

🔗 Ссылка

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Transact SQL для анализа данных!

💡 Язык Transact SQL является процедурным расширением языка SQL и используется в СУБД Microsoft SQL Server. В этой статье автор рассматривает использование некоторых элементов T-SQL для анализа данных

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Учебная программа SQL для дата-сайентистов

Эксперт с семилетним стажем в области дата-сайенс разработал пошаговую программу изучения SQL. Эта программа размещена в виде репозитория на GitHub и дополнена ссылками на обучающие материалы. Вот подробный план на шесть недель:

Неделя 1: Основы SQL
Узнаем, как извлекать данные из базы данных.

Неделя 2: GROUP BY
Рассмотрение группировки данных.

Неделя 3: Виды JOIN
Знакомство с различными типами соединений таблиц.

Неделя 4: Оконные функции
Изучение оконных функций для анализа данных.

Неделя 5: CTE и подзапросы
Понимание концепции временных таблиц и подзапросов.

Неделя 6: Собственный проект
Применение полученных знаний на практике через выполнение самостоятельного проекта.

Ссылки на все материалы доступны по следующей ссылке: Дорожная карта обучения SQL.

https://github.com/andresvourakis/free-6-week-sql-roadmap-data-science

@sqlhub

Читать полностью…

Data Science. SQL hub

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/python_job_interview
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/java_library
Базы данных: t.me/sqlhub
Linux: t.me/linuxacademiya
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/golang_interview
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc


💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Читать полностью…

Data Science. SQL hub

🖥 Курс по MySQL с использованием Python! (2024)

🌟 Небольшой курс для новичков по работе с БД MySQL через Python код!

🔗 Ссылка: *клик*

#курс #python #mysql

@sqlhub

Читать полностью…

Data Science. SQL hub

Как видеть состояние тысяч баз данных в одном окне и собирать с них метрики? Узнайте на бесплатном вебинаре от СберТеха.

СберТех проводит серию вебинаров о своих продуктах. Новое мероприятие посвящено тому, как сопровождать базы данных быстрее и удобнее. Разберемся в этом на примере обновленного продукта Platform V Kintsugi — это графическая консоль для управления и диагностики PostgreSQL-like СУБД.

Какие функции покажут:

— оперативный центр – единое окно мониторинга всех подключенных активов;
— отчеты pg_profile в интерфейсе продукта;
— расширенную ресурсно-логическую модель. Когда: 24 октября в 11:00.

Кому полезно: администраторы СУБД, разработчики БД, руководители и бизнес.

Рассказываем с техническими деталями, но просто и популярно.

Регистрация.

Читать полностью…

Data Science. SQL hub

🖥 Google использовал большую языковую модель для выявления уязвимости в SQLite

Исследователи из подразделений Google Project Zero и Google DeepMind опубликовали отчёт о развитии AI-системы Big Sleep, построенной на базе большой языковой модели Gemini 1.5 Pro и предназначенной для определения уязвимостей в исходном коде. Достижением проекта стало выявление с использованием Big Sleep первой пригодной для эксплуатации и ранее неизвестной уязвимости в существующем проекте. Уязвимость выявлена в результате проверки AI-системой кодовой базы СУБД SQLite и приводит к переполнению за нижнюю границу буфера в стеке (buffer underflow). Проблема обнаружена в недавно принятом коде и устранена до его попадания в финальный релиз SQLite 3.47.0.

Модель может использоваться как вспомогательный инструмент в областях, в которых требуется проведение трудозатратного ручного рецензирования, а также для организации автоматической проверки нового кода с целью выявления уязвимостей на ранних стадиях разработки (до попадания проблемного кода в финальные релизы). Предполагается, что развиваемая AI-модель позволит выявлять связанные с безопасностью проблемы в коде, которые проблематично определять путём fuzzing-тестирования.

Дополнительно можно отметить заявление генерального директора Google о том, что в настоящее время более четверти (25%) всего создаваемого в компании кода генерируется с использованием больших языковых моделей Gemini, после чего данный код рецензируется и принимается инженерами. Отмечается, что подобное применение AI позволило существенно ускорить процесс разработки продуктов.

https://googleprojectzero.blogspot.com/2024/10/from-naptime-to-big-sleep.html

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Как ускорить высокопараллельные вставки строк в SQL Server за считанные часы!

🌟 В этой статье автор столкнулся с серьезным замедлением при массовой загрузке данных в базу данных SQL Server. Причина кроется в том, что процесс добавления новых записей сталкивается с так называемыми "блокировками", которые замедляют всю операцию. Автор статьи предлагает несколько решений для оптимизации этого процесса и ускорения загрузки данных

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 50 вопросов с ответами с SQL собеседований!

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Использование PostrgreSQL для полнотекстового поиска в приложениях!

💡 Полнотекстовый поиск — это неотъемлемая часть современных приложений, особенно тех, которые работают с большими объемами текстовой информации, будь то блог-платформы, системы управления контентом или новостные агрегаторы. Какое бы приложение вы не разрабатывали, добавление возможностей полнотекстового поиска может значительно улучшить пользовательский опыт. В этой статье мы рассмотрим, какие основные возможности полнотекстового поиска предлагает PostgreSQL, какие преимущества это дает, и приведем примеры запросов

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

Data Science. SQL hub

❓ Какая разница между разными видами join?

🔹 (INNER) JOIN — возвращает строки, где значения совпадают в обеих таблицах.

🔹 LEFT (OUTER) JOIN — возвращает все строки из левой таблицы и те, что соответствуют условию из правой таблицы.

🔹 RIGHT (OUTER) JOIN — возвращает все строки из правой таблицы и те, что соответствуют условию из левой таблицы.

🔹 FULL (OUTER) JOIN — возвращает все строки, где есть совпадения в одной из таблиц.

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 EfCore.SchemaCompare — инструмент для сравнения схем баз данных Entity Framework Core (EF Core). Он позволяет проверять различия между базой данных и миграциями, обеспечивая удобный способ отслеживания изменений в схемах данных

🌟 Этот инструмент может быть полезен для управления версиями баз данных и предотвращения ошибок, связанных с несовпадением структуры данных при разработке приложений на EF Core

▪️GitHub

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 postgres-backup-local - это инструмент для создания резервных копий базы данных PostgreSQL в локальной файловой системе с автоматическим переключением между различными копиями.

Он позволяет делать резервные копии сразу нескольких баз данных с одного сервера, указывая их названия через запятую или пробел в переменной окружения POSTGRES_DB.

Также поддерживает выполнение вебхуков до и после выполнения задания, автоматически управляет ротацией и удалением устаревших копий. Инструмент работает под Docker и поддерживает архитектуры Linux: amd64, arm64, arm/v7, s390x, ppc64le.

🖥 GitHub: https://github.com/prodrigestivill/docker-postgres-backup-local

@sqlhub

Читать полностью…

Data Science. SQL hub

⚡️ Выпуск СУБД MySQL 9.1.0

Компания Oracle выпустила новую версию MySQL 9.1.0. Теперь сборки MySQL Community Server доступны для всех основных дистрибутивов Linux, FreeBSD, macOS и Windows. Благодаря новой модели выпуска версий, MySQL 9.1 относится к веткам "Innovation".

Эти ветки предназначены для раннего доступа к новым функциям и выпускаются каждые 3 месяца.

Их поддержка прекращается после выхода следующей значительной версии. Планируется выпуск LTS-версии летом следующего года, которая рекомендуется для стабильных внедрений.

После этого будет выпущена новая версия MySQL 10.0.

Что нового в MySQL 9.1?

- Добавлена поддержка IF NOT EXISTS в CREATE VIEW, предотвращая ошибки при создании представлений с существующими именами.

- Прекращена загрузка триггеров при операциях чтения, уменьшая потребление памяти и нагрузку на CPU. Триггеры теперь загружаются только при модификациях данных.

- Расширен вывод EXPLAIN, включающий информацию о многодиапазонном чтении и полуобъединении.
- Обеспечено атомарное выполнение операций CREATE DATABASE и DROP DATABASE для защиты от сбоев.

- В JavaScript-хранимых процедурах добавлен тип VECTOR для передачи данных между процедурами.

- Поддержка аутентификации через протокол OpenID Connect.

- Исправлено 27 уязвимостей, включая критическую CVE-2024-5535, вызванную чтением данных вне выделенного буфера в OpenSSL.

@sqlhub

Читать полностью…

Data Science. SQL hub

Разогреем эту осень на IT Talk by Sber в Омске! ⚡️

24 октября эксперты Сбера расскажут о сложных запросах в ClickHouse, импортозамещении технологических стеков и инструментах бизнес-аналитики.

Спикеры и темы:
✅ Григорий Пилипейко, Senior Data-инженер – «Clickhouse и сложные запросы»
✅ Светлана Ромашева, Senior Data-инженер – «Импортозамещение инструментов Business Intelligence на примере управленческой отчётности»
✅ Александр Ткаченко, руководитель направления – «Как мы делали Корпоративный Портал, а получилась WEB-платформа "СРЕДА" для разработчиков и бизнеса».

Митап будет интересен всем без исключения, а особенно инженерам данных, владельцам продуктов и DB-инженерам.
Если это ты, то регистрируйся здесь!💚

Читать полностью…

Data Science. SQL hub

🖥 Как Uber интегрировал SQL в свой чат

Блог Uber Engineering опубликовал статью о том, как компания внедрила функцию преобразования текста в SQL в своем чат-интерфейсе.

Эта функция включает в себя использование технологий NLP (natural language processing) для понимания запросов пользователей и последующего генерирования соответствующих SQL-запросов.

Uber добавил множество дополнительных функций, таких как автоматические подсказки таблиц и параметров, из которых пользователь может выбрать нужные данные для своего запроса. Эти улучшения делают процесс взаимодействия с базой данных через чат намного удобнее и проще.

Эта статья подчеркивает инновационный подход компании к улучшению пользовательского опыта и автоматизации рутинных процессов.

https://www.uber.com/en-DE/blog/query-gpt/

@sqlhub

Читать полностью…

Data Science. SQL hub

👩‍💻 Streamlit — бесплатный пакет Python для науки о данных и визуализации данных . В этом видео вы познаете базовые навыки запуска проекта Streamlit с интеграцией с MySQL!

💡 Вы узнаете, как создать панель инструментов веб-сайта аналитики с помощью Python и библиотеки Streamlit. В качестве примера будет использована база данных Excel для хранения данных и Streamlit для создания интерактивной панели, которая позволит визуализировать и исследовать данные!

🕞 Продолжительность: 1:29:42

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

Data Science. SQL hub

Большая шпаргалка по SQL — внутри ждёт всё, от основных команд до продвинутых фишек, вроде оконных функций.

— Основные команды SQL;
— SOL Joins;
— SQL Unions, Intersect, Except;
— Временные таблицы SQL, таблицы просмотра, CTE;
— Ранги SQL.

Сохраняйте себе, чтобы не потерять.

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥Полезная шппаргалка по проектированию реляционных баз данных

Реляционные базы данных представляют собой базы данных, которые используются для хранения и предоставления доступа к взаимосвязанным элементам информации. Реляционные базы данных основаны на реляционной модели — интуитивно понятном, наглядном табличном способе представления данных. Каждая строка, содержащая в таблице такой базы данных, представляет собой запись с уникальным идентификатором, который называют ключом. Столбцы таблицы имеют атрибуты данных, а каждая запись обычно содержит значение для каждого атрибута, что дает возможность легко устанавливать взаимосвязь между элементами данных.

Таблицы в такой базе данных также соотносятся друг с другом строго определенным образом. Реляционные базы данных используют целый комплекс инструментов, которые обеспечивают целостность данных, т. е. их точность, полноту и единообразие.

На картинке представлены ключевые моменты, которые следует знать о проектировании реляционных баз данных.

#азы #sql

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Уровни изоляции транзакций в базах данных

В различных системах очен важно обеспечить согласованность данных при параллельных транзакциях. Одним из ключевых механизмов, который помогает в этом, являются уровни изоляции транзакций. Они регулируют, как обрабатываются изменения в данных при параллельной работе транзакций, предотвращая возможные аномалии.

🔑 Что такое изоляция транзакций?

Изоляция транзакций указывает степень, до которой операции в одной транзакции изолированы от операций в других. Это предотвращает такие проблемы, как грязные чтения, неповторяемые чтения и фантомные записи, обеспечивая целостность данных.

🔒 Типы уровней изоляции:

📌 Read Uncommitted:
Самый низкий уровень изоляции.

Транзакции могут читать изменения, сделанные другими транзакциями, даже если они не были зафиксированы (грязные чтения). Быстро, но рискованно.

📌 Read Committed:
Видны только зафиксированные данные. Это исключает грязные чтения, но могут возникать неповторяемые чтения (данные меняются между двумя запросами).

📌 Repeatable Read:

Это уровень, что данные, прочитанные транзакцией, не могут быть изменены другой транзакцией до завершения первой. Однако возможны фантомные чтения (новые строки появляются при повторных запросах).

📌 Serializable:
Самый высокий уровень изоляции. Полностью изолирует транзакцию, предотвращая грязные, неповторяемые и фантомные чтения. Однако это существенно снижает производительность.

Каждый уровень предлагает компромисс между производительностью и консистентностью данных. Более высокий уровень изоляции снижает конкурентоспособность, тогда как более низкий увеличивает риск возникновения аномалий. Важно правильно подобрать уровень в зависимости от требований приложения.

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Создание высокопроизводительного RAG с использованием только PostgreSQL (полное руководство)!

🌟 Узнайте, как настроить PG Factor Scale для создания высокопроизводительных RAG для приложений ИИ с использованием Python. Изучите шаги по созданию собственной базы данных с открытым исходным кодом и ее использованию с ИИ!

🕞 Продолжительность: 35:42

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…
Subscribe to a channel