36043
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo
🔥 ds-cheatsheet — репозиторий на Github с огромным количеством всевозможных шпаргалок по Data Science!
🔐 Лицензия: MIT
🖥 Github
@sqlhub
🖥 Эта статья описывает лучшие практики работы с MongoDB в .NET. Автор объясняет, как настроить MongoDB в ASP.NET Core, регистрировать зависимости через DI-контейнер и работать с ID-шниками в MongoDB
🌟 Статья также включает примеры работы с коллекциями, демонстрирует использование Guid для идентификаторов и предлагает удобную организацию кода через класс MongoDbContext. В конце статьи даны рекомендации по сериализации данных и использовании camelCase для полей
🔗 Ссылка: *клик*
@sqlhub
🖥 Полный перевод документации PostgreSQL на русский язык.
Здесь представлены эти переводы, оригинальная англоязычная документация PostgreSQL и документация к СУБД Postgres Pro в вариантах Standard и Enterprise.
📌 Скачать
@sqlhub
🖥 Шпаргалка по SQL JOINS!
🌟 Сохрани в избранное, чтобы не потерять!
@sqlhub
🖥 ChatGPT попросили написать SQL запросы для базы данных магазина. Ответ убил
🌟 Кажется, ии медленно уничтожает человечество...
@sqlhub
👣 Greenmask — это инструмент с открытым исходным кодом для маскировки данных, обфускации и логического резервного копирования баз данных PostgreSQL. Он предназначен для анонимизации конфиденциальной информации в дампах баз данных, что делает его полезным для подготовки данных к использованию в непродукционных средах, таких как разработка или тестирование
🔍 Основные возможности:
🌟 Маскирование и анонимизация данных: Обеспечивает защиту конфиденциальных данных при перемещении между различными средами
🌟 Детерминированные преобразователи: Используют хеш-функции для обеспечения повторяемости результатов
🌟 Кроссплатформенность
🌟 Отсутствие состояния и независимость от схемы: Не требует изменений в структуре базы данных и работает с утилитами PostgreSQL, такими как pg_dump и pg_restore
🌟 Параллельная обработка: Ускоряет процессы дампа и восстановления за счет параллельного выполнения задач
🔐 Лицензия: Apache-2.0
▪️Github
@sqlhub
🖥 Эта статья описывает, как создать документацию для базы данных с помощью инструмента DBdocs, используя язык DBML. Она демонстрирует, как автоматически генерировать документацию, что упрощает процесс документирования структуры базы данных
💡 В статье объясняется, как настроить DBML, создать документацию и делиться ею с командой для улучшения понимания структуры данных.
🔗 ссылка: *клик*
@sqlhub
🖥 Базы данных в деталях — полный курс! (2024)
💡 Узнайте все о базах данных в этом курсе, разработанном, чтобы помочь вам понять сложности архитектуры и оптимизации баз данных. От понимания базовых компонентов, таких как управление транзакциями и механизмы хранения, до освоения расширенных методов индексации и изучения внутренней работы SQLite, этот курс снабжает вас знаниями для эффективного управления и оптимизации систем данных
🕞 Продолжительность: 3:41:19
🔗 Ссылка: *клик*
@sqlhub
⚡️ Marimo — это реактивный ноутбук на Python, который теперь поддерживает SQL.
Вот его основные возможности:
▪️Запуск одной ячейки приводит к автоматическому запуску всех зависимых ячеек.
▪️Вы можете запускать свои ноутбуки как скрипты Python, параметры которых задаются через аргументы командной строки.
▪️Встроенная поддержка SQL и удобная панель для работы с данными делают Marimo мощным инструментом для анализа информации.
▪️Ноутбуки Marimo сохраняются в формате .py, что позволяет легко управлять версиями через Git.
Важно отметить, что поддержка SQL была добавлена недавно. Это позволяет вам писать запросы и получать результаты в виде датафреймов.pip install marimo && marimo tutorial intro
🔗 Ссылка
@sqlhub
🖥 Transact SQL для анализа данных!
💡 Язык Transact SQL является процедурным расширением языка SQL и используется в СУБД Microsoft SQL Server. В этой статье автор рассматривает использование некоторых элементов T-SQL для анализа данных
🔗 Ссылка: *клик*
@sqlhub
🖥 Учебная программа SQL для дата-сайентистов
Эксперт с семилетним стажем в области дата-сайенс разработал пошаговую программу изучения SQL. Эта программа размещена в виде репозитория на GitHub и дополнена ссылками на обучающие материалы. Вот подробный план на шесть недель:
Неделя 1: Основы SQL
Узнаем, как извлекать данные из базы данных.
Неделя 2: GROUP BY
Рассмотрение группировки данных.
Неделя 3: Виды JOIN
Знакомство с различными типами соединений таблиц.
Неделя 4: Оконные функции
Изучение оконных функций для анализа данных.
Неделя 5: CTE и подзапросы
Понимание концепции временных таблиц и подзапросов.
Неделя 6: Собственный проект
Применение полученных знаний на практике через выполнение самостоятельного проекта.
Ссылки на все материалы доступны по следующей ссылке: Дорожная карта обучения SQL.
https://github.com/andresvourakis/free-6-week-sql-roadmap-data-science
@sqlhub
⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:
МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/python_job_interview
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/java_library
Базы данных: t.me/sqlhub
Linux: t.me/linuxacademiya
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/golang_interview
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno
🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy
🖥 Курс по MySQL с использованием Python! (2024)
🌟 Небольшой курс для новичков по работе с БД MySQL через Python код!
🔗 Ссылка: *клик*
#курс #python #mysql
@sqlhub
Как видеть состояние тысяч баз данных в одном окне и собирать с них метрики? Узнайте на бесплатном вебинаре от СберТеха.
СберТех проводит серию вебинаров о своих продуктах. Новое мероприятие посвящено тому, как сопровождать базы данных быстрее и удобнее. Разберемся в этом на примере обновленного продукта Platform V Kintsugi — это графическая консоль для управления и диагностики PostgreSQL-like СУБД.
Какие функции покажут:
— оперативный центр – единое окно мониторинга всех подключенных активов;
— отчеты pg_profile в интерфейсе продукта;
— расширенную ресурсно-логическую модель. Когда: 24 октября в 11:00.
Кому полезно: администраторы СУБД, разработчики БД, руководители и бизнес.
Рассказываем с техническими деталями, но просто и популярно.
Регистрация.
🖥 Google использовал большую языковую модель для выявления уязвимости в SQLite
Исследователи из подразделений Google Project Zero и Google DeepMind опубликовали отчёт о развитии AI-системы Big Sleep, построенной на базе большой языковой модели Gemini 1.5 Pro и предназначенной для определения уязвимостей в исходном коде. Достижением проекта стало выявление с использованием Big Sleep первой пригодной для эксплуатации и ранее неизвестной уязвимости в существующем проекте. Уязвимость выявлена в результате проверки AI-системой кодовой базы СУБД SQLite и приводит к переполнению за нижнюю границу буфера в стеке (buffer underflow). Проблема обнаружена в недавно принятом коде и устранена до его попадания в финальный релиз SQLite 3.47.0.
Модель может использоваться как вспомогательный инструмент в областях, в которых требуется проведение трудозатратного ручного рецензирования, а также для организации автоматической проверки нового кода с целью выявления уязвимостей на ранних стадиях разработки (до попадания проблемного кода в финальные релизы). Предполагается, что развиваемая AI-модель позволит выявлять связанные с безопасностью проблемы в коде, которые проблематично определять путём fuzzing-тестирования.
Дополнительно можно отметить заявление генерального директора Google о том, что в настоящее время более четверти (25%) всего создаваемого в компании кода генерируется с использованием больших языковых моделей Gemini, после чего данный код рецензируется и принимается инженерами. Отмечается, что подобное применение AI позволило существенно ускорить процесс разработки продуктов.
https://googleprojectzero.blogspot.com/2024/10/from-naptime-to-big-sleep.html
@sqlhub
🖥 Как ускорить высокопараллельные вставки строк в SQL Server за считанные часы!
🌟 В этой статье автор столкнулся с серьезным замедлением при массовой загрузке данных в базу данных SQL Server. Причина кроется в том, что процесс добавления новых записей сталкивается с так называемыми "блокировками", которые замедляют всю операцию. Автор статьи предлагает несколько решений для оптимизации этого процесса и ускорения загрузки данных
🔗 Ссылка: *клик*
@sqlhub
🖥 50 вопросов с ответами с SQL собеседований!
@sqlhub
🖥 Использование PostrgreSQL для полнотекстового поиска в приложениях!
💡 Полнотекстовый поиск — это неотъемлемая часть современных приложений, особенно тех, которые работают с большими объемами текстовой информации, будь то блог-платформы, системы управления контентом или новостные агрегаторы. Какое бы приложение вы не разрабатывали, добавление возможностей полнотекстового поиска может значительно улучшить пользовательский опыт. В этой статье мы рассмотрим, какие основные возможности полнотекстового поиска предлагает PostgreSQL, какие преимущества это дает, и приведем примеры запросов
🔗 Ссылка: *клик*
@sqlhub
❓ Какая разница между разными видами join?
🔹 (INNER) JOIN — возвращает строки, где значения совпадают в обеих таблицах.
🔹 LEFT (OUTER) JOIN — возвращает все строки из левой таблицы и те, что соответствуют условию из правой таблицы.
🔹 RIGHT (OUTER) JOIN — возвращает все строки из правой таблицы и те, что соответствуют условию из левой таблицы.
🔹 FULL (OUTER) JOIN — возвращает все строки, где есть совпадения в одной из таблиц.
@sqlhub
🖥 EfCore.SchemaCompare — инструмент для сравнения схем баз данных Entity Framework Core (EF Core). Он позволяет проверять различия между базой данных и миграциями, обеспечивая удобный способ отслеживания изменений в схемах данных
🌟 Этот инструмент может быть полезен для управления версиями баз данных и предотвращения ошибок, связанных с несовпадением структуры данных при разработке приложений на EF Core
▪️GitHub
@sqlhub
🖥 postgres-backup-local - это инструмент для создания резервных копий базы данных PostgreSQL в локальной файловой системе с автоматическим переключением между различными копиями.
Он позволяет делать резервные копии сразу нескольких баз данных с одного сервера, указывая их названия через запятую или пробел в переменной окружения POSTGRES_DB.
Также поддерживает выполнение вебхуков до и после выполнения задания, автоматически управляет ротацией и удалением устаревших копий. Инструмент работает под Docker и поддерживает архитектуры Linux: amd64, arm64, arm/v7, s390x, ppc64le.
🖥 GitHub: https://github.com/prodrigestivill/docker-postgres-backup-local
@sqlhub
⚡️ Выпуск СУБД MySQL 9.1.0
Компания Oracle выпустила новую версию MySQL 9.1.0. Теперь сборки MySQL Community Server доступны для всех основных дистрибутивов Linux, FreeBSD, macOS и Windows. Благодаря новой модели выпуска версий, MySQL 9.1 относится к веткам "Innovation".
Эти ветки предназначены для раннего доступа к новым функциям и выпускаются каждые 3 месяца.
Их поддержка прекращается после выхода следующей значительной версии. Планируется выпуск LTS-версии летом следующего года, которая рекомендуется для стабильных внедрений.
После этого будет выпущена новая версия MySQL 10.0.
Что нового в MySQL 9.1?
- Добавлена поддержка IF NOT EXISTS в CREATE VIEW, предотвращая ошибки при создании представлений с существующими именами.
- Прекращена загрузка триггеров при операциях чтения, уменьшая потребление памяти и нагрузку на CPU. Триггеры теперь загружаются только при модификациях данных.
- Расширен вывод EXPLAIN, включающий информацию о многодиапазонном чтении и полуобъединении.
- Обеспечено атомарное выполнение операций CREATE DATABASE и DROP DATABASE для защиты от сбоев.
- В JavaScript-хранимых процедурах добавлен тип VECTOR для передачи данных между процедурами.
- Поддержка аутентификации через протокол OpenID Connect.
- Исправлено 27 уязвимостей, включая критическую CVE-2024-5535, вызванную чтением данных вне выделенного буфера в OpenSSL.
@sqlhub
Разогреем эту осень на IT Talk by Sber в Омске! ⚡️
24 октября эксперты Сбера расскажут о сложных запросах в ClickHouse, импортозамещении технологических стеков и инструментах бизнес-аналитики.
Спикеры и темы:
✅ Григорий Пилипейко, Senior Data-инженер – «Clickhouse и сложные запросы»
✅ Светлана Ромашева, Senior Data-инженер – «Импортозамещение инструментов Business Intelligence на примере управленческой отчётности»
✅ Александр Ткаченко, руководитель направления – «Как мы делали Корпоративный Портал, а получилась WEB-платформа "СРЕДА" для разработчиков и бизнеса».
Митап будет интересен всем без исключения, а особенно инженерам данных, владельцам продуктов и DB-инженерам.
Если это ты, то регистрируйся здесь!💚
🖥 Как Uber интегрировал SQL в свой чат
Блог Uber Engineering опубликовал статью о том, как компания внедрила функцию преобразования текста в SQL в своем чат-интерфейсе.
Эта функция включает в себя использование технологий NLP (natural language processing) для понимания запросов пользователей и последующего генерирования соответствующих SQL-запросов.
Uber добавил множество дополнительных функций, таких как автоматические подсказки таблиц и параметров, из которых пользователь может выбрать нужные данные для своего запроса. Эти улучшения делают процесс взаимодействия с базой данных через чат намного удобнее и проще.
Эта статья подчеркивает инновационный подход компании к улучшению пользовательского опыта и автоматизации рутинных процессов.
https://www.uber.com/en-DE/blog/query-gpt/
@sqlhub
👩💻 Streamlit — бесплатный пакет Python для науки о данных и визуализации данных . В этом видео вы познаете базовые навыки запуска проекта Streamlit с интеграцией с MySQL!
💡 Вы узнаете, как создать панель инструментов веб-сайта аналитики с помощью Python и библиотеки Streamlit. В качестве примера будет использована база данных Excel для хранения данных и Streamlit для создания интерактивной панели, которая позволит визуализировать и исследовать данные!
🕞 Продолжительность: 1:29:42
🔗 Ссылка: *клик*
@sqlhub
Большая шпаргалка по SQL — внутри ждёт всё, от основных команд до продвинутых фишек, вроде оконных функций.
— Основные команды SQL;
— SOL Joins;
— SQL Unions, Intersect, Except;
— Временные таблицы SQL, таблицы просмотра, CTE;
— Ранги SQL.
Сохраняйте себе, чтобы не потерять.
@sqlhub
🖥Полезная шппаргалка по проектированию реляционных баз данных
Реляционные базы данных представляют собой базы данных, которые используются для хранения и предоставления доступа к взаимосвязанным элементам информации. Реляционные базы данных основаны на реляционной модели — интуитивно понятном, наглядном табличном способе представления данных. Каждая строка, содержащая в таблице такой базы данных, представляет собой запись с уникальным идентификатором, который называют ключом. Столбцы таблицы имеют атрибуты данных, а каждая запись обычно содержит значение для каждого атрибута, что дает возможность легко устанавливать взаимосвязь между элементами данных.
Таблицы в такой базе данных также соотносятся друг с другом строго определенным образом. Реляционные базы данных используют целый комплекс инструментов, которые обеспечивают целостность данных, т. е. их точность, полноту и единообразие.
На картинке представлены ключевые моменты, которые следует знать о проектировании реляционных баз данных.
#азы #sql
@sqlhub
🖥 Уровни изоляции транзакций в базах данных
В различных системах очен важно обеспечить согласованность данных при параллельных транзакциях. Одним из ключевых механизмов, который помогает в этом, являются уровни изоляции транзакций. Они регулируют, как обрабатываются изменения в данных при параллельной работе транзакций, предотвращая возможные аномалии.
🔑 Что такое изоляция транзакций?
Изоляция транзакций указывает степень, до которой операции в одной транзакции изолированы от операций в других. Это предотвращает такие проблемы, как грязные чтения, неповторяемые чтения и фантомные записи, обеспечивая целостность данных.
🔒 Типы уровней изоляции:
📌 Read Uncommitted:
Самый низкий уровень изоляции.
Транзакции могут читать изменения, сделанные другими транзакциями, даже если они не были зафиксированы (грязные чтения). Быстро, но рискованно.
📌 Read Committed:
Видны только зафиксированные данные. Это исключает грязные чтения, но могут возникать неповторяемые чтения (данные меняются между двумя запросами).
📌 Repeatable Read:
Это уровень, что данные, прочитанные транзакцией, не могут быть изменены другой транзакцией до завершения первой. Однако возможны фантомные чтения (новые строки появляются при повторных запросах).
📌 Serializable:
Самый высокий уровень изоляции. Полностью изолирует транзакцию, предотвращая грязные, неповторяемые и фантомные чтения. Однако это существенно снижает производительность.
Каждый уровень предлагает компромисс между производительностью и консистентностью данных. Более высокий уровень изоляции снижает конкурентоспособность, тогда как более низкий увеличивает риск возникновения аномалий. Важно правильно подобрать уровень в зависимости от требований приложения.
@sqlhub
🖥 Создание высокопроизводительного RAG с использованием только PostgreSQL (полное руководство)!
🌟 Узнайте, как настроить PG Factor Scale для создания высокопроизводительных RAG для приложений ИИ с использованием Python. Изучите шаги по созданию собственной базы данных с открытым исходным кодом и ее использованию с ИИ!
🕞 Продолжительность: 35:42
🔗 Ссылка: *клик*
@sqlhub