Data Science. SQL hub

22 January 2024 10:02

🔝SQLite: от мобильных устройств и операционных систем до популярных браузеров и различных языков программирования

Почему SQLite столь популярны?

SQLite — это легкая встраиваемая СУБД, когда система управления встраивается в саму программу. Это значит, что все запросы и команды идут в базу не через посредника, а напрямую из приложения.

Все данные в SQLite хранятся в одном файле — таблицы, служебные поля, связи и всё остальное. Это упрощает работу с базой и позволяет легко переносить данные из одного места в другое.

@sqlhub

Data Science. SQL hub

21 January 2024 10:21

🔥Подборка лучших обучающих каналов для программистов.

➡️Делитесь с коллегами и Сохраняйте себе, чтобы не потерять

⚡Машинное обучение

Machine Learning - полезные статьи новости гайды и разбор кода
Ml Собеседование - подготовка к собеседовению мл, алгоритмам, кодингу
Ml ru - актуальные статьи, новости, код и обучающие материалы
Ml Jobs - вакансии ML
ML Книги - актуальные бесплатные книги МО
ML чат

🛢Базы данных
Sql базы данных
Библиотека баз данных
SQL чат

🏆 Golang

Golang собеседование
Golang вакансии
Golang книги
Golang задачи и тесты
Golang чат
Golang news - новости go
Golang

#️⃣C#

С# академия
С# заметки — код, лучшие практики, заметки программиста c#
С# задачи и тесты
С# библиотека - актуальные бесплатные книги
C# вакансии - работа

🚀 Data Science

Анализ данных - полезные фишки, код, гайды и советы, маст-хэв датасаентиста
Data Jobs - ds вакансии
Аналитик данных
Data Science книги - актуальные бесплатные книги
Big data
🐍 Python

Python/django
Python Собеседование - подготовка к собеседовению python и разбор алгоритмов
Pro python - статьи, новости, код и обучающие материалы
Python Jobs - вакансии Python
Python чат
Python книги

☕ Java

Java академия
Java вакансии
Java чат
Java вопросы с собеседований
Java книги

💻 C++

C++ академия
С++ книги
C++ задачи - подготовка к собеседовению мл, алгоритмам
C++ вакансии

💥 Хакинг Kali Linux

Kali linux
linux_kal - kali чат
Информационная безопасность

🐧 Linux

Linux academy

🦀 Rust
Rust программирование
Rust чат

📲 Мобильная разработка
Android разработка
Мобильный разработчик гайды и уроки

🖥 Javascript/React/PHP
Javascript академия
React программирование
PHP
Книги frontend
Задачи frontend

🇬🇧 Английский для программистов

🧠 Искусственный интеллект
ИИ и технологии
Neural - нейросети для работы и жизни
Книги ИИ
Artificial Intelligence

🔥 DevOPs
Devops для программистов
Книги Devops

🌟 Docker/Kubernets
Docker
Kubernets

😂 IT мемы

📓 Книги
Библиотеки Книг для программситов

💼 Папка с вакансиями:
Папка Go разработчика:
Папка Python разработчика:
Папка Data Science
Папка Java разработчика
Папка C#

Data Science. SQL hub

18 January 2024 11:02

🖥 Join-операции в MySQL — инструмент оптимизации поиска данных

Извлечение данных из нескольких таблиц — важнейший навык в области управления базами данных.

Одним из мощных инструментов, находящимся в нашем распоряжении, является join (джоин, т. е. соединение). В этой статье рассмотрим концепции, лежащие в основе join-операций, и изучим стратегии эффективного извлечения данных.

Сосредоточимся на MySQL — одной из самых популярных систем управления реляционными базами данных.

▪Читать

@sqlhub

Data Science. SQL hub

16 January 2024 11:20

🖥 Проект инженерии данных с DAG Airflow «от и до». Часть 1

Сделаем конвейер данных, целиком оркестрируемый в Airflow. Сначала создадим тему Kafka, затем отправим сообщения, в которых в качестве записей содержатся электронная почта и одноразовый пароль OTP. Таким образом проиллюстрируем потоковую передачу данных в тему Kafka.

Далее получим эти данные из темы Kafka, вставим их в таблицу Cassandra и в коллекцию MongoDB и проверим наличие в них корректных данных.

Если таковые имеются, отправим письмо на электронную почту и сообщение в Slack с адресом почты и одноразовым паролем OTP.

Это реальный проект валидации электронной почты. Отправку в тему Kafka потоковых записей, включая данные электронной почты и одноразового пароля OTP, проиллюстрируем с отправителем Kafka. Наличие почты и пароля определим с помощью получателя Kafka и проверки данных.

▪Читать

@sqlhub

Data Science. SQL hub

14 January 2024 07:46

⚡️ Для чего использовать Redis?

Redis - это отличный инструмент, он надежен и прост в использовании (при правильном использовании).

Вот 5 примеров использования Redis:

1. Кэширование

Самый распространенный вариант использования Redis для кэшированя. Это помогает защитить базу данных от перегрузки. Redis обеспечивает быстрый поиск кэшированных данных и может помочь повысить производительность приложения.

2. Хранение сессий

Redis подходит для обмена данными пользовательских сессий между серверами без статических данных. Redis предоставляет централизованное место для хранения данных сеансов и позволяет легко масштабировать серверы.

3. Распределенная блокировка

Импользование- распределенной блокировки Redis для предоставления взаимоисключающего доступа к общим ресурсам. Это предотвращает возникновение ситуаций гонки в распределенных системах. Блокировки Redis просты в реализации и автоматически истекают.

4. Счетчик и ограничитель скорости

Redis подходит для отслеживания количества лайков, просмотров и т. д. в приложениях для социальных сетей. Счетчики Redis обеспечивают атомарное увеличение/уменьшение. Redis также используется для ограничения скорости на эндпоинтах API.

5. Таблицы лидеров (Лидерборды)

Отсортированные данные позволяют легко реализовать в Redis таблицы Лидерборды. Мы можем добавлять, обновлять или удалять пользователей из таблицы лидеров и эффективно запрашивать данные для них.

📌 Примеры с кодом

@sqlhub

Data Science. SQL hub

11 January 2024 08:56

🖥 Начинается новая волна атак Mimic ransomware на серверы SQL-баз данных в трех континентах

В серии кибератак, о которых сообщает BleepingComputer, несколько неправильно настроенных серверов баз данных Microsoft SQL стали жертвами организованной хакерской операции. Эта масштабная кампания успешно нацелилась на серверы в Соединенных Штатах, Латинской Америке и Европейском союзе, заражая их известным шифровальщиком Mimic ransomware, часто называемым N3ww4v3.

Злоумышленники в киберпреступных делах все более совершенствуются, и эта атака, получившая название RE#TURGENCE (Возрождение), подчеркивает постоянную необходимость надежных мер кибербезопасности как на индивидуальном, так и на корпоративном уровне. Взламывая неправильно настроенные серверы, хакеры получают доступ к конфиденциальным данным и шифруют их с помощью практически непроницаемого шифровальщика.

Негативные последствия этой атаки выходят за рамки региональных границ, что подчеркивает глобальный характер киберпреступности. Поскольку бизнесы и отдельные лица все больше полагаются на системы баз данных для хранения и обработки больших объемов информации, становится критически важным укрепление этих систем от потенциальных угроз.

Ушли те времена, когда достаточно было простых межсетевых экранов и антивирусного программного обеспечения для защиты от кибератак. Современные угрозы требуют многопланового подхода, включающего применение передовых мер безопасности, таких как системы обнаружения вторжений, сегментация данных, контроль доступа и регулярные обновления программного обеспечения. Внедрение этих комплексных протоколов безопасности может значительно снизить риск стать жертвой злонамеренных действующих лиц, стремящихся использовать уязвимости.

Последствия попадания в зону риска кибератак с шифрованием данных могут быть серьезными и включать продолжительное простояние, финансовые потери и ущерб репутации. Чтобы снизить эти риски, бизнесам следует приоритезировать инвестиции в кибербезопасность, формировать культуру осведомленности и готовности. Оставаясь бдительными, старательно следуя за состоянием системы и незамедлительно устраняя возможные уязвимости безопасности, организации могут сохранить ценную информацию и поддерживать операционную устойчивость.

Борьба против киберпреступности – это непрекращающийся бой, требующий постоянной адаптации к новым угрозам. Как показывают атаки Mimic ransomware, поддержание актуальных практик безопасности и регулярная оценка уязвимостей систем ключевы для оставания впереди киберпреступников. В этом цифровом веке, где важная информация находится у нас под рукой, защита наших баз данных от усовершенствованных атак является главным условием сохранения нашей безопасности и продолжения прогресса.

🔎 Новость

@sqlhub

Data Science. SQL hub

08 January 2024 08:52

🖥 DBChaos

Проведите стресс-тестирование своей базе данных с помощью заранее заданных запросов.

Библиотека поможет найти медленные и неэффективные запросы, которые мешают работе.

go install github.com/adaptive-scale/dbchaos@v0.4.1

▪Github

@sqlhub

Data Science. SQL hub

05 January 2024 08:02

🖥 SQL дорожная карта 2024 года

Читать

@sqlhub

Data Science. SQL hub

03 January 2024 09:38

📚 Книга SQL Notes for Professionals

@sqlhub

Data Science. SQL hub

29 December 2023 08:01

🦆 Загрузка набора данных на сервер базы данных перед загрузкой его в pandas датафрейм обычно требуется для работы pandas.

duckdb устраняет этот шаг, позволяя выполнять эффективные SQL-операции непосредственно над pandas DataFrame.

@sqlhub

Data Science. SQL hub

27 December 2023 10:03

🖥 Реальный вопрос c собеседования Microsoft SQL:

"Какой клиент Azure из базы покупателей, приоьретает хотя бы 1 продукт Azure из каждой категории продуктов?"

❕ Подсказки:
- Объединить таблицы с помощью LEFT JOIN
- Подсчитайть разные категории продуктов с помощью COUNT и DISTINCT.

Доп задание: напишие код с использованием Pandas для решения задачи.

Протестировать свой SQL-запрос и посмотреть таблицы можно здесь: https://datalemur.com/questions/supercloud-customer

Пишите свое решение в комментариях👇

@sqlhub

Data Science. SQL hub

25 December 2023 12:03

🖥 csvs-to-sqlite

Чтобы преобразовать файлы CSV в базу данных SQLite для эффективной работы с данными и их хранения, попробуйте csvs-to-sqlite.

https://github.com/simonw/csvs-to-sqlite

@sqlhub

Data Science. SQL hub

23 December 2023 08:53

🔥 Дайджест полезных материалов из мира SQL за неделю

Почитать:
— Как создать сервис по оценке транспортной доступности новостроек при горящих дедлайнах
— Полный отчет Github за 2023 о состоянии проектов.
— 100 вопросов для подготовки к собесу Python
— PostgreSQL: вернуть место после delete
— 9 вопросов для собеседования по SQL в Apple
— PostgreSQL 17: Часть 3 или Коммитфест 2023-11
— SQL HowTo: итоги по строкам и столбцам «в одно действие»
— Победа над ORM путем кодогенерации
— Курс «PostgreSQL для начинающих»: #2 — Простые SELECT
— Nota, Typst и Evidence. Языки программирования для генерации документов
— A Guide to Sargable Queries
— Understanding PostgreSQL and MongoDB Databases: Know When to Use Each
— MySQL: Everything You Need To Know
— Database Monitoring Metrics: Key Indicators for Performance Analysis
— SQL Cheat Sheet: A Comprehensive Guide to SQL Commands and Queries
— Surrogate Key vs Primary Key: What's the Difference?
— Discord economy bot using python
— The Top 10 GitHub Repositories Making Waves 🌊📊
— `OR` Filter on Two Tables, and Batched Nested Loops
— AI in 2024: Art Thrives, Open-Source Battles GPT

Посмотреть:
🌐 Azure OpenAI and copilot meet Azure SQL | Data Exposed
🌐 100 вопросов с собеседований Python. Полный разбор реальных вопросов. (⏱ 34:27)
🌐 💡Задача #Python:Комбинация сумм II #python #программирование #код #yotube #youtube #пито (⏱ 00:54)
🌐 💡Крутая задача #Python: #python #программирование #код #yotube #youtube #питон (⏱ 00:49)
🌐 Mixtral 8x7B - новый ИИ. Нейросети, которые ДОМИНИРУЮТ на другими моделями (⏱ 08:04)
Хорошего дня!

@sqlhub

Data Science. SQL hub

22 December 2023 09:02

🖥 100 вопросов для подготовки к собесу Python

https://habr.com/ru/articles/782266/

@sqlhub

Data Science. SQL hub

19 December 2023 12:02

⚡️ MySQL vs MongoDB

@sqlhub

Data Science. SQL hub

21 January 2024 12:22

🖥 Совет SQL

Вы можете использовать CASE для выполнения логики IF-THEN вместе с WHERE, например:

WHERE CASE
WHEN pct_correct >= 70 THEN 'Merit'
WHEN pct_correct >= 50 THEN 'Pass'
ELSE 'Fail'
END <> 'Fail'

#sql #oracle

▪ Подробнее

@sqlhub

Data Science. SQL hub

19 January 2024 11:20

🖥 Преобразование документов #XML в строки и столбцы в Oracle #SQL с помощью

XMLTABLE ( '/path/to/elements' PASSING <xml> COLUMNS ... )

Команда генерирует строку для каждого элемента, на который ссылается путь.

COLUMNS определяет путь к элементам и атрибутам, находящимся в этом пункте.

@sqlhub

Data Science. SQL hub

17 January 2024 14:02

🖥 Сравнение векторных БД

Это очень удобный сайт с полезной информацией для сравнения векторных баз данных.

Вся информация собрана в одном месте, доступна для поиска, и вы можете добавить фильтры по интересующим вас параметрам.

Очень полная и очень полезная информация!

https://vdbs.superlinked.com/

@sqlhub

Data Science. SQL hub

15 January 2024 12:48

🖥 NaturalQuery-6.7B-v0.1

NaturalQuery - это LLM, который может переводить запросы на естественном языке в SQL на основе вашей схемы.

NaturalQuery-v0.1 отлажен на 8k парах "текст запрос PostgreSQL <>".


Убедитесь, что у вас установлена правильная версия библиотеки transformers:

pip install transformers==4.35.2

Загрузка модели
Используйте следующий код Python для загрузки модели:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("cfahlgren1/NaturalSQL-6.7B-v0")
model = AutoModelForCausalLM.from_pretrained(
"cfahlgren1/NaturalSQL-6.7B-v0",
device_map="auto",

torch_dtype=torch.float16,
)

Генерация текста
Чтобы сгенерировать текст, используйте следующий код на Python.

messages=[
{ 'role': 'user', 'content': prompt}
]

inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)

# 32023 is the id of <|EOT|> token
outputs = model.generate(inputs, max_new_tokens=512, do_sample=False, top_k=50, top_p=0.95, num_return_sequences=1, eos_token_id=32023)

print(tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True))

▪Подробнее

@sqlhub

Data Science. SQL hub

11 January 2024 10:03

🖥 Pandas vs Polars vs SQL

@sqlhub

Data Science. SQL hub

09 January 2024 12:03

🖥 В PySpark параметризованные запросы позволяют повторно использовать одну и ту же структуру запроса с разными входными данными, не переписывая SQL.

Кроме того, они защищают от атак SQL-инъекций, поскольку рассматривают входные данные как параметры, а не как исполняемый код.

#ApacheSpark

Data Science. SQL hub

07 January 2024 11:02

@sqlhub

Data Science. SQL hub

04 January 2024 11:02

🖥 Complete-Advanced-SQL-Series

Этот репозиторий содержит все, что вам нужно, чтобы прокачать свои навыки работы с #SQL.

Более 100 упражнений и примеров по SQL.

▪Github

@sqlhub

Data Science. SQL hub

30 December 2023 09:36

🔥 Дайджест полезных материалов из мира SQL за неделю

Почитать:
— 100 вопросов для подготовки к собесу Data Science
— Немного про OR в SQL запросах
— Вот так я изучаю ML
— Версионная миграция структуры базы данных через PHP атрибуты
— Миграции в YDB с помощью «goose»
— Использование Postgres-триггеров для исторических таблиц
— Введение в SQL & СУБД на примере доступа к данным через Python
— PostgreSQL в «Тензоре» — публикации за год (#4)
— Version up test for Aurora MySQL 2 EOL with SQL test tool
— ORDER BY x LIMIT y Gotcha
— Summary of results
— Finding the best SQL query for the task.
— How Modern SQL Databases Are Changing Web Development - #4 Into the AI Era
— Mastering SQL Transactions: The Power of COMMIT and ROLLBACK in Database Management
— Reading Postgres Execution Plans doesn't have to be so complicated
— SQL vs NoSQL Databases: Which is Better?
— Unlock Complex Time Series Analysis in SQL with Range Queries
— The Syntax of Discreteness - Using SQL as an Example
— Десять самых ярких ИИ-работ от NVIDIA Research за 2023 год

Посмотреть:
🌐 100 вопросов с собеседований Data Science — часть 1 (⏱ 36:48)
🌐 💡Топ задача #Python: Бинарный поиск #python #программирование #код #yotube #питон #собеседование (⏱ 00:41)
🌐 💡 Задача: Ряд клавиатуры #Python #yotube #код #алгоритмы #программирование #собеседование #кодинг (⏱ 00:40)
🌐 💡 Задача: Ряд клавиатуры #Python #yotube #код #алгоритмы #программирование #собеседование #кодинг (⏱ 01:00)

Хорошего дня!

@sqlhub

Data Science. SQL hub

28 December 2023 16:40

⚡️ 100 вопросов с собеседований Data Science

Habr: https://habr.com/ru/articles/783766/

Видео: https://www.youtube.com/watch?v=6Pk4OgdNxXQ

@pythonl

Data Science. SQL hub

26 December 2023 07:56

@sqlhub

Data Science. SQL hub

24 December 2023 12:02

🖥 Python и базы данных

1. Python+SQL работа с базами данных
2. Python анализ данных с Pandas. PandaSQL
3. Python анализ данных с Pandas. Join, merge, concat в Pandas
4. Python+SQL часть 2, создание таблиц
5. Python+SQL. Операции с записями
6. Устраиваемся на работу. Решаем тестовое задание на позицию Python Junior

#video #python #sql

https://youtube.com/watch?v=Q7FtqwF5GDw&amp;list=PLysMDSbb9HcxdvtQSkYoO7xaF3SvGUD8n

@sqlhub

Data Science. SQL hub

22 December 2023 09:12

🖥 Google почти всегда задает вопросы по SQL во время собеседований на вакансии Data Analytics, Data Science и Data Engineering.

Поэтому, если вы готовитесь к собеседованию по SQL, решите эти 11 РЕАЛЬНЫХ вопросов для собеседования Google по SQL.

https://datalemur.com/blog/google-sql-interview-questions

@sqlhub

Data Science. SQL hub

21 December 2023 12:31

SQL: комплексный анализ оттока клиентов

Постановка задачи
В конкурентной телекоммуникационной сфере восприятие компании в целом формируется критической оценкой ее услуг клиентами. Сбои в работе чреваты ростом обеспокоенности, поэтому так важен анализ оттока.

Уровнем оттока характеризуется потеря клиентов, а это сказывается на доходах.

На выводы анализа опираются при разработке стратегий, сегментном таргетировании, совершенствовании обслуживания для роста доверия и удовлетворенности клиентов.

Что такое «отток клиентов»?
Отток, или оборот клиентов, называемый также оттоком покупателей, — это явление, при котором клиенты или подписчики прекращают сотрудничать с компанией или пользоваться ее продуктами/услугами. Оно случается, когда привлеченные ее деятельностью или предложениями клиенты решают отказаться от дальнейших отношений или покупок.

Возможные причины: предложения конкурентов, цена, неудовлетворенность продуктом или услугой, недостаточная их ценность в глазах покупателя, личные обстоятельства.

Очистка данных
Определение общего количества клиентов

SELECT DISTINCT COUNT(CUSTOMER_ID) AS TOTALCUSTOMERS FROM CHURNDATA;

То есть выбираем из churndata отдельный счетчик count(customer_id) по общему числу клиентов TotalCustomers:

📌Продолжение

@sqlhub

Data Science. SQL hub

19 December 2023 10:01

Что такое логирование и с чем его едят разработчики?

Расскажет Кирилл Мухин на бесплатном открытом уроке «Система логирования в PostgreSQL» от OTUS

Логирование помогает разработчикам лучше понимать работу своего приложения, улучшать его качество и обеспечивать безопасность и производительность. На вебинаре рассмотрим различные способы реализации логирования запросов и хранимых процедур стандартным средствами, а также расширениями PopstgreSQL

📅 Встречаемся 27 декабря в 20:00 мск в рамках курса «PostgreSQL для администраторов баз данных и разработчиков»

Для участия и получения записи регистрируйтесь прямо сейчас: https://otus.pw/XHBt/?erid=LjN8JtGVF

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963