2844
По всем вопросам- @haarrp @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚
🖥 Как Uber интегрировал SQL в свой чат
Блог Uber Engineering опубликовал статью о том, как компания внедрила функцию преобразования текста в SQL в своем чат-интерфейсе.
Эта функция включает в себя использование технологий NLP (natural language processing) для понимания запросов пользователей и последующего генерирования соответствующих SQL-запросов.
Uber добавил множество дополнительных функций, таких как автоматические подсказки таблиц и параметров, из которых пользователь может выбрать нужные данные для своего запроса. Эти улучшения делают процесс взаимодействия с базой данных через чат намного удобнее и проще.
Эта статья подчеркивает инновационный подход компании к улучшению пользовательского опыта и автоматизации рутинных процессов.
https://www.uber.com/en-DE/blog/query-gpt/
@sqlhub
🖥 Transact SQL для анализа данных!
💡 Язык Transact SQL является процедурным расширением языка SQL и используется в СУБД Microsoft SQL Server. В этой статье автор рассматривает использование некоторых элементов T-SQL для анализа данных
🔗 Ссылка: *клик*
@sqlhub
👩💻 Streamlit — бесплатный пакет Python для науки о данных и визуализации данных . В этом видео вы познаете базовые навыки запуска проекта Streamlit с интеграцией с MySQL!
💡 Вы узнаете, как создать панель инструментов веб-сайта аналитики с помощью Python и библиотеки Streamlit. В качестве примера будет использована база данных Excel для хранения данных и Streamlit для создания интерактивной панели, которая позволит визуализировать и исследовать данные!
🕞 Продолжительность: 1:29:42
🔗 Ссылка: *клик*
@sqlhub
Любая крупная БД рано или поздно начинает испытывать проблемы с производительностью.
Причина проблем может крыться в медленной работе запросов. Неоптимизированные запросы влияют на скорость выполнения различных задач, потребляют много ресурсов и усложняют доступ к данным.
Как же их отслеживать и оптимизировать?
Узнаете на открытом вебинаре «Как оптимизировать производительность запросов в PostgreSQL?»
Вы узнаете:
- как оптимизация запросов влияет на скорость обработки данных
- что влияет на производительность запросов
- как правильно использовать индексы для повышения производительности
- как выявлять медленные запросы с помощью инструментов мониторинга
Будет интересно: аналитикам, инженерам и разработчикам БД, бэкенд-специалистам, тимлидам и проект-менеджерам.
Спикер: Алексей Железной, преподаватель OTUS и старший инженер данных.
Бонус! Всем участникам – скидка 5% на любой курс OTUS и полезные гайды.
16 октября, 18:30 МСК
Бесплатно
Записаться на событие - https://otus.pw/4FYrz/?erid=LjN8K81jH
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
Большая шпаргалка по SQL — внутри ждёт всё, от основных команд до продвинутых фишек, вроде оконных функций.
— Основные команды SQL;
— SOL Joins;
— SQL Unions, Intersect, Except;
— Временные таблицы SQL, таблицы просмотра, CTE;
— Ранги SQL.
Сохраняйте себе, чтобы не потерять.
@sqlhub
🖥Полезная шппаргалка по проектированию реляционных баз данных
Реляционные базы данных представляют собой базы данных, которые используются для хранения и предоставления доступа к взаимосвязанным элементам информации. Реляционные базы данных основаны на реляционной модели — интуитивно понятном, наглядном табличном способе представления данных. Каждая строка, содержащая в таблице такой базы данных, представляет собой запись с уникальным идентификатором, который называют ключом. Столбцы таблицы имеют атрибуты данных, а каждая запись обычно содержит значение для каждого атрибута, что дает возможность легко устанавливать взаимосвязь между элементами данных.
Таблицы в такой базе данных также соотносятся друг с другом строго определенным образом. Реляционные базы данных используют целый комплекс инструментов, которые обеспечивают целостность данных, т. е. их точность, полноту и единообразие.
На картинке представлены ключевые моменты, которые следует знать о проектировании реляционных баз данных.
#азы #sql
@sqlhub
🖥 Уровни изоляции транзакций в базах данных
В различных системах очен важно обеспечить согласованность данных при параллельных транзакциях. Одним из ключевых механизмов, который помогает в этом, являются уровни изоляции транзакций. Они регулируют, как обрабатываются изменения в данных при параллельной работе транзакций, предотвращая возможные аномалии.
🔑 Что такое изоляция транзакций?
Изоляция транзакций указывает степень, до которой операции в одной транзакции изолированы от операций в других. Это предотвращает такие проблемы, как грязные чтения, неповторяемые чтения и фантомные записи, обеспечивая целостность данных.
🔒 Типы уровней изоляции:
📌 Read Uncommitted:
Самый низкий уровень изоляции.
Транзакции могут читать изменения, сделанные другими транзакциями, даже если они не были зафиксированы (грязные чтения). Быстро, но рискованно.
📌 Read Committed:
Видны только зафиксированные данные. Это исключает грязные чтения, но могут возникать неповторяемые чтения (данные меняются между двумя запросами).
📌 Repeatable Read:
Это уровень, что данные, прочитанные транзакцией, не могут быть изменены другой транзакцией до завершения первой. Однако возможны фантомные чтения (новые строки появляются при повторных запросах).
📌 Serializable:
Самый высокий уровень изоляции. Полностью изолирует транзакцию, предотвращая грязные, неповторяемые и фантомные чтения. Однако это существенно снижает производительность.
Каждый уровень предлагает компромисс между производительностью и консистентностью данных. Более высокий уровень изоляции снижает конкурентоспособность, тогда как более низкий увеличивает риск возникновения аномалий. Важно правильно подобрать уровень в зависимости от требований приложения.
@sqlhub
🖥 Создание высокопроизводительного RAG с использованием только PostgreSQL (полное руководство)!
🌟 Узнайте, как настроить PG Factor Scale для создания высокопроизводительных RAG для приложений ИИ с использованием Python. Изучите шаги по созданию собственной базы данных с открытым исходным кодом и ее использованию с ИИ!
🕞 Продолжительность: 35:42
🔗 Ссылка: *клик*
@sqlhub
💫 StarbaseDB
Мощная опенсорс база данных HTTP SQLite с открытым исходным кодом, масштабируемая до нуля и построенная на базе в Cloudflare.
▪ Язык: Typescript
⚡ Особенности
- Эндпоинты HTTPS для взаимодействия с вашей базой данных
- Поддержка транзакций для взаимодействия с базой данных ACID
- Вычисления с нулевым масштабированием
▪ Github
@sqlhub
🖥 Довольно сложная задача по SQL: Анализ продаж с использованием оконных функций и вложенных подзапросов
🌟 Допустим, у вас есть следующие таблицы с данными о продажах и товарах:
CREATE TABLE sales (
sale_id INT PRIMARY KEY,
product_id INT,
sale_date DATE,
sale_amount INT
);
CREATE TABLE products (
product_id INT PRIMARY KEY,
category VARCHAR(50),
price DECIMAL(10, 2)
);
WITH MonthlySales AS (
SELECT
DATE_FORMAT(sale_date, '%Y-%m') AS sale_month,
p.category,
SUM(sale_amount) AS total_sales
FROM sales s
JOIN products p ON s.product_id = p.product_id
GROUP BY DATE_FORMAT(sale_date, '%Y-%m'), p.category
),
RankedCategories AS (
SELECT
sale_month,
category,
total_sales,
ROW_NUMBER() OVER (PARTITION BY sale_month ORDER BY total_sales DESC) AS sales_rank
FROM MonthlySales
),
PopularCategories AS (
SELECT
sale_month,
category,
total_sales
FROM RankedCategories
WHERE sales_rank = 1
),
CategoryWithDifference AS (
SELECT
sale_month,
category,
total_sales,
LAG(total_sales, 1) OVER (PARTITION BY category ORDER BY sale_month) AS previous_sales
FROM PopularCategories
)
SELECT
sale_month,
category,
total_sales,
total_sales - previous_sales AS difference
FROM CategoryWithDifference
ORDER BY sale_month;
Я бы добавила, что where выполняется при отборе данных, а having уже после отбора данных для запроса, то есть having выполнится уже прям перед select.
Читать полностью…
🖥 sqlpd.com — онлайн игра, в которой нужно раскрывать преступления, используя язык SQL
🔗 Ссылка: *клик*
@sqlhub
создать доп. колонку в которой будет храниться ID двух пользователей, для пользователей 1 и 2 (2 и 1) = '1_2' для пользователей 1 и 3 (3 и 1) = '1_3' типа того... (об этом писали выше - хранить хеши, но думаю хэш тут не нужен, два ID вполне достаточно для уникальности и будет наглядно) ну и потом в колонке ID анализировать для каждой пары последнее значение и плюсовать +1 к нему... это можно делать триггером, ХП или завести таблицу для хранения последнего ID пары...
в целом затратный способ, если нужна просто выборка с нумерацией (типа подсчетом сообщений) то проще хранить всё "классическим" способом, а при выборке добавить нумерацию, например через ROW_NUMBER
встроенных "штатных" средств для создания индивидуального автоинкремента для уникальных значений в одной колонке - не знаю ни в одной из мне известных субд...
🤍 Оффер в дата-аналитику за выходные? Легко — для опытных специалистов на Data Weekend Offer от Авито!
Вас ждет:
— зарплата от 250 до 420 тыс. рублей на руки, удаленка и дополнительные дни отпуска;
— интересные задачи на большом масштабе для прокачки вашего стека – проверяйте бизнес-модели, тестируйте гипотезы и улучшайте пользовательский опыт;
— участие в разработке новых продуктов — предлагаем для этого мощное железо и выделяем бюджет на обучающие курсы или профессиональную литературу;
— сильное IT-комьюнити, которое любит опенсорс.
🚀Авито – это про карьерное развитие и комфортные условия. Успейте зарегистрироваться до 15 октября включительно: https://u.to/baT0IA
МТС True Tech Champ
Прими участие в чемпионате от МТС, запрограммируй робота и поборись за главный приз 4000 0000 руб. Участникам будет предложено просканировать виртуальный лабиринт, получить массив данных о расположении стен и создать алгоритм для самого быстрого поиска оптимального маршрута робота-мыши. Финал чемпионата пройдет в формате зрелищной гонки роботов.
Регистрация: до 15 октября
Доступ к промежуточным онлайн заданиям: до 16 октября
Финал в МТС Live Холл: 8 ноября
Трек по программированию роботов будет интересен разработчикам Python, JS, Java, C#, С++, Go и не только. Для участия не обязательно разбираться в устройстве роботов: эксперты трека уже сконструировали их и создали прошивку.
Успей зарегистрироваться до 15 октября по ссылке.
🖥 Учебная программа SQL для дата-сайентистов
Эксперт с семилетним стажем в области дата-сайенс разработал пошаговую программу изучения SQL. Эта программа размещена в виде репозитория на GitHub и дополнена ссылками на обучающие материалы. Вот подробный план на шесть недель:
Неделя 1: Основы SQL
Узнаем, как извлекать данные из базы данных.
Неделя 2: GROUP BY
Рассмотрение группировки данных.
Неделя 3: Виды JOIN
Знакомство с различными типами соединений таблиц.
Неделя 4: Оконные функции
Изучение оконных функций для анализа данных.
Неделя 5: CTE и подзапросы
Понимание концепции временных таблиц и подзапросов.
Неделя 6: Собственный проект
Применение полученных знаний на практике через выполнение самостоятельного проекта.
Ссылки на все материалы доступны по следующей ссылке: Дорожная карта обучения SQL.
https://github.com/andresvourakis/free-6-week-sql-roadmap-data-science
@sqlhub
⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:
МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/python_job_interview
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/java_library
Базы данных: t.me/sqlhub
Linux: t.me/linuxacademiya
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/golang_interview
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno
🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy
🖥 Курс по MySQL с использованием Python! (2024)
🌟 Небольшой курс для новичков по работе с БД MySQL через Python код!
🔗 Ссылка: *клик*
#курс #python #mysql
@sqlhub
Как видеть состояние тысяч баз данных в одном окне и собирать с них метрики? Узнайте на бесплатном вебинаре от СберТеха.
СберТех проводит серию вебинаров о своих продуктах. Новое мероприятие посвящено тому, как сопровождать базы данных быстрее и удобнее. Разберемся в этом на примере обновленного продукта Platform V Kintsugi — это графическая консоль для управления и диагностики PostgreSQL-like СУБД.
Какие функции покажут:
— оперативный центр – единое окно мониторинга всех подключенных активов;
— отчеты pg_profile в интерфейсе продукта;
— расширенную ресурсно-логическую модель. Когда: 24 октября в 11:00.
Кому полезно: администраторы СУБД, разработчики БД, руководители и бизнес.
Рассказываем с техническими деталями, но просто и популярно.
Регистрация.
✔️ MongoDB создает партнерскую экосистему ИИ.
MongoDB представила обновлённую версию 8.0 своей базы данных линейки Enterprise и облачного сервиса Atlas. Обновления обещают увеличить пропускную способность на 32%, ускорить пакетную запись на 56% и повысить скорость параллельной записи на 20%.
Для решения проблем, связанных с быстрым развитием ИИ, неопределённостью в выборе технологий и нехваткой навыков, MongoDB запустила программу MongoDB AI Application Program (MAAP).
Компания планирует создать глобальную экосистему партнёров, которые будут устанавливать отраслевые стандарты для решений на основе ИИ, сотрудничая с Microsoft Azure, Google Cloud Platform, Amazon Web Services, Accenture, Anthropic и Fireworks AI.
Уже реализованы коммерческие решения для «французской автомобильной компании» и «глобального производителя бытовой техники».
🔗 iteuropa.com
@sqlhub
🖥 Статья, в которой автор подробно рассказывает о различиях между SQL и noSQL базами данных, а также о преимуществах и недостатках каждого
🔗 Ссылка: *клик*
@sqlhub
Т.к. в CategoryWithDifference используется PopularCategories, то
....
LAG(total_sales, 1) OVER (PARTITION BY category ORDER BY sale_month) AS previous_sales
sale_month category total_salesЧитать полностью…
2024-10 cat1 300
2024-09 cat2 330
Вообще не надо так делать, надо давать переменным осмысленные имена.
Чаще всего делают с префиксами, типа g_ - глобальная переменная пакета, v_ - локальная в процедуре, и т.п.
🖥 Полный курс по работе с SQL за 3 часа!
🔥 У этого видео 8 млн просмотров на YouTube, что безусловно говорит о его качестве!
🕞 Продолжительность: 3:16:13
🔗 Ссылка: *клик*
#курс #sql #datascience
@sqlhub