sqlhub | Unsorted

Telegram-канал sqlhub - Data Science. SQL hub

36043

По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo

Subscribe to a channel

Data Science. SQL hub

💻 Valkey — это высокопроизводительное open-source хранилище данных, поддерживающее кэширование, очереди сообщений; может выступать в качестве основной базы данных

Также Valkey может работать как автономная фоновая служба или в кластере, с возможностью репликации и высокой доступности.

Valkey поддерживает множество типов данных, включая строки, числа, хэши, списки, наборы, сортированные наборы, растровые изображения и др.
Можно оперировать со структурами данных с помощью набора команд. Valkey также поддерживает встроенную поддержку сценариев на языке Lua и поддерживает модули-плагины для создания новых команд и типов данных.

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

Data Science. SQL hub

💪 Качаем скиллы PostgreSQL!

17 сентября 2024 года пройдет бесплатное комьюнити-мероприятие из серии PG BootCamp Russia — конференция, направленная на приобретение практических навыков при работе с СУБД PostgreSQL.

🔵Программа рассчитана как на начинающих специалистов, так и на более опытных разработчиков, желающих углубить знания в части ядра и экосистемы продукта
🔵 Ведущие эксперты в области СУБД проведут мастер-классы и лекции по наиболее востребованным и интересным темам
🔵Для тех, кто не сможет присутствовать очно, предусмотрена онлайн-трансляция

🧑‍🎓 Все участники получат электронные сертификаты, подтверждающие приобретение новых знаний и навыков.

📌 Дата и время: 17 сентября, 9:00
Формат: офлайн/онлайн
Место проведения: отель «TASIGO Kazan Palace»

✅ Зарегистрируйтесь сейчас и приготовьтесь к захватывающему путешествию в мир СУБД!

Читать полностью…

Data Science. SQL hub

Прокачайтесь в Data Science за 7 дней!🦾

Российская BI-платформа Analytic Workspace запустила бесплатный интенсив по ML-прогнозированию в AW BI «АНАЛИТИК 2.0».

🔥«АНАЛИТИК 2.0» — это 7 дней мощного погружения в Data Science вместе с топовыми экспертами — никаких скучных лекций, только практические занятия и реальные кейсы.

Всё, что нужно от вас: желание изучить ML-прогнозирование, базовые навыки SQL и визуализаций. Остальному научат: Python, Spark, ML. Сможете собирать обучающие датасеты, обучать ML-модели при помощи инструментов Data Science и применять их для прогнозирования в BI.

🚀А в финале интенсива состоится конкурс с призовым фондом 200 000 рублей. Конкурсанты получат кейс в портфолио, у финалистов будет еще и сертификат, который украсит резюме, а победители вдобавок ко всему заберут деньги.

Пройдя интенсив и погрузившись в Data Science — вы получите возможность выйти на новый уровень в карьере. BI-аналитики со знанием ML более востребованы на рынке, таких специалистов разбирают как «горячие пирожки». И зарплату предлагают вдвое больше, чем коллегами, которые ограничены только традиционными методами бизнес-анализа.

🔗Скорее регистрируйтесь по ссылке.
И становись экспертом, которого захотят «схантить» лучшие компании.

Реклама. Рекламодатель ИП Назаренко С.О.
ИНН: 183111053286

Читать полностью…

Data Science. SQL hub

Как управлять ресурсами в ClickHouse?

🔹Научитесь управлять ресурсами и профилированием запросов в ClickHouse на открытом уроке от Otus. Практика поможет оптимизировать работу с базой данных, улучшить производительность запросов и эффективно управлять ресурсами системы. 

✅ Практика: настройка квот, ограничений и профилей пользователей

Урок приурочен к курсу «ClickHouse для инженеров и архитекторов БД». Все о работе с ClickHouse: от установки и настройки, до продовых решений 

👉 Регистрация и подробности:
https://otus.pw/CXtd/?erid=LjN8K1gPi

Читать полностью…

Data Science. SQL hub

Когда ментор Слёрма Николай Марков решил стать Data-инженером, он не представлял, какие сюрпризы его ждут в профессии. А участники первого реалити-шоу про Data-инженеров уже успели прочувствовать эту атмосферу.

От неожиданных сбоев в коде до неуловимых багов — они испытали на себе вызовы, которые стоят за работой с большими данными. Кто смог раскрыть потенциал в нашей гонке, а кто слился после первых заданий?

👉🏻 Переходите, чтобы узнать, кто готов идти до конца и как стать Data-инженером

Внутри — гайд «Инструменты Data-специалиста», Roadmap для начинающего Data-инженера и ещё много полезного — статьи, ссылки, рекомендации и бесплатные вебинары 👉🏻 @gdedata

Реклама. ИП Аердинов Н.В. ИНН 638103515932 erid: LjN8K97oM

Читать полностью…

Data Science. SQL hub

Получить диплом о прохождении курса “ML-инженер” сейчас не так уж и сложно. А вот стать квалифицированным специалистом, способным решать сложные задачи — вот, что по-настоящему не просто и круто!

Прокачать себя в профессии можно на бесплатном вебинаре «Почему ML-инженеру важно разбираться в продукте» от Product manager OneCell, преподавателя AI Talent Huv ИТМО Вадима Чижкова.

На вебинаре вы разберете:

▪что такое продукт,
▪почему ML-инженеру важно понимать продукт, даже если есть product-manager
▪как инженерные решения влияют на продуктовые метрики,
▪как оценивать задачи, исходя из их ценности для продукта.
А так же сможете задать все интересующие вас вопросы эксперту.

Вебинар состоится 12.09.24 в 18:30(Мск). Регистрируйтесь в боте на вебинар и становитесь ML-инженером, за которого будут бороться топовые компании страны и мира!
Наш бот также пришлет вам напоминание о мероприятии, чтобы вы ничего не пропустили.

Реклама. Университет ИТМО ИНН:7813045547 erid:2VtzqxkvKps

Читать полностью…

Data Science. SQL hub

🖥 Scientific Computing with Python — это бесплатный интерактивный курс от FreeCodeCamp, созданный для изучения анализа данных с помощью Python.

Основные темы включают:

▪️ работу со строками;
▪️ List Comprehension;
▪️ основы алгоритмического дизайна;
▪️ структуры данных;
▪️ классы и объекты.

Цель курса — дать учащимся прочные навыки для работы с научными данными и их обработкой, используя Python.

🔗 Ссылка на курс

#курс #python

@sqlhub

Читать полностью…

Data Science. SQL hub

💻 Kvrocks — распределенная БД NoSQL, использующая RocksDB в качестве механизма хранения и совместимая с протоколом Redis

Apache Kvrocks — это распределенная key-value БД, которую можно использовать вместо Redis.
Дизайн репликации и хранения был вдохновлен rocksplicator и blackwidow.

Особенности Kvrocks:

— Совместимость с Redis: можно получить доступ к Apache Kvrocks через любой клиент Redis.

— Пространство имен: аналогично Redis SELECT, но с токеном для каждого пространства имен.

— асинхронная репликация с использованием binlog, как в MySQL.

— поддержка Redis sentinel для аварийного переключения при сбое ведущего или ведомого устройства.

Быстрый старт с Docker:

docker run -it -p 6666:6666 apache/kvrocks --bind 0.0.0.0


🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Наглядная шпаргалка: Шардирование базы данных

🚀 Источник

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Мечтаете о карьере в IT, но не хотите программировать? Хорошая новость: это возможно!

Если стать аналитиком данных — IT-специалистом, который собирает и анализирует данные, чтобы строить прогнозы для бизнеса. Аналитики данных востребованы во многих сферах: IT, маркетинг, ритейл, банкинг и т. д.

Обучение подойдет, если вы:
🟣новичок без опыта без опыта в IT
🟣бухгалтер, финансист или экономист
🟣уже работаете с аналитикой и хотите углубить знания для роста в карьере

На курсе вы получите навыки, которые реально нужны работодателям, и овладеете самыми популярными инструментами: Python, Pandas, NumPy, Jupyter Notebook, SQL, Power BI.

🔗 Начните работать аналитиком уже через 6 месяцев! Заполните заявку, чтобы получить бесплатный доступ к первым урокам.

Реклама. ООО «Эдюсон», ИНН 7729779476. Erid:2VtzqvPJeZU

Читать полностью…

Data Science. SQL hub

💻FrostDB — встраиваемая колоночная БД, написанная на Go

Построенная поверх Apache Arrow, FrostDB предоставляет конструктор запросов и различные оптимизаторы (использующие DataFrame-подобные API).

В первую очередь, FrostDB оптимизирована для записи.
FrostDB поддерживает сбрасывание данных во внешнее объектное хранилище типа S3.

🖥 GitHub

@sqlhub

Читать полностью…

Data Science. SQL hub

Используйте продвинутые функции ClickHouse для эффективного анализа данных

🔹Оптимизируйте запросы на открытом уроке «Продвинутые функции ClickHouse» от Otus. Рассмотрим использование материализованных представлений, работу с распределенными таблицами и тонкости настройки кластеров

✅ Практические примеры с демонстрацией реальных кейсов

Урок приурочен курсу «ClickHouse для инженеров и архитекторов БД» от Otus.

👉 Регистрация и подробности:
https://otus.pw/OAZJ/?erid=LjN8KRqKC

Читать полностью…

Data Science. SQL hub

PGConf.СПб 2024 — главная встреча постгресистов в Санкт-Петербурге!

1 октября в Питере пройдёт техническая конференция по PostgreSQL от российского СУБД-разработчика Postgres Professional.

Более 20 докладов по темам:

✔️Эксплуатация СУБД. Опыт DBA
✔️Миграция на Postgres
✔️Мониторинг и настройка СУБД
✔️Отказоустойчивые и масштабируемые системы
✔️Новости от разработчиков

Среди спикеров прошлого года — эксперты Сбера, ВТБ, Ozon, SoftSwiss, Netcracker, Нетрики и др.

💥На конференции пройдёт единственная в России сертификация по PostgreSQL!

ГДЕ? Онлайн и офлайн: Гостиница «Санкт-Петербург», г. Санкт-Петербург, Пироговская набережная, д. 5/2

КОГДА? 1 октября 2024 года

Участие в конференции для студентов и преподавателей — бесплатное.


РЕГИСТРАЦИЯ

Читать полностью…

Data Science. SQL hub

⚡️ Полезная шпаргалка по связке Python + MySQL

- Создание БД и таблиц
- Внесение, чтение, обновление и удаление данных

Читать полностью…

Data Science. SQL hub

🖥 dbt-core

Громоздкие #SQL запросы трудно читать, понимать и поддерживать.

С помощью dbt вы можете использовать функцию ref, чтобы разбить длинный SQL-запросы на более мелкие компоненты, делая их более читаемыми и удобными для обслуживания.


-- models/total_order_amount.sql
SELECT
order_id,
customer_id,
SUM(order_amount) AS total_amount
FROM
raw_orders
GROUP BY order_id, customer_id


models/average_order_amount.sql:


-- models/average_order_amount.sql
SELECT
customer_id,
AVG(total_amount) AS avg_amount
FROM {{ ref('total_order_amount') }}
GROUP BY customer_id



▪ Github

@data_analysis_ml

Читать полностью…

Data Science. SQL hub

Если вы работаете в области данных, вам предстоит пройти собеседование по SQL

Вот несколько кратких советов которые вы должны знать на собеседовании по SQL.

Начинающим
- Уметь объяснить различные типы объединений. Иногда я видел, что этот вопрос задается рекрутерами в качестве отборочного, чтобы убедиться, что они хотят взять вас на работу.
- Знать, когда в порядке выполнения операций в SQL используется HAVING, а когда WHERE.

Mid
- Понимать, как использовать оператор CASE внутри функции SUM или COUNT
- Знать, по крайней мере, 1-2 способа оптимизации запроса, и если вы решите, что одним из этих способов является создание индекса в таблице, то вы должны знать, какие плюсы и минусы есть у индекса.

Продвинутым
- Знать, как решить SQL задачу с использованием оконной функции и без нее.
- Понимать и уметь объяснить, что такое коррелированный подзапрос.
- Просто сошлитесь на то, что вы посмотрите на план выполнения запроса. Рекрутеры будут шокированы тем, что вы вообще знаете, что это такое.

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 SQLFlow - отличный инструмент для визуализации SQL-запросов

Легкий и простой интрумент для визуализация связей и структур БД, поддерживающий более 20 разных БД.

▪DEMO
▪GitHub

@sqlhub

Читать полностью…

Data Science. SQL hub

💻 GreptimeDB — облачная распределенная БД временных рядов с открытым исходным кодом; поддерживает PromQL/SQL/Python

GreptimeDB — это open-sorce БД временных рядов, ориентированная на эффективность, масштабируемость и аналитические возможности.

Особенности GreptimeDB:
— оптимизированная колоночная структура для работы с данными временных рядов; сжатие и хранение в различных системах хранения данных, в частности в облачных объектных хранилищах

— полностью открытая архитектура распределенного кластера, использующая мощь облачных вычислительных ресурсов

— встроенный SQL и PromQL для запросов, возможность использовать сценарии Python для решения сложных аналитических задач

Быстрый старт с Docker:
docker run --rm --name greptime --net=host greptime/greptimedb standalone start

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

Data Science. SQL hub

⚒️ Шардирование базы данных: шпаргалка для разработчика

👉 Источник

Читать полностью…

Data Science. SQL hub

🖥 Neon

Neon - это бессерверная альтернатива AWS Aurora Postgres с открытым исходным кодом, написанная на Rust.

В инструменте поддерживается автомасштабирование, разделяет хранение и вычисления , перераспределяя данные по кластеру узлов.

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

💻Debezium — open-source CDC для Apache Kafka

Debezium — это CDC (Capture Data Change), набор коннекторов для различных СУБД, совместимых с фреймворком Apache Kafka Connect.

Debezium поддерживает следующие СУБД: MySQL, PostgreSQL, MongoDB, SQL Server, Cassandra и Oracle;
причём все эти СУБД подключаются по единой общей модели.

Если сравнивать использование Debezium с традиционным подходом (когда приложение читает данные из СУБД напрямую), то к его главным преимуществам относится реализация стриминга изменения данных на уровне строк с низкой задержкой, плюс высокая надежность и доступность.

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

Data Science. SQL hub

Приглашаем принять участие в вебинаре «Как эффективно построить конвейер DevOps. Опыт использования Platform V Orchestra R».

Когда: 12 сентября в 11:00.

Виталий Астраханцев, руководитель разработки инструментов DevSecOps в СберТехе, расскажет об инструменте, который позволяет настраивать конвейеры в режиме low-code.

Что еще обсудим:
· Как устроен процесс единой разработки ПО: от идеи до развертывания в промышленных средах. Helicopter view и разбор роли CI/CD.
· GitOps/NoOps/AIOps: плюсы, минусы и варианты развития.
· Метрики производственного процесса. Вопрос актуальности DORA.
· Можно ли за час собрать конвейер с нуля? Разберемся на реальном примере.

Регистрируйтесь сейчас и до встречи на вебинаре!

Читать полностью…

Data Science. SQL hub

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pro_python_code
Хакинг: t.me/linuxkalii
Devops: t.me/devOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Linux: t.me/linuxacademiya
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
C++ собеседования: t.me/cppsobes
Kubernets: t.me/kubernetc


💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Читать полностью…

Data Science. SQL hub

💻Triplit — open-source БД, которая синхронизирует данные между сервером и браузером в режиме реального времени

— npm create triplit-app@latest

Triplit — это полнофункциональная база данных, работающая как на сервере, так и на клиенте. Поддерживает подключаемые хранилища (IndexedDB, SQLite, durable objects), синхронизацию через websockets, плюс поддерживавет популярные фреймворки (React, Solid, Vue, Svelte)

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

Data Science. SQL hub

💻Skytable — современная масштабируемая NoSQL БД с BlueQL, разработанная для обеспечения производительности, масштабируемости и гибкости

Skytable — это in-memory key-value БД, основанная на широких столбцах, с поддержкой дополнительных моделей данных, которая использует собственный механизм хранения (структурированные записи с оптимизированными транзакциями) и позволяет выполнять запросы с помощью собственного языка запросов BlueQL — надмножества SQL.

🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Crossed - это сверхвысокопроизводительная встраиваемая и серверная СУБД.

Она разработана для высокопроизводительных сценариев, когда в основной памяти может храниться вся база данных.

Особенности
- Поддержка нескольких ОС: Linux / Windows / macOS / FreeBSD и т.д
- Поддержка ARCH с несколькими процессорами: X86 / ARM / PPC / MIPS и т.д.
- Поддержка OnDisk / In-memory / RamDisk / гибридного хранилища
- Поддержка стандартной модели СУБД
- Поддержка MySQL
- Поддержка нескольких баз данных
- Поддержка хэширования и индекса RBTREE(TBD)
- Поддержка многоколоночного индекса
- Поддержка точного совпадения,
- Поддержка WALL для хранения данных на диске (TBD)
- Поддержка многопоточного доступа и доступа к нескольким процессам
- Поддержка блокировки чтения и записи на уровне таблиц
- Поддержка MVCC для чтения и записи
- Поддержка встроенной оболочки CrossDB
- Поддержка API с несколькими статусами
- Поддержка готовых API-интерфейсов Statments
- Сверхвысокая производительность
- Zero Config: никакой сложной конфигурации, все как из коробки

make
make install


▪ Github

Читать полностью…

Data Science. SQL hub

👣 RoseDB — высокопроизводительная NoSQL база данных на основе Bitcask

RoseDB поддерживает такие структуры данных, как string, list, hash, set и sorted set.
Написана RoseDB на Go

🖥 GitHub
🟡 Доки

@Golang_google

Читать полностью…

Data Science. SQL hub

💻YugabyteDB — высокопроизводительная распределенная БД, которая поддерживает все возможности PostgreSQL

YugabyteDB отлично подходит для облачных OLTP-приложений (т. е. работающих в реальном времени и критически важных для бизнеса), которым необходима абсолютная корректность данных и требуется масштабируемость или высокая устойчивость к сбоям.

Быстрое создание локального кластера YugabyteDB с Docker:

docker run -d --name yugabyte -p7000:7000 -p9000:9000 -p15433:15433 -p5433:5433 -p9042:9042 \
yugabytedb/yugabyte:2.21.1.0-b271 bin/yugabyted start \
--background=false


🖥 GitHub
🟡 Доки

@sqlhub

Читать полностью…

Data Science. SQL hub

MongoDB in Action

📖 Книга

@sqlbooks

Читать полностью…

Data Science. SQL hub

⚡️ GitHub запускает Copilot Autofix для автоматического устранения ошибок в коде.

▪Инструмент анализирует код и предлагает решения для исправления ошибок, используя ИИ Copilot от GitHub, аналитический движок CodeQL и GPT-4.

▪Бета-тестирование показало, что инструмент сокращает время на поиск и устранение уязвимостей в три раза и более.

▪Например, вручную исправление ошибок XSS обычно занимает три часа, а с помощью Copilot Autofix это удалось сделать за 22 минуты. Время исправления дефектов SQL-инъекций сократилось с 4 часов до 18 минут.

Все это станет доступно бесплатно с сентября 2024 года для всех проектов с открытым исходным кодом, размещенных на платформе.

https://github.blog/news-insights/product-news/secure-code-more-than-three-times-faster-with-copilot-autofix/

@sqlhub

Читать полностью…
Subscribe to a channel