Data Science. SQL hub

10 February 2025 09:03

Вы тоже сможете вырасти до хардового аналитика уровня Middle+. Как?
Добавьте к своим скилам навыки в проектировании архитектуры и интеграций веб-сервисов!

Два месяца назад мы уже писали про этот курс. Сейчас пишем еще раз, потому что у курса вышло полезное обновление, уже доступное ученикам, независимо от того, когда они его купили.
—————
📚 Первое: в портфолио включили примеры интеграций от крупных BigTech-компаний. Это позволит вам понять, как технологии применяются в реальных бизнес-контекстах.
🌐 Второе: обновили портфолио. Теперь в нём есть задания повышенного уровня сложности для каждой темы. Это небольшие реальные проекты, с помощью которых можно не только проверить, но и улучшить свои навыки!
✔️Третье: вышел новый модуль про проектирование баз данных - нормализация, транзакции, основы DWH, индексы.
💬Четвертое: стал активен чат учеников (общение, обмен опытом, помощь внутри сообщества)
—————
• Результат после прохождения курса: 15 рабочих проектов в портфолио-резюме
• Доступ к урокам и всем обновлениям останется навсегда
• Фундаментальная база
• Всю программу и отзывы смотрите в боте курса

Когда перейдете в бот курса, то получите бесплатные открытые уроки по архитектуре и интеграциям. Польза 👇

@studyit_help_bot

Скидка на курс от канала
— 1 000₽ на Stepik по промокоду SQLHUB2
до 28 февраля.

Data Science. SQL hub

08 February 2025 18:40

🔥 Это - бесплатная книга, которая посвящена созданию компиляторов для языков запросов, таких как SQL. Она объясняет, как системы управления базами данных (СУБД) обрабатывают запросы пользователей и превращают их в эффективные планы выполнения!

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

06 February 2025 18:05

🖥 NocoDB — это база данных без кода (no-code database) с открытым исходным кодом, превращающая любую реляционную базу данных (MySQL, PostgreSQL, SQLite, MSSQL и др.) в гибкую таблицу, аналогичную Airtable!

🌟 Она позволяет пользователям управлять данными с помощью удобного веб-интерфейса, создавать REST API, настраивать представления (таблицы, календари, канбан-доски) и интегрироваться с внешними сервисами.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

Data Science. SQL hub

06 February 2025 13:04

🖥 DrawDB — это система управления базами данных, ориентированная на визуализацию и моделирование данных!

🌟 Она позволяет пользователям создавать базы данных с использованием графического интерфейса, что делает процесс проектирования и взаимодействия с данными более интуитивно понятным. DrawDB может быть полезна для разработчиков, которым нужно быстро создать или визуализировать структуру базы данных без углубленного знания SQL.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

Data Science. SQL hub

05 February 2025 09:50

🖥 pgai — набор инструментов от Timescale, предназначенных для упрощения разработки AI-приложений с использованием PostgreSQL!

💡 Они помогают работать с технологиями, такими как RAG и семантический поиск, а также упрощает создание и синхронизацию эмбеддингов в базе данных PostgreSQL. Это позволяет выполнять семантический поиск и генерировать ответы с использованием моделей, таких как OpenAI или Ollama, прямо в SQL-запросах, что значительно облегчает создание приложений с ИИ на основе реляционных данных.

🔐 Лицензия: PostgreSQL

🖥 Github

@sqlhub

Data Science. SQL hub

04 February 2025 16:15

🖥 ToolJet — это платформа с открытым исходным кодом для низкокодовой разработки, предназначенная для создания и развертывания бизнес-приложений с минимальными усилиями!

🌟 Она предоставляет интуитивно понятный интерфейс с возможностью перетаскивания компонентов, что позволяет быстро создавать сложные и отзывчивые пользовательские интерфейсы. ToolJet поддерживает интеграцию с более чем 50 различными источниками данных, включая базы данных (PostgreSQL, MongoDB, MySQL), облачные хранилища, GraphQL, API, а также такие сервисы, как Airtable, Google Sheets и OpenAI.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

Data Science. SQL hub

04 February 2025 09:01

Как Docker упрощает жизнь аналитиков и инженеров данных

Когда вы работаете с данными, например, анализируете их или строите модели машинного обучения, Docker позволяет сосредоточиться на самой работе, не отвлекаясь на настройку окружения. Это как иметь готовую мастерскую со всеми нужными инструментами, где вы можете сразу приступить к работе.

На бесплатом вебинаре вы научитесь упаковывать приложения вместе со всеми зависимостями, избегать проблем с несовместимостью ➡️ повысите эффективность работы и сэкономите время на настройку окружения.

Что будем делать на вебинаре:
🟠Разберём основы Docker и как контейнеры упрощают работу;
🟠Выполним анализ данных, запустив Python прямо внутри контейнера;
🟠 Автоматизируем окружение с помощью Docker Compose (Python + PostgreSQL);
🟠 Настроим удобный доступ к результатам анализа;
🟠Организуем ускоренную обработку больших данных.

🕗Встречаемся 5 февраля 19:00 по мск

Зарегистрироваться на бесплатный вебинар

Data Science. SQL hub

01 February 2025 12:02

🖥 ScyllaDB — это высокопроизводительное NoSQL-хранилище данных, совместимое с Apache Cassandra, но с улучшенной производительностью и масштабируемостью!

🌟 ScyllaDB разработана на основе фреймворка Seastar, что позволяет использовать асинхронные вызовы для оптимизации работы с многопоточными системами и улучшения работы на современных многоядерных процессорах.

🖥 Github

@sqlhub

Data Science. SQL hub

27 January 2025 11:31

🖥 Azimutt — это инструмент для визуализации, проектирования и анализа баз данных, который помогает разработчикам и аналитикам лучше понимать структуры сложных и масштабных схем!

🌟 Он позволяет генерировать современные диаграммы сущностей и связей (ERD), исследовать связи между таблицами, искать данные в схемах и документировать базы данных. Azimutt разработан с учетом реальных задач и может обрабатывать даже большие и сложные схемы.

💡 Среди ключевых возможностей — масштабируемая визуализация ERD, поиск и фильтрация таблиц и связей, выполнение SQL-запросов с визуализацией внешних ключей и инструмент для обнаружения проблем в структуре базы данных. Это делает Azimutt полезным как для анализа существующих баз, так и для их проектирования.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

26 January 2025 12:01

🖥 TiDB — это распределённая SQL-база данных с открытым исходным кодом, разработанная для современных облачных приложений и больших данных!

🌟 Она предлагает совместимость с MySQL, поддерживая стандартный SQL и MySQL-протоколы, что облегчает миграцию существующих приложений. TiDB обеспечивает строгую согласованность данных, распределённые транзакции (используя двухфазный коммит) и горизонтальное масштабирование, позволяя работать с огромными объёмами данных без изменения архитектуры.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Data Science. SQL hub

20 January 2025 10:00

🖥 Эта статья объясняет, как оптимизаторы запросов в реляционных базах данных преобразуют SQL-запросы в эффективные планы выполнения!

🌟 Она подробно рассматривает концепции реляционной алгебры, лежащей в основе оптимизации, включая операции выбора, проекции, объединения и их эквивалентности. Автор иллюстрирует процесс перевода SQL-запросов в реляционные выражения, применение правил оптимизации и использование статистики для выбора лучшего плана выполнения.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

18 January 2025 12:34

🖥 sxt-proof-of-sql — высокопроизводительный доказатель с нулевым разглашением (ZK prover)!

🌟 Этот инструмент криптографически гарантирует, что SQL-запросы выполняются точно и на неизмененных данных. Он предназначен для обеспечения доверительных вычислений как с ончейн, так и с офчейн данными, позволяя разработчикам создавать более сложные DeFi-протоколы с использованием данных в смарт-контрактах.

🖥 Github

@sqlhub

Data Science. SQL hub

16 January 2025 10:45

🖥 kh-sql-projects — репозиторий, который содержит исходный код популярных SQL-проектов для начинающих, промежуточных и опытных разработчиков!

🌟 Проекты включают различные базы данных и системы управления, такие как управление библиотеками, студентами, больничные системы, системы бронирования и учета инвентаря. Все проекты написаны для базы данных PostgreSQL и предлагают практические примеры для работы с SQL.

🖥 Github

@sqlhub

Data Science. SQL hub

12 January 2025 15:02

🖥 Эта статья подробно объясняет, как с нуля разработать хранилище данных, основанное на деревьях LSM (Log-Structured Merge-Tree)!

🌟 Этот метод оптимизирован для высокопроизводительных операций записи, минимизируя случайные обращения к диску за счет предварительного хранения данных в памяти и последовательной записи на диск. Автор обсуждает основные компоненты, такие как Memtable (хранилище в памяти), WAL (журнал предзаписи) и SSTables (упорядоченные таблицы на диске), а также процессы записи, удаления и компакции данных.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

10 January 2025 12:01

🖥 Эта статья раскрывает
ключевые методы повышения производительности MySQL в приложениях с высокой нагрузкой!

🌟 Автор предлагает практические рекомендации по оптимизации дизайна схемы базы данных, созданию индексов, оптимизации запросов, использованию кэширования и мониторинга медленных запросов.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

09 February 2025 12:01

🖥 PGlite — это легковесная версия PostgreSQL, работающая в WebAssembly (WASM), позволяющая запускать Postgres в браузере или Node.js без необходимости установки дополнительных зависимостей!

🌟 Она поддерживает реальное время и реактивные привязки, позволяет использовать базу данных в памяти или с сохранением на файловую систему или IndexedDB. Подходит для использования в локальных приложениях с минимальными ресурсами.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Data Science. SQL hub

08 February 2025 10:09

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
Data Science: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sql_lib
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
Haskell: t.me/haskell_tg
Физика: t.me/fizmat

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Data Science. SQL hub

06 February 2025 16:01

Приглашаем аналитиков на дружескую встречу в Яндексе!

15 февраля в штаб-квартире Яндекса «Красная Роза» команды Алисы и Автономного Транспорта поделятся своим опытом и расскажут:

- Как живет аналитика в Алисе, Умных Устройствах и умном доме
- Как устроена аналитика технологий в Автономном Транспорте и в роботе-доставщике

После основной части можно будет отправиться на экскурсию по офису, пройти диагностику навыков и задать все интересующие вопросы.

➡️Мы ждем аналитиков с опытом на Python от 3 лет. Успейте зарегистрироваться до 13 февраля!

До встречи!

Data Science. SQL hub

06 February 2025 10:59

💚 Авито запускает Weekend Offer для опытных DS-инженеров! Ускоренный отбор за выходные и возможность попасть в одну из пяти команд: автомодерация, монетизация, поисковое ранжирование, AI Lab и вертикальные команды DS.

Вас ждет:
— конкурентная зарплата и удаленка по всей России;
— реальные задачи на большом масштабе — разработка алгоритмов для проверки объявлений, внедрение ML-моделей, оптимизация процессов и DS-поддержка;
— участие в разработке новых продуктов — предлагаем для этого мощное железо и бюджет на обучение;
— сильное IT-комьюнити, которое любит опенсорс.

🚀Регистрируйтесь до 27 февраля и развивайте крупнейший в мире сервис объявлений: https://u.to/dV67IQ

Data Science. SQL hub

05 February 2025 07:47

PostgreSQL 17: архитектура и тюнинг SQL-запросов

Погрузись в архитектуру и прокачай оптимизацию запросов одной из самых популярных open source СУБД – PostgreSQL.

🌐 В программе курса:

🤩 Разберем, как работают СУБД вообще и PostgreSQL в частности: что такое MVCC, ACID, WAL, LRU, PPC/TPC и другие фундаментальные понятия архитектуры баз данных
🤩 Получите свой собственный выделенный облачный PostgreSQL-сервер (8 vCPU, 12G RAM, 100G NVMe) – БЕСПЛАТНО на время обучения предоставляется
🤩 Получите теорию и практику EXPLAIN и EXPLAIN ANALYZE на разных типа запросов
🤩 Изучите архитектуру хранения данных в PostgreSQL, типы и особенности индексов, а также получите полезные советы и трюки оптимизации БД

🗓 Старт курса: 6 марта. Продолжительность: 5 недель обучения (четверг, 18:00 МСК).

Изучить программу и записаться можно здесь.

🤩Кто мы: R&D-центр Devhands, основатель школы Алексей Рыбак.
Автор курса — Николай Ихалайнен, эксперт по СУБД (ex-Percona), со-основатель MyDB, энтузиаст открытого ПО.

Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzqwZUTvc

Data Science. SQL hub

04 February 2025 11:01

🌐 Meilisearch — это поисковый движок с открытым исходным кодом, обеспечивающий быстрый и удобный поиск в веб-приложениях!

🌟 Он поддерживает поиск по мере ввода, толерантность к опечаткам, фильтрацию данных и фасетный поиск, что делает его мощным инструментом для создания интуитивных поисковых систем. API Meilisearch прост в интеграции, а его высокая производительность позволяет обрабатывать запросы менее чем за 50 мс.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

03 February 2025 12:03

🖥 Dolt — это реляционная база данных с функциями контроля версий, аналогичными Git!

🌟 Она позволяет не только выполнять SQL-запросы, но и отслеживать изменения данных на уровне строк, создавать ветки, выполнять слияния и просматривать историю изменений. Каждая операция с данными может быть закоммичена, а история изменений доступна для анализа, что делает Dolt уникальным инструментом для управления данными в командах.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Data Science. SQL hub

30 January 2025 15:25

📊 Metabase — это мощная и простая в использовании платформа для бизнес-аналитики!

🌟 Она позволяет визуализировать данные, создавать отчёты и дашборды, а также находить инсайты без необходимости писать сложные SQL-запросы. Metabase поддерживает подключение к различным базам данных, включая MySQL, PostgreSQL, MongoDB и другие, предоставляя интуитивный интерфейс для работы с данными.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

Data Science. SQL hub

27 January 2025 09:25

Как построить витрину данных, как в крупной IT-компании?

Объединение данных из разных источников — то, с чем в какой-то момент сталкиватся каждый аналитик или дата-инженер.

Представьте, что вы тренер футбольной команды. И у вас есть витрина данных, которая собирает информацию о каждом игроке, включая количество забитых голов, ассистов, время на поле и количество проведенных матчей. Такая витрина помогает выявить слабые места в команде и сфокусироваться на их улучшении.

Как строить витрину данных разберём в прямом эфире нашего бесплатного вебинара в режиме решения реальной рабочей задачи📊. Спикер вебинара — Айгуль Сибгатуллина, Data Engineer в Сбер.

Что будет на вебинаре:
• Построим воркфлоу от этапа получения ТЗ до создания полноценной витрины;
• Разберемся с методологией на разных диалектах;
• Узучим Spark в работе дата-инженера: преобразования, оптимизации, планы запросов;
• Используем AI для ускорения процессов.

🕗Встречаемся 28 января 19:00 по мск

Зарегистрироваться на бесплатный вебинар

Data Science. SQL hub

24 January 2025 12:20

🖥 sync — инструмент для синхронизации данных из рабочих баз данных в локальные экземпляры в реальном времени!

🌟 Он поддерживает MongoDB (с репликацией) и MySQL, с возможностью инкрементальной синхронизации через Change Streams для MongoDB и binlog для MySQL. Этот инструмент позволяет синхронизировать данные как в режиме начальной синхронизации, так и в реальном времени, обеспечивая высокую отказоустойчивость и возможность возобновления с последней позиции при перезапуске.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

19 January 2025 15:21

🖥 PeepDB — это инструмент командной строки и библиотека на Python, созданные для быстрого анализа баз данных!

🌟 Он поддерживает такие популярные СУБД, как MySQL, PostgreSQL, SQLite, MongoDB и Firebase, позволяя разработчикам и администраторам легко просматривать данные и структуры таблиц без написания сложных SQL-запросов. Удобный CLI-интерфейс делает инструмент простым в использовании, даже для начинающих специалистов.

🌟 PeepDB предлагает такие функции, как пагинация для работы с большими наборами данных, вывод результатов в форматах таблиц или JSON, а также возможность локального сохранения данных соединений с базой. Это делает инструмент полезным для отладки, анализа и быстрого доступа к данным, экономя время и усилия в сравнении с традиционными методами.

🔐 Лицензия: GPL-3.0

🖥 Github

@sqlhub

Data Science. SQL hub

18 January 2025 11:12

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
Data Science: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
Haskell: t.me/haskell_tg

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Data Science. SQL hub

14 January 2025 13:05

🔥 Sequin — это инструмент для захвата изменений данных (CDC) в PostgreSQL, который упрощает потоковую передачу строк и изменений из PostgreSQL в такие платформы, как Kafka и SQS!

🌟 Он позволяет выполнять бэкап существующих строк и в реальном времени передавать новые изменения. Sequin поддерживает различные приемники данных, включая HTTP-эндпоинты, что позволяет начать работу без дополнительной инфраструктуры.

💡 В отличие от других решений, таких как Debezium, Sequin не требует использования Kafka для работы. Он функционирует как автономный Docker-контейнер, который можно развернуть рядом с вашей базой данных PostgreSQL. Sequin обеспечивает надежную доставку всех изменений базы данных к указанным приемникам, поддерживает маршрутизацию сообщений с использованием SQL-условий и предоставляет возможность выполнения бэкапов данных.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

10 January 2025 18:32

🦑 SQL Squid Game: 9 уровней. 1 Аналитик данных. Ваша жизнь на кону 🔫.

Развлечение на выходные - Игра в Кальмара с SQL. Это бесплатный образовательный тренажер по работе с БД, по мотивам Netflix's Squid Game, SQL Murder Mystery и других известных SQL-игр.

❓О чем игра?
Вы только что были приняты на работу в качестве Аналитика данных в загадочную организацию Squid Game.

Таинственный работодатель, управляющий игрой, пообещал вам полностью удаленную работу, на которой вы будете составлять промпты, работать с pandas и генеративным ИИ

Но, как это обычно бывает в индустрии данных, вас подставили и обманули.

Оказалось, что работа связана с аналитикой данных на SQL, а работа не полностью удаленная, а гибридная: 5 дней в офисе, а 2 дня удаленно.

Не успели вы отказаться от работы , как работодатель приставил к вашей голове пистолет и начал требовать ответов на различные бизнес-вопросы.

Вы должны написать SQL-запросы, чтобы ответить ему - иначе вас ждет печальный конец 💀

📌 Как играть

- На каждом уровне вам будут даны задачи, а также одна или несколько таблиц и их схема.

Вам будет дана ячейка решения, в которую вы должны будете записать свое решение и отправить его на проверку.

Каждый уровень становится сложнее.

PS: Для прохождения SQL Squid Games, вам нужно хорошо знать SQL.А если хотите освежить свои знания или выучить SQL с нуля, вот 33 интерактивных учебника от Datalemur авторов игры из которых вы узнаете все, что нужно знать, чтобы пройти игру.

📲 Начать игру

@ai_machinelearning_big_data


#sql #tutorial #educationalgame

Data Science. SQL hub

08 January 2025 13:03

🖥 SQL Studio — это инструмент для работы с SQL-базами данных, поддерживающий такие системы, как SQLite, PostgreSQL, MySQL/MariaDB, DuckDB, ClickHouse и другие!

🌟 Он позволяет просматривать метаданные баз данных, управлять таблицами, выполнять запросы и работать с результатами через удобный графический интерфейс. Одной из ключевых функций является встроенный редактор SQL с поддержкой автодополнения (IntelliSense), что упрощает написание запросов и работу с большими объемами данных.

🌟 Инструмент предназначен для локального и удалённого подключения к базам данных и доступен в виде исполняемого файла, Docker-образа или пакета Nix. SQL Studio предоставляет удобные функции для администраторов и разработчиков, включая бесконечную прокрутку для больших таблиц, просмотр структуры базы данных и метаданных, а также возможности расширенного управления таблицами и запросами.

🔐 Лицензия: MIT

🖥 Github

@sqlhub