sqlhub | Unsorted

Telegram-канал sqlhub - Data Science. SQL hub

36043

По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo

Subscribe to a channel

Data Science. SQL hub

🖥 Dolt — это реляционная база данных с функциями контроля версий, аналогичными Git!

🌟 Она позволяет не только выполнять SQL-запросы, но и отслеживать изменения данных на уровне строк, создавать ветки, выполнять слияния и просматривать историю изменений. Каждая операция с данными может быть закоммичена, а история изменений доступна для анализа, что делает Dolt уникальным инструментом для управления данными в командах.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

📊 Metabase — это мощная и простая в использовании платформа для бизнес-аналитики!

🌟 Она позволяет визуализировать данные, создавать отчёты и дашборды, а также находить инсайты без необходимости писать сложные SQL-запросы. Metabase поддерживает подключение к различным базам данных, включая MySQL, PostgreSQL, MongoDB и другие, предоставляя интуитивный интерфейс для работы с данными.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

Как построить витрину данных, как в крупной IT-компании?

Объединение данных из разных источников — то, с чем в какой-то момент сталкиватся каждый аналитик или дата-инженер.

Представьте, что вы тренер футбольной команды. И у вас есть витрина данных, которая собирает информацию о каждом игроке, включая количество забитых голов, ассистов, время на поле и количество проведенных матчей. Такая витрина помогает выявить слабые места в команде и сфокусироваться на их улучшении.

Как строить витрину данных разберём в прямом эфире нашего бесплатного вебинара в режиме решения реальной рабочей задачи📊. Спикер вебинара — Айгуль Сибгатуллина, Data Engineer в Сбер.

Что будет на вебинаре:
• Построим воркфлоу от этапа получения ТЗ до создания полноценной витрины;
• Разберемся с методологией на разных диалектах;
• Узучим Spark в работе дата-инженера: преобразования, оптимизации, планы запросов;
• Используем AI для ускорения процессов.

🕗Встречаемся 28 января 19:00 по мск

Зарегистрироваться на бесплатный вебинар

Читать полностью…

Data Science. SQL hub

🖥 sync — инструмент для синхронизации данных из рабочих баз данных в локальные экземпляры в реальном времени!

🌟 Он поддерживает MongoDB (с репликацией) и MySQL, с возможностью инкрементальной синхронизации через Change Streams для MongoDB и binlog для MySQL. Этот инструмент позволяет синхронизировать данные как в режиме начальной синхронизации, так и в реальном времени, обеспечивая высокую отказоустойчивость и возможность возобновления с последней позиции при перезапуске.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 PeepDB — это инструмент командной строки и библиотека на Python, созданные для быстрого анализа баз данных!

🌟 Он поддерживает такие популярные СУБД, как MySQL, PostgreSQL, SQLite, MongoDB и Firebase, позволяя разработчикам и администраторам легко просматривать данные и структуры таблиц без написания сложных SQL-запросов. Удобный CLI-интерфейс делает инструмент простым в использовании, даже для начинающих специалистов.

🌟 PeepDB предлагает такие функции, как пагинация для работы с большими наборами данных, вывод результатов в форматах таблиц или JSON, а также возможность локального сохранения данных соединений с базой. Это делает инструмент полезным для отладки, анализа и быстрого доступа к данным, экономя время и усилия в сравнении с традиционными методами.

🔐 Лицензия: GPL-3.0

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
Data Science: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
Haskell: t.me/haskell_tg

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Читать полностью…

Data Science. SQL hub

🔥 Sequin — это инструмент для захвата изменений данных (CDC) в PostgreSQL, который упрощает потоковую передачу строк и изменений из PostgreSQL в такие платформы, как Kafka и SQS!

🌟 Он позволяет выполнять бэкап существующих строк и в реальном времени передавать новые изменения. Sequin поддерживает различные приемники данных, включая HTTP-эндпоинты, что позволяет начать работу без дополнительной инфраструктуры.

💡 В отличие от других решений, таких как Debezium, Sequin не требует использования Kafka для работы. Он функционирует как автономный Docker-контейнер, который можно развернуть рядом с вашей базой данных PostgreSQL. Sequin обеспечивает надежную доставку всех изменений базы данных к указанным приемникам, поддерживает маршрутизацию сообщений с использованием SQL-условий и предоставляет возможность выполнения бэкапов данных.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🦑 SQL Squid Game: 9 уровней. 1 Аналитик данных. Ваша жизнь на кону 🔫.

Развлечение на выходные - Игра в Кальмара с SQL. Это бесплатный образовательный тренажер по работе с БД, по мотивам Netflix's Squid Game, SQL Murder Mystery и других известных SQL-игр.

❓О чем игра?
Вы только что были приняты на работу в качестве Аналитика данных в загадочную организацию Squid Game.

Таинственный работодатель, управляющий игрой, пообещал вам полностью удаленную работу, на которой вы будете составлять промпты, работать с pandas и генеративным ИИ

Но, как это обычно бывает в индустрии данных, вас подставили и обманули.

Оказалось, что работа связана с аналитикой данных на SQL, а работа не полностью удаленная, а гибридная: 5 дней в офисе, а 2 дня удаленно.

Не успели вы отказаться от работы , как работодатель приставил к вашей голове пистолет и начал требовать ответов на различные бизнес-вопросы.

Вы должны написать SQL-запросы, чтобы ответить ему - иначе вас ждет печальный конец 💀

📌 Как играть

- На каждом уровне вам будут даны задачи, а также одна или несколько таблиц и их схема.

Вам будет дана ячейка решения, в которую вы должны будете записать свое решение и отправить его на проверку.

Каждый уровень становится сложнее.

PS: Для прохождения SQL Squid Games, вам нужно хорошо знать SQL.А если хотите освежить свои знания или выучить SQL с нуля, вот 33 интерактивных учебника от Datalemur авторов игры из которых вы узнаете все, что нужно знать, чтобы пройти игру.

📲 Начать игру

@ai_machinelearning_big_data


#sql #tutorial #educationalgame

Читать полностью…

Data Science. SQL hub

🖥 SQL Studio — это инструмент для работы с SQL-базами данных, поддерживающий такие системы, как SQLite, PostgreSQL, MySQL/MariaDB, DuckDB, ClickHouse и другие!

🌟 Он позволяет просматривать метаданные баз данных, управлять таблицами, выполнять запросы и работать с результатами через удобный графический интерфейс. Одной из ключевых функций является встроенный редактор SQL с поддержкой автодополнения (IntelliSense), что упрощает написание запросов и работу с большими объемами данных.

🌟 Инструмент предназначен для локального и удалённого подключения к базам данных и доступен в виде исполняемого файла, Docker-образа или пакета Nix. SQL Studio предоставляет удобные функции для администраторов и разработчиков, включая бесконечную прокрутку для больших таблиц, просмотр структуры базы данных и метаданных, а также возможности расширенного управления таблицами и запросами.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Transactor — библиотека на Go, предназначенная для управления базами данных с использованием транзакций!

🌟 Она упрощает внедрение и использование транзакций, инкапсулируя логику работы с базой данных в сервисах и репозиториях. Библиотека поддерживает работу с несколькими драйверами SQL, включая pgx, sqlx, и стандартный database/sql, а также предоставляет функционал для поддержки вложенных транзакций с помощью различных стратегий, таких как использование точек сохранения в PostgreSQL, MySQL и других СУБД.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

Разбираем тестовое задание на позицию Junior Аналитика в Яндекс.

Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму.

Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в подразделении Яндекс Картинки.

Что будет на вебинаре:
🟠С помощью Python решим рутинные задачи - разархивировать файлы, прочитать большой json и т.д.
🟠С помощью Pandas проанализируем поисковые запросы Яндекс.Картинок
🟠С помощью Plotly построим интерактивные графики и сделаем выводы
🟠Найдем статистически значимую разницу в поведении пользователей на разных устройствах

Вебинар проведет Андрон Алексанян, CEO Simulative

🎁Обязательно приходите смотреть вебинар в прямом эфире - в лайве будут дарить подарки, которые сильно бустанут старт карьеры в аналитике!

Зарегистрироваться на бесплатный вебинар

Читать полностью…

Data Science. SQL hub

🖥 Бесплатная книга: Введение в SQL!

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Limbo — система управления базами данных OLTP (online transaction processing), находящаяся в стадии разработки, совместимая с SQLite!

🌟 Она поддерживает асинхронный ввод-вывод на Linux с использованием io_uring и предназначен для использования внутри приложений. В проекте реализована поддержка SQL-диалекта и формата файлов SQLite, а также имеется возможность взаимодействовать с базой данных через JavaScript, Python и командную строку. Limbo стремится предложить улучшенную производительность и асинхронность по сравнению с традиционными SQLite-системами.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Курс: MySQL в phpMyAdmin!

🕞 Продолжительность: 1:43:34

🔗 Ссылка: *клик*

#курс #sql

freecourses

Читать полностью…

Data Science. SQL hub

Сложно представить себе современный мир без искусственного интеллекта. Он помогает нам учиться, работать, а теперь и делать покупки. Так, с помощью ИИ Авито сделал поиск на 25% релевантнее. Логику выдачи объявлений удалось изменить с помощью собственной технологии ранжирования — Avito Ranker 3. Теперь алгоритмы учитывают не время публикации объявления, а более важные для пользователя данные: например, качество фото и описания, а также цену.

Результаты не заставили себя ждать: показы нерелевантных и некачественных объявлений упали в 2 раза, а покупатели стали на 17% чаще открывать карточки товара, которые увидели в выдаче. Покупки тоже стали делать чаще — конверсия увеличились до 25%.

Чтобы пользователи видели нужные им объявления, алгоритмы ИИ анализируют свыше 100 факторов, которые формируют выдачу. В их числе предпочтения конкретного покупателя, рейтинг товара, а также стоимость доставки и конкурентность цены.

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 ScyllaDB — это высокопроизводительное NoSQL-хранилище данных, совместимое с Apache Cassandra, но с улучшенной производительностью и масштабируемостью!

🌟 ScyllaDB разработана на основе фреймворка Seastar, что позволяет использовать асинхронные вызовы для оптимизации работы с многопоточными системами и улучшения работы на современных многоядерных процессорах.

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Azimutt — это инструмент для визуализации, проектирования и анализа баз данных, который помогает разработчикам и аналитикам лучше понимать структуры сложных и масштабных схем!

🌟 Он позволяет генерировать современные диаграммы сущностей и связей (ERD), исследовать связи между таблицами, искать данные в схемах и документировать базы данных. Azimutt разработан с учетом реальных задач и может обрабатывать даже большие и сложные схемы.

💡 Среди ключевых возможностей — масштабируемая визуализация ERD, поиск и фильтрация таблиц и связей, выполнение SQL-запросов с визуализацией внешних ключей и инструмент для обнаружения проблем в структуре базы данных. Это делает Azimutt полезным как для анализа существующих баз, так и для их проектирования.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 TiDB — это распределённая SQL-база данных с открытым исходным кодом, разработанная для современных облачных приложений и больших данных!

🌟 Она предлагает совместимость с MySQL, поддерживая стандартный SQL и MySQL-протоколы, что облегчает миграцию существующих приложений. TiDB обеспечивает строгую согласованность данных, распределённые транзакции (используя двухфазный коммит) и горизонтальное масштабирование, позволяя работать с огромными объёмами данных без изменения архитектуры.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Эта статья объясняет, как оптимизаторы запросов в реляционных базах данных преобразуют SQL-запросы в эффективные планы выполнения!

🌟 Она подробно рассматривает концепции реляционной алгебры, лежащей в основе оптимизации, включая операции выбора, проекции, объединения и их эквивалентности. Автор иллюстрирует процесс перевода SQL-запросов в реляционные выражения, применение правил оптимизации и использование статистики для выбора лучшего плана выполнения.

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 sxt-proof-of-sql — высокопроизводительный доказатель с нулевым разглашением (ZK prover)!

🌟 Этот инструмент криптографически гарантирует, что SQL-запросы выполняются точно и на неизмененных данных. Он предназначен для обеспечения доверительных вычислений как с ончейн, так и с офчейн данными, позволяя разработчикам создавать более сложные DeFi-протоколы с использованием данных в смарт-контрактах.

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 kh-sql-projects — репозиторий, который содержит исходный код популярных SQL-проектов для начинающих, промежуточных и опытных разработчиков!

🌟 Проекты включают различные базы данных и системы управления, такие как управление библиотеками, студентами, больничные системы, системы бронирования и учета инвентаря. Все проекты написаны для базы данных PostgreSQL и предлагают практические примеры для работы с SQL.

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Эта статья подробно объясняет, как с нуля разработать хранилище данных, основанное на деревьях LSM (Log-Structured Merge-Tree)!

🌟 Этот метод оптимизирован для высокопроизводительных операций записи, минимизируя случайные обращения к диску за счет предварительного хранения данных в памяти и последовательной записи на диск. Автор обсуждает основные компоненты, такие как Memtable (хранилище в памяти), WAL (журнал предзаписи) и SSTables (упорядоченные таблицы на диске), а также процессы записи, удаления и компакции данных.

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Эта статья раскрывает
ключевые методы повышения производительности MySQL в приложениях с высокой нагрузкой!

🌟 Автор предлагает практические рекомендации по оптимизации дизайна схемы базы данных, созданию индексов, оптимизации запросов, использованию кэширования и мониторинга медленных запросов.

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

Data Science. SQL hub

🌟 Всегда так.

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Эта статья объясняет настройку и использование логической репликации в PostgreSQL, включая её основные случаи применения!

🌟 Она содержит пошаговый гайд по конфигурации мастера и реплики, настройке публикации и подписки, а также разъясняет, как использовать логическую репликацию для миграции данных, создания аналитических баз данных и распределения нагрузки.

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Kine — это промежуточный слой (shim) для работы с Kubernetes, который позволяет заменить etcd на другие базы данных, такие как SQLite, PostgreSQL, MySQL/MariaDB и NATS!

🌟 Kine преобразует запросы API etcd в вызовы, поддерживаемые указанными базами данных.

🌟 Этот инструмент может использоваться не только в Kubernetes-дистрибутиве K3s, но и в других конфигурациях Kubernetes. Он реализует ограниченный набор функций etcd API и поддерживает базовые операции, такие как создание, обновление и удаление данных. Kine позволяет запускать Kubernetes в средах, где etcd недоступен или нежелателен, упрощая требования к инфраструктуре.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

"Поступашки — ШАД, Стажировки и Магистратура", - лучше гайд в мире образования и карьеры.
Канал ведут преподаватели Яндекса, ВШЭ и ШАД.

Внутри:
🔺Слив вопросов с собеса в Яндекс
🔺Как бесплатно вкатиться в айти
🔺Подборка топовых магистратур по Data Science

...и еще море полезнейшего контента. Я жалею, что не нашел этот канал раньше.

Подписывайтесь, потом сами себе спасибо скажете: ⬇️
@postypashki_old

Читать полностью…

Data Science. SQL hub

👩‍💻 SQLDelight — это библиотека для работы с SQLite в Kotlin-приложениях!

🌟 SQLDelight генерирует типобезопасные объекты для выполнения запросов и манипуляций с базой данных, обеспечивая интеграцию с Android и многими другими платформами, использующими Kotlin. Она позволяет писать SQL-запросы непосредственно в коде, при этом генерируя соответствующие классы для их выполнения. Это упрощает работу с базами данных, улучшает читаемость кода и снижает вероятность ошибок.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 PremSQL — это open-source инструмент для создания локальных, безопасных пайплайнов Text-to-SQL!

🌟 Он позволяет разработчикам строить и развертывать модели, которые могут преобразовывать запросы на естественном языке в SQL-запросы для работы с базами данных.

🌟 Этот инструмент ориентирован на безопасность и конфиденциальность, предлагая выполнение процессов локально. Включает возможности для анализа и визуализации данных, а также обработку ошибок и тонкую настройку моделей. PremSQL поддерживает интеграцию с различными базами данных, такими как SQLite и PostgreSQL, и предоставляет удобный интерфейс для тестирования и развертывания.

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 ClickHouse — мощная аналитическая колоночная база данных с открытым исходным кодом, разработанная для обработки больших объёмов данных с высокой скоростью!

🌟 Она поддерживает SQL-запросы, масштабируемость и используется для анализа в реальном времени. ClickHouse подходит для задач аналитики, логирования, мониторинга и обработки данных в масштабных системах.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Читать полностью…
Subscribe to a channel