36043
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo
🖥 Dolt — это реляционная база данных с функциями контроля версий, аналогичными Git!
🌟 Она позволяет не только выполнять SQL-запросы, но и отслеживать изменения данных на уровне строк, создавать ветки, выполнять слияния и просматривать историю изменений. Каждая операция с данными может быть закоммичена, а история изменений доступна для анализа, что делает Dolt уникальным инструментом для управления данными в командах.
🔐 Лицензия: Apache-2.0
🖥 Github
@sqlhub
📊 Metabase — это мощная и простая в использовании платформа для бизнес-аналитики!
🌟 Она позволяет визуализировать данные, создавать отчёты и дашборды, а также находить инсайты без необходимости писать сложные SQL-запросы. Metabase поддерживает подключение к различным базам данных, включая MySQL, PostgreSQL, MongoDB и другие, предоставляя интуитивный интерфейс для работы с данными.
🔐 Лицензия: AGPL-3.0
🖥 Github
@sqlhub
Как построить витрину данных, как в крупной IT-компании?
Объединение данных из разных источников — то, с чем в какой-то момент сталкиватся каждый аналитик или дата-инженер.
Представьте, что вы тренер футбольной команды. И у вас есть витрина данных, которая собирает информацию о каждом игроке, включая количество забитых голов, ассистов, время на поле и количество проведенных матчей. Такая витрина помогает выявить слабые места в команде и сфокусироваться на их улучшении.
Как строить витрину данных разберём в прямом эфире нашего бесплатного вебинара в режиме решения реальной рабочей задачи📊. Спикер вебинара — Айгуль Сибгатуллина, Data Engineer в Сбер.
Что будет на вебинаре:
• Построим воркфлоу от этапа получения ТЗ до создания полноценной витрины;
• Разберемся с методологией на разных диалектах;
• Узучим Spark в работе дата-инженера: преобразования, оптимизации, планы запросов;
• Используем AI для ускорения процессов.
🕗Встречаемся 28 января 19:00 по мск
Зарегистрироваться на бесплатный вебинар
🖥 sync — инструмент для синхронизации данных из рабочих баз данных в локальные экземпляры в реальном времени!
🌟 Он поддерживает MongoDB (с репликацией) и MySQL, с возможностью инкрементальной синхронизации через Change Streams для MongoDB и binlog для MySQL. Этот инструмент позволяет синхронизировать данные как в режиме начальной синхронизации, так и в реальном времени, обеспечивая высокую отказоустойчивость и возможность возобновления с последней позиции при перезапуске.
🔐 Лицензия: MIT
🖥 Github
@sqlhub
🖥 PeepDB — это инструмент командной строки и библиотека на Python, созданные для быстрого анализа баз данных!
🌟 Он поддерживает такие популярные СУБД, как MySQL, PostgreSQL, SQLite, MongoDB и Firebase, позволяя разработчикам и администраторам легко просматривать данные и структуры таблиц без написания сложных SQL-запросов. Удобный CLI-интерфейс делает инструмент простым в использовании, даже для начинающих специалистов.
🌟 PeepDB предлагает такие функции, как пагинация для работы с большими наборами данных, вывод результатов в форматах таблиц или JSON, а также возможность локального сохранения данных соединений с базой. Это делает инструмент полезным для отладки, анализа и быстрого доступа к данным, экономя время и усилия в сравнении с традиционными методами.
🔐 Лицензия: GPL-3.0
🖥 Github
@sqlhub
⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:
МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
Data Science: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
Haskell: t.me/haskell_tg
💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno
🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy
🔥 Sequin — это инструмент для захвата изменений данных (CDC) в PostgreSQL, который упрощает потоковую передачу строк и изменений из PostgreSQL в такие платформы, как Kafka и SQS!
🌟 Он позволяет выполнять бэкап существующих строк и в реальном времени передавать новые изменения. Sequin поддерживает различные приемники данных, включая HTTP-эндпоинты, что позволяет начать работу без дополнительной инфраструктуры.
💡 В отличие от других решений, таких как Debezium, Sequin не требует использования Kafka для работы. Он функционирует как автономный Docker-контейнер, который можно развернуть рядом с вашей базой данных PostgreSQL. Sequin обеспечивает надежную доставку всех изменений базы данных к указанным приемникам, поддерживает маршрутизацию сообщений с использованием SQL-условий и предоставляет возможность выполнения бэкапов данных.
🔐 Лицензия: MIT
🖥 Github
@sqlhub
🦑 SQL Squid Game: 9 уровней. 1 Аналитик данных. Ваша жизнь на кону 🔫.
Развлечение на выходные - Игра в Кальмара с SQL. Это бесплатный образовательный тренажер по работе с БД, по мотивам Netflix's Squid Game, SQL Murder Mystery и других известных SQL-игр.
❓О чем игра?
Вы только что были приняты на работу в качестве Аналитика данных в загадочную организацию Squid Game.
Таинственный работодатель, управляющий игрой, пообещал вам полностью удаленную работу, на которой вы будете составлять промпты, работать с pandas и генеративным ИИ
Но, как это обычно бывает в индустрии данных, вас подставили и обманули.
Оказалось, что работа связана с аналитикой данных на SQL, а работа не полностью удаленная, а гибридная: 5 дней в офисе, а 2 дня удаленно.
Не успели вы отказаться от работы , как работодатель приставил к вашей голове пистолет и начал требовать ответов на различные бизнес-вопросы.
Вы должны написать SQL-запросы, чтобы ответить ему - иначе вас ждет печальный конец 💀
📌 Как играть
- На каждом уровне вам будут даны задачи, а также одна или несколько таблиц и их схема.
Вам будет дана ячейка решения, в которую вы должны будете записать свое решение и отправить его на проверку.
Каждый уровень становится сложнее.
PS: Для прохождения SQL Squid Games, вам нужно хорошо знать SQL.А если хотите освежить свои знания или выучить SQL с нуля, вот 33 интерактивных учебника от Datalemur авторов игры из которых вы узнаете все, что нужно знать, чтобы пройти игру.
📲 Начать игру
@ai_machinelearning_big_data
#sql #tutorial #educationalgame
🖥 SQL Studio — это инструмент для работы с SQL-базами данных, поддерживающий такие системы, как SQLite, PostgreSQL, MySQL/MariaDB, DuckDB, ClickHouse и другие!
🌟 Он позволяет просматривать метаданные баз данных, управлять таблицами, выполнять запросы и работать с результатами через удобный графический интерфейс. Одной из ключевых функций является встроенный редактор SQL с поддержкой автодополнения (IntelliSense), что упрощает написание запросов и работу с большими объемами данных.
🌟 Инструмент предназначен для локального и удалённого подключения к базам данных и доступен в виде исполняемого файла, Docker-образа или пакета Nix. SQL Studio предоставляет удобные функции для администраторов и разработчиков, включая бесконечную прокрутку для больших таблиц, просмотр структуры базы данных и метаданных, а также возможности расширенного управления таблицами и запросами.
🔐 Лицензия: MIT
🖥 Github
@sqlhub
🖥 Transactor — библиотека на Go, предназначенная для управления базами данных с использованием транзакций!
🌟 Она упрощает внедрение и использование транзакций, инкапсулируя логику работы с базой данных в сервисах и репозиториях. Библиотека поддерживает работу с несколькими драйверами SQL, включая pgx, sqlx, и стандартный database/sql, а также предоставляет функционал для поддержки вложенных транзакций с помощью различных стратегий, таких как использование точек сохранения в PostgreSQL, MySQL и других СУБД.
🔐 Лицензия: MIT
🖥 Github
@sqlhub
Разбираем тестовое задание на позицию Junior Аналитика в Яндекс.
Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму.
Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в подразделении Яндекс Картинки.
Что будет на вебинаре:
🟠С помощью Python решим рутинные задачи - разархивировать файлы, прочитать большой json и т.д.
🟠С помощью Pandas проанализируем поисковые запросы Яндекс.Картинок
🟠С помощью Plotly построим интерактивные графики и сделаем выводы
🟠Найдем статистически значимую разницу в поведении пользователей на разных устройствах
Вебинар проведет Андрон Алексанян, CEO Simulative
🎁Обязательно приходите смотреть вебинар в прямом эфире - в лайве будут дарить подарки, которые сильно бустанут старт карьеры в аналитике!
Зарегистрироваться на бесплатный вебинар
🖥 Бесплатная книга: Введение в SQL!
🔗 Ссылка: *клик*
@sqlhub
🖥 Limbo — система управления базами данных OLTP (online transaction processing), находящаяся в стадии разработки, совместимая с SQLite!
🌟 Она поддерживает асинхронный ввод-вывод на Linux с использованием io_uring и предназначен для использования внутри приложений. В проекте реализована поддержка SQL-диалекта и формата файлов SQLite, а также имеется возможность взаимодействовать с базой данных через JavaScript, Python и командную строку. Limbo стремится предложить улучшенную производительность и асинхронность по сравнению с традиционными SQLite-системами.
🔐 Лицензия: MIT
🖥 Github
@sqlhub
🖥 Курс: MySQL в phpMyAdmin!
🕞 Продолжительность: 1:43:34
🔗 Ссылка: *клик*
#курс #sql
freecourses
Сложно представить себе современный мир без искусственного интеллекта. Он помогает нам учиться, работать, а теперь и делать покупки. Так, с помощью ИИ Авито сделал поиск на 25% релевантнее. Логику выдачи объявлений удалось изменить с помощью собственной технологии ранжирования — Avito Ranker 3. Теперь алгоритмы учитывают не время публикации объявления, а более важные для пользователя данные: например, качество фото и описания, а также цену.
Результаты не заставили себя ждать: показы нерелевантных и некачественных объявлений упали в 2 раза, а покупатели стали на 17% чаще открывать карточки товара, которые увидели в выдаче. Покупки тоже стали делать чаще — конверсия увеличились до 25%.
Чтобы пользователи видели нужные им объявления, алгоритмы ИИ анализируют свыше 100 факторов, которые формируют выдачу. В их числе предпочтения конкретного покупателя, рейтинг товара, а также стоимость доставки и конкурентность цены.
@sqlhub
🖥 ScyllaDB — это высокопроизводительное NoSQL-хранилище данных, совместимое с Apache Cassandra, но с улучшенной производительностью и масштабируемостью!
🌟 ScyllaDB разработана на основе фреймворка Seastar, что позволяет использовать асинхронные вызовы для оптимизации работы с многопоточными системами и улучшения работы на современных многоядерных процессорах.
🖥 Github
@sqlhub
🖥 Azimutt — это инструмент для визуализации, проектирования и анализа баз данных, который помогает разработчикам и аналитикам лучше понимать структуры сложных и масштабных схем!
🌟 Он позволяет генерировать современные диаграммы сущностей и связей (ERD), исследовать связи между таблицами, искать данные в схемах и документировать базы данных. Azimutt разработан с учетом реальных задач и может обрабатывать даже большие и сложные схемы.
💡 Среди ключевых возможностей — масштабируемая визуализация ERD, поиск и фильтрация таблиц и связей, выполнение SQL-запросов с визуализацией внешних ключей и инструмент для обнаружения проблем в структуре базы данных. Это делает Azimutt полезным как для анализа существующих баз, так и для их проектирования.
🔐 Лицензия: MIT
🖥 Github
@sqlhub
🖥 TiDB — это распределённая SQL-база данных с открытым исходным кодом, разработанная для современных облачных приложений и больших данных!
🌟 Она предлагает совместимость с MySQL, поддерживая стандартный SQL и MySQL-протоколы, что облегчает миграцию существующих приложений. TiDB обеспечивает строгую согласованность данных, распределённые транзакции (используя двухфазный коммит) и горизонтальное масштабирование, позволяя работать с огромными объёмами данных без изменения архитектуры.
🔐 Лицензия: Apache-2.0
🖥 Github
@sqlhub
🖥 Эта статья объясняет, как оптимизаторы запросов в реляционных базах данных преобразуют SQL-запросы в эффективные планы выполнения!
🌟 Она подробно рассматривает концепции реляционной алгебры, лежащей в основе оптимизации, включая операции выбора, проекции, объединения и их эквивалентности. Автор иллюстрирует процесс перевода SQL-запросов в реляционные выражения, применение правил оптимизации и использование статистики для выбора лучшего плана выполнения.
🔗 Ссылка: *клик*
@sqlhub
🖥 sxt-proof-of-sql — высокопроизводительный доказатель с нулевым разглашением (ZK prover)!
🌟 Этот инструмент криптографически гарантирует, что SQL-запросы выполняются точно и на неизмененных данных. Он предназначен для обеспечения доверительных вычислений как с ончейн, так и с офчейн данными, позволяя разработчикам создавать более сложные DeFi-протоколы с использованием данных в смарт-контрактах.
🖥 Github
@sqlhub
🖥 kh-sql-projects — репозиторий, который содержит исходный код популярных SQL-проектов для начинающих, промежуточных и опытных разработчиков!
🌟 Проекты включают различные базы данных и системы управления, такие как управление библиотеками, студентами, больничные системы, системы бронирования и учета инвентаря. Все проекты написаны для базы данных PostgreSQL и предлагают практические примеры для работы с SQL.
🖥 Github
@sqlhub
🖥 Эта статья подробно объясняет, как с нуля разработать хранилище данных, основанное на деревьях LSM (Log-Structured Merge-Tree)!
🌟 Этот метод оптимизирован для высокопроизводительных операций записи, минимизируя случайные обращения к диску за счет предварительного хранения данных в памяти и последовательной записи на диск. Автор обсуждает основные компоненты, такие как Memtable (хранилище в памяти), WAL (журнал предзаписи) и SSTables (упорядоченные таблицы на диске), а также процессы записи, удаления и компакции данных.
🔗 Ссылка: *клик*
@sqlhub
🖥 Эта статья раскрывает
ключевые методы повышения производительности MySQL в приложениях с высокой нагрузкой!
🌟 Автор предлагает практические рекомендации по оптимизации дизайна схемы базы данных, созданию индексов, оптимизации запросов, использованию кэширования и мониторинга медленных запросов.
🔗 Ссылка: *клик*
@sqlhub
🖥 Эта статья объясняет настройку и использование логической репликации в PostgreSQL, включая её основные случаи применения!
🌟 Она содержит пошаговый гайд по конфигурации мастера и реплики, настройке публикации и подписки, а также разъясняет, как использовать логическую репликацию для миграции данных, создания аналитических баз данных и распределения нагрузки.
🔗 Ссылка: *клик*
@sqlhub
🖥 Kine — это промежуточный слой (shim) для работы с Kubernetes, который позволяет заменить etcd на другие базы данных, такие как SQLite, PostgreSQL, MySQL/MariaDB и NATS!
🌟 Kine преобразует запросы API etcd в вызовы, поддерживаемые указанными базами данных.
🌟 Этот инструмент может использоваться не только в Kubernetes-дистрибутиве K3s, но и в других конфигурациях Kubernetes. Он реализует ограниченный набор функций etcd API и поддерживает базовые операции, такие как создание, обновление и удаление данных. Kine позволяет запускать Kubernetes в средах, где etcd недоступен или нежелателен, упрощая требования к инфраструктуре.
🔐 Лицензия: Apache-2.0
🖥 Github
@sqlhub
"Поступашки — ШАД, Стажировки и Магистратура", - лучше гайд в мире образования и карьеры.
Канал ведут преподаватели Яндекса, ВШЭ и ШАД.
Внутри:
🔺Слив вопросов с собеса в Яндекс
🔺Как бесплатно вкатиться в айти
🔺Подборка топовых магистратур по Data Science
...и еще море полезнейшего контента. Я жалею, что не нашел этот канал раньше.
Подписывайтесь, потом сами себе спасибо скажете: ⬇️
@postypashki_old
👩💻 SQLDelight — это библиотека для работы с SQLite в Kotlin-приложениях!
🌟 SQLDelight генерирует типобезопасные объекты для выполнения запросов и манипуляций с базой данных, обеспечивая интеграцию с Android и многими другими платформами, использующими Kotlin. Она позволяет писать SQL-запросы непосредственно в коде, при этом генерируя соответствующие классы для их выполнения. Это упрощает работу с базами данных, улучшает читаемость кода и снижает вероятность ошибок.
🔐 Лицензия: Apache-2.0
🖥 Github
@sqlhub
🖥 PremSQL — это open-source инструмент для создания локальных, безопасных пайплайнов Text-to-SQL!
🌟 Он позволяет разработчикам строить и развертывать модели, которые могут преобразовывать запросы на естественном языке в SQL-запросы для работы с базами данных.
🌟 Этот инструмент ориентирован на безопасность и конфиденциальность, предлагая выполнение процессов локально. Включает возможности для анализа и визуализации данных, а также обработку ошибок и тонкую настройку моделей. PremSQL поддерживает интеграцию с различными базами данных, такими как SQLite и PostgreSQL, и предоставляет удобный интерфейс для тестирования и развертывания.
🖥 Github
@sqlhub
🖥 ClickHouse — мощная аналитическая колоночная база данных с открытым исходным кодом, разработанная для обработки больших объёмов данных с высокой скоростью!
🌟 Она поддерживает SQL-запросы, масштабируемость и используется для анализа в реальном времени. ClickHouse подходит для задач аналитики, логирования, мониторинга и обработки данных в масштабных системах.
🔐 Лицензия: Apache-2.0
🖥 Github
@sqlhub