36043
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo
⚡️ Grafana
Это открытая и компонуемая платформа для наблюдения и визуализации данных.
Визуализируйте метрики, журналы и трассировки из нескольких источников, таких как Prometheus, Loki, Elasticsearch, InfluxDB, Postgres и многих других.
▪ Github
@sqlhub
🖥 sqlite-vec
Чрезвычайно маленькое и "достаточно быстрое" расширение для векторного поиска SQLite, которое работает в любом месте!
Проект преемник sqlite-vss.
- Храните и запрашивайте float, int8 и двоичные векторы в виртуальных таблицах vec 0.
- Написан на чистом C, без зависимостей, работает везде, где работает SQLite (Linux/ macOS /Windows, в браузере с WASM, Raspberry Pis и т.д.)
- Предварительная фильтрация векторов с rowid В подзапросах (...)
▪ Github
@sqlhub
⚡️Большая шпаргалка по SQL с примерами запросов и объяснением
@sqlhub
💻FrostDB — встраиваемая колоночная БД, написанная на Go
Построенная поверх Apache Arrow, FrostDB предоставляет конструктор запросов и различные оптимизаторы (использующие DataFrame-подобные API).
В первую очередь, FrostDB оптимизирована для записи.
FrostDB поддерживает сбрасывание данных во внешнее объектное хранилище типа S3.
🖥 GitHub
@sqlhub
🖥 introduction-to-sql — введение в SQL бесплатная книга, которая поможет вам освоить основы SQL и начать использовать реляционные базы данных в ваших проектах SysOps, DevOps и другой разработке.
Независимо от того, работаете ли вы инженером DevOps/SysOps, разработчиком или просто увлекаетесь Linux, SQL, скорее всего, понадобится вам на каком-то этапе карьеры.
Это руководство подходит для всех, кто работает разработчиком, системным администратором или инженером DevOps и хочет изучить основы SQL.
▪ GitHub
@sqlhub
⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:
МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pro_python_code
Хакинг: t.me/linuxkalii
Devops: t.me/devOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Linux: t.me/linuxacademiya
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
C++ собеседования: t.me/cppsobes
Kubernets: t.me/kubernetc
💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno
🎓954ГБ СЛИТЫХ КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy
⚡️ Центр непрерывного образования ФКН НИУ ВШЭ приглашает на летнюю школу по аналитике и Data Science!
Вас ждут лекции и мастер-классы от спикеров из таких компаний, как: Яндекс, Ozon, X5 Group, VK, Ecom.Tech (ex Samokat_tech), МТС, Авито, Альфа-Банк, Купер, Wildberries, Raiffeisenbank, Вкусно и точка, Эйч.
Приглашаем всех, кто хочет разобраться:
➖➖➖➖➖➖
Зачем переходить в IT:
▫️Зачем бизнесу нужны дата-аналитики и дата-сайентисты в эпоху ИИ?
▫️Какие направления стоит изучать уже сейчас?
Как построить карьеру аналитика данных:
▫️Кто такой «хороший аналитик данных»?
▫️Что должен знать аналитик данных сейчас?
▫️Как учат аналитиков в Центре непрерывного образования?
Что могут специалисты по Data Science:
▫️Как и для чего начинать изучать машинное обучение?
▫️Какое применение находит ML в различных индустриях?
Школа подойдет как тем, кто только решил освоить новую профессию, так и начинающим специалистам.
Когда: 24-25 августа
Где: Культурный Центр НИУ ВШЭ, г. Москва, Покровский бульвар, 11
Участие бесплатное для всех желающих, необходимо зарегистрироваться: по ссылке.
Реклама | Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский университет «Высшая школа экономики» (НИУ ВШЭ)| ИНН 7714030726 | Erid: 2SDnjeWSshL
7 базовых функций SQL, первый код с нуля за полтора часа и практика на настоящих данных? Сделаем бесплатно!
Если вы всегда хотели попробовать SQL, но не знали, с чего начать, начните с бесплатного мастер-класса с Серафимом Фролкиным, инженером данных VK и экспертом программ школы аналитики Changellenge >> Education.
Без лишней теории про историю создания и количество проданных в мире учебников Серафим на примерах покажет 7 базовых функций SQL, а затем вы сразу же решите практический кейс, чтобы повысить свои шансы при трудоустройстве.
Присоединяйтесь онлайн из любой точки на глобусе 15 августа в 19:00 Мск. И да, у нас приятные карьерные бонусы всем зарегистрировавшимся и участникам!
Участие бесплатно, но подарки получат только зарегистрированные участники.
Регистрируйтесь и получайте подарки по ссылке >>
Реклама. ООО "ВЫСШАЯ ШКОЛА АНАЛИТИКИ И СТРАТЕГИИ". ИНН 7716917009. erid: 2VtzqxT5BHE
💻EventStoreDB — open-source БД, в основе которой событийно-ориентированный подход
Благодаря событийно-ориентированному подходу EventStoreDB позволяет извлекать больше пользы из данных, видеть больше связей и закономерностей
EventStoreDB позволяет создавать кластеры в AWS, Azure и GCP и безопасно подключать их к собственным облачным ресурсам.
Быстрый старт с Docker:docker run --name esdb-single-node -it -p 2113:2113 -p 1113:1113 eventstore/eventstore:latest --insecure --run-projections=All --enable-atom-pub-over-http
🖥 GitHub
🟡 Доки
@sqlhub
🖥 RethinkDB — база данных, ориентированная на работу в реальном времени. Она поддерживает хранение данных в формате JSON любой структуры (NoSQL) и позволяет "слушать" стримы данных как с помощью Python, так и непосредственно с фронтенда.
Упрощает создание:
▪приложений для совместного редактирования документов (например, Google Docs, Trello),
мультиплеерных игр (например, для мгновенного ▪оповещения игроков о действиях других),
маркетплейсов (биржи, ставки),
▪дешбордов с данными в реальном времени,
▪систем для общения между IoT-устройствами: обмен сообщениями, сигнализация, запуск действий через прослушивание одного источника.
https://github.com/rethinkdb/rethinkdb
@sqlhub
💻Doris — простая в использовании, высокопроизводительная и универсальная аналитическая БД
wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.0.3-bin-x64.tar.gz
tar zxf apache-doris-2.0.3-bin-x64.tar.gz
mv apache-doris-2.0.3-bin-x64 apache-doris
JAVA_HOME=/home/doris/jdk8
./bin/start_fe.sh --daemon
💻 Kuzu — это встроенная СУБД графов, созданная для обеспечения скорости запросов и масштабируемости
— pip install kuzu
Kuzu оптимизирована для выдерживания больших нагрузок и обладает следующим набором основных функций:
— гибкая модель данных Property Graph и язык запросов Cypher
— колоночное хранилище
— быстрые алгоритмы объединения данных
— многоядерный параллелизм запросов
— последовательные ACID-транзакции
🖥 GitHub
🟡 Доки
@sqlhub
💻 node-postgres — удобный клиент PostgreSQL для Node.js
— npm install pg
node-postgres представляет собой набор модулей Node.js для взаимодействия с PostgreSQL.
В node-postgres есть поддержка колбеков, промисов, async/await, пула соединений, курсоров, привязки к C/C++ и многого другого.
node-postgres написан на чистом JavaScript
🖥 GitHub
🟡 Доки
@sqlhub
🌟 txtai — универсальная база данных эмбеддингов для семантического поиска, оркестрации LLM и для управления рабочими процессами, связанными с ML
— pip install txtai
Особенности txtai:
— Имеет векторный поиск с SQL, хранение объектов, анализ графов и мультимодальное индексирование
— Поддерживает создание эмбеддингов для текста, документов, аудио, изображений и видео
— Позволяет создавать конвейеры на основе языковых моделей для выполнения подсказок LLM, ответов на вопросы, маркировки, транскрипции, перевода, резюмирования и т. д.
— Можно запускать локально или масштабировать с помощью оркестрации контейнеров
🖥 GitHub
🟡 Доки
@sqlhub
🌟 Lance — колоночная БД для ML- и LLM-приложений
— pip install pylance
Lance — колоночная БД для ML и LLM, реализованная на Rust.
Предназначена для работы с изображениями, видео, 3D-облаками точек, аудио и конечно с табличными данными. Поддерживает любые файловые системы POSIX, а также облачные хранилища, такие как AWS S3 и Google Cloud Storage.
Lance совместима с Pandas, DuckDB, Polars, Pyarrow.
🖥 GitHub
🟡 Примеры использования
@sqlhub
ИТ-команда Гринатома ищет разработчика форсайт.
✅ Предстоит участвовать в создании и изменении функциональности системы, выполнять разработки форсайт на основе функциональных спецификаций, проводить тестирования и актуализировать документацию.
✅ Идеальный кандидат знаком с продуктом Форсайт. Аналитическая платформа и языком программирования Fore, умеет писать SQL-запросы, понимает возможности виртуализации данных, а также имеет опыт в формировании модели данных и разработке на макро-языках.
Если это про вас, узнайте о вакансии больше по ссылке (https://sochi.hh.ru/vacancy/99149187).
🖥 Pgroll - это полезная CLI утилита с открытым исходным кодом, предназначенная для безопасных и обратимых миграций схем для PostgreSQL, которая поддерживает работу с несколькими версиями схем одновременно.
Она способна выполнять сложные операции миграции, гарантируя, что клиентские приложения продолжат функционировать во время обновления схемы базы данных.
Это достигается без блокировки базы данных и позволяет старым и новым версиям схемы работать одновременно, даже при внесении критических изменений. Это устраняет риски, связанные с миграциями схем, и значительно упрощает развертывание клиентских приложений, предоставляя возможность мгновенного отката.
Основные функции Pgroll включают:
- Миграции без простоев (без блокировки базы данных, без критических изменений).
- Поддержка одновременной работы старых и новых версий схемы.
- Автоматическое заполнение столбцов при необходимости.
- Мгновенный откат в случае возникновения проблем во время миграции.
- Работа с существующими схемами, нет необходимости начинать с нуля.
- Совместимость с Postgres 14.0 и более поздними версиями.
- Работа с любым сервисом Postgres (включая RDS и Aurora).
Pgroll написана на языке программирования Go, является кроссплатформенной и не требует внешних зависимостей.
https://github.com/xataio/pgroll
#postgres #migration #базыданных
@sqlhub
💻Vectorlite — быстрое и настраиваемое расширение SQLite для векторного поиска
— pip install vectorlite-py
Vectorlite — это расширение для SQLite, которое обеспечивает быстрый векторный поиск на основе hnswlib и работает под Windows, MacOS и Linux.
🖥 GitHub
@sqlhub
💻 Kvrocks — распределенная БД NoSQL, использующая RocksDB в качестве механизма хранения и совместимая с протоколом Redis
Apache Kvrocks — это распределенная key-value БД, которую можно использовать вместо Redis.
Дизайн репликации и хранения был вдохновлен rocksplicator и blackwidow.
Особенности Kvrocks:
— Совместимость с Redis: можно получить доступ к Apache Kvrocks через любой клиент Redis.
— Пространство имен: аналогично Redis SELECT, но с токеном для каждого пространства имен.
— асинхронная репликация с использованием binlog, как в MySQL.
— поддержка Redis sentinel для аварийного переключения при сбое ведущего или ведомого устройства.
Быстрый старт с Docker:
docker run -it -p 6666:6666 apache/kvrocks --bind 0.0.0.0
🖥 RavenDB — ACID NoSQL документоориентированная БД
mkdir HelloWorld && cd HelloWorld
dotnet new console
dotnet add package RavenDB.Client --version 6.0.0-*
# изменить Program.cs
dotnet restore && dotnet build && dotnet run
💻Spice — унифицированный интерфейс запросов SQL и портативная среда выполнения для быстрого извлечения данных из любой БД, хранилища данных или озера данных
curl https://install.spiceai.org | /bin/bash
spice init spice_qs
cd spice_qs
spice run
💻 GreptimeDB — облачная распределенная БД временных рядов с открытым исходным кодом; поддерживает PromQL/SQL/Python
GreptimeDB — это open-sorce БД временных рядов, ориентированная на эффективность, масштабируемость и аналитические возможности.
Особенности GreptimeDB:
— оптимизированная колоночная структура для работы с данными временных рядов; сжатие и хранение в различных системах хранения данных, в частности в облачных объектных хранилищах
— полностью открытая архитектура распределенного кластера, использующая мощь облачных вычислительных ресурсов
— встроенный SQL и PromQL для запросов, возможность использовать сценарии Python для решения сложных аналитических задач
Быстрый старт с Docker:docker run --rm --name greptime --net=host greptime/greptimedb standalone start
🖥 GitHub
🟡 Доки
@sqlhub
💻Antares SQL — удобный и простой open-source SQL-клиент
— sudo apt install antares
Antares SQL — это современное приложение, созданное с упором на простоту и UX, про производительность тоже не забыли
🟡 GitHub
@sqlhub
🖥 Уязвимость в PostgreSQL, позволяющая выполнить SQL-код с правами пользователя, запускающего pg_dump
Сформированы корректирующие обновления для всех поддерживаемых веток PostgreSQL 16.4, 15.8, 14.13, 13.16, 12.20, в которых исправлено 56 ошибок, выявленных за последние три месяца.
Cреди прочего в новых версиях устранена уязвимость (CVE-2024-7348), помеченная как опасная (уровень опасности 8.8 из 10). Уязвимость вызвана состоянием гонки в утилите pg_dump, позволяющем атакующему, имеющему возможность создания и удаления постоянных объектов в СУБД, добиться выполнения произвольного SQL-кода с правами пользователя, под которым запускается утилита pg_dump (обычно pg_dump запускается с правами суперпользователя для резервного копирования СУБД).
Для успешной атаки требуется отследить момент запуска утилиты pg_dump, что легко реализуется через манипуляции с открытой транзакцией.
Атака сводится к замене последовательности (sequence) на представление или внешнюю таблицу, определяющих запускаемый SQL-код, в момент запуска pg_dump, когда информация о наличии последовательности уже получена, но данные ещё не выведены. Для блокирования уязвимости добавлена настройка "restrict_nonsystem_relation_kind", запрещающая раскрытие не системных представлений и доступ к внешним таблицам в pg_dump.
@sqlhub
Шпаргалка по SQL и NoSQL
Your Go-To Quick Reference Guide for SQL & NoSQL
@sqlhub
💻 WrenAI — open-source инструмент, который делает имеющуюся БД готовой к работе с RAG
— curl -L https://github.com/Canner/WrenAI/releases/latest/download/wren-launcher-darwin.tar.gz | tar -xz && ./wren-launcher-darwin
WrenAI позволяет преобразовывать текст в SQL, изучать данные из БД без написания SQL, и делать многое другое
🖥 GitHub
🟡 Доки
@sqlhub
ТОП 30 статей для изучения языка T-SQL - Уровень «Начинающий»
📌 Ссылка
@sqlhub
💻 Релиз новой версии nxs-data-anonymizer 1.9.0 — инструмента анонимизации баз данных
Опубликован nxs-data-anonymizer 1.9.0 — инструмент для анонимизации дампа баз данных PostgreSQL и MySQL/MariaDB/Percona. Инструмент написан на языке Go и выпускается под лицензией Apache License 2.0.
Программа поддерживает анонимизацию данных на основе шаблонов и функций библиотеки Sprig. Nxs-data-anonymizer можно использовать через неименованные каналы (pipe) в командной строке для перенаправления дампа из исходной БД непосредственно в целевую БД с необходимыми преобразованиями. Процесс анонимизации может быть индексирован - через указанные промежутки выводятся данные о прогрессе выполнения операции. Благодаря внешним командам через добавление в значение столбца "type: command" можно задавать значение полей.
В зависимости от типа сущностей в настройках безопасности инструмент анонимизирует столбцы для таблиц с правилами, описанными в разделе filters. Если таблица не содержит никаких правил, данные все равно будут в надёжно защищены, так как анонимайзер не включит их в результирующий дамп.
🖥 GitHub
@sqlhub
🌟 qsv — анализ и разные манипуляции с CSV-файлами
— cargo install qsv --locked --features all_features
Иногда для отдельных кейсов достаточно хранить информацию просто в csv вместо базы данных.
И в таких случаях для удобной работы можно использовать утилиту qsv.
qsv — это программа командной строки для индексирования, нарезки, анализа, фильтрации, сортировки и объединения CSV-файлов.
Для всех этих манипуляций предусмотрены простые и удобные команды.
🖥 GitHub
@sqlhub
🌟 Создание text-to-SQL системы с Mistral AI, Neon, и LangChain
Если использовать просто LLM для генерации SQL, то может получиться синтаксически неверный SQL, усугубляет ситуацию и масса диалектов SQL в разных БД.
К тому же LLM не имеет доступа к полной схеме базы данных, именам таблиц и столбцов, а также индексам, что ограничивает его возможности по созданию точных/эффективных запросов. А передавать полную схему в промпте каждый раз дорого и неудобно.
Ок, но ведь LLM отлично обучаются в контексте, поэтому, передавая релевантную информацию в промпте, можно улучшить их результаты — так мы приходим к RAG.
И здесь по ссылке ниже разбирается построение системы RAG с использованием Mistral AI, Neon Postgres как векторной БД, и LangChain, чтобы связать всё это вместе.
🟡 Создание Text-to-SQL системы
@sqlhub