Data Science. SQL hub

18 Aug 2024 15:05

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pro_python_code
Хакинг: t.me/linuxkalii
Devops: t.me/devOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Linux: t.me/linuxacademiya
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
C++ собеседования: t.me/cppsobes
Kubernets: t.me/kubernetc


💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ СЛИТЫХ КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Data Science. SQL hub

16 Aug 2024 10:03

⚡️ Центр непрерывного образования ФКН НИУ ВШЭ приглашает на летнюю школу по аналитике и Data Science!

Вас ждут лекции и мастер-классы от спикеров из таких компаний, как: Яндекс, Ozon, X5 Group, VK, Ecom.Tech (ex Samokat_tech), МТС, Авито, Альфа-Банк, Купер, Wildberries, Raiffeisenbank, Вкусно и точка, Эйч.

Приглашаем всех, кто хочет разобраться:
➖➖➖➖➖➖
Зачем переходить в IT:
▫️Зачем бизнесу нужны дата-аналитики и дата-сайентисты в эпоху ИИ?
▫️Какие направления стоит изучать уже сейчас?

Как построить карьеру аналитика данных:
▫️Кто такой «хороший аналитик данных»?
▫️Что должен знать аналитик данных сейчас?
▫️Как учат аналитиков в Центре непрерывного образования?

Что могут специалисты по Data Science:
▫️Как и для чего начинать изучать машинное обучение?
▫️Какое применение находит ML в различных индустриях?

Школа подойдет как тем, кто только решил освоить новую профессию, так и начинающим специалистам.

Когда: 24-25 августа
Где: Культурный Центр НИУ ВШЭ, г. Москва, Покровский бульвар, 11

Участие бесплатное для всех желающих, необходимо зарегистрироваться: по ссылке.

Реклама | Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский университет «Высшая школа экономики» (НИУ ВШЭ)| ИНН 7714030726 | Erid: 2SDnjeWSshL

Data Science. SQL hub

14 Aug 2024 17:43

7 базовых функций SQL, первый код с нуля за полтора часа и практика на настоящих данных? Сделаем бесплатно!

Если вы всегда хотели попробовать SQL, но не знали, с чего начать, начните с бесплатного мастер-класса с Серафимом Фролкиным, инженером данных VK и экспертом программ школы аналитики Changellenge >> Education.

Без лишней теории про историю создания и количество проданных в мире учебников Серафим на примерах покажет 7 базовых функций SQL, а затем вы сразу же решите практический кейс, чтобы повысить свои шансы при трудоустройстве.

Присоединяйтесь онлайн из любой точки на глобусе 15 августа в 19:00 Мск. И да, у нас приятные карьерные бонусы всем зарегистрировавшимся и участникам!

Участие бесплатно, но подарки получат только зарегистрированные участники.

Регистрируйтесь и получайте подарки по ссылке >>

Реклама. ООО "ВЫСШАЯ ШКОЛА АНАЛИТИКИ И СТРАТЕГИИ". ИНН 7716917009. erid: 2VtzqxT5BHE

Data Science. SQL hub

10 Aug 2024 18:03

💻EventStoreDB — open-source БД, в основе которой событийно-ориентированный подход

Благодаря событийно-ориентированному подходу EventStoreDB позволяет извлекать больше пользы из данных, видеть больше связей и закономерностей
EventStoreDB позволяет создавать кластеры в AWS, Azure и GCP и безопасно подключать их к собственным облачным ресурсам.

Быстрый старт с Docker:
docker run --name esdb-single-node -it -p 2113:2113 -p 1113:1113 eventstore/eventstore:latest --insecure --run-projections=All --enable-atom-pub-over-http

🖥 GitHub
🟡 Доки

@sqlhub

Data Science. SQL hub

07 Aug 2024 12:47

🖥 RethinkDB — база данных, ориентированная на работу в реальном времени. Она поддерживает хранение данных в формате JSON любой структуры (NoSQL) и позволяет "слушать" стримы данных как с помощью Python, так и непосредственно с фронтенда.


Упрощает создание:
▪приложений для совместного редактирования документов (например, Google Docs, Trello),
мультиплеерных игр (например, для мгновенного ▪оповещения игроков о действиях других),
маркетплейсов (биржи, ставки),
▪дешбордов с данными в реальном времени,
▪систем для общения между IoT-устройствами: обмен сообщениями, сигнализация, запуск действий через прослушивание одного источника.

https://github.com/rethinkdb/rethinkdb

@sqlhub

Data Science. SQL hub

06 Aug 2024 15:03

💻Doris — простая в использовании, высокопроизводительная и универсальная аналитическая БД

wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.0.3-bin-x64.tar.gz
tar zxf apache-doris-2.0.3-bin-x64.tar.gz
mv apache-doris-2.0.3-bin-x64 apache-doris

JAVA_HOME=/home/doris/jdk8

./bin/start_fe.sh --daemon

Data Science. SQL hub

02 Aug 2024 19:03

💻 Kuzu — это встроенная СУБД графов, созданная для обеспечения скорости запросов и масштабируемости

— pip install kuzu

Kuzu оптимизирована для выдерживания больших нагрузок и обладает следующим набором основных функций:
— гибкая модель данных Property Graph и язык запросов Cypher
— колоночное хранилище
— быстрые алгоритмы объединения данных
— многоядерный параллелизм запросов
— последовательные ACID-транзакции

🖥 GitHub
🟡 Доки

@sqlhub

Data Science. SQL hub

31 Jul 2024 19:04

💻 node-postgres — удобный клиент PostgreSQL для Node.js

— npm install pg

node-postgres представляет собой набор модулей Node.js для взаимодействия с PostgreSQL.
В node-postgres есть поддержка колбеков, промисов, async/await, пула соединений, курсоров, привязки к C/C++ и многого другого.
node-postgres написан на чистом JavaScript

🖥 GitHub
🟡 Доки

@sqlhub

Data Science. SQL hub

26 Jul 2024 18:04

🌟 txtai — универсальная база данных эмбеддингов для семантического поиска, оркестрации LLM и для управления рабочими процессами, связанными с ML

— pip install txtai

Особенности txtai:
— Имеет векторный поиск с SQL, хранение объектов, анализ графов и мультимодальное индексирование
— Поддерживает создание эмбеддингов для текста, документов, аудио, изображений и видео
— Позволяет создавать конвейеры на основе языковых моделей для выполнения подсказок LLM, ответов на вопросы, маркировки, транскрипции, перевода, резюмирования и т. д.
— Можно запускать локально или масштабировать с помощью оркестрации контейнеров

🖥 GitHub
🟡 Доки

@sqlhub

Data Science. SQL hub

26 Jul 2024 12:03

🌟 Lance — колоночная БД для ML- и LLM-приложений

— pip install pylance

Lance — колоночная БД для ML и LLM, реализованная на Rust.
Предназначена для работы с изображениями, видео, 3D-облаками точек, аудио и конечно с табличными данными. Поддерживает любые файловые системы POSIX, а также облачные хранилища, такие как AWS S3 и Google Cloud Storage.

Lance совместима с Pandas, DuckDB, Polars, Pyarrow.

🖥 GitHub
🟡 Примеры использования

@sqlhub

Data Science. SQL hub

24 Jul 2024 10:42

💻Spice — унифицированный интерфейс запросов SQL и портативная среда выполнения для быстрого извлечения данных из любой БД, хранилища данных или озера данных

curl https://install.spiceai.org | /bin/bash
spice init spice_qs
cd spice_qs
spice run

Data Science. SQL hub

22 Jul 2024 19:04

🖥 Известная компания Postgres Professional выпустила свой обновлённый базовый курс DBA-1 по администрированию свободно распространяемой СУБД PostgreSQL.

Курс доступен для самостоятельного изучения на сайте, а также в авторизованных учебных центрах.

Основные изменения:

- Добавлена информация про версии PostgreSQL 14, 15 и 16.
- Заменены четыре темы раздела «Управление доступом», по которым в дальнейшем появится отдельный подробный курс;
- Частично изменена структура: изложение стало более логичным и последовательным;
- Физическая и логическая репликации теперь рассматриваются в отдельных темах.
- Исправлены недочёты в изложении, ошибки в скриптах демонстраций и практических заданий.

📌 Курс

@sqlhub

Data Science. SQL hub

21 Jul 2024 14:29

🎓 Архив слитых курсов прямо в телеграм!

Вот огромная база материалов, которая пополлняется каждый день!

>Python (96гб видео)
>C# (45гб курсов)
>Английский (101гб курсов)
>Java (23гб видео)
>PHP (43гб видео)
>Мобильная разработка (22гб курсов)
>Go ( 132гб видео)
>Rust (35 гб видео)
>SQL (43гб видео)
>MySQL (31гб видео)
>Другое (234гб видео)

⛓ Крутейший Архив на 20241Гб: Курсов, книг, шпаргалок, стаетй, лекция ресурсы — всё собрано в одном месте: @datacours

Data Science. SQL hub

20 Jul 2024 13:07

🚀 DevToys — open-source набор инструментов для разработчика

Если кто вдруг не знает, существует замечательный набор инструментов для разработчика — DevToys.
Проект написан на C#, всего в DevToys доступно более 28 утилит, включая конвертер JSON в YAML и обратно, конвертер изображений в Base64, хеш-генераторы MD5, SHA1, SHA256, SHA512, генератор заглушек Lorem Ipsum, валидатор XML, превью разметки Markdown, среду для тестирования регулярных выражений, конвертер изображений, пипетку для выбора цветов, симулятор дальтонизма, инструмент для сжатия изображений и другие.

🖥 GitHub

@sqlhub

Data Science. SQL hub

17 Jul 2024 20:04

💻Timeplus Proton — SQL-движок, быстрая и легкая альтернатива ksqlDB или Apache Flink

— curl https://install.timeplus.com/oss | sh

Timeplus Proton, это SQL-движок от ClickHouse, который позволяет обрабатывать, маршрутизировать и анализировать потоковые данные из Apache Kafka, Redpanda и других источников, а также отправлять агрегированные данные в другие системы.

🖥 GitHub
🟡 Доки

@sqlhub

Data Science. SQL hub

16 Aug 2024 12:02

💻Spice — унифицированный интерфейс запросов SQL и портативная среда выполнения для быстрого извлечения данных из любой БД, хранилища данных или озера данных

curl https://install.spiceai.org | /bin/bash
spice init spice_qs
cd spice_qs
spice run

Data Science. SQL hub

14 Aug 2024 19:48

💻 GreptimeDB — облачная распределенная БД временных рядов с открытым исходным кодом; поддерживает PromQL/SQL/Python

GreptimeDB — это open-sorce БД временных рядов, ориентированная на эффективность, масштабируемость и аналитические возможности.

Особенности GreptimeDB:
— оптимизированная колоночная структура для работы с данными временных рядов; сжатие и хранение в различных системах хранения данных, в частности в облачных объектных хранилищах

— полностью открытая архитектура распределенного кластера, использующая мощь облачных вычислительных ресурсов

— встроенный SQL и PromQL для запросов, возможность использовать сценарии Python для решения сложных аналитических задач

Быстрый старт с Docker:
docker run --rm --name greptime --net=host greptime/greptimedb standalone start

🖥 GitHub
🟡 Доки

@sqlhub

Data Science. SQL hub

12 Aug 2024 10:32

💻Antares SQL — удобный и простой open-source SQL-клиент

— sudo apt install antares

Antares SQL — это современное приложение, созданное с упором на простоту и UX, про производительность тоже не забыли

🟡 GitHub

@sqlhub

Data Science. SQL hub

09 Aug 2024 15:02

🖥 Уязвимость в PostgreSQL, позволяющая выполнить SQL-код с правами пользователя, запускающего pg_dump

Сформированы корректирующие обновления для всех поддерживаемых веток PostgreSQL 16.4, 15.8, 14.13, 13.16, 12.20, в которых исправлено 56 ошибок, выявленных за последние три месяца.

Cреди прочего в новых версиях устранена уязвимость (CVE-2024-7348), помеченная как опасная (уровень опасности 8.8 из 10). Уязвимость вызвана состоянием гонки в утилите pg_dump, позволяющем атакующему, имеющему возможность создания и удаления постоянных объектов в СУБД, добиться выполнения произвольного SQL-кода с правами пользователя, под которым запускается утилита pg_dump (обычно pg_dump запускается с правами суперпользователя для резервного копирования СУБД).

Для успешной атаки требуется отследить момент запуска утилиты pg_dump, что легко реализуется через манипуляции с открытой транзакцией.

Атака сводится к замене последовательности (sequence) на представление или внешнюю таблицу, определяющих запускаемый SQL-код, в момент запуска pg_dump, когда информация о наличии последовательности уже получена, но данные ещё не выведены. Для блокирования уязвимости добавлена настройка "restrict_nonsystem_relation_kind", запрещающая раскрытие не системных представлений и доступ к внешним таблицам в pg_dump.

@sqlhub

Data Science. SQL hub

06 Aug 2024 21:03

Шпаргалка по SQL и NoSQL

Your Go-To Quick Reference Guide for SQL & NoSQL

@sqlhub

Data Science. SQL hub

05 Aug 2024 12:02

💻 WrenAI — open-source инструмент, который делает имеющуюся БД готовой к работе с RAG

— curl -L https://github.com/Canner/WrenAI/releases/latest/download/wren-launcher-darwin.tar.gz | tar -xz && ./wren-launcher-darwin

WrenAI позволяет преобразовывать текст в SQL, изучать данные из БД без написания SQL, и делать многое другое

🖥 GitHub
🟡 Доки

@sqlhub

Data Science. SQL hub

01 Aug 2024 09:14

ТОП 30 статей для изучения языка T-SQL - Уровень «Начинающий»

📌 Ссылка

@sqlhub

Data Science. SQL hub

28 Jul 2024 17:03

💻 Релиз новой версии nxs-data-anonymizer 1.9.0 — инструмента анонимизации баз данных

Опубликован nxs-data-anonymizer 1.9.0 — инструмент для анонимизации дампа баз данных PostgreSQL и MySQL/MariaDB/Percona. Инструмент написан на языке Go и выпускается под лицензией Apache License 2.0.

Программа поддерживает анонимизацию данных на основе шаблонов и функций библиотеки Sprig. Nxs-data-anonymizer можно использовать через неименованные каналы (pipe) в командной строке для перенаправления дампа из исходной БД непосредственно в целевую БД с необходимыми преобразованиями. Процесс анонимизации может быть индексирован - через указанные промежутки выводятся данные о прогрессе выполнения операции. Благодаря внешним командам через добавление в значение столбца "type: command" можно задавать значение полей.

В зависимости от типа сущностей в настройках безопасности инструмент анонимизирует столбцы для таблиц с правилами, описанными в разделе filters. Если таблица не содержит никаких правил, данные все равно будут в надёжно защищены, так как анонимайзер не включит их в результирующий дамп.

🖥 GitHub

@sqlhub

Data Science. SQL hub

26 Jul 2024 15:05

🌟 qsv — анализ и разные манипуляции с CSV-файлами

— cargo install qsv --locked --features all_features

Иногда для отдельных кейсов достаточно хранить информацию просто в csv вместо базы данных.
И в таких случаях для удобной работы можно использовать утилиту qsv.

qsv — это программа командной строки для индексирования, нарезки, анализа, фильтрации, сортировки и объединения CSV-файлов.
Для всех этих манипуляций предусмотрены простые и удобные команды.

🖥 GitHub

@sqlhub

Data Science. SQL hub

24 Jul 2024 18:05

🌟 Создание text-to-SQL системы с Mistral AI, Neon, и LangChain

Если использовать просто LLM для генерации SQL, то может получиться синтаксически неверный SQL, усугубляет ситуацию и масса диалектов SQL в разных БД.
К тому же LLM не имеет доступа к полной схеме базы данных, именам таблиц и столбцов, а также индексам, что ограничивает его возможности по созданию точных/эффективных запросов. А передавать полную схему в промпте каждый раз дорого и неудобно.

Ок, но ведь LLM отлично обучаются в контексте, поэтому, передавая релевантную информацию в промпте, можно улучшить их результаты — так мы приходим к RAG.
И здесь по ссылке ниже разбирается построение системы RAG с использованием Mistral AI, Neon Postgres как векторной БД, и LangChain, чтобы связать всё это вместе.

🟡 Создание Text-to-SQL системы

@sqlhub

Data Science. SQL hub

23 Jul 2024 16:00

ИИ в аспирантуре с уклоном в практику — молодые ученые будут исследовать и развивать ИИ уже в этому году

В ИТМО и НИУ ВШЭ открывается новый формат аспирантуры от Яндекса. Чтобы молодые ученые развивали, исследовали и улучшали ИИ-технологии, им будут давать ежегодные гранты 800 тысяч рублей и задачи реальных сервисов (в первую очередь, облачные технологии и беспилотники).

У каждого будет свой научный руководитель из университета и проектный из компании. Наставниками станут лиды из сервисов и будут делиться экспертизой, апробировать результаты исследований в реальных продуктовых командах.

Надеемся, что это поможет сокращению разрыва между исследованиями и практикой, а результатом станет ускоренное внедрение научных разработок в реальные продукты.

Узнать больше о программе: Яндекс Аспирантура по ИИ

#Яндекс #ИИ #Аспирантура #Образование #Наука #Технологии #ИТМО #НИУВШЭ

Data Science. SQL hub

21 Jul 2024 16:32

🔥 Rainbow Brackets — плагин для IDE, основанных на IntelliJ IDEA, который раскрашивает любые скобки

Поддерживаемые языки: Java, Scala, Clojure, Kotlin, Python, Haskell, Agda, Rust, JavaScript, TypeScript, Erlang, Go, Groovy, Ruby, Elixir, ObjectiveC, PHP, C#, HTML, XML, SQL, Apex language.

@sqlhub

Data Science. SQL hub

20 Jul 2024 17:02

💻Bitalostored — высокопроизводительная распределенная система хранения данных, совместимая с протоколом Redis

Bitalostored — это недавно опубликованная распределенная система хранения данных, ядро которой основано на bitalosdb, совместимая с протоколом Redis.
Bitalostored отличается высокой производительностью

🖥 GitHub
🟡 Доки

@sqlhub

Data Science. SQL hub

18 Jul 2024 11:05

💻 WrenAI — open-source инструмент, который делает имеющуюся БД готовой к работе с RAG

— curl -L https://github.com/Canner/WrenAI/releases/latest/download/wren-launcher-darwin.tar.gz | tar -xz && ./wren-launcher-darwin

WrenAI позволяет преобразовывать текст в SQL, изучать данные из БД без написания SQL, и делать многое другое

🖥 GitHub
🟡 Доки

@sqlhub

Data Science. SQL hub

17 Jul 2024 13:53

SQL Более 800 вопросов c собеседований + задачи!

@sqlbooks - огромный архив SQL книг