Data Science. SQL hub

07 January 2025 13:15

🌟 Всегда так.

@sqlhub

Data Science. SQL hub

04 January 2025 10:02

🖥 Эта статья объясняет настройку и использование логической репликации в PostgreSQL, включая её основные случаи применения!

🌟 Она содержит пошаговый гайд по конфигурации мастера и реплики, настройке публикации и подписки, а также разъясняет, как использовать логическую репликацию для миграции данных, создания аналитических баз данных и распределения нагрузки.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

02 January 2025 14:04

🖥 Kine — это промежуточный слой (shim) для работы с Kubernetes, который позволяет заменить etcd на другие базы данных, такие как SQLite, PostgreSQL, MySQL/MariaDB и NATS!

🌟 Kine преобразует запросы API etcd в вызовы, поддерживаемые указанными базами данных.

🌟 Этот инструмент может использоваться не только в Kubernetes-дистрибутиве K3s, но и в других конфигурациях Kubernetes. Он реализует ограниченный набор функций etcd API и поддерживает базовые операции, такие как создание, обновление и удаление данных. Kine позволяет запускать Kubernetes в средах, где etcd недоступен или нежелателен, упрощая требования к инфраструктуре.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Data Science. SQL hub

30 December 2024 14:44

"Поступашки — ШАД, Стажировки и Магистратура", - лучше гайд в мире образования и карьеры.
Канал ведут преподаватели Яндекса, ВШЭ и ШАД.

Внутри:
🔺Слив вопросов с собеса в Яндекс
🔺Как бесплатно вкатиться в айти
🔺Подборка топовых магистратур по Data Science

...и еще море полезнейшего контента. Я жалею, что не нашел этот канал раньше.

Подписывайтесь, потом сами себе спасибо скажете: ⬇️
@postypashki_old

Data Science. SQL hub

29 December 2024 12:14

👩‍💻 SQLDelight — это библиотека для работы с SQLite в Kotlin-приложениях!

🌟 SQLDelight генерирует типобезопасные объекты для выполнения запросов и манипуляций с базой данных, обеспечивая интеграцию с Android и многими другими платформами, использующими Kotlin. Она позволяет писать SQL-запросы непосредственно в коде, при этом генерируя соответствующие классы для их выполнения. Это упрощает работу с базами данных, улучшает читаемость кода и снижает вероятность ошибок.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Data Science. SQL hub

26 December 2024 18:31

🖥 PremSQL — это open-source инструмент для создания локальных, безопасных пайплайнов Text-to-SQL!

🌟 Он позволяет разработчикам строить и развертывать модели, которые могут преобразовывать запросы на естественном языке в SQL-запросы для работы с базами данных.

🌟 Этот инструмент ориентирован на безопасность и конфиденциальность, предлагая выполнение процессов локально. Включает возможности для анализа и визуализации данных, а также обработку ошибок и тонкую настройку моделей. PremSQL поддерживает интеграцию с различными базами данных, такими как SQLite и PostgreSQL, и предоставляет удобный интерфейс для тестирования и развертывания.

🖥 Github

@sqlhub

Data Science. SQL hub

26 December 2024 14:20

🖥 ClickHouse — мощная аналитическая колоночная база данных с открытым исходным кодом, разработанная для обработки больших объёмов данных с высокой скоростью!

🌟 Она поддерживает SQL-запросы, масштабируемость и используется для анализа в реальном времени. ClickHouse подходит для задач аналитики, логирования, мониторинга и обработки данных в масштабных системах.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Data Science. SQL hub

23 December 2024 11:48

⚡️ SQLCipher представляет собой ответвление от библиотеки SQLite, которое добавляет возможность использования 256-битного шифрования AES и включает дополнительные функции обеспечения безопасности, такие как шифрование «на лету» и надёжное получение криптографических ключей.

Программа обеспечивает быструю работу с минимальными накладными расходами, полностью шифрует данные и поддерживает передовые методы защиты информации. Пользователи могут преобразовывать стандартные базы данных в защищённые и управлять паролями через команды.

▪ Github

@sqlhub

Data Science. SQL hub

22 December 2024 16:00

🖥 Эта статья описывает набор SQL-скриптов для администрирования серверов и баз данных SQL!

🌟 Эти скрипты помогают упростить рутинные задачи, такие как управление пользователями, ролями, разрешениями, а также создание резервных копий и восстановление баз данных.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

21 December 2024 10:00

В СУБД Яндекса YDB появился компонент, отвечающий за аналитическую обработку данных. Инструмент под названием YDB DWH обеспечивает работу со сложными аналитическими запросами (OLAP). Сама платформа может использоваться как корпоративное хранилище – она способна хранить сотни терабайт данных.

СУБД горизонтально масштабируется, а запросы выполняются быстрее за счет устройства платформы – она реализована в виде массивно-параллельной архитектуры (MPP). В планах у компании работа над поддержкой SQL диалекта PostgreSQL для бесшовной интеграции в OLAP- и OLTP-сценариях.

Data Science. SQL hub

19 December 2024 14:00

🖥 Полный справочник по SQL!

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

14 December 2024 12:00

📖 postgres_for_everything — полезный репозиторий, который собирает примеры использования PostgreSQL для различных задач, таких как очереди сообщений, аналитика, контроль доступа, GIS, временные ряды, поиск, кэширование и многое другое!

🌟 Цель проекта — показать универсальность PostgreSQL как инструмента для упрощения разработки и ускорения процессов, используя одну базу данных для множества нужд.

🖥 Github

@sqlhub

Data Science. SQL hub

13 December 2024 11:00

🖥 Steampipe — инструмент с открытым исходным кодом, предназначенный для проведения запросов к облачным данным и API с помощью SQL!

💡 Он позволяет подключаться к различным облачным сервисам и выполнять SQL-запросы, чтобы извлекать, фильтровать и анализировать данные из таких сервисов, как AWS, Azure, Google Cloud, GitHub и других.

🔍 Основные возможности Steampipe:

🌟 SQL-интерфейс для работы с облачными данными. Steampipe преобразует облачные API в виртуальные таблицы, что позволяет использовать SQL-запросы для получения информации.

🌟 Подключение к множеству облачных сервисов. Он поддерживает такие провайдеры, как AWS, Azure, Google Cloud, Kubernetes, GitHub и другие, позволяя вам работать с данными в этих сервисах через единый интерфейс.

🌟 Плагины и расширяемость. Steampipe поддерживает расширение с помощью плагинов, что позволяет подключать новые источники данных и интеграции.

🌟 Безопасность и аудит. Инструмент помогает анализировать и проверять конфигурации облачных сервисов, а также отслеживать и анализировать события в облаке.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

Data Science. SQL hub

11 December 2024 10:01

🖥 TypeDB — это база данных, предназначенная для работы со сложными связями и большими наборами данных!

🌟 Она использует язык запросов TypeQL, позволяющий описывать данные с высокой семантической детализацией. Основное отличие TypeDB — возможность моделировать и анализировать сложные отношения между объектами, что делает её подходящей для задач, связанных с исследованиями, обработкой графов знаний и построением интеллектуальных систем.

🌟 Система поддерживает концепции типизации данных, автоматическую дедукцию новых знаний и расширяемую структуру, что удобно для областей, требующих сложного анализа, например, биоинформатики и AI.

🔐 Лицензия: MPL-2.0

🖥 Github

@sqlhub

Data Science. SQL hub

10 December 2024 17:01

🔥 Российские ученые представят рекордное количество работ на NeurIPS 2024 в Ванкувере.

Специалисты из AIRI подготовили к презентации 17 научных работ. Среди исследуемых тем — обновление крупнейшего в мире датасета для лекарственных молекул, оптимизация в машинном обучении, а также методы удешевления обучения AI-моделей.

Одна из работ, подготовленных совместно с Лабораторией искусственного интеллекта Сбера, изучает влияние эмоций на принятие решений нейросетями. По словам старшего вице-президента Сбера Андрея Белевцева, такой успех говорит о высокой конкурентоспособности отечественной науки в области AI на мировой арене.

@ai_machinelearning_big_data

#AI #LLM

Data Science. SQL hub

06 January 2025 14:04

🖥 Transactor — библиотека на Go, предназначенная для управления базами данных с использованием транзакций!

🌟 Она упрощает внедрение и использование транзакций, инкапсулируя логику работы с базой данных в сервисах и репозиториях. Библиотека поддерживает работу с несколькими драйверами SQL, включая pgx, sqlx, и стандартный database/sql, а также предоставляет функционал для поддержки вложенных транзакций с помощью различных стратегий, таких как использование точек сохранения в PostgreSQL, MySQL и других СУБД.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

04 January 2025 08:02

Разбираем тестовое задание на позицию Junior Аналитика в Яндекс.

Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму.

Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в подразделении Яндекс Картинки.

Что будет на вебинаре:
🟠С помощью Python решим рутинные задачи - разархивировать файлы, прочитать большой json и т.д.
🟠С помощью Pandas проанализируем поисковые запросы Яндекс.Картинок
🟠С помощью Plotly построим интерактивные графики и сделаем выводы
🟠Найдем статистически значимую разницу в поведении пользователей на разных устройствах

Вебинар проведет Андрон Алексанян, CEO Simulative

🎁Обязательно приходите смотреть вебинар в прямом эфире - в лайве будут дарить подарки, которые сильно бустанут старт карьеры в аналитике!

Зарегистрироваться на бесплатный вебинар

Data Science. SQL hub

31 December 2024 10:11

🖥 Бесплатная книга: Введение в SQL!

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

30 December 2024 14:02

🖥 Limbo — система управления базами данных OLTP (online transaction processing), находящаяся в стадии разработки, совместимая с SQLite!

🌟 Она поддерживает асинхронный ввод-вывод на Linux с использованием io_uring и предназначен для использования внутри приложений. В проекте реализована поддержка SQL-диалекта и формата файлов SQLite, а также имеется возможность взаимодействовать с базой данных через JavaScript, Python и командную строку. Limbo стремится предложить улучшенную производительность и асинхронность по сравнению с традиционными SQLite-системами.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

28 December 2024 14:00

🖥 Курс: MySQL в phpMyAdmin!

🕞 Продолжительность: 1:43:34

🔗 Ссылка: *клик*

#курс #sql

freecourses

Data Science. SQL hub

26 December 2024 16:30

Сложно представить себе современный мир без искусственного интеллекта. Он помогает нам учиться, работать, а теперь и делать покупки. Так, с помощью ИИ Авито сделал поиск на 25% релевантнее. Логику выдачи объявлений удалось изменить с помощью собственной технологии ранжирования — Avito Ranker 3. Теперь алгоритмы учитывают не время публикации объявления, а более важные для пользователя данные: например, качество фото и описания, а также цену.

Результаты не заставили себя ждать: показы нерелевантных и некачественных объявлений упали в 2 раза, а покупатели стали на 17% чаще открывать карточки товара, которые увидели в выдаче. Покупки тоже стали делать чаще — конверсия увеличились до 25%.

Чтобы пользователи видели нужные им объявления, алгоритмы ИИ анализируют свыше 100 факторов, которые формируют выдачу. В их числе предпочтения конкретного покупателя, рейтинг товара, а также стоимость доставки и конкурентность цены.

@sqlhub

Data Science. SQL hub

24 December 2024 14:00

🖥 Шпаргалка по SQL — cheat sheet с базовыми командами для работы с таблицами, данными и запросами.

@sqlhub

Data Science. SQL hub

23 December 2024 09:24

🌍Хотите освоить работу с географическими данными в PostgreSQL?

Приглашаем на бесплатный вебинар 26.12 в 20:00, где вы узнаете как использовать PostGIS для решения практических задач. Запишитесь сейчас и улучшите свои навыки в работе с геоданными!

На вебинаре мы разберем:

- Что такое системы координат (SRID) и как они влияют на работу с географическими данными.

- Какие типы географических объектов поддерживаются в PostgreSQL и как их создавать.

- Основные функции для работы с географическими данными: расчёт расстояний, проверка пересечений и построение зон.

- Как использовать PostgreSQL для решения практических задач, связанных с географией, например, поиск ближайшего объекта или определение зоны покрытия.

👉Регистрация. Участие бесплатно: https://otus.pw/OpXT/?erid=LjN8KPVV7

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

Data Science. SQL hub

21 December 2024 13:00

⚡️ PostgREST создает полноценное RESTful API на основе любой существующей базы данных PostgreSQL.

**Производительность:**

Скорость работы обеспечивается за счет трех факторов. Во-первых, сервер написан на Haskell с использованием HTTP Warp (это компилируемый язык с легковесными потоками). Во-вторых, он передает максимальное количество вычислений базе данных, включая:

- Сериализацию ответов JSON прямо в SQL,
- Валидацию данных,
- Механизмы авторизации,
- Комбинированный подсчет строк и фильтрацию,
- Возврат всех данных одной командой (*).

И наконец, PostgREST эффективно взаимодействует с базой данных через библиотеку Hasql:

- Поддерживает пул соединений с базой данных,
- Использует бинарный протокол PostgreSQL,
- Работает без сохранения состояния, что позволяет легко масштабироваться горизонтально.

▪ Github

@haskell_tg

Data Science. SQL hub

20 December 2024 12:01

🖥 pgvectorscale — это расширение для PostgreSQL, которое предоставляет функциональность для работы с векторами, что полезно в контексте обработки и хранения векторных представлений данных, например, для машинного обучения или поиска по векторным данным!

🌟 Этот проект является частью экосистемы Timescale, которая известна своими решениями для работы с временными рядами, но здесь акцент сделан именно на работу с векторами для быстрого поиска и манипуляций с многомерными данными.

🔐 Лицензия: PostgreSQL

🖥 Github

@sqlhub

Data Science. SQL hub

17 December 2024 13:04

🖥 EventStore — встраиваемая реализация хранилища событий, написанная на Go!

🌟 Она использует библиотеку GORM для работы с базами данных, такими как SQLite и PostgreSQL. Функции включают сохранение событий в потоки, их чтение, подписку на события в реальном времени и создание отказоустойчивых проекций для построения моделей чтения. Инструмент ориентирован на применение в архитектурах, базирующихся на event sourcing и DDD (Domain-Driven Design).

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

14 December 2024 10:36

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pro_python_code
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sql_lib
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
Haskell: t.me/haskell_tg

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Data Science. SQL hub

12 December 2024 11:33

🖥 Обеспечение целостности данных в финансовых транзакциях: решение PostgreSQL для транзакций!

🌟 Когда речь идет о финансовых системах, целостность данных является одной из самых важных проблем. В среде финансовых транзакций сбои могут привести к потере денег, несоответствию остатков на счетах или даже нарушениям безопасности. Для обеспечения согласованности и безопасности данных необходимо использовать транзакции в базе данных. В этой статье мы рассмотрим, как транзакции в PostgreSQL помогают решать эти проблемы, с практическими примерами использования NestJS и Prisma для внедрения надежных решений.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

10 December 2024 20:03

🖥 Обучающая статья по SQL для начинающих! В ней подробно расписан синтаксис команды CREATE TABLE с различными примерами.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

09 December 2024 14:00

🖥 Cloudberry — это проект с открытым исходным кодом от Apache, предназначенный для анализа и визуализации больших данных в реальном времени!

🌟 Он ориентирован на обработку и анализ данных, хранящихся в распределенных и облачных системах, с интеграцией возможностей визуализации, которые позволяют более эффективно работать с большими объемами данных. Одной из ключевых особенностей является тесная интеграция с базами данных, что делает Cloudberry удобным инструментом для аналитиков, работающих с большими и сложными наборами данных.

🌟 Основное внимание в Cloudberry уделяется обработке данных, хранящихся в распределенных базах данных, таких как HBase или Apache Cassandra, что позволяет эффективно обрабатывать и анализировать большие объемы информации. Проект поддерживает расширенные возможности по интеграции с такими системами, обеспечивая высокую производительность и масштабируемость. Cloudberry использует SQL-подобные запросы для извлечения данных из таких распределенных хранилищ и предоставляет интерфейсы для анализа и визуализации этих данных.

🌟 Кроме того, Cloudberry фокусируется на предоставлении простых инструментов для взаимодействия с данными и их представления в виде удобных графиков и отчетов. Это полезно для пользователей, которые хотят интегрировать аналитику с облачными хранилищами данных, используя мощные инструменты визуализации для анализа и принятия решений на основе больших данных.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub