sqlhub | Unsorted

Telegram-канал sqlhub - Data Science. SQL hub

36043

По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo

Subscribe to a channel

Data Science. SQL hub

🖥 Шпаргалка по SQL — cheat sheet с базовыми командами для работы с таблицами, данными и запросами.

@sqlhub

Читать полностью…

Data Science. SQL hub

🌍Хотите освоить работу с географическими данными в PostgreSQL?

Приглашаем на бесплатный вебинар 26.12 в 20:00, где вы узнаете как использовать PostGIS для решения практических задач. Запишитесь сейчас и улучшите свои навыки в работе с геоданными!

На вебинаре мы разберем:

- Что такое системы координат (SRID) и как они влияют на работу с географическими данными.

- Какие типы географических объектов поддерживаются в PostgreSQL и как их создавать.

- Основные функции для работы с географическими данными: расчёт расстояний, проверка пересечений и построение зон.

- Как использовать PostgreSQL для решения практических задач, связанных с географией, например, поиск ближайшего объекта или определение зоны покрытия.

👉Регистрация. Участие бесплатно: https://otus.pw/OpXT/?erid=LjN8KPVV7

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

Читать полностью…

Data Science. SQL hub

⚡️ PostgREST создает полноценное RESTful API на основе любой существующей базы данных PostgreSQL.

**Производительность:**

Скорость работы обеспечивается за счет трех факторов. Во-первых, сервер написан на Haskell с использованием HTTP Warp (это компилируемый язык с легковесными потоками). Во-вторых, он передает максимальное количество вычислений базе данных, включая:

- Сериализацию ответов JSON прямо в SQL,
- Валидацию данных,
- Механизмы авторизации,
- Комбинированный подсчет строк и фильтрацию,
- Возврат всех данных одной командой (*).

И наконец, PostgREST эффективно взаимодействует с базой данных через библиотеку Hasql:

- Поддерживает пул соединений с базой данных,
- Использует бинарный протокол PostgreSQL,
- Работает без сохранения состояния, что позволяет легко масштабироваться горизонтально.

▪ Github

@haskell_tg

Читать полностью…

Data Science. SQL hub

🖥 pgvectorscale — это расширение для PostgreSQL, которое предоставляет функциональность для работы с векторами, что полезно в контексте обработки и хранения векторных представлений данных, например, для машинного обучения или поиска по векторным данным!

🌟 Этот проект является частью экосистемы Timescale, которая известна своими решениями для работы с временными рядами, но здесь акцент сделан именно на работу с векторами для быстрого поиска и манипуляций с многомерными данными.

🔐 Лицензия: PostgreSQL

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 EventStore — встраиваемая реализация хранилища событий, написанная на Go!

🌟 Она использует библиотеку GORM для работы с базами данных, такими как SQLite и PostgreSQL. Функции включают сохранение событий в потоки, их чтение, подписку на события в реальном времени и создание отказоустойчивых проекций для построения моделей чтения. Инструмент ориентирован на применение в архитектурах, базирующихся на event sourcing и DDD (Domain-Driven Design).

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pro_python_code
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sql_lib
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
Haskell: t.me/haskell_tg

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Читать полностью…

Data Science. SQL hub

🖥 Обеспечение целостности данных в финансовых транзакциях: решение PostgreSQL для транзакций!

🌟 Когда речь идет о финансовых системах, целостность данных является одной из самых важных проблем. В среде финансовых транзакций сбои могут привести к потере денег, несоответствию остатков на счетах или даже нарушениям безопасности. Для обеспечения согласованности и безопасности данных необходимо использовать транзакции в базе данных. В этой статье мы рассмотрим, как транзакции в PostgreSQL помогают решать эти проблемы, с практическими примерами использования NestJS и Prisma для внедрения надежных решений.

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Обучающая статья по SQL для начинающих! В ней подробно расписан синтаксис команды CREATE TABLE с различными примерами.

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Cloudberry — это проект с открытым исходным кодом от Apache, предназначенный для анализа и визуализации больших данных в реальном времени!

🌟 Он ориентирован на обработку и анализ данных, хранящихся в распределенных и облачных системах, с интеграцией возможностей визуализации, которые позволяют более эффективно работать с большими объемами данных. Одной из ключевых особенностей является тесная интеграция с базами данных, что делает Cloudberry удобным инструментом для аналитиков, работающих с большими и сложными наборами данных.

🌟 Основное внимание в Cloudberry уделяется обработке данных, хранящихся в распределенных базах данных, таких как HBase или Apache Cassandra, что позволяет эффективно обрабатывать и анализировать большие объемы информации. Проект поддерживает расширенные возможности по интеграции с такими системами, обеспечивая высокую производительность и масштабируемость. Cloudberry использует SQL-подобные запросы для извлечения данных из таких распределенных хранилищ и предоставляет интерфейсы для анализа и визуализации этих данных.

🌟 Кроме того, Cloudberry фокусируется на предоставлении простых инструментов для взаимодействия с данными и их представления в виде удобных графиков и отчетов. Это полезно для пользователей, которые хотят интегрировать аналитику с облачными хранилищами данных, используя мощные инструменты визуализации для анализа и принятия решений на основе больших данных.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🔥 Огромная бесплатная книга по SQL! (500+ страниц!)

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

Data Science. SQL hub

👣 Go Graph Seeder — CLI-инструмент, разработанный на языке Go, предназначенный для генерации случайных данных и заполнения графовых баз данных, совместимых с Gremlin!

🌟 Он позволяет пользователям создавать узлы и ребра с различными свойствами, используя JSON-конфигурационные файлы. Это упрощает процесс наполнения графовых баз данных случайными или тестовыми данными, что особенно полезно при разработке и тестировании приложений, работающих с графовыми структурами данных.

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 pgroll — это инструмент командной строки на Go с открытым исходным кодом, предназначенный для безопасной и обратимой миграции схем в PostgreSQL!

🌟 Основная задача проекта заключается в обеспечении миграций без простоя, когда изменения схемы применяются таким образом, чтобы и старая, и новая версии схемы оставались доступными для клиентских приложений. Это особенно полезно при внесении сложных изменений, требующих поддержания совместимости с уже работающими приложениями.

🌟 pgroll использует подход «расширить/сузить» (expand/contract), создавая виртуальные схемы на основе представлений поверх физических таблиц. Этот метод позволяет миграциям быть безопасными и минимизирует риски, такие как блокировки базы данных или прерывание работы приложений.

🌟 Инструмент поддерживает автоматическое заполнение данных для новых колонок, мгновенный откат изменений при возникновении проблем и работу с существующими схемами без необходимости начинать с нуля.

🔐 Лицензия: Apache-2.0

🖥 Github


@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 t.me/haskell_tg - Haskell входит в число наиболее востребованных функциональных языков программирования.

В нашем новом канале, вы найдете множество уроков, книг и гайдов для погружения в этот мощный язык с нуля.

Отличная возможность не только выучить новый язык, но и возможность прокачать свои навыки программирования.

t.me/haskell_tg - стоит подписаться!

Читать полностью…

Data Science. SQL hub

Как готовить данные для анализа с помощью ETL?

Чтобы освоить основы инжиниринга данных регистрируйтесь на бесплатный вебинар от Simulative 💬

Спикер Даниил Джепаров, lead analytics engineer в Сравни.ру, расскажет о том, как извлекать данные из разных источников, а затем преобразовывать и загружать их в хранилище.

Вы узнаете:

🟡 Что такое ETL и как он работает
🟡 Какие есть различия между пакетной и потоковой обработкой
🟡 Какие виды документации используют в дата-проектах
🟡 Как оценивать и поддерживать высокое качество данных
🟡 Как мониторить ETL-процессы

В конце вебинара вас ждет бонус от спикера — дорожная карта для аналитиков и инженеров с планом развития на middle-позицию 🎁

Встречаемся 4 декабря в 19:00 по мск. Успейте присоединиться по ссылке.

Читать полностью…

Data Science. SQL hub

⚡️ Интересный факт: DuckDB быстрее подсчитывает строки в CSV-файле, чем команда подсчета слов UNIX, а также анализирует файл, чтобы определить его диалект (разделитель, символ кавычки и т. д.).

Вот время для CSV-файла размером 3 ГБ: 2,966 секунды для `wc -l` и 1,261 секунды для DuckDB.

Результаты теста Hyperfine benchmark tool.

@sqlhub

Читать полностью…

Data Science. SQL hub

⚡️ SQLCipher представляет собой ответвление от библиотеки SQLite, которое добавляет возможность использования 256-битного шифрования AES и включает дополнительные функции обеспечения безопасности, такие как шифрование «на лету» и надёжное получение криптографических ключей.

Программа обеспечивает быструю работу с минимальными накладными расходами, полностью шифрует данные и поддерживает передовые методы защиты информации. Пользователи могут преобразовывать стандартные базы данных в защищённые и управлять паролями через команды.

▪ Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Эта статья описывает набор SQL-скриптов для администрирования серверов и баз данных SQL!

🌟 Эти скрипты помогают упростить рутинные задачи, такие как управление пользователями, ролями, разрешениями, а также создание резервных копий и восстановление баз данных.

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

Data Science. SQL hub

В СУБД Яндекса YDB появился компонент, отвечающий за аналитическую обработку данных. Инструмент под названием YDB DWH обеспечивает работу со сложными аналитическими запросами (OLAP). Сама платформа может использоваться как корпоративное хранилище – она способна хранить сотни терабайт данных.

СУБД горизонтально масштабируется, а запросы выполняются быстрее за счет устройства платформы – она реализована в виде массивно-параллельной архитектуры (MPP). В планах у компании работа над поддержкой SQL диалекта PostgreSQL для бесшовной интеграции в OLAP- и OLTP-сценариях.

Читать полностью…

Data Science. SQL hub

🖥 Полный справочник по SQL!

🔗 Ссылка: *клик*

@sqlhub

Читать полностью…

Data Science. SQL hub

📖 postgres_for_everything — полезный репозиторий, который собирает примеры использования PostgreSQL для различных задач, таких как очереди сообщений, аналитика, контроль доступа, GIS, временные ряды, поиск, кэширование и многое другое!

🌟 Цель проекта — показать универсальность PostgreSQL как инструмента для упрощения разработки и ускорения процессов, используя одну базу данных для множества нужд.

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 Steampipe — инструмент с открытым исходным кодом, предназначенный для проведения запросов к облачным данным и API с помощью SQL!

💡 Он позволяет подключаться к различным облачным сервисам и выполнять SQL-запросы, чтобы извлекать, фильтровать и анализировать данные из таких сервисов, как AWS, Azure, Google Cloud, GitHub и других.

🔍 Основные возможности Steampipe:

🌟 SQL-интерфейс для работы с облачными данными. Steampipe преобразует облачные API в виртуальные таблицы, что позволяет использовать SQL-запросы для получения информации.

🌟 Подключение к множеству облачных сервисов. Он поддерживает такие провайдеры, как AWS, Azure, Google Cloud, Kubernetes, GitHub и другие, позволяя вам работать с данными в этих сервисах через единый интерфейс.

🌟 Плагины и расширяемость. Steampipe поддерживает расширение с помощью плагинов, что позволяет подключать новые источники данных и интеграции.

🌟 Безопасность и аудит. Инструмент помогает анализировать и проверять конфигурации облачных сервисов, а также отслеживать и анализировать события в облаке.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 TypeDB — это база данных, предназначенная для работы со сложными связями и большими наборами данных!

🌟 Она использует язык запросов TypeQL, позволяющий описывать данные с высокой семантической детализацией. Основное отличие TypeDB — возможность моделировать и анализировать сложные отношения между объектами, что делает её подходящей для задач, связанных с исследованиями, обработкой графов знаний и построением интеллектуальных систем.

🌟 Система поддерживает концепции типизации данных, автоматическую дедукцию новых знаний и расширяемую структуру, что удобно для областей, требующих сложного анализа, например, биоинформатики и AI.

🔐 Лицензия: MPL-2.0

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🔥 Российские ученые представят рекордное количество работ на NeurIPS 2024 в Ванкувере.

Специалисты из AIRI подготовили к презентации 17 научных работ. Среди исследуемых тем — обновление крупнейшего в мире датасета для лекарственных молекул, оптимизация в машинном обучении, а также методы удешевления обучения AI-моделей.

Одна из работ, подготовленных совместно с Лабораторией искусственного интеллекта Сбера, изучает влияние эмоций на принятие решений нейросетями. По словам старшего вице-президента Сбера Андрея Белевцева, такой успех говорит о высокой конкурентоспособности отечественной науки в области AI на мировой арене.

@ai_machinelearning_big_data

#AI #LLM

Читать полностью…

Data Science. SQL hub

🖥 postgres-r2-backup — решение для создания резервных копий базы данных PostgreSQL, интегрированное с облачным хранилищем Amazon S3 или аналогичными решениями (например, MinIO)!

🌟 Этот проект позволяет автоматизировать процесс создания бэкапа данных с PostgreSQL и хранить резервные копии в облаке, что упрощает управление данными и повышает безопасность.


🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

⚡️ Llama 3.3 70B.

Модель доступна в версии с 70 млрд параметров и оптимизирована для диалоговых сценариев использования на нескольких языках. Llama 3.3 превосходит многие доступные модели с открытым и закрытым исходным кодом по стандартным отраслевым бенчмаркам.

Llama 3.3 основана на оптимизированной архитектуре трансформера и использует авторегрессивный подход. Настройка модели включает SFT с RLHF для согласования с человеческими предпочтениями в отношении полезности и безопасности.

Модель была обучена на новом наборе общедоступных онлайн-данных, включающем более 15 триллионов токенов, с ограничением по свежести данных до декабря 2023 года.

Llama 3.3 поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки.

▶️ Пример инфренса на Transformers:

import transformers
import torch

model_id = "meta-llama/Llama-3.3-70B-Instruct"

pipeline = transformers.pipeline(
"text-generation",
model=model_id,
model_kwargs={"torch_dtype": torch.bfloat16},
device_map="auto",
)

messages = [
{"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
{"role": "user", "content": "Who are you?"},
]

outputs = pipeline(
messages,
max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])


📌Лицензирование: LLAMA 3.3 License.


🟡Модель
🟡Demo


@ai_machinelearning_big_data

#AI #ML #LLM #Llama3

Читать полностью…

Data Science. SQL hub

Пишите код быстрее и оставляйте больше времени на творчество вместе с AI-ассистентом разработчика

Устали от рутины? Отдайте ее AI!
Заходите на платформу GitVerse и пишите код вместе с AI-ассистентом GigaCode. Он поддерживает более 35 языков, умеет анализировать контекст, дописывать строки и функции в автоматическом и ручном режимах, а еще — писать код по комментариям и делать рефакторинг с помощью коротких команд. Всего за пару минут AI-помощник может оценить проект и трудозатраты на его создание.

Внутри AI есть функция CodeChat — с ней можно оптимизировать или отрефакторить имеющийся код, сгенерировать тесты и документацию, а также объяснить фрагмент кода. Задавать вопросы можно и по всему открытому файлу, и по конкретному фрагменту — просто выделите его в редакторе и сформулируйте запрос к CodeChat.

Хорошие новости — недавно GigaCode обновился и стал еще лучше справляться с задачами разработки: теперь наиболее вероятные продолжения кода будут генерироваться с учётом контекста всего проекта. Не забудьте обновить плагин GigaCode :)

Зарегистрироваться на GitVerse.

Читать полностью…

Data Science. SQL hub

🔥 TypeORM — популярная библиотека ORM (Object-Relational Mapping) для работы с базами данных в TypeScript и JavaScript!

🌟 TypeORM поддерживает многие реляционные базы данных, включая PostgreSQL, MySQL, SQLite, MariaDB и нереляционную MongoDB. Библиотека позволяет разработчикам работать с базами данных, используя объекты и классы вместо написания SQL-запросов напрямую. Она поддерживает такие функции, как миграции, ленивую загрузку (lazy loading), отношения между сущностями и сложные запросы.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🥷 w3af — фреймворк для тестирования веб-приложений на уязвимости!

🌟 Он объединяет функции веб-сканера и инструмента для эксплуатации уязвимостей, предоставляя разработчикам и специалистам по безопасности возможность находить и анализировать потенциальные уязвимости в веб-приложениях и сервисах.

💡 Основные возможности — сканирование для обнаружения SQL-инъекций, XSS, CSRF и других распространенных уязвимостей, а также интеграция с Python для написания собственных плагинов и расширений.

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 GenAI Showcase — демонстрация использования MongoDB в контексте генеративного искусственного интеллекта!

🌟 Этот репозиторий включает в себя примеры для интеграции MongoDB с такими технологиями, как Retrieval-Augmented Generation (RAG) и различными моделями ИИ.

🔍 Основные функции репозитория:

🌟 Использование MongoDB как векторной базы данных и хранилища памяти для AI-решений.

🌟 Интеграция с популярными фреймворками, такими как LlamaIndex, Haystack и LangChain, а также моделями от OpenAI и Anthropic.

🌟 Примеры решений для конкретных отраслей, включая здравоохранение, финансы и электронную коммерцию.

🌟 Готовые сценарии для создания систем RAG и агентов на основе ИИ, таких как AI Research Assistant и AI Investment Researcher.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Читать полностью…

Data Science. SQL hub

🖥 SeaweedFS — это высокопроизводительная распределённая файловая система с поддержкой хранения огромного количества файлов и их быстрой обработки!

💡 Её основное назначение — управление смешанными нагрузками, включая blob-хранилища, объекты, файловые системы и аналитику данных.

🔍 Особенности:

🌟 Масштабируемость: система легко расширяется путём добавления серверов, обеспечивая хранение больших объёмов данных.

🌟 Поддержка множества форматов: Blob Storage, S3-совместимое объектное хранилище, файловая система с FUSE-монтажом и интеграцией с Big Data-фреймворками (Hadoop, Spark).

🌟 Производительность: постоянное время поиска данных (O(1)) и эффективное управление метаданными!

🌟 Надёжность: репликация данных, защита от сбоев, контроль целостности и поддержка многоуровневого хранения.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Читать полностью…
Subscribe to a channel