Data Science. SQL hub

14 April 2025 16:00

Присоединяйтесь к дискуссии — задавайте свои вопросы в комментариях к посту

Рекламодатель БАНК ВТБ (ПАО), ИНН 7702070139, Генеральная лицензия банка России №1000. Реклама, erid: 2SDnjcASwTr. 0+
/channel/Data_fusion/152

Data Science. SQL hub

10 April 2025 20:34

🖥 Блокировка состояния Terraform с использованием S3 (без DynamoDB)

В этом посте мы рассмотрим:

- Зачем нужна блокировка состояния Terraform
- Блокировка состояния с помощью DynamoDB
- Блокировка состояния только с использованием S3, без DynamoDB
- Когда стоит использовать DynamoDB
- Когда можно обойтись только S3
- Лучшие практики хранения state-файлов в S3

🔗 Подробнее

#devops #девопс

@sqlhub

Data Science. SQL hub

10 April 2025 12:02

🌐 openHalo позволяет приложениям, написанным для MySQL, работать с PostgreSQL, предлагая при этом лучшую производительность, чем MySQL!

openHalo поддерживает диалект SQL MySQL и использует тот же протокол соединения, что позволяет легко адаптировать приложения с MySQL к openHalo с минимальными изменениями кода. Это значительно упрощает миграцию с MySQL 5.7 или новее на openHalo, делая процесс быстрее, безопаснее и экономичнее.

С openHalo вы получаете повышенную производительность без дополнительных усилий и затрат, особенно для сложных SQL-запросов. Вы можете продолжать использовать знакомые инструменты, команды и драйверы MySQL для разработки.

🔗 GitHub

#openHalo #MySQL #PostgreSQL #database #migration

@sqlhub

Data Science. SQL hub

08 April 2025 12:01

⚡️ SQLAdmin — инструмент, превращающий ваши SQLAlchemy или SQLModel-модели в функциональный бэкенд-интерфейс за несколько минут.

Особенно в проекте радует поддержка как синхронных, так и асинхронных движков SQLAlchemy, что делает его универсальным выбором для современных проектов.

Интерфейс построен на Tabler — чистом и современном CSS-фреймворке, который не требует тонн JavaScript.

🤖 GitHub

@sqlhub

Data Science. SQL hub

07 April 2025 14:54

💻 Выбираем базу данных правильно

В мире разработки выбор БД — ключ к производительности, масштабируемости и эффективности. Это не просто SQL vs NoSQL, а поиск инструмента под данные, нагрузку и цели бизнеса. От IoT до ИИ — тип не важен, важна задача. Разбираем:

➡️ SQL
💬 Структурированность, ACID, надёжность.
📦 Для: финансы, CRM, ERP.
📌 Примеры: MySQL, PostgreSQL.

➡️ NoSQL
💬 Document DB: JSON/XML (MongoDB, Couchbase).
🔑 Key-Value: быстрый доступ (Redis, DynamoDB).
📊 Columnar: аналитика (Cassandra, Redshift).
🔗 Graph DB: связи (Neo4j, Cosmos DB).

➡️ Специализированные
📍 Time-Series: метрики, IoT (InfluxDB, TimescaleDB).
📍 Vector DB: ИИ, поиск (Milvus, Pinecone).
📍 Spatial DB: карты (PostGIS, Oracle Spatial).

➡️ Высокая производительность
⚡️ In-Memory: скорость (SAP HANA, MemSQL).
🧱 NewSQL: масштаб + SQL (Spanner, CockroachDB).

➡️ Нишевые
🧬 Blockchain DB: доверие (BigchainDB).
📦 Object-Oriented: кодовая структура (ObjectDB).

🎯 БД — это про масштабируемость, интеллект и гибкость. Выбирайте под задачу, а не по привычке.

#sql #nosql #db

@sqlhub

Data Science. SQL hub

04 April 2025 10:16

PostgreSQL 17: архитектура и тюнинг SQL-запросов

Погрузись в архитектуру и прокачай оптимизацию запросов одной из самых популярных open source СУБД – PostgreSQL.

🌐 В программе курса:

🤩 Разберем, как работают СУБД вообще и PostgreSQL в частности: что такое MVCC, ACID, WAL, LRU, PPC/TPC и другие фундаментальные понятия архитектуры баз данных
🤩 Получите свой собственный выделенный облачный PostgreSQL-сервер (8 vCPU, 12G RAM, 100G NVMe) – БЕСПЛАТНО на время обучения предоставляется
🤩 Получите теорию и практику EXPLAIN и EXPLAIN ANALYZE на разных типа запросов
🤩 Изучите архитектуру хранения данных в PostgreSQL, типы и особенности индексов, а также получите полезные советы и трюки оптимизации БД

🗓 Старт курса: 24 апреля. Продолжительность: 5 недель обучения (четверг, 18:00 МСК).

Изучить программу и записаться можно здесь.

🤩Кто мы: R&D-центр Devhands, основатель школы Алексей Рыбак.
Автор курса — Николай Ихалайнен, эксперт по СУБД (ex-Percona), со-основатель MyDB, энтузиаст открытого ПО.

Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzquiQ76e

Data Science. SQL hub

01 April 2025 14:54

💻 ChatGPT для вашей базы данных

Загрузите любой файл — ваш чат-бот обучится на нём. После этого можно тестировать нейронку и задавать любые вопросы по документу. Работает лучше аналогов.

🔗 Ссылка

@sqlhub

Data Science. SQL hub

31 March 2025 14:22

🔥 ​Hugging Face выпустила версию 0.30.0 библиотеки huggingface_hub - это самое крупное обновление за два года!

Представлены значительные улучшения, особенно в области хранения и обработки больших моделей и датасетов.​

✔️ Основные нововведения:

Интеграция с Xet: Внедрена поддержка Xet — передового протокола для хранения крупных объектов в Git-репозиториях, призванного заменить Git LFS.

В отличие от LFS, который выполняет дедупликацию на уровне файлов, Xet работает на уровне фрагментов данных, что особенно полезно для специалистов, работающих с массивными моделями и датасетами.

Для интеграции с Python используется пакет xet-core, написанный на Rust, который обрабатывает все низкоуровневые детали.​

Чтобы начать использовать Xet, установите дополнительную зависимость:​
pip install -U huggingface_hub[hf_xet]

После установки вы сможете загружать файлы из репозиториев, поддерживающих Xet.​

Доплнительно:
😶 Расширен InferenceClient:
😶 Добавлена поддержка новых провайдеров для инференса: Cerebras и Cohere.
😶 Внедрены асинхронные вызовы для задач инференса (например, text-to-video), что повышает стабильность и удобство работы.
😶 Улучшен CLI
😶 Команда huggingface-cli upload теперь поддерживает wildcards (шаблоны) прямо в пути к файлам (например, huggingface-cli upload my-model *.safetensors вместо опции --include).
😶 Команда huggingface-cli delete-cache получила опцию --sort для сортировки кэшированных репозиториев (например, по размеру: --sort=size).

✔️ Полный список обновлений
✔️Блог
✔️Документация по Xet

@ai_machinelearning_big_data


#huggingface #release #xet

Data Science. SQL hub

30 March 2025 18:04

🖥 Огромный обучающий плейлист для специалиста по аналитике данных!

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

28 March 2025 19:08

Ваши SQL-запросы работают медленно, а базы данных грузятся дольше, чем хотелось бы? Исправим это на нашем бесплатном уроке 31 марта в 20:00 мск: https://otus.pw/38hM/

Индексы — один из ключевых инструментов ускорения работы с БД. Но как выбрать нужный тип, правильно его создать и избежать ошибок?

После занятия вы сможете уверенно работать с индексами в PostgreSQL и MS SQL Server, оптимизировать запросы и делать базы данных быстрее. 

Регистрируйтесь прямо сейчас и получите скидку на большое обучение «SQL для разработчиков и аналитиков»: https://otus.pw/38hM/

erid: 2W5zFHQJ1ua

Data Science. SQL hub

28 March 2025 09:04

Как ИИ помогает компаниям принимать умные решения и развивать разные индустрии?

15-16 апреля пройдет Весенний онлайн-лекторий, посвященный влиянию ИИ на индустрии. Разберемся в технологиях вместе с ФКН НИУ ВШЭ, Яндекс, Сбер, Авито, МТС и другими лидерами рынка.

Программа Лектория обширна:
— Вебинары про ИИ и ML в банках, бигтехе и e-com
— Мастер-классы и кейсы по Data Science, Data Analytics и Data Engineering
— Круглый стол по разработке и применению ИИ-агентов
— Прожарка резюме и карьерная лекция

Вы сможете разобраться в ключевых трендах и возможностях в IT, а также погрузиться в Data Science, Data Analytics и Data Engineering, изучение инструментов и реальных задач каждого направления.

Лекторий организуют эксперты факультета компьютерных наук НИУ ВШЭ, онлайн-магистратур ФКН и Центра непрерывного образования, а также ведущие компании индустрии. Поэтому вас ждут глубокие инсайты из мира IT.

Когда:15-16 апреля в 16:00
Где:онлайн

🔗 Зарегистрироваться

Реклама: НИУ ВШЭ
ИНН: 7714030726
Erid: 2SDnjeZbJvp

Data Science. SQL hub

27 March 2025 15:45

Найти: решение на базе ИИ, которое автоматизирует процесс создания JSON-схем для описания бизнес-логики и интеграций.

Если знаешь, как выполнить эту задачу, значит, этот пост для тебя. Приглашаем на хакатон МТС True Tech Hack 2025. Участникам в команде из 2–5 человек нужно выбрать один из пяти представленных треков и создать новое решение на базе DataOps Platform, Integration Platform, True Tabs, Product Factory или MWS GPT.

Если хочешь внести вклад в продукты, которые приносят пользу разработчикам по всей России, и побороться за призовой фонд в 1 500 000 рублей — регистрируйся до 16 апреля.

Подробная информация и регистрация — по ссылке.

@sqlhub

Data Science. SQL hub

26 March 2025 15:00

Данные и облака — наше все 🧠

На конференции GoCloud ты найдешь новые знания об инструментах обработки данных.

Обсудим интеграцию AI в аналитические процессы и тренды облачных технологий. А еще:
😶‍🌫️покажем инструменты для упрощения процесса обработки данных
😶‍🌫️поговорим с компаниями, которые уже работают с данными в облаке
😶‍🌫️возможные риски потери данных и способы их предотвращения
😶‍🌫️покажем архитектуру DBaaS поверх K8s

30+ докладов, нетворкинг, live-демо сервисов и afterparty ждут тебя 10 апреля.
Регистрация по ссылке 👈

Data Science. SQL hub

24 March 2025 15:04

🔥 Self-Hosted AI Starter Kit — это готовый набор инструментов для развертывания собственных AI-решений с использованием n8n, платформы для автоматизации рабочих процессов!

🌟 Он включает преднастроенные потоки для интеграции моделей ИИ, таких как OpenAI, Ollama и другие, позволяя управлять данными и автоматизировать процессы без необходимости использования облачных сервисов. Решение идеально подходит для бизнеса и индивидуальных разработчиков.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

Data Science. SQL hub

21 March 2025 10:17

🖥 Эта статья объясняет различия между использованием операторов IN и EXISTS в SQL-запросах, включая их применение в зависимых и независимых подзапросах!

🌟 Автор демонстрирует, как они влияют на производительность запросов, и предлагает сценарии, когда переход от одного подхода к другому может улучшить производительность.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

11 April 2025 13:29

🚀 Релиз: SQL Formatting Preview в T-SQL Analyzer CLI​

В последнем обновлении инструмента T-SQL Analyzer CLI от ErikEJ появилась функция предварительного просмотра форматирования SQL-кода.​

✨ Основные возможности:
Автоматическое форматирование T-SQL скриптов с использованием встроенных правил.​

Интеграция с анализатором кода, позволяющая одновременно проверять и форматировать скрипты.​

Поддержка командной строки, что удобно для автоматизации процессов и интеграции в CI/CD пайплайны.​

🔧 Пример использования:

tsqlanalyze -i "C:\scripts\proc.sql" --format
Эта команда проанализирует и отформатирует указанный SQL-скрипт согласно установленным правилам.​

📌 Подробнее о новых возможностях и инструкциях по установке читайте в официальной документации.​

#sqlserver #tsql #dotnet #cli #devtools

https://github.com/ErikEJ/SqlServer.Rules/tree/master/tools/SqlAnalyzerCli#sql-formatting-preview

@sqlhub

Data Science. SQL hub

10 April 2025 18:22

⚡️Как Docker упрощает жизнь аналитиков и инженеров данных

Когда вы работаете с данными, анализируете их или строите модели машинного обучения, Docker позволяет сосредоточиться на самой работе, не отвлекаясь на настройку окружения.

На бесплатном вебинаре вы научитесь упаковывать приложения вместе со всеми зависимостями, избегать проблем с несовместимостью, а значит и повысите эффективность работы и сэкономите время на настройку окружения.

Что будем делать на вебинаре:
🟠Разберём основы Docker и как контейнеры упрощают работу;
🟠Выполним анализ данных, запустив Python прямо внутри контейнера;
🟠Автоматизируем окружение с помощью Docker Compose (Python + PostgreSQL);
🟠Настроим удобный доступ к результатам анализа;
🟠Организуем ускоренную обработку больших данных.

😶Зарегистрироваться на бесплатный вебинар

Data Science. SQL hub

10 April 2025 10:19

Хотите разбираться в Big Data так, как это делают специалисты Яндекса? Тогда присоединяйтесь к бесплатному интенсиву ШАДа Big DWH Week!

Вас ждёт 8 онлайн-занятий, на которых вы познакомитесь с YTsaurus — платформой для распределённого хранения и обработки данных. Вы разберётесь в её архитектуре и масштабировании, а также научитесь настраивать систему под свои задачи.

Интенсив открытый, поэтому зарегистрироваться может каждый. Однако интереснее всего программа будет тем, кто уже работает с данными: опытным бэкенд-разработчикам и разработчикам баз данных, инженерам и аналитикам данных, а также студентам технических направлений.

Регистрируйтесь до 25 апреля и прокачивайтесь в Big Data вместе с экспертами Яндекса и ШАДа! Все подробности — по ссылке.

Data Science. SQL hub

08 April 2025 10:01

Последний шанс попасть на топовое событие по DS и AI 🚀

Остались считанные дни до закрытия регистрации на конференцию по AI и данным — Data Fusion 2025! Не упустите возможность присоединиться к большому DS-сообществу и узнать о новейших исследованиях и рабочих решениях.
💡 Более 250 экспертов расскажут, как они решают реальные задачи в DS. Вас ждут кейсы, дебаты и дискуссии на актуальные темы:

✔️ Как проектировать ML-инфраструктуру, которая не сломается на проде?
✔️ RAG и LLM в аналитике — как генеративные модели меняют Data Science?
✔️ Практики CDO, DataOps и новые подходы к обработке и хранению данных.

Это только часть запланированных сессий. Если хотите быть в центре ключевых изменений в индустрии Data Science, тогда Data Fusion 2025 — это must-have!

📌 Бесплатно. 16–17 апреля, Москва, технопарк «Ломоносов».

Поторопитесь, регистрация скоро закроется — https://data-fusion.ru/

Не сможете приехать? Подключайтесь к онлайн-трансляции в VK Видео🙌


—
*AI — искусственный интеллект
*ML — машинное обучение
*LLM — Large language model — большая языковая модель
*DataOps — методология разработки и предоставления данных
*DS — Data Science — наука о методах анализа данных
*RAG — генерация с расширенным поиском

Data Science. SQL hub

04 April 2025 12:20

💫 DB-GPT-Hub — проект, предлагающий преобразование обычных человеческих вопросов в точные SQL-запросы с помощью больших языковых моделей. Этот исследовательский проект фокусируется на тонкой настройке LLM для задач Text-to-SQL, позволяя пользователям взаимодействовать с базами данных на естественном языке.

Проект охватывает весь цикл: от сбора и обработки данных до тонкой настройки моделей и оценки их точности. Уже сейчас система демонстрирует впечатляющие 76-82% точности выполнения запросов для 13B-модели, что открывает большие перспективы для автоматизации работы с базами данных.

🤖 GitHub

@sqlhub

Data Science. SQL hub

03 April 2025 12:22

🔥 Awesome на GitHub

Это курируемые подборки ресурсов (книг, статей, инструментов, библиотек и многое другое) по конкретным темам, созданные сообществом разработчиков и энтузиастов.

Собрали подборку лучших из них. Сохраняйте, чтобы не потерять

• Информационная безопасность: awesome-security
• Базы данных: awesome-database-learning
• JavaScript: awesome-javascript
• React: awesome-react
• Vue: awesome-vue
• Angular: awesome-angular
• Node.js: awesome-nodejs
• Typescript: awesome-typescript
• Java: awesome-java
• Go: awesome-go
• Ruby: awesome-ruby
• PHP: awesome-php
• Kotlin: awesome-kotlin
• Rust: awesome-rust
• Swift: awesome-swift
• iOS-разработка: awesome-ios
• Android-разработка: awesome-android
• C: awesome-c
• C++: awesome-cpp
• C#: awesome-dotnet
• Unreal Engine: awesome-unreal
• Unity: awesome-unity3d
• Python: awesome-python
• Django: awesome-django
• Data Science: awesome-datascience
• TensorFlow: awesome-tensorflow
• Linux: Awesome-Linux-Software
• DevOps: awesome-devops
• SysAdmins: awesome-sysadmin
• Nginx: awesome-nginx
• Kubernetes: awesome-kubernetes
• Docker: awesome-docker
• Автоматизация сетевой инфраструктуры: awesome-network-automation
• QA: awesome-testing

@sqlhub

Data Science. SQL hub

01 April 2025 13:06

Авито активно инвестирует в технологии генеративного искусственного интеллекта (GenAI). Новая стратегия компании предусматривает инвестиции в размере 12 млрд рублей до 2028 года — к тому же сроку в планах заработать на новой технологии 21 млрд. Кроме того, в 2025 году Авито планирует внедрить 20 новых сценариев использования GenAI, что обещает принести более 1 млрд рублей.

Компания уже разработала свои новые генеративные модели — A-Vibe и A-Vision, обученные на базе нейросети Qwen2.5 с 7 миллиардами параметров. Они способны анализировать текст и изображения, что поможет улучшить качества контента и автоматизировать процессы на платформе.

✔️A-Vibe поможет продавцам создавать привлекательные описания товаров, отвечать на вопросы покупателей, анализировать многочисленные отзывы.
✔️A-Vision может анализовать фотографии, распознавать текст на изображениях и помогать в модерации.

Авито также наращивает сотрудничество с ведущими вузами, создавая образовательные программы для подготовки специалистов в области искусственного интеллекта. В 2024 году компания запустила магистратуру по Data Science в МФТИ, а в 2025 стартуют программы по разработке в ИТМО, Data Science и продуктовому менеджменту в НИУ ВШЭ.

@sqlhub

Data Science. SQL hub

31 March 2025 12:22

Не знаешь на кого пойти учиться ?💡

1️⃣Пройди бесплатные онлайн-курсы

2️⃣Узнай о самых востребованных профессиях

3️⃣Получи уникальную возможность поступить в «Алабуга Политех» после 9 или 11 класса

ПРОЙДИ КУРС ПРЯМО СЕЙЧАС!

Реклама: ООО "ЭрТоп Диджитал", ИНН:5263112923
erid:2Vtzqub2dz8

Data Science. SQL hub

28 March 2025 20:10

IT Hero — интерактивная платформа для тренировки навыков SQL и подготовки к собеседованиям в игровом формате.

Решайте задачи на скорость, соревнуясь с соперником — побеждает быстрейший.

Выбирайте уровень сложности, тип задач и приглашайте друга на поединок, чтобы выяснить, кто лучше знает SQL.

🔗 Ссылка на тренажёр

@sqlhub

Data Science. SQL hub

28 March 2025 11:04

💫 LLM AutoEval — это проект, предлагающий простой способ бенчмаркинга LLM через Colab-блокнот, избавляя разработчиков от рутинной настройки тестовых сред. Достаточно указать название модели, выбрать benchmark и GPU — система сама развернёт инфраструктуру через RunPod и запустит оценку.

🌐 Система автоматически публикует результаты в формате GitHub Gist с возможностью сравнения с популярными моделями через интеграцию с YALL — альтернативным рейтингом языковых моделей. Для работы потребуются только API-токены RunPod и GitHub.

🔗 GitHub

@sqlhub

Data Science. SQL hub

27 March 2025 17:41

Пять GitHub проектов, которые помогут вам стать лучшим инженером DevOps

1. How they SRE

Подборка общедоступных ресурсов о том, как технологические и технически подкованные организации по всему миру практикуют Site Reliability Engineering (SRE).

https://github.com/upgundecha/howtheysre

2. Awesome Scalability

Паттерны масштабируемых, надежных и производительных крупномасштабных систем

https://github.com/binhnguyennus/awesome-scalability

3. DevOps Exercises

Linux, Jenkins, AWS, SRE, Prometheus, Docker, Python, Ansible, Git, Kubernetes, Terraform, OpenStack, SQL, NoSQL, Azure, GCP, DNS, Elastic, Network, Virtualization. Вопросы для интервью по DevOps

https://github.com/bregman-arie/devops-exercises

4. Test your sysadmin skills

Сборник тестовых вопросов и ответов по Linux Sysadmin. Проверьте свои знания и навыки в различных областях с помощью этих вопросов и ответов.

https://github.com/trimstray/test-your-sysadmin-skills

5. Awesome Site Reliability Engineering

Составленный список ресурсов по надежности сайта и производственному инжинирингу.

https://github.com/dastergon/awesome-sre

@sqlhub

Data Science. SQL hub

26 March 2025 17:02

📂 PlantUML - это утилита для создания диаграмм с помощью минималистичного синтаксиса. Поддерживает классы, последовательности, потоки данных и многое другое.

Полезна для архитектурного проектирования, документирования и визуализации процессов без графических редакторов.

Посмотреть на GitHub

🖥 GitHub

@sqlhub

Data Science. SQL hub

26 March 2025 14:02

🖥 WrenAI — это open-source AI-ассистент для анализа данных и генерации SQL-запросов (Text-to-SQL)!

🌟 Он позволяет пользователям взаимодействовать с данными с помощью естественного языка и автоматически формировать SQL-запросы, строить диаграммы, отчеты и таблицы.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

Data Science. SQL hub

22 March 2025 19:26

@sqlhub

Data Science. SQL hub

20 March 2025 19:04

🖥 Starskey — это высокоскоростная встраиваемая база данных с парой "ключ-значение" для Go, вдохновленная LevelDB и WiscKey!

🌟 Она использует многоуровневое слияние данных, поддерживает атомарные транзакции, журналирование (WAL) для восстановления и фильтры Bloom для оптимизации чтения. Starskey предлагает простое API с операциями Put, Get, Delete и обеспечивает высокую производительность до 400k+ операций в секунду.

🔐 Лицензия: MPL-2.0

🖥 Github

@sqlhub