Data Science. SQL hub

28 February 2025 14:40

🔥 MetaGPT — это фреймворк, который преобразует простое текстовое описание задачи в полный пакет проектной документации и кода!

🌟 Он моделирует работу IT-компании, назначая различные роли, такие как менеджер продукта, менеджер проекта, инженер и другие, каждому из которых соответствует агент на основе большой языковой модели. Эти агенты взаимодействуют друг с другом, следуя стандартизированным операционным процедурам (SOP), что позволяет эффективно разрабатывать сложные программные продукты.

🔐 Лицензия: MIT

🖥 Github

Data Science. SQL hub

28 February 2025 03:02

🖥 ​SuperMassive — это распределенная, масштабируемая, устойчивая к сбоям и самовосстанавливающаяся база данных ключ-значение, работающая в оперативной памяти! Она предназначена для обработки больших объемов критически важных данных с низкой задержкой.

🔐 Лицензия: BSD-3-Clause

🖥 Github

@sqlhub

Data Science. SQL hub

26 February 2025 09:03

❓ Как построить конвейер ETL (Extract, Transform and Load) из SQL Server в Postgres?

💡 Узнайте, как создать конвейер ETL с PySpark для извлечения данных из SQL Server, их преобразования и загрузки в базу данных Postgres. Используйте распределенную мощь Spark для бесперебойной обработки больших наборов данных!

🕞 Продолжительность: 8:32

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

24 February 2025 16:06

Как стать аналитиком и не сдаться на пути

Я часто вижу сообщения от тех, кто только планирует войти в мир аналитики или делает первые шаги. Звучат они они примерно так:
😶 Я гуманитарий, и мне кажется, аналитика — это не для меня…
😶 Смотрю на программу обучения, и всё кажется таким сложным, боюсь, что ничего не пойму.
😶 Мне уже за 30, смогу ли я переучиться и, главное, найти работу после этого?
😶 Не знаю, с чего начать: SQL, Python, метрики?
😶 Столкнулся со сложной темой, потерял мотивацию и веру в свои силы 🙁

Все эти сообщения объединяет одно — растерянность и сомнения в своих силах. Знакомо?

О том, как отправляться в путь к новой профессии поговорим на вебинаре
25 февраля в 19:00 по мск на тему «Как стать аналитиком и не сдаться на пути».

Спикер — Владимир Камчаткин, тимлид продуктовой аналитики образовательной платформы Т-Банка, более 3 лет работы в образовании, автор тг-канала Data New Gold

На вебинаре обсудим:
🟠Какие сложности возникали у Владимира и как он их преодолевал;
🟠Как ставить цели, планировать обучение и выбирать качественные ресурсы;
🟠Как совмещать обучение с работой;
🟠Применение нейронауки и психологии для повышения эффективности запоминания;
🟠Ответы на вопросы участников вебинара.

Зарегистрироваться на бесплатный вебинар

Data Science. SQL hub

24 February 2025 13:02

Бесплатный вебинар по аналитике данных от karpov courses.

Данные — универсальная валюта 21 века. А их анализ необходим для принятия обоснованных и эффективных решений. Поэтому спрос на специалистов, умеющих работать с данными стабильно растёт, как и их зарплаты — компании готовы платить компетентным специалистам.

Если вы стремитесь не просто работать с данными, а понимать их суть, то обязательно посетите бесплатный вебинар от karpov courses — «Аналитик данных: все, что нужно знать для старта в профессии».

Получить эти навыки вы можете на бесплатном практическом вебинаре от karpov courses.
Там вам расскажут про Python, SQL, статистику, метрики, Airflow, BI, кто такие аналитики и как вы сталкиваетесь с результатами их работы каждый день, а также найдете ответ на вопрос “а зачем вообще любой компании нужен аналитик”?

Вебинар пройдет 27 февраля в 19:00 по мск, зарегистрироваться можно по ссылке: https://clc.to/erid_2W5zFHLk76Y
Регистрируйтесь и перестаньте бояться быстрорастущего мира IT!

Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627

Data Science. SQL hub

23 February 2025 12:03

🖥 Outerbase Studio — это браузерный графический интерфейс для управления SQL-базами данных, разработанный для простоты и универсальности! Изначально созданный для LibSQL и SQLite, он теперь поддерживает широкий спектр баз данных, включая PostgreSQL и MySQL.

Основные возможности:

🌟 Редактор запросов: удобный интерфейс с автодополнением и подсказками функций, позволяющий выполнять несколько запросов одновременно и эффективно просматривать результаты.

🌟 Редактор данных: позволяет вносить изменения в данные с возможностью предварительного просмотра перед сохранением; оптимизирован для работы с большими объемами данных.

🌟 Редактор схемы: обеспечивает быстрое создание, изменение и удаление столбцов таблиц без необходимости писать SQL-код.

🌟 Менеджер подключений: гибко управляет подключениями, позволяя сохранять их локально в браузере или на сервере для совместного использования на разных устройствах.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

Data Science. SQL hub

18 February 2025 17:47

🔥 Prophet — это библиотека для прогнозирования временных рядов!

🌟 Она предназначена для автоматического выявления сезонности, трендов и аномалий в данных, облегчая процесс прогнозирования даже для пользователей без глубоких знаний в области статистики.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

18 February 2025 09:20

🔥 Prophet — это библиотека для прогнозирования временных рядов!

🌟 Она предназначена для автоматического выявления сезонности, трендов и аномалий в данных, облегчая процесс прогнозирования даже для пользователей без глубоких знаний в области статистики.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

17 February 2025 07:32

🖥 Hector RAG — это фреймворк для создания систем генерации текста с дополнением извлеченной информацией (Retrieval Augmented Generation, RAG), построенный на базе PostgreSQL. Он предоставляет расширенные методы поиска и объединения данных для разработки AI-приложений!

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

15 February 2025 12:52

Евгений Разинков – преподаватель ML в Казанском университете с многолетним стажем, руководитель собственной команды ML-инженеров и автор популярного razinkov">канала по машинному обучению на YouTube

приглашает вас в свою AI-школу.

Особенности:
• теория и практика
• акцент на самостоятельную реализацию архитектур с нуля
• полное понимание того, что происходит внутри нейронной сети
• архитектуры от сверточных нейронных сетей до трансформеров и языковых моделей.

Регулярные живые QA-сессии, дружное комьюнити, а также компетишены, где можно будет посоревноваться (в командах и поодиночке) в решении ML задач.

От вас: владение Python и знание основ классического ML (регрессия, классификация, градиентный спуск).
Если классический ML не знаете - есть базовые курсы по ML.

7 месяцев, 4 курса:
• AI: от основ до языковых моделей
• Math for AI - необходимый математический бэкграунд
• MLOps - всё про жизненный цикл модели, логирование, версионирование, docker
• Decision making in AI - управление AI-проектом и стратегия

В рамках Capstone Project вы с нуля реализуете и обучите небольшую языковую модель для генерации простых историй, а также выведете ее в продакшн.

Полная стоимость за 7 месяцев (все 4 курса):
• 112 000 рублей (единоразово)
или
• 17 000 рублей в месяц
Если материалы вам не понравятся, мы вернем деньги за текущий оплаченный месяц (и последующие при единоразовой оплате)!

Старт уже 17 февраля, скорее регистрируйтесь здесь!

Еще больше подробностей о курсе ищите в видео и на странице с отзывами участников.

Кстати, теоретические видео курса AI: от основ до трансформеров находятся в открытом доступе на канале Евгения!

ООО «Лаборатория Евгения Разинкова», ИНН: 5043088023, erid: 2VtzqxKcuC1

Data Science. SQL hub

14 February 2025 18:03

🖥 DrawDB — это система управления базами данных, ориентированная на визуализацию и моделирование данных!

🌟 Она позволяет пользователям создавать базы данных с использованием графического интерфейса, что делает процесс проектирования и взаимодействия с данными более интуитивно понятным. DrawDB может быть полезна для разработчиков, которым нужно быстро создать или визуализировать структуру базы данных без углубленного знания SQL.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

Data Science. SQL hub

14 February 2025 12:01

Профессия аналитика данных — одна из самых высокооплачиваемых и перспективных в сфере IT.
На курсе «Аналитик данных» от Нетологии вы с нуля освоите необходимые навыки за 7 месяцев под руководством опытных наставников-практиков.

Вы изучите SQL, Python, Power BI — ключевые инструменты для работы с данными.

Научитесь использовать статистические методы, строить и проверять гипотезы.

Создадите 4 полноценных проекта для своего портфолио и выполните более 20 практических заданий.

А по окончании курса получите диплом о профпереподготовке и сможете претендовать на должность junior-аналитика.

Начните свой путь в сфере аналитики данных — присоединяйтесь к программе. Промокод BIGDATA45 даст повышенную скидку 45% от цены курса.

Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5wz3ggG

Data Science. SQL hub

12 February 2025 11:33

PGConf.Russia 2025 — открыта регистрация и прием докладов на крупнейшую конференцию по PostgreSQL

31 марта — 1 апреля пройдет встреча сообщества PostgreSQL в Москве, организатор — крупнейший СУБД-разработчик Postgres Professional.

Выступите с докладом на PGConf.Russia 2025: поделитесь опытом, расскажите о своих разработках, получите обратную связь от экспертов по открытой СУБД.

PGConf.Russia 2025 — это:

✔️1500+ DBA, архитекторов, разработчиков ПО и ИТ-менеджеров

✔️10+ демонстраций разработок в PostgreSQL и решений на базе Postgres Pro

✔️40+ докладов про работу с PostgreSQL, отказоустойчивость и масштабируемость в СУБД, миграцию, возможности систем. Также пройдут мастер-классы по работе с СУБД

📍Встреча пройдет онлайн и офлайн: Центр Международной Торговли в Москве. Подайте тему и тезисы доклада до 23 февраля.

Регистрация на PGConf.Russia 2025

Реклама. ООО "ППГ", ИНН 7729445882, erid: 2VtzqxCd6VB

Data Science. SQL hub

11 February 2025 08:00

Как можно учиться онлайн и что будет написано в дипломе? Можно ли учиться в онлайн-магистратуре параллельно с работой? Как поступить в IT-магистратуру, если закончил бакалавриат по другой специальности?

Если вы планируете поступать в магистратуру в 2025 году, Зимняя школа Онлайна — лучший способ получить ответы из первых рук: академических руководителей, преподавателей и студентов программ.

На Зимней школе Онлайна вы:
— откроете для себя новые направления в IT
— познакомитесь с ведущими экспертами индустрии
— получите инструменты для развития в IT
— сможете лучше понимать и анализировать данные

Когда: 17-20 февраля, 17:00-19:00
Формат: онлайн

Для участия в мероприятии необходимо зарегистрироваться по ссылке.

Data Science. SQL hub

10 February 2025 17:03

Топ-10 полезных приемов в SQL от тимлида аналитиков

Как аналитику стать лучшей версией себя?.. Научиться лайфхакам, которые ускоряют и облегчают работу с данными

Можно выработать их самому в решении рабочих задач, набивая шишки на ходу. А можно сэкономить время и силы и обратиться к более опытным коллегам, которые готовы делиться своим опытом.

Совсем скоро это можно будет сделать на бесплатном мастер-классе от Павла Беляева, тимлида аналитиков в сервисе eLama, где Павел покажет 10 приёмов в работе с SQL, которые использует его команда в реальной практике📊.

Что будет на мастер-классе:
🟠 Проведем проверку на повторяющиеся комбинации в таблице с данными
🟠 Найдем последний элемент в исторических данных
🟠 Сравним разные версии таблиц
🟠 Заполним пропущенные даты во входящих данных
На этом закончим спойлеры, остальное узнаем на мастер-классе!

🕘Встречаемся 12 февраля в 19:00 по мск

Зарегистрироваться на бесплатный мастер-класс

Data Science. SQL hub

28 February 2025 12:31

Разработчикам стала доступна российская облачная среда для разработки — GigaIDE Cloud со встроенным AI-ассистентом

GigaIDE Cloud позволяет разработчику начать работу над проектом всего за несколько секунд без необходимости настройки рабочего окружения и с привычных устройств.

Облачная среда обеспечивает редактирование, отладку, проверку и совместную работу с кодом, а также постоянный и безопасный доступ к предварительно настроенным рабочим пространствам.

В GigaIDE Cloud интегрирован AI-ассистент разработчика GigaCode. Он автоматизирует рутинные процессы, дает советы и подсказки в реальном времени — пользуйтесь автодополнением кода, оптимизируйте код и исправляйте ошибки с поддержкой AI

Начать пользоваться GigaIDE Cloud — по ссылке

Data Science. SQL hub

26 February 2025 12:14

🐼 Pandas умирает медленной и мучительной смертью.

Это самая популярная в мире библиотека обработки данных, но она медленная, и многие библиотеки значительно превзошли ее.

Проблема альтернатив Pandas в том, что никто не хочет изучать новый API.

Давайте посмотрим правде в глаза: люди не будут переносить свои проекты, га другие фреймворки, без особой причины.

Я уже давно работаю с FireDucks 🦆

Эта библиотека в разы быстрее Pandas, и вам не придется менять код старых проектов для перехода на нее.

Вы можете изменить *одну* строку кода и весь остальной код будет работать на FireDucks :

import fireducks.pandas as pd

python 
$ python -mfireducks.imhook yourfile[.]py

Data Science. SQL hub

24 February 2025 18:02

🖥 Шпаргалка по последовательности выполнения SQL запроса!

@sqlhub

Data Science. SQL hub

24 February 2025 13:25

🔥 ERD Lab — это бесплатный онлайн-инструмент, предназначенный для профессионального проектирования и визуализации баз данных с использованием диаграмм "сущность-связь" (ERD)! Он позволяет импортировать существующие SQL-скрипты или создавать новые базы данных без необходимости писать код, что упрощает процесс разработки и документирования структур данных.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

23 February 2025 16:47

Классный сайт для тренировки навыков SQL.

На сайте размещены задачи, которые решаются через базу данных больницы.

Уровни сложности разные — от простых запросов с SELECT до по-настоящему сложных.
Берём на вооружение для практики!

https://www.sql-practice.com/

@sqlhub

Data Science. SQL hub

21 February 2025 10:01

⚡️ RushDB — это мгновенная база данных, построенная на базе Neo4j, не требующая моделирования, конфигураций, нормализаций данных и идеально подходит для разработки приложений, DS/ML Ops и быстрого прототипирования.

🌟 Принимает любые данные формате JSON, JSONB и CSV, и самостоятельно нормализует данные, создавая связи между данными, расставляет типы данных и лэйблы на основе передаваемых данных.

☁️ Доступна в облаке и селф-хостед.
🛠 API-first и удобные SDK для разработчиков: Python и TypeScript
🚀 Отлично подходит для стартапов, AI-команд и всех, кто работает с графами

🔐 Лицензия: Apache-2.0

🟢 GitHub
🟢Website
📖Docs

Data Science. SQL hub

18 February 2025 15:46

Математика — это прекрасный язык, которым можно описать практически всё. Но есть нюансы

Директор по развитию искусственного интеллекта в Яндексе Александр Крайнов стал гостем сезона «Лица Data Fusion» в подкасте «Деньги любят техно». Ведущий подкаста Денис Суржко, заместитель руководителя департамента анализа данных и моделирования ВТБ, пригласил Александра на чай и задал ему профессиональные и философские вопросы.

В выпуске обсудили:
• Кто такие специалисты по ИИ сегодня
• Какой фундамент необходим, чтобы быть классным дата-сайентистом
• Как подходят к подбору сотрудников в команду ИИ в Яндексе
• Сходства и различия работы на компанию и в науке
• Мотивацию, процессы, выстраивание работы в командах
• Подходы к разработке ИИ-продуктов и исследований в России и Китае
• Будущее ИИ

Послушать или посмотреть эпизод рекомендуем всем, кто строит карьеру в сфере Data Science.

Ссылка на видеоверсию в ВК: *клик*
Ссылка на аудиоплатформы: *клик*

Data Science. SQL hub

18 February 2025 08:14

🔧Как настроить интеграцию ClickHouse с Postgres, Kafka, S3 и Superset?

🔥24 февраля в 18:30 (мск) — откройте для себя готовые решения на практическом вебинаре с Алексеем Железным!

Вы научитесь:
- Подключать ClickHouse к PostgreSQL.
- Настраивать стриминг данных через Kafka.
- Интегрировать ClickHouse с BI-инструментом Superset для построения отчетов.

После вебинара вы сможете уверенно настраивать все коннекторы и использовать их для создания мощных аналитических решений. Получите практические знания и прокачайте свои навыки!

Не упустите шанс! Регистрируйтесь прямо сейчас!

👉 Регистрация: https://otus.pw/16ds/?erid=2W5zFHBxtor

Бесплатное занятие приурочено к старту курса ClickHouse. После обучения вы научитесь быстро и эффективно настраивать БД, работать с ее продвинутыми функциями и интегрировать с другими системами.

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

Data Science. SQL hub

15 February 2025 14:01

👣 qdrant: Qdrant - высокопроизводительная, масштабная векторная база данных и векторная поисковая система для следующего поколения ИИ.

Также доступна в облаке https://cloud.qdrant.io ★21546

pip install qdrant-client

🖥 Github

@sqlhub

Data Science. SQL hub

15 February 2025 12:03

🌟 14 алгоритмов сортировки в одной минуте!

@sqlhub

Data Science. SQL hub

14 February 2025 14:02

🖥 CH-UI — это веб-интерфейс для управления базами данных ClickHouse, который предоставляет удобные инструменты для выполнения SQL-запросов, мониторинга производительности и визуализации данных!

🌟 Он оснащен интеллектуальным редактором запросов с подсветкой синтаксиса, автодополнением и историей команд, что делает работу с ClickHouse более комфортной и эффективной.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

12 February 2025 13:40

🖥 SqlServer.Rules - набор статических правил анализа кода для проектов SQL Server!

🌟 Эти правила помогают выявлять потенциальные проблемы и улучшать качество T-SQL кода в проектах.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

11 February 2025 10:01

🖥 Эта статья посвящена оптимизации производительности запросов в PostgreSQL с помощью индексов!

🌟 Автор объясняет, что индексы в PostgreSQL работают аналогично указателю в книге, позволяя быстро переходить к нужному разделу без необходимости просматривать каждую страницу. Без индексов база данных выполняет последовательное сканирование строк, что может быть неэффективно при больших объемах данных. Использование индексов особенно полезно для ускорения запросов с операторами WHERE и улучшения производительности при объединении таблиц.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

10 February 2025 19:02

🖥 Эта статья рассматривает, как различные базы данных (YugabyteDB, PostgreSQL, Oracle, SQL Server и MongoDB) обрабатывают индексацию запросов с операцией "не равно" (!=, <>)!

🌟 Обсуждаются проблемы, такие как неэффективность полнотабличных сканирований, и предлагаются решения, такие как использование битмап-индексов или частичных индексов для оптимизации таких запросов. Например, PostgreSQL и YugabyteDB могут эффективно использовать битмап-сканирование или частичные индексы при запросах, где большинство значений в столбце равны нулю. Эти техники помогают сократить ненужные сканирования всей таблицы и улучшить производительность, особенно при неравномерном распределении данных.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

10 February 2025 11:00

🖥 ReadySet — уровень кеширования для MySQL и PostgreSQL, который размещается перед существующими базами данных!

🌟 ReadySet ускоряет выполнение запросов и позволяет горизонтально масштабировать чтение, сохраняя совместимость с протоколами MySQL и PostgreSQL.

💡 Инструмент кэширует результаты SELECT-запросов и инкрементально обновляет их по мере изменений базовых данных. Это решение идеально подходит для приложений, требующих высокой производительности чтения, таких как аналитические системы или веб-приложения с большим числом пользователей.

🔐 Лицензия: BSL-1.1

🖥 Github

@sqlhub