Data Science. SQL hub

20 March 2025 17:01

💪 Качаем скиллы PostgreSQL!

10 апреля 2025 года пройдет бесплатное комьюнити-мероприятие из серии PG BootCamp Russia — конференция, направленная на приобретение практических навыков при работе с СУБД PostgreSQL.

🔵Программа рассчитана как на начинающих специалистов, так и на более опытных разработчиков, желающих углубить знания в части ядра и экосистемы продукта
🔵 Ведущие эксперты в области СУБД проведут мастер-классы и лекции по наиболее востребованным и интересным темам
🔵Для тех, кто не сможет присутствовать очно, предусмотрена онлайн-трансляция

🧑‍🎓 Все участники получат электронные сертификаты, подтверждающие приобретение новых знаний и навыков.

📌 Дата и время: 10 апреля, в 10:00 (по ЕКБ)
Формат: офлайн/онлайн
Место проведения: конгресс-отель «Екатеринбург»

✅ Зарегистрируйтесь сейчас и приготовьтесь к захватывающему путешествию в мир СУБД!

Реклама. ООО "ТАНТОР ЛАБС" ИНН 9701183207 Erid: 2W5zFJHvTwv

Data Science. SQL hub

20 March 2025 10:29

Хотите получить много практики на реальных задачах, собрать портфолио и узнать как выглядит рабочий день аналитика?

CEO Simulative и эксперт с большим опытом в аналитике, Андрон Алексанян организовал бесплатный интенсив, где вы будете решать реальные задачи, с которыми аналитики сталкиваются на работе

На прямых эфирах вы сделаете:
🟠Анализ активности пользователей с помощью SQL
🟠Анализ маркетинговых активностей с помощью Python
🟠ABC анализ ассортиментной матрицы в Excel (уже прошел, но вам будет доступна запись)

Во время эфиров вы узнаете много лайфхаков, а также будете получать полезные материалы для развития в аналитике на протяжении всего интенсива

❗️Знать Python и SQL не обязательно — все будем разбирать с нуля

🕗 Встречаемся на новом эфире уже сегодня, 20 марта в 19:00 по мск

😶Участвовать в бесплатном интенсиве

Data Science. SQL hub

18 March 2025 16:02

Как эффективно управлять доступом пользователей к базе данных, используя роли?

Разберем основные механизмы безопасности PostgreSQL на практике: шифрование соединений (SSL/TLS), контроль доступа (pg_hba.conf, роли, RLS), аудит (pg_audit).

Приглашаем на открытый практический урок «Безопасность в PostgreSQL: защита данных, управление доступом и аудит» в рамках курса PostgreSQL для администраторов баз данных и разработчиков

✅ Практика: настройка SSL/TLS шифрование для защиты данных при передаче, обеспечивая конфиденциальность обмена информацией между клиентом и сервером PostgreSQL.

Покажем, как защититься от распространенных угроз:SQL-инъекции, DDoS-атаки.

👉  Регистрация и подробности: 
https://otus.pw/DAoa/?erid=2W5zFGdBSKz

#реклама
О рекламодателе

Data Science. SQL hub

18 March 2025 09:04

Большие данные — для большого будущего. Navio расширяется и приглашает в команду сильных Дата инженеров, а также Data
Science: ML, CV, NLP специалистов.

Вы будете участвовать в разработке уникальных решений, которые меняют транспортную отрасль. Мы создаём:
· универсальную технологию автономного вождения, совместимую с разными видами транспорта;
· платформу для управления беспилотным флотом автомобилей;
· проекты новой городской мобильности.

Navio объединяет культуру автопроизводителей и IT-компаний. Более 700 специалистов работают над тем, чтобы доставка грузов стала быстрее и эффективнее, а городской транспорт — безопаснее и комфортнее.

Найдите интересную вакансию и отправьте отклик.

Data Science. SQL hub

17 March 2025 14:16

🌟 YOLOE — это усовершенствованная версия алгоритма обнаружения объектов, вдохновлённая классической архитектурой YOLO и разработанная командой THU-MIG.

Архитектура YOLO (You Only Look Once) получила своё название благодаря подходу, при котором нейронная сеть анализирует всё изображение целиком за один проход, чтобы определить присутствие и расположение объектов. Это отличается от других методов, которые сначала выделяют потенциальные области с объектами, а затем отдельно классифицируют их, что требует нескольких обработок одного изображения

YOLOE сохраняет принцип однократного взгляда на изображение для детекции объектов, но вносит архитектурные улучшения, направленные на повышение точности и эффективности модели.

▪ Ключевые отличия от классического YOLO:

- Оптимизированная архитектура: В YOLOE внедрены новые подходы для более эффективной обработки признаков, что позволяет улучшить качество детекции без значительного увеличения вычислительных затрат.
- Повышенная точность: Улучшенные модули и методы, такие как ре-параметризация отдельных блоков, способствуют более точному обнаружению объектов, включая мелкие и сложно различимые элементы.
- Скорость и эффективность: YOLOE сохраняет высокую скорость инференса, делая его пригодным для задач в реальном времени, при этом обеспечивая конкурентоспособное соотношение производительности и точности.

▶️YOLOE требует в 3 раза меньших затрат на обучение по сравнению с YOLO-Worldv2, что делает процесс обучения более экономичным

YOLOE представляет собой современное и улучшенное решение для задач детекции объектов, совмещающее лучшие стороны классического YOLO с новыми архитектурными подходами.

🖥Github
🟡Статья
🟡HF
🟡Colab

#yoloe #opensource #ml #ai #yolo #objectdetection

Data Science. SQL hub

17 March 2025 08:04

🖥 PgDog — это инструмент для горизонтального масштабирования PostgreSQL, объединяющий функции шардирования, пула соединений и балансировщика нагрузки.

Разработанный на языке Rust, он обеспечивает высокую производительность и надёжность, позволяя масштабировать базы данных без необходимости изменения кода приложений.

Основные особенности PgDog:

Шардирование: PgDog способен автоматически распределять данные между несколькими шардами, обеспечивая эффективное управление большими объёмами информации.

Пул соединений: Поддерживает транзакционное и сессионное пуллинг, позволяя тысячам клиентов использовать ограниченное количество соединений с сервером PostgreSQL, что оптимизирует использование ресурсов.

Балансировка нагрузки: Распределяет запросы между основными и реплицированными базами данных, обеспечивая равномерную загрузку и повышая отказоустойчивость системы.

Благодаря этим возможностям, PgDog может управлять сотнями баз данных и обрабатывать сотни тысяч соединений, что делает его мощным инструментом для масштабирования и оптимизации производительности PostgreSQL-систем.

🖥 GitHub

@sqlhub

Data Science. SQL hub

14 March 2025 13:30

Как изменился рынок аналитики за 2024 год?

Агентство NEWHR опубликовало новое исследование, опросив 1293 аналитиков разных уровней — от Junior-специалистов до руководителей. Главные тейки:

🟠Авито стал лучшим работодателем для аналитиков — его выбрали более 35% опрошенных.
🟠Хотя бы один раз за последние 2 года место работы меняли 60% респондентов.
🟠На текущем месте работы аналитиков чаще всего удерживают интересные задачи (52,6), хорошая зарплата (51,5%) и перспективы профессионального роста (49,4%).
🟠51,5% респондентов работают на удаленке.
🟠Более 70% в 2024 году стали получать больше.

@sqlhub

Data Science. SQL hub

12 March 2025 15:03

🖥 Pumpfun-Smart-Contract-SOL — это реализация смарт-контракта для блокчейна Solana, размещённая на GitHub.

Он может быть полезен разработчикам по следующим направлениям:

⚫ Обучение и практика: Проект демонстрирует, как писать, тестировать и разворачивать смарт-контракты в экосистеме Solana.
⚫ Пример архитектуры: Разработчики могут изучить структуру кода, способы взаимодействия с блокчейном и методы обеспечения безопасности смарт-контрактов.
⚫ Инструменты и библиотеки: В репозитории могут быть использованы современные инструменты разработки, что помогает быстрее освоить лучшие практики создания децентрализованных приложений.
⚫ Расширяемость: Исходный код можно адаптировать под конкретные задачи, что делает его отличным шаблоном для создания собственных проектов на Solana.

📌 GitHub

@sqlhub

Data Science. SQL hub

12 March 2025 11:04

🖥 ingestr — инструмент командной строки, предназначенный для копирования данных между различными базами данных с помощью одной команды!

🌟 Он поддерживает множество источников и пунктов назначения, включая Postgres, BigQuery, Snowflake, Redshift, Databricks, DuckDB, Microsoft SQL Server и другие. ingestr позволяет выполнять как полное обновление данных, так и инкрементальную загрузку с использованием стратегий append, merge или delete+insert. Установка инструмента осуществляется через пакетный менеджер pip, а использование не требует написания кода — достаточно указать необходимые параметры в командной строке.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

11 March 2025 08:05

Как работает автоматическое переключение на резервный сервер в случае сбоя основного? 

Разберем концепцию высокой доступности баз данных и автоматического failover на практике

Приглашаем на открытый практический урок «Отказоустойчивый кластер Patroni» в рамках курса PostgreSQL для администраторов баз данных и разработчиков

✅ Практика: настройка кластер Patroni, включая конфигурацию DCS, настройку PostgreSQL и HAProxy. 

Освойте основные команды Patroni для управления кластером, такие как переключение ролей, перезагрузка, реинициализация и настройка синхронной репликации. 

Навыки полученные на уроке позволят создать отказоустойчивые решения для своих баз данных и эффективно администрировать отказоустойчивые кластеры PostgreSQL.

👉  Регистрация и подробности: 
https://otus.pw/v5QN/?erid=2W5zFJ4NUvU

#реклама
О рекламодателе

Data Science. SQL hub

10 March 2025 09:04

⚡️Как эффективно мигрировать данные в ClickHouse: Денормализация и оптимизация

11 марта в 20:00 мск — присоединяйтесь к вебинару с Константином Трофимовым и узнайте, как ускорить аналитику с помощью правильной миграции данных! 

На вебинаре вы:
> Изучите методы импорта данных из других систем в ClickHouse.
> Научитесь денормализовать данные для ускорения запросов.
> Узнаете, как обогатить данные с помощью словарей и других функций ClickHouse.

🔥После вебинара вы будете уверенно работать с миграцией данных в ClickHouse, улучшать производительность и избегать распространенных ошибок при переходе на новую систему.

Запишитесь на вебинар и улучшите свои навыки уже сегодня!

👉 Регистрация: https://otus.pw/glzWi/?erid=2W5zFJJ3rKA

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

Data Science. SQL hub

06 March 2025 11:02

🖥 Полезнейший сборник из 800+ вопросов по SQL, которые часто задают на собеседованиях.

Он также включает задачи для самостоятельной работы и множество примеров.

Сборник отлично подходит для тех, кто хочет прокачать свои навыки работы с SQL, освежить знания и проверить свои знания.

▪ GitHub

@sqlhub

Data Science. SQL hub

04 March 2025 16:40

Хотите научиться автоматизировать процессы обработки данных как в Бигтехе?

Чтобы проанализировать большой массив данных, его нужно обработать. Обычно это происходит в три этапа: извлечение, трансформация и загрузка (или ETL). Но чем больше становится данных, тем труднее управлять этим процессом вручную — автоматизировать его можно с помощью Airflow.

Чтобы научиться работать с Airflow, приходите на бесплатный вебинар, где Антон Шишков, опытный Software Engineer из бигтех-компании, — поделится с вами своими знаниями и лучшими практиками работы с Airflow на примере автоматизации сбора данных.

Что мы будем делать на вебинаре:
🟠 Познакомимся с Airflow: узнаем, как он может упростить работу и повысить эффективность;
🟠 Узнаем об операторах и сенсорах: как использовать для создания гибких и надежных конвейеров данных;
🟠 Напишем базовые и продвинутые DAG'и, чтобы вы могли применить их на практике;
🟠 Разберем, как использовать Docker, FastAPI, Postgres, Clickhouse и Minio для автоматизации ETL-процессов.

🕗Встречаемся 4 марта в 19:30 по мск

Зарегистрироваться на бесплатный вебинар

Data Science. SQL hub

04 March 2025 13:03

🖥 FalkorDB — это масштабируемая графовая база данных с низкой задержкой, предназначенная для команд разработчиков, управляющих структурированными и неструктурированными взаимосвязанными данными в реальном времени или интерактивных средах!

🌟 Она использует разреженные матрицы для представления матриц смежности и линейную алгебру для выполнения запросов, что обеспечивает высокую производительность и эффективность.

🖥 Github

@sqlhub

Data Science. SQL hub

03 March 2025 11:03

🔥 Smallpond — это легковесный фреймворк для обработки данных, разработанный на основе DuckDB и 3FS!

🌟 Он обеспечивает высокопроизводительную обработку данных и масштабируемость для работы с наборами данных петабайтного масштаба. Фреймворк упрощает операции, не требуя длительно работающих сервисов.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Data Science. SQL hub

20 March 2025 12:31

📖 Эта статья объясняет, как интерпретировать значения NULL в операциях OUTER JOIN в SQL!

🌟 Она рассматривает разницу между отсутствующими записями (когда строки не существуют) и NULL-значениями (когда данные существуют, но неизвестны). Автор объясняет, как правильное нормализованное моделирование данных помогает различать эти ситуации.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

18 March 2025 17:25

🔥 PrunaAI — это инструмент для оптимизации и сжатия нейросетевых моделей, ориентированный на уменьшение их размера и ускорение работы без значительной потери точности.

Название связано с техникой «pruning» (обрезка нейронных сетей), которая удаляет избыточные параметры модели.

Проект предназначен для разработчиков, стремящихся развертывать эффективные AI-модели на устройствах с ограниченными ресурсами (телефоны, IoT, edge-устройства).

🔍 Основные функции (предположительно)
▪ Автоматическая обрезка моделей — удаление менее значимых нейронов/слоев.
▪ Квантование — сокращение битности весов (например, с 32-бит до 8-бит).
▪ Сравнение производительности — метрики скорости и точности до/после оптимизации.
▪ Поддержка фреймворков — интеграция с PyTorch, TensorFlow, ONNX.

🔥 Чем полезен?
▪ Для инженеров ML:
— Уменьшает размер модели в 2–4 раза, упрощая её развертывание.
— Сохраняет >90% исходной точности после оптимизации.
▪ Для бизнеса:
— Снижает затраты на инфраструктуру для обработки AI-запросов.
— Ускоряет инференс на edge-устройствах.

🎯 Преимущества перед аналогами
▪ Простота: API для быстрого применения pruning без глубоких знаний в оптимизации.
▪ Гибкость: Настройка степени сжатия под конкретные задачи.
▪ Совместимость: Работает с популярными форматами моделей (TFLite, CoreML).

pip install pruna

📌 Github

@sqlhub

Data Science. SQL hub

18 March 2025 11:03

🖥 tbls

Мощный инструмент для документирования баз данных. Он анализирует структуру базы данных и автоматически генерирует красивую документацию в формате Markdown, HTML, JSON и других.

🔹 Основные возможности:
- Автоматический разбор схемы базы данных.
- Поддержка множества СУБД (PostgreSQL, MySQL, SQLite, MSSQL и др.).
- Генерация наглядных диаграмм и связей между таблицами.
- Возможность кастомизации документации.
- Интеграция с CI/CD для автоматического обновления документации.

📌 Github

Data Science. SQL hub

17 March 2025 15:34

🔥 SQL за полтора часа в одном видео! Полный базовый курс по SQL. Базы данных курс для начинающих!

00:00:00 Введение
00:02:43 Платные курсы и что изучать дальше
00:04:55 Коротко об онлайн редакторе
00:07:11 Что такое база данных
00:08:10 Что такое CRUD
00:10:05 Запрос на создание первой таблицы
00:11:57 Типы данных у атрибутов(колонок) (DATA TYPES)
00:17:26 Прописываем атрибуты(колонки) первой таблицы
00:21:07 Создаем первую таблицу (CREATE TABLE)
00:21:38 Проверка на наличие таблицы при создании (IF NOT EXISTS)
00:22:18 Запрос на удаление таблицы(DROP TABLE)
00:22:33 Проверка на наличие таблицы при удалении(IF EXISTS)
00:22:57 Запрос на добавление объекта в таблицу (INSER INTO table)
00:23:35 Запрос на чтение(получение) объектов из таблицы(SELECT * FROM table)
00:24:18 Модификаторы для атрибутов(колонок) таблицы(NOT NULL, DEFAULT, UNIQUE)
00:29:26 Изменение уже существующей таблицы(ALTER TABLE, ADD, DROP, RENAME, MODIFY COLUMN)
00:36:08 Удаление объектов из таблицы(DELETE FROM table)
00:37:06 Редактирование объекта в таблице(UPDATE table)
00:39:03 Первичный ключ(PRIMARY KEY)
00:45:37 Композиция в бд
00:50:38 "Иностранный" ключ(FOREIGN KEY)
00:57:26 Индексы в бд(INDEX)
00:59:24 Готовим данные для темы алиас, юнион и слияние таблиц
01:03:30 Слияние таблиц(INNER JOIN)
01:06:02 Слияние таблиц(LEFT JOIN)
01:06:53 Слияние таблиц(RIGHT JOIN)
01:07:26 Слияние таблиц(FULL JOIN/OUTER JOIN) и Union
01:09:04 Алиас(table AS alias)
01:12:18 Select Distinct в SQL
01:13:42 AND OR NOT в SQL
01:16:18 ORDER BY и LIMIT в SQL
01:17:35 MIN и MAX в SQL
01:18:25 COUNT SUM AVG в SQL
01:19:29 LIKE в SQL
01:21:31 IN и BETWEEN в SQL
01:22:50 GROUP BY в SQL
01:25:17 EXISTS в SQL
01:27:37 ANY и SOME в SQL
01:29:00 INSERT INTO в SQL
01:30:40 Отношения в базе данных
01:32:11 Отношения один к одному
01:33:09 Отношения один ко многим
01:34:09 Отношения многие ко многим
01:37:10 Отношения один к одному и один ко многим "через"
01:39:10 SQL инъекции

📌 источник

#sql #lectures #junior

@sqlhub

Data Science. SQL hub

17 March 2025 12:16

Бесплатный онлайн-вебинар от karpov courses — «Погружаемся в мир А/В-тестирования: от гипотез до принятия решений»

В бизнесе каждая ошибка может стоить не только нервов, но и денег. Однако многие из этих ошибок можно избежать, если грамотно использовать A/B-тестирование. Именно поэтому специалисты в этой области востребованы, а их зарплаты продолжают расти.

Если вы хотите освоить A/B-тестирование с нуля или прокачать уже имеющиеся навыки, присоединяйтесь к бесплатному онлайн-вебинару «Погружаемся в мир А/В-тестирования: от гипотез до принятия решений». Спикер — Вера Багрова, продуктовый аналитик онлайн-кинотеатра Okko.

A/B-тестирование — это ключевой инструмент для маркетологов, продакт-менеджеров и аналитиков данных. На бесплатном вебинаре вы узнаете, в каких случаях стоит применять A/B-тесты, как они помогают улучшить бизнес-результаты, а также разберете полезные лайфхаки и типичные ошибки при проведении тестов.
Вера Багрова, продуктовый аналитик из Okko, поделится реальными кейсами из своей практики и расскажет, какие навыки необходимы для успешной работы в продуктовой аналитике.

Бесплатный онлайн-вебинар пройдет 20 марта в 18:00 по мск, зарегистрироваться можно по ссылке: https://clc.to/erid_2W5zFJvf1YU 
Регистрируйтесь, даже если не сможете быть на эфире — вам отправят запись!

Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627

Data Science. SQL hub

16 March 2025 10:07

Быстрый путь к увольнению — просто покажите env-файл компании в прямом эфире 😁

@sqlhub

Data Science. SQL hub

13 March 2025 10:02

⚡️ R1-Omni — это исследовательский проект, направленный на создание объяснимой омни-мультимодальной системы распознавания эмоций с использованием обучения с подкреплением с верифицируемой наградой (RLVR).

Основные особенности:

⚫ Объяснимость и мультимодальность: Проект объединяет визуальные, аудио и текстовые данные для распознавания эмоций, что позволяет глубже анализировать эмоциональные состояния.
⚫ RLVR: Применение обучения с подкреплением с верифицируемой наградой значительно улучшает способность модели к рассуждению и пониманию влияния разных модальностей.
⚫ Улучшенная обобщаемость: Модель демонстрирует высокие результаты не только на обучающих данных, но и в условиях, когда данные отличаются от тех, на которых модель обучалась (out-of-distribution).
⚫ Инновационный подход: Это первая в отрасли система, использующая RLVR для омни-мультимодального анализа, что открывает новые возможности в области эмоционального распознавания.

Польза для разработчиков:

⚫ Исследования и разработки: Проект предоставляет открытый код, подробные инструкции и примеры, что делает его ценным ресурсом для экспериментов и дальнейших исследований в области мультимодальных ИИ-систем.
⚫ Практическое применение: Возможность интеграции системы в приложения для мониторинга эмоций, интеллектуальных ассистентов и других сервисов, где важна эмоциональная оценка.
⚫ Обучение и вдохновение: R1-Omni демонстрирует современные методы работы с данными из разных источников, что может стать основой для создания новых решений в области обработки естественного языка, компьютерного зрения и аудиоанализа.

Таким образом, R1-Omni интересен разработчикам и исследователям, стремящимся создавать интеллектуальные системы с глубоким пониманием эмоций и мультиканальными данными.

📌 GitHub

@sqlhub

Data Science. SQL hub

12 March 2025 13:31

Хотите получить много практики на рельных задачах, собрать портфолио и узнать как выглядит рабочий день аналитика?

CEO Simulative и эксперт с большим опытом в аналитике, Андрон Алексанян организовал бесплатный интенсив, где в течение 3 недель вы будете решать реальные задачи, с которыми аналитики сталкиваются на работе

На прямых эфирах вы сделаете:
🟠Анализ активности пользователей с помощью SQL
🟠Анализ маркетинговых активностей с помощью Python
🟠ABC анализ ассортиментной матрицы в Excel (уже прошел, но вам будет доступна запись)

Во время эфиров вы узнаете много лайфхаков, а также будете получать полезные материалы для развития в аналитике на протяжении всего интенсива

❗️Знать Python и SQL не обязательно — все будем разбирать с нуля

🕗Встречаемся на новом эфире уже завтра, 13 марта в 19:00 по мск

Участвовать в бесплатном интенсиве

Data Science. SQL hub

11 March 2025 09:03

🖥 Простыми словами: Как хранятся пароли в базах данных

В современном мире защиты данных крайне важно, чтобы пароли не хранились в виде обычного текста. Вместо этого используются их «закодированные отпечатки» – хеши, полученные в результате специального процесса хеширования. Это гарантирует, что даже при компрометации базы данных злоумышленник не сможет восстановить исходный пароль.

📌 Как это работает:
  • При регистрации пароль проходит хеширование с применением современных алгоритмов (например, bcrypt, scrypt или Argon2), часто с добавлением уникальной соли для каждого пользователя.
  • При авторизации введённый пароль снова хешируется, и полученный хеш сравнивается с тем, что хранится в базе. Совпадение означает, что введённый пароль верный.

📌 Почему так делают:
  • Безопасность: Даже если база будет взломана, злоумышленник увидит лишь набор случайных символов, из которых восстановить оригинальный пароль практически невозможно.
  • Секретность: Администраторы системы не имеют доступа к исходным паролям – хеши необратимы.
  • Надёжность: Использование соли и, при необходимости, перца, значительно усложняет атаки с помощью радужных таблиц и повышает общую стойкость системы.

В итоге, пароли в базах данных – это не сами пароли, а их «отпечатки», которые можно сравнивать, но никак не восстановить. Этот подход напоминает замок, который открывается лишь при наличии правильного ключа, при этом сам ключ нигде не хранится.

#базыданных #безопасность #хеширование #пароли

@sqlhub

Data Science. SQL hub

10 March 2025 10:04

🖥 Эта статья посвящена инструменту pg-index-health, созданному для статического анализа индексов PostgreSQL баз данных!

🌟 Автор описывает эволюцию инструмента, который помогает находить проблемы в структуре базы данных, такие как дублирующиеся или избыточные индексы, неиспользуемые индексы, а также потенциальные ошибки проектирования.

🔗 Ссылка: *клик*

@sqlhub

Data Science. SQL hub

08 March 2025 12:37

SQL реально спасает жизни 😂

@sqlhub

Data Science. SQL hub

04 March 2025 19:02

Defog Introspect

Defog Introspect позиционируется как сервис для глубокого исследования ваших данных. Он позволяет:

- Анализировать структурированные данные: Поддерживаются популярные СУБД (PostgreSQL, MySQL, SQLite, BigQuery, Redshift, Snowflake, Databricks) и файлы форматов CSV/Excel.
- Работать с неструктурированными данными: Интеграция PDF-документов, что позволяет получать дополнительные сведения из документации или отчетов.
- Выполнять поиск в интернете: Инструмент способен обращаться к веб-источникам для получения дополнительного контекста, что расширяет возможности анализа данных.
Источник:

Как это работает?
Инструмент использует "умного" AI-агента, который может:

- Преобразовывать текстовые запросы в SQL-запросы (инструмент text_to_sql), что упрощает работу с базами данных.
- Использовать веб-поиск (инструмент web_search) для поиска дополнительной информации и контекста.
- Анализировать PDF-файлы (инструмент pdf_with_citations) с возможностью цитирования источников.
Для реализации этих функций используются передовые модели, такие как:

o3-mini для преобразования текста в SQL.
gemini-2.0-flash для веб-поиска.
claude-3-7-sonnet для работы с PDF и общей оркестрации запросов.
Источник:

https://github.com/defog-ai/introspect

@sqlhub

Data Science. SQL hub

04 March 2025 13:03

🔥 Meta Learning: Deep Learning Guide — практическое руководство по освоению машинного и глубокого обучения!

🌟 Автор делится своим опытом, начиная с изучения программирования в 29 лет и достигая успехов в соревнованиях Kaggle. Основные темы включают эффективные стратегии обучения, улучшение навыков разработки, выбор инструментов, работу с сообществом, поиск наставников и построение карьеры без формального образования.

🔗 Ссылка: *клик*

#machinelearning #deeplearning

Data Science. SQL hub

04 March 2025 11:03

AI меняет мир, а вы остаетесь в стороне?

На Data Fusion 2025 есть все, что нужно знать об AI сегодня и завтра. 5-я международная конференция в сфере искусственного интеллекта и больших данных состоится уже 16-17 апреля в Москве!

Вас ждут:
🔥 Острые дискуссии: сможет ли AI заменить человека? Где грань между ошибкой ИИ и прорывом?
🔍 70+ сессий: тренды и передовые исследования в области больших данных и технологий AI
💡Классный нетворкинг: живое неформальное общение с бизнес-лидерами, учеными, представителями государства.

Расписание, спикеры и темы — уже на сайте.

Регистрируйтесь бесплатно по ссылке — https://data-fusion.ru
📍 Москва, технопарк «Ломоносов»

Мы заботимся о вашей безопасности и просим заполнить развернутую форму — это займет всего пару минут. Спасибо за понимание! 🙌

—
*AI — искусственный интеллект
*нетворкинг — полезные связи

Data Science. SQL hub

01 March 2025 11:00

🖥 ​SQL Noir — это интерактивная игра с открытым исходным кодом, в которой вы выступаете в роли детектива, решающего преступления с помощью SQL-запросов!

🌟 Каждое дело представляет уникальный сценарий преступления и базу данных с уликами, где ваша задача — выявлять подозрительные закономерности, отслеживать отсутствующие записи, связывать подозреваемых и раскрывать мошеннические операции, используя SQL.

🔗 Ссылка: *клик*

@sqlhub