databases_secrets | Unsorted

Telegram-канал databases_secrets - Базы данных | Access, SQL, Big Data

30088

Всё о базах данных простым языком. Сотрудничество: @max_excel РКН: vk.cc/cHhG5h

Subscribe to a channel

Базы данных | Access, SQL, Big Data

Positive Technologies приглашает на онлайн-презентацию нового продукта — PT Data Security*

Решение помогает защитить критически важные данные компании, снижает риски утечек и обеспечивает соответствие требованиям регуляторов.

На онлайн-трансляции вы первыми узнаете:

— Какие задачи и риски сегодня определяют настоящее и будущее рынка защиты данных.
— Какие вызовы стоят перед компаниями на рынке защиты данных.
— О новом подходе Positive Technologies к защите данных.

📅 8 октября, 15:00 мск
📍 Онлайн
👉 Регистрация

*Защита данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Расскажут инженеры
MWS Cloud Platform ⬜️ в 8-й серии
реалити-проекта для инженеров — Building the Cloud.

📅 Когда: 9 октября в 13:00
📍 Где: Онлайн

Вы узнаете:

⏺️чем реализация ванильного Kubernetes отличается от управляемого сервиса, предоставляемого в облаке;
⏺️какую архитектуру выбрали для managed-решения в облаке MWS Cloud Platform;
⏺️как реализовали жизненный цикл кластеров, мульти-тенанси и интеграции с другими облачными сервисами — Artifact Registry, IAM, Compute, VPC.

🎁 Розыгрыш фирменного мерча — за лучший вопрос в чате.

Будет особенно полезно DevOps- и Cloud Native-инженерам, а также всем, кто интересуется облачными технологиями.

➡️Зарегистрироваться

Читать полностью…

Базы данных | Access, SQL, Big Data

На грани автоматизации: как AI-ассистенты в Yandex Cloud управляют базами данных

Компания запустила линейку ИИ-ассистентов, чтобы ускорить и автоматизировать работу с облаком. Они заберут на себя часть рутинных задач по работе с базами данных.

AI-ассистенты в WebSQL помогают формулировать запросы на естественном языке к Trino, ClickHouse, PostgreSQL и другим базам данных. Для этого достаточно задать нейросети вопрос, например «покажи топ-10 клиентов по выручке за 2025 год». Автоматически разметить метаданные можно с помощью Data Catalog в Yandex MetaData Hub.

Также AI-ассистент работает в YDB – как в облаке, так и в он-прем версии. По запросу клиента он может провести диагностику и оптимизировать неэффективные запросы, чтобы повысить скорость обработки данных. Кроме того, YDB MCP Server позволяет подключить LLM-модель к базе данных – таким образом пользователь может обращаться к YDB на естественном языке, а модель — генерировать SQL-запросы, обрабатывать ошибки и возвращать результат в удобочитаемой форме.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Рекомендации по ведению SQL-кода

В этом материале автор разберет общие рекомендации по ведению SQL-кода на примере СУБД MS SQL (T-SQL). Однако, многие пункты можно также применить и к другим СУБД.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Оптимизация запроса и запрос оптимизации

В этой статье: как не грабить память, не пытать диск, не мучать кластер. Или делать все это всего одним запросом на Impala к Hadoop.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Основы SQL

В этом ролике автор рассматривает на практике работу с основными командами языка запросов SQL.

00:00 Подготовка базы данных
04:36 Выбор данных (SELECT)
08:30 Указание текущей базы данных
09:58 Чувствительность к регистру
12:14 Выбор определенных колонок
15:28 Фильтрация с помощью WHERE
20:59 Фильтрация с И и ИЛИ
26:38 Поиск строки по шаблону
29:18 Свой среди чужих
31:26 NULL когда данные отсутствуют
34:27 Сортировка данных
38:37 Добавление записей
45:36 Обновление данных
52:32 Удаление данных

Смотреть это видео на youtube: youtu.be/WhzZZqoM-AY

Читать полностью…

Базы данных | Access, SQL, Big Data

👨‍💻Гринатом — ИТ-интегратор Росатома — открывает вакансию системного аналитика!

Ждём кандидатов с опытом работы системным аналитиком в ИТ от 5 лет, навыками проектирования, документирования и интеграций, умением декомпозировать крупные задачи, пониманием принципов построения микросервисной архитектуры ПО и разработки Web-приложений, знанием agile/scrum методологии, BPMN, UML, SQL, OpenProject и Postman. Опыт реализации и внедрения систем ECM, ERP, MES, CRM, HRM будет преимуществом.

🤝С нами вы сможете работать с полным соблюдением ТК РФ в удалённом формате из любого региона с сокращённым днём в пятницу, получать «белую» зарплату 2 раза в месяц, учиться за счёт компании и заботиться о своём здоровье с пакетом ДМС, включающим стоматологию.

Читать полностью…

Базы данных | Access, SQL, Big Data

Работа с множествами в SQL

В этом видеоуроке автор подробно разбирает процесс работы с операторами множеств в SQL (UNION, MINUS, INTERSECT).

00:00 Вступление
00:29 Объединение множеств строк (UNION ALL и UNION)
01:46 Вычитание множеств строк (MINUS)
02:06 Пересечение множеств строк (INTERSECT)

Смотреть это видео на youtube: youtu.be/1n9oQE9i85c

Читать полностью…

Базы данных | Access, SQL, Big Data

SQL vs NoSQL: блеск и нищета реляционных СУБД

В этом видео мы погрузимся в мир реляционных систем управления базами данных. Начнем с истории их развития, затем подробно рассмотрим особенности и преимущества реляционных СУБД. Обсудим современные требования к базам данных и выявим слабые стороны реляционных систем, включая их ограничения в масштабируемости и гибкости.

00:00 Вступление
00:42 История развития СУБД
01:15 Реляционные СУБД
02:27 Новые требования к базам данных
02:55 Что не так с реляционными СУБД
03:05 CAP-теорема / теорема Брюера
05:00 Транзакционность реляционных СУБД
05:47 Как реляционные СУБД хранят данные
07:30 Жёсткие схемы в реляционных базах данных
08:25 ACID и транзакции
11:10 Big Data и другие сценарии
12:22 Итоги

Смотреть это видео на youtube: youtu.be/X7hwc-KmhaY

Читать полностью…

Базы данных | Access, SQL, Big Data

Организация хранения исторических данных в Oracle

В этой статье автор разберет разные способы организации хранения исторических данных в Oracle. Под историческими данными будем понимать историю (лог) изменения данных в таблице.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

🤖 Как научиться думать как аналитик, принимать решения как аналитик, быть аналитиком?

Всё просто: идти на новый набор в Яндекс Лицей на профильный курс по анализу данных.

Он для учащихся школ и колледжей от 13 до 20 лет. Программа построена таким образом, чтобы вы получили крепкий фундамент для старта карьеры в IT.

Научитесь работать с Python и использовать аналитику на практике. Ну и куда без визуализации? К концу курса сможете не только верно анализировать, но и делать красивые отчеты (в компаниях это ценят).

После обучения получите сертификат. Он может помочь получить дополнительные баллы при поступлении в некоторых вузах. Курс бесплатный, но есть отбор. Заявки принимают до 23 сентября.

Переходите по ссылке и регистрируйтесь.

Читать полностью…

Базы данных | Access, SQL, Big Data

Как выбирать технологии для базы данных?

В этом видео автор подробно говорит о современных задачах работы с данными, чем они отличаются и по каким критериям стоит выбирать ту или иную СУБД. Автор разберет примеры использования таких инструментов как GreenPlum, ClickHouse, Cassandra.

В результате вы узнаете маячки, на которые можно обращать внимание при выборе СУБД, и рассмотрите, какие инструменты работы с данными сейчас активно используются.

01:30 Цели и задачи вебинара
04:10 Как нам разговаривать с нашей БД?
05:19 SQL или noSQL?
08:52 Задача №1
18:00 Задача №2
25:40 Задача №3
32:40 Задача №4
39:07 Как выбрать правильный инструмент?
45:25 Последствия выбора неправильного инструмента
47:15 Сравнение с ClickHouse
48:25 Результаты

Смотреть это видео на youtube: youtu.be/hwN1k-jkvmg

Читать полностью…

Базы данных | Access, SQL, Big Data

Проблемы при переходе с MS SQL на PostgreSQL: типы данных

В этой статье автор продолжит серию и поделится проблемами некоторых различий типов данных в MS SQL и PostgreSQL.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Введение в SQL-инъекции

В этом ролике разберемся что такое базы данных и изучим основы SQL. Это видео первое из серии, посвященной изучению SQL-инъекций.

Смотреть это видео на youtube: youtu.be/4t16wXJXM-A

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Проблемы при переходе с MS SQL на PostgreSQL: активное использование временных таблиц

В этой статье автор подробно расскажет о наиболее распространенной проблеме, возникающей при переходе с MS SQL на PostgreSQL.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Кейс миграции MS SQL Server из Azure в VK Cloud

В этом материале автор разберет опыт миграции PaaS MS SQL Server с гигабайтами данных из Azure в VK Cloud и расскажет, как выстроить процесс, какие подводные камни встретились и что получилось в итоге.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Практика по JOIN в SQL: упрощаем ежедневные задачи и решаем тестовое

Один из самых распространённых операторов в SQL — это JOIN. В статье автор расскажет об особенностях этого оператора: как использовать другие операторы в JOIN после ON, кроме «равно», и зачем это может быть нужно.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Как распараллелить тесты с базой данных

Представьте проект, в котором уже написано несколько сотен тестов. Каждый тест настраивает базу под себя: добавляет данные, вызывает truncate по окончанию. Хочется запускать тесты параллельно, чтобы ускориться, но если два теста запустить одновременно, они почти наверняка друг другу помешают. В этой статье автор поделится подходом, который позволил решить проблему без рефакторинга.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

На грани ИИ: пример поиска и обработки векторов в PostgreSQL + pgvector

В этой статье автор на практическом примере покажет как хранить и кластеризовать векторы алгоритмом DBSCAN и искать по ним в базе данных. В примере задача с векторами на грани типичного хранения и обработки результатов работы нейросетевых моделей в базе данных.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Как правильно использовать большие данные: строим хранилища на MPP-СУБД

В этой статье автор поделится опытом, как снизить капиталовложения в оборудование с большим объемом памяти, добиться производительности и высокой отказоустойчивости при создании DataLake и корпоративного хранилища данных.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Инфраструктура для data engineer Kafka

В этом материале автор покажет, как можно использовать Kafka в дата-инженерии и как её "пощупать".

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Как мы перенесли архив данных из Teradata в GreenPlum с помощью Hadoop и PXF

В этой статье автор расскажет о полученном опыте и результатах переноса архива данных объёмом более 400 Тб из Teradata в GreenPlum, а также о трудностях и решениях, связанных с этим процессом.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

SQL HowTo: TOP-N на субинтервалах

Автор периодически сталкивался с однотипными задачами вида "показать TOP-N позиций на каждом из вложенных интервалов некоторого периода", поэтому в этой статье он решил описать создание эффективного, но компактного запроса для PostgreSQL, который решает такую задачу.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Организуем High Availability PostgreSQL

Чтобы система долго работала без сбоев и перерывов, нужно поработать над отказоустойчивостью. В этой статье автор даст несколько способов её построить и покажет готовое решение.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Как мы продукт на PostgreSQL переводили

В этой статье автор поделится своими наработками как научить приложение работать с СУБД PostgreSQL и провести первую миграцию боевой системы.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Деревья ltree в PostgreSQL – простым языком

В этой статье автор подробно разберет иерархические деревья ltree в PostgreSQL и расскажет о базовых приёмах извлечения данных из таких деревьев.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Как был создан потоковый SQL-движок

Потоковый SQL-движок обеспечивает, чтобы результаты SQL-запросов всегда оставались актуальны, и их не приходилось пересчитывать. Даже в тех случаях, когда меняются данные, на которых основан запрос.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Первый шаг в аналитику или SQL для начинающих

SQL — один из базовых инструментов работы аналитика. Он используется в любой сфере, где есть данные, и позволяет управлять ими напрямую, минуя ограничения привычных табличных редакторов.

На вебинаре разберем:
🟣что такое SQL и чем он отличается от Excel;
🟣как устроены базы данных и зачем они нужны;
🟣основы синтаксиса SQL;
🟣простые примеры запросов на практике;
🟣с чего начинается работа аналитика и почему SQL становится первым шагом.

🎙Спикер: Юлия Брусенцова, руководитель отдела аналитики в компании «Смотрёшка» (ООО «Лайфстрим»).
📁Дата и время: 4 сентября в 19:00.

Регистрация 📍

Реклама. НИУ "ВШЭ". ИНН 7714030726. erid:2SDnjcxM8op

Читать полностью…

Базы данных | Access, SQL, Big Data

REKONFA Live

6 ноября приглашаем рекламодателей, агентства и рекламные площадки обсудить технологии, маркетинговые инструменты и актуальные новинки. Ключевые участники рынка поделятся опытом и расскажут:

— О ситуации на рынке рекламы
— Как продвигать и продавать в интернете в 2025 году
— Как бизнесу адаптироваться к меняющимся условиям

Вас ждут доклады на актуальные темы, классный нетворкинг, вдохновляющая атмосфера для творчества и креатива.

Встречаемся 6 ноября в Москве. Для тех, кто не сможет приехать, организуем интерактивное digital-шоу. Мероприятие бесплатное, нужно только зарегистрироваться.

Зарегистрироваться

#реклама 16+
ya.rekonfa.ru

О рекламодателе

Читать полностью…

Базы данных | Access, SQL, Big Data

Как устроена виртуальная машина SQLite

Среди встраиваемых баз данных SQLite уникальна не только благодаря своему транзакционному уровню хранения данных, построенному по принципу Б-дерева, но и благодаря собственному надёжному движку выполнения SQL. В этой статье автор подробно разбирает, как SQLite синтаксически анализирует, оптимизирует и выполняет ваши SQL-запросы.

Базы данных

Читать полностью…
Subscribe to a channel