databases_secrets | Unsorted

Telegram-канал databases_secrets - Базы данных | Access, SQL, Big Data

30088

Всё о базах данных простым языком. Сотрудничество: @max_excel РКН: vk.cc/cHhG5h

Subscribe to a channel

Базы данных | Access, SQL, Big Data

Если вы сотрудник ИТ-компании, проходите опрос о работе в сфере ИТ по ссылке. Это займёт всего пять минут.

Всех, кто ответит на все вопросы исследования до 15 сентября, в конце анкеты ждёт сюрприз — возможность получить наушники в подарок 😎

Читать полностью…

Базы данных | Access, SQL, Big Data

Наводим порядок с базами данных. Переносим файлы в S3, мигрируем в единый кластер

В этой статье автор расскажет историю миграции баз данных в кластер и переноса тяжелых файлов в S3; в том числе о том, что пошло не по плану и об обратной стороне размещения баз в едином кластере.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

«PostgreSQL для начинающих»: #1 — Основы SQL

В статье: рассказ об основах SQL, возможностях простых и сложных SELECT, анализ производительности запросов, разбор [не]эффективного применения индексов и особенностей работы транзакций и блокировок в этой СУБД.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Кейс миграции MS SQL Server из Azure в VK Cloud

В этом материале автор разберет опыт миграции PaaS MS SQL Server с гигабайтами данных из Azure в VK Cloud и расскажет, как выстроить процесс, какие подводные камни встретились и что получилось в итоге.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Как распараллелить тесты с базой данных

Представьте проект, в котором уже написано несколько сотен тестов. Каждый тест настраивает базу под себя: добавляет данные, вызывает truncate по окончанию. Хочется запускать тесты параллельно, чтобы ускориться, но если два теста запустить одновременно, они почти наверняка друг другу помешают. В этой статье автор поделится подходом, который позволил решить проблему без рефакторинга.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Рекомендации по ведению SQL-кода

В этом материале автор разберет общие рекомендации по ведению SQL-кода на примере СУБД MS SQL (T-SQL). Однако, многие пункты можно также применить и к другим СУБД.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

На грани ИИ: пример поиска и обработки векторов в PostgreSQL + pgvector

В этой статье автор на практическом примере покажет как хранить и кластеризовать векторы алгоритмом DBSCAN и искать по ним в базе данных. В примере задача с векторами на грани типичного хранения и обработки результатов работы нейросетевых моделей в базе данных.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Как правильно использовать большие данные: строим хранилища на MPP-СУБД

В этой статье автор поделится опытом, как снизить капиталовложения в оборудование с большим объемом памяти, добиться производительности и высокой отказоустойчивости при создании DataLake и корпоративного хранилища данных.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Инфраструктура для data engineer Kafka

В этом материале автор покажет, как можно использовать Kafka в дата-инженерии и как её "пощупать".

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Как мы перенесли архив данных из Teradata в GreenPlum с помощью Hadoop и PXF

В этой статье автор расскажет о полученном опыте и результатах переноса архива данных объёмом более 400 Тб из Teradata в GreenPlum, а также о трудностях и решениях, связанных с этим процессом.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

SQL HowTo: TOP-N на субинтервалах

Автор периодически сталкивался с однотипными задачами вида "показать TOP-N позиций на каждом из вложенных интервалов некоторого периода", поэтому в этой статье он решил описать создание эффективного, но компактного запроса для PostgreSQL, который решает такую задачу.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Группировка и фильтрация в SQL

В этом видеоуроке автор подробно разбирает процесс фильтрации результатов группировки в SQL с помощью ключевого слова HAVING.

00:00 Фильтрация результатов группировки
00:59 Почему не работает фильтрация в WHERE
01:41 Порядок выполнения запроса SQL
02:29 Ключевое слово HAVING
04:00 Итоги

Смотреть это видео на youtube: youtu.be/ytfXUvCsNuo

Читать полностью…

Базы данных | Access, SQL, Big Data

Организуем High Availability PostgreSQL

Чтобы система долго работала без сбоев и перерывов, нужно поработать над отказоустойчивостью. В этой статье автор даст несколько способов её построить и покажет готовое решение.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Базы данных: SQL уроки для начинающих

В этом видеоуроке автор кратко проходится по теории реляционных баз данных и рассматривает язык запросов SQL на примере СУБД MySQL. Вы разберете основные конструкции языка и научитесь создавать и изменять таблицы и получать с них данные.

00:00 Введение
02:53 О реляционных БД
03:15 1 и 2 нормальные формы
04:50 Связи между таблицами
06:12 Начало работы с MySQL
06:47 SHOW, CREATE, DROP DATABASE
07:40 SHOW, CREATE TABLES
10:10 INSERT INTO
10:45 SELECT
11:40 DISTINCT
12:10 WHERE
13:07 AS
13:30 ORDER BY
14:40 UPDATE, SET
15:30 LIKE
18:10 Multiple INSERT
19:10 Объединение таблиц (JOINS)
22:04 Агрегатные функции
23:10 GROUP BY

Смотреть это видео на youtube: youtu.be/IK6e1SFCdow

Читать полностью…

Базы данных | Access, SQL, Big Data

Организация хранения исторических данных в Oracle

В этой статье автор разберет разные способы организации хранения исторических данных в Oracle. Под историческими данными будем понимать историю (лог) изменения данных в таблице.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Введение в SQL-инъекции

В этом ролике разберемся что такое базы данных и изучим основы SQL. Это видео первое из серии, посвященной изучению SQL-инъекций.

Смотреть это видео на youtube: youtu.be/4t16wXJXM-A

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

План обучения SQL с нуля

SQL - главный инструмент в работе аналитика данных. Выучить SQL с нуля за месяц более чем реально. Автор составил для вас план обучения и подобрал материалы, чтобы учить SQL самостоятельно.

00:00 Как пользоваться планом
01:34 Введение, ключи, типы данных
03:32 Условие WHERE + операторы
07:21 Основные функции и условия
10:26 SQL Joins
12:59 Агрегирующие функции + GROUP BY
14:31 HAVING и ORDER BY
15:30 Подзапросы + Common Table Expressions
18:08 Оконные функции в SQL
21:14 Основные ресурсы для теории и практики

Смотреть это видео на youtube: youtu.be/YZhVmTKC9W4

Читать полностью…

Базы данных | Access, SQL, Big Data

Что такое GraphQL с примерами

00:59 Что такое GraphQL и откуда он взялся
01:55 Чем GraphQL лучше, чем REST API
04:03 Графовая структура
04:45 Типы запросов
07:00 Основные концепции в GraphQL
12:07 Схема
14:09 Преимущества

Смотреть это видео на youtube: youtu.be/Xkx5wroOt7o

Читать полностью…

Базы данных | Access, SQL, Big Data

Практика по JOIN в SQL: упрощаем ежедневные задачи и решаем тестовое

Один из самых распространённых операторов в SQL — это JOIN. В статье автор расскажет об особенностях этого оператора: как использовать другие операторы в JOIN после ON, кроме «равно», и зачем это может быть нужно.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Сортировка в SQL

В этом видеоуроке автор подробно разбирает процесс сортировки данных в SQL с использованием оператора ORDER BY.

00:00 Сортировка в SQL
01:50 Порядок сортировки: ASC, DESC
03:19 Совместное использование сортировки и фильтрации
04:21 Ограничение количества выбираемых строк
05:36 Сортировка по нескольким столбцам
06:46 SQL как английский
08:34 Итоги

Смотреть это видео на youtube: youtu.be/bYdjR6QexJY

Читать полностью…

Базы данных | Access, SQL, Big Data

Что такое CLICKHOUSE и колоночные СУБД

В этом ролике автор дает подробные ответы на следующие вопросы:
• Что такое Clickhouse
• Что такое колоночные СУБД
• Чем отличаются от обычных строковых
• Почему Clickhouse работает так быстро
• Преимущества использования
• Трудности при работе
• Для каких проектов используется
• В каких сферах используется
• Где не нужен
• Советы по работе с Clickhouse

Смотреть это видео на youtube: youtu.be/2b4heaO3U8k

Читать полностью…

Базы данных | Access, SQL, Big Data

Оптимизация запроса и запрос оптимизации

В этой статье: как не грабить память, не пытать диск, не мучать кластер. Или делать все это всего одним запросом на Impala к Hadoop.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Как стать SQL-разработчиком или Data-инженером

В этом вебинаре вы рассмотрите, чем занимается специалист, работающий с базами данных, в том числе с их анализом. Кому эта область может быть интересна и какая востребованность специалистов на рынке.

План вебинара:
1. Основные направления развития в IT
2. Кто такие SQL-разработчик и дата-инженер
3. Что такое база данных и язык SQL?
4. Применение языка SQL и баз данных
5. Сферы применения баз данных
6. Какие СУБД бывают?
7. Чем занимается SQL-разработчик?
8. Для кого может быть интересно направление дата-инженера
9. Востребованность на рынке
10. Должности и направления для развития

Смотреть это видео на youtube: youtu.be/kcvslLoWDEQ

Читать полностью…

Базы данных | Access, SQL, Big Data

PGConf.СПб 2024 – главная встреча постгресистов в Санкт-Петербурге!

1 октября в Питере пройдёт техническая конференция по PostgreSQL от российского СУБД-разработчика Postgres Professional.

Участников ждут более 20 докладов по темам:

✔️Эксплуатация СУБД. Опыт DBA
✔️Миграция на Postgres
✔️Мониторинг и настройка СУБД
✔️Отказоустойчивые и масштабируемые системы
✔️Новости от разработчиков

Среди спикеров прошлого года – эксперты Сбера, ВТБ, Ozon, SoftSwiss, Netcracker, Нетрики и др.

💥На конференции пройдёт единственная в России сертификация по PostgreSQL!

ГДЕ? Онлайн и офлайн: Гостиница "Санкт-Петербург", г. Санкт-Петербург, Пироговская набережная, д. 5/2

КОГДА? 1 октября 2024 г.

Участие в конференции для студентов и преподавателей – бесплатное.

РЕГИСТРАЦИЯ

Реклама. ООО «ППГ». ИНН 7729445882. erid: 2VtzqwySdRF

Читать полностью…

Базы данных | Access, SQL, Big Data

Как увеличить производительность DBaaS в 10 раз?

Selectel запустил базы данных на выделенном облачном сервере — уникальный продукт, аналогов которому нет в России. Вы можете получите готовый к работе кластер облачных баз данных с изолированной на физическом уровне инфраструктурой. Новое решение позволит хранить и обрабатывать базы данных размером до 7 ТБ с производительностью до 1,5 млн IOPS.

Преимущества DBaaS на выделенном облачном сервере:
- Максимальная производительность. Увеличили производительность дисковой подсистемы DBaaS — до 1,5 млн IOPS, пропускную способность — до 7 000 МБ/с.
- Экономическая выгода. В зависимости от конфигурации стоимость нового решения до 47% ниже стандартного DBaaS-сервиса.
- Быстрый запуск. Не нужно самостоятельно подбирать железо, оптимизировать настройки и разворачивать CУБД.
- Безопасность. Изоляция базы данных на уровне физического сервера. Услуга соответствует закону 152-ФЗ (УЗ-1), приказу ФСТЭК № 21, PCI DSS, ISO 27001, 27017, 27018.

Разверните базу данных на выделенном облачном сервере: https://slc.tl/exld6

Реклама АО «Селектел». ИНН: 7810962785 Erid: 2VtzqxEDni9

Читать полностью…

Базы данных | Access, SQL, Big Data

Хочешь стать специалистом, который нужен любому бизнесу?

Тогда приходи на стажировку в Aston и учись работать с данными.

Мы открываем набор сразу по двум направлениям — «Дата-инженер» и «Дата-аналитик». Чтобы подать заявку, с 1 по 31 августа переходи по ссылке и заполняй анкету на нашем сайте. Каждый, кто выйдет на стажировку по одному из этих направлений до 3 октября, участвует в розыгрыше новенького Iphone 15.

📍 Локация: Санкт-Петербург, Самара, Москва, Тольятти.

Чего мы ждем от кандидатов?

🔎 Data Engineer
- высокий уровень знаний SQL;
- хорошее понимание баз данных SQL и NoSQL;
- базовое знание языка Python.

🔎 Data Analyst
- знание основ статистики и математики;
- глубокое знание SQL и умение эффективно работать с базами данных;
- опыт использования инструментов бизнес-аналитики (Power BI, Tableau, Google Data Studio и др.);
- владение языками программирования (Python, R) для анализа и визуализации данных;
- навыки работы с большими объемами данных и их обработки (Big Data, ETL);
- умение создавать информативные и наглядные визуальные отчеты;
- критическое мышление и умение делать обоснованные выводы.

Гарантируем трудоустройство при успешном прохождении стажировки.

👉 Регистрируйся здесь

Реклама. ООО «АСТОН». ИНН 9715350151. erid: 2VtzqwZRfJ5

Читать полностью…

Базы данных | Access, SQL, Big Data

🔥 Попробуйте себя в роли аналитика: анализируем клиентскую базу с нуля!

Хотите попробовать себя в роли аналитика и узнать, интересна ли вам эта сфера для развития? Тогда приходите на бесплатный практический интенсив, где в прямом эфире мы вместе будем решать реальную задачу бизнеса, с которой сталкиваются аналитики данных.

Что будет на интенсиве: вы с помощью Excel проанализируете клиентскую базу крупного онлайн-магазина и сформулируете выводы для бизнеса на основании проведенной аналитики. А это как раз то, чем занимаются аналитики каждый день.

📅 Дата: 20 августа.
🕗 Время: 19:00 по Мск.

Интенсив будет полезен как новичкам, так и тем кто уже имеет базовые знания в этой сфере и хочет почерпнуть для себя лайфхаки по работе с данными.

🔗 Регистрируйтесь на интенсив здесь.

Не упустите шанс, попробовать себя в роли аналитика и узнать лайфхаки по работе с данными!

Рекомендуем регистрироваться на вебинар через ПК, чтобы избежать возможных ошибок при открытии бота.

Реклама. ООО «АЙТИ РЕЗЮМЕ». ИНН 4025460134.
Erid:LjN8Jy2yQ

Читать полностью…

Базы данных | Access, SQL, Big Data

🫣 Вы видели этот хардовый тест для Системных аналитиков (не для новичков)? Его проходят всего 30%

👉 Пройдите тест из 20 вопросов онлайн-курса «Системный аналитик. Advanced» и узнайте, осилите ли вы обучение в OTUS. 

🟢 Пройти тест: https://otus.pw/NU2d/

💣Все, кто успешно пройдет тест, получит доступ к записям уроков курса для знакомства с форматом обучения и спец.цену на курс.

💻Курс рассчитан на ИТ-аналитиков и системных аналитиков с опытом работы от 1-2 лет, желающих улучшить свои навыки в области системного анализа, выявления и описания требований, проектирования информационных систем и приложений. Так же курс может быть интересен аналитикам данных, дата-сайентистам и бизнес-аналитикам с опытом работы от 3-х лет.

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KU9rj

Читать полностью…

Базы данных | Access, SQL, Big Data

Почему тупит Kafka?

Знаний об отправке/приёме сообщений не хватит, чтобы быстро найти причину просадки. Если хотите отказоустойчивую систему, которую легко дебажить, тогда придётся разобраться в архитектуре Кафки.

🤥На обновлённом курсе от Слёрма «Apache Kafka для разработчиков» вы получите больше, чем просто настройка Kafka. Вы изучите архитектуру и поймёте логику работы с Kafka на примере бизнес-кейсов компаний: MovieFlix, GetTaxi, MyBank.

За восемь недель курса вы:

😉Поймете основы работы с Kafka и принципы построения архитектуры и бизнес-процессов
😉 Научитесь решать проблемы с системами, требующими отправки/получения большого количества сообщений из разнородных систем
😉Подготовитесь к вопросам базовых собеседований на уровень пользователя Kafka

🥹Углублённый курс с практикой на Java и платформой Docker+Postgres. Старт — 16 сентября.

Спикеры курса:

🫡Всеволод Севостьянов. Staff Engineer в Lokalise
🫡Василий Калугин. Владелец корпоративного сервиса Apache Kafka в АО «ЭР-Телеком Холдинг»

😢Старт — 16 сентября
Занять место на потоке — по ссылке

Реклама ООО «Слёрм» ИНН 3652901451

Читать полностью…

Базы данных | Access, SQL, Big Data

Как мы продукт на PostgreSQL переводили

В этой статье автор поделится своими наработками как научить приложение работать с СУБД PostgreSQL и провести первую миграцию боевой системы.

Базы данных

Читать полностью…
Subscribe to a channel