30088
Всё о базах данных простым языком. Сотрудничество: @max_excel РКН: vk.cc/cHhG5h
Бизнесу данные нужны как воздух 📊
На их основе компании принимают важные стратегические решения. Поэтому спрос на аналитиков растёт в самых разных сферах: от банковской до медицинской.
На курсе «Аналитика данных с МФТИ» готовят специалистов универсальной квалификации. За 10 месяцев вы научитесь использовать Python для анализа данных, применять методы ИИ в своих задачах и работать с базами данных.
С универсальными знаниями вы сможете строить карьеру в одном из трёх направлений аналитики:
➡️ Аналитика данных.
➡️ Data Science.
➡️ Инженерия данных.
🎓 После обучения получите дипломы о профессиональной переподготовке от МФТИ и Нетологии. Центр развития карьеры поможет с трудоустройством, резюме и портфолио.
Записывайтесь на курс и становитесь универсальным специалистом в аналитике → https://tglink.io/f8d09a19b36d?erid=2W5zFHVpC2c ❤️
Нагрузочное тестирование СУБД в облачной среде (часть 1)
Исследование гипотезы "СУБД по природе своей является стохастической, а не детерминированной системой". С целью проверки этого утверждения и в связи с началом работ по подготовке методики статистического анализа СУБД в условиях облачной среды, была начата серия экспериментов для определения влияния внешних/случайных факторов инфраструктуры на производительность СУБД.
Базы данных
Сравнительный анализ методов аппроксимации на основе SQL-запросов
В этой статье автор показывает, что для решения задач аппроксимации совсем не обязательно использовать сторонние инструменты. Если ваши экспериментальные данные хранятся в базе, и есть возможность выполнять к данным SQL запросы, значит у вас есть все необходимое, чтобы решить задачу аппроксимации.
Базы данных
Redis и Valkey – изучите секреты самых популярных open source key-value СУБД
В высоко-нагруженных сервисах Redis — не просто кэш, а важная подсистема, на которой строится значимая часть бизнес-логики. От его стабильности, масштабируемости и отказоустойчивости зависит производительность всего сервиса. Valkey - это современный производительный форк Redis с открытым исходным кодом, поддерживаемый сообществом и рядом крупных компаний. Valkey набирает популярность, поддержан крупными облачными провайдерами, и вполне возможно потеснит или вовсе заменит Redis со временем.
Наш курс — для тех, кто хочет держать свой стэк и знания актуальными и глубоко разбираться, как устроен Redis и Valkey.
🌐 В программе курса:
🤩 Как эффективно использовать базовые и продвинутые структуры данных: HyperLogLog, Bitmaps и Bisields, Streams, Geospatial-индексы, Bloom Filters
🤩 Как проектировать in-memory системы, которые не разваливаются под нагрузкой, что влияет на отказоустойчивость и как её добиться
🤩 Как работает репликация и кластеризация на практике (режимы Sentinel и Cluster)
🤩 Как встроить Redis/Valkey в реальный прод с учётом безопасности, интеграций и современных практик мониторинга.
Кто мы: R&D-центр Devhands, основатель школы Алексей Рыбак. Автор курса — Константин Ратвин, преподаватель МФТИ на кафедре БИТ (совместно со СберТех), эксперт по распределённым системам и банковским ИТ, автор курсов по СУБД и инфраструктуре, спикер HighLoad++ и PGConf.
🗓 Старт курса: 7 октября, 6 недель обучения.
Изучить программу и записаться можно здесь.
Ждем вас!
Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzqxNnFKA
Как создавать высокопроизводительные очереди сообщений с различной архитектурой
В этом материале автор рассказывает об основных сложностях развития высоконагруженных ИТ-систем и о способах их преодоления с помощью очередей сообщений на примере Tarantool Queue Enterprise.
Базы данных
Наводим порядок с базами данных. Переносим файлы в S3, мигрируем в единый кластер
В этой статье автор расскажет историю миграции баз данных в кластер и переноса тяжелых файлов в S3; в том числе о том, что пошло не по плану и об обратной стороне размещения баз в едином кластере.
Базы данных
Анализ данных на языке SQL: Хранилища и витрины данных
В этом видеоуроке автор подробно и наглядно разбирает процесс работы с хранилищами и витринами данных в SQL.
00:00 Вступление
13:48 OLTP
19:15 DWH
Смотреть это видео на youtube: youtu.be/wtm82_IY1sY
«PostgreSQL для начинающих»: #1 — Основы SQL
В статье: рассказ об основах SQL, возможностях простых и сложных SELECT, анализ производительности запросов, разбор [не]эффективного применения индексов и особенностей работы транзакций и блокировок в этой СУБД.
Базы данных
Кейс миграции MS SQL Server из Azure в VK Cloud
В этом материале автор разберет опыт миграции PaaS MS SQL Server с гигабайтами данных из Azure в VK Cloud и расскажет, как выстроить процесс, какие подводные камни встретились и что получилось в итоге.
Базы данных
Практика по JOIN в SQL: упрощаем ежедневные задачи и решаем тестовое
Один из самых распространённых операторов в SQL — это JOIN. В статье автор расскажет об особенностях этого оператора: как использовать другие операторы в JOIN после ON, кроме «равно», и зачем это может быть нужно.
Базы данных
Как распараллелить тесты с базой данных
Представьте проект, в котором уже написано несколько сотен тестов. Каждый тест настраивает базу под себя: добавляет данные, вызывает truncate по окончанию. Хочется запускать тесты параллельно, чтобы ускориться, но если два теста запустить одновременно, они почти наверняка друг другу помешают. В этой статье автор поделится подходом, который позволил решить проблему без рефакторинга.
Базы данных
На грани ИИ: пример поиска и обработки векторов в PostgreSQL + pgvector
В этой статье автор на практическом примере покажет как хранить и кластеризовать векторы алгоритмом DBSCAN и искать по ним в базе данных. В примере задача с векторами на грани типичного хранения и обработки результатов работы нейросетевых моделей в базе данных.
Базы данных
Как правильно использовать большие данные: строим хранилища на MPP-СУБД
В этой статье автор поделится опытом, как снизить капиталовложения в оборудование с большим объемом памяти, добиться производительности и высокой отказоустойчивости при создании DataLake и корпоративного хранилища данных.
Базы данных
Инфраструктура для data engineer Kafka
В этом материале автор покажет, как можно использовать Kafka в дата-инженерии и как её "пощупать".
Базы данных
Как мы перенесли архив данных из Teradata в GreenPlum с помощью Hadoop и PXF
В этой статье автор расскажет о полученном опыте и результатах переноса архива данных объёмом более 400 Тб из Teradata в GreenPlum, а также о трудностях и решениях, связанных с этим процессом.
Базы данных
Нагрузочное тестирование СУБД в облачной среде (часть 2)
Следующая серия экспериментов выполняется с использованием периода сглаживания = 1 час. Для тестирования используется стандартный инструментарий - утилита pgbench.
Базы данных
Основы SQL для аналитики данных
В этом ролике автор собрал все SQL-команды, которые должен знать и уметь использовать в своей работе аналитик данных или продуктовый аналитик.
00:22 SELECT
01:01 WHERE (IN)
02:46 WHERE LIKE
03:57 Как исключить NULL значения?
06:33 Агрегирующие функции
06:53 GROUP BY
08:57 HAVING
10:06 SQL JOIN
12:48 ORDER BY
13:41 Оконные функции
16:49 Вложенные запросы
Смотреть это видео на youtube: youtu.be/Zf8M3xJaMEc
Статистический анализ результатов нагрузочного тестирования СУБД в условиях облачной инфраструктуры
Проведение нагрузочного тестирования и получение достоверных оценочных результатов производительности СУБД в условиях нестабильной инфраструктуры - возможно. Хотя и требует большего времени и затрат на сбор и анализ экспериментальных данных.
Базы данных
Представления в SQL
В этом видеоуроке автор подробно разбирает процесс работы с представлениями (оператор VIEW) в SQL.
00:00 Представления в SQL
01:20 Работа представлений
02:21 VIEW из нескольких таблиц
03:32 Зачем использовать VIEW?
05:05 Материализованные представления
06:35 Удаление представлений
06:48 Итоги
Смотреть это видео на youtube: youtu.be/B3RRgBx_foc
Лень разбираться в PowerPoint?
Для вас уже всё сделали.
📌 Канал Секреты презентаций расскажет обо всех приёмах, возможностях и лайфхаках по работе в powerpoint.
Подписывайтесь и прокачивайте свои навыки: @powerpoint
PostgreSQL 18 уже в Yandex Cloud
25 сентября вышла новая версия PostgreSQL 18, и в тот же день она стала доступна в Yandex Cloud. Это значит, что разработчики и администраторы БД могут использовать возможности PostgreSQL 18 в продакшне без задержек — сервис обновляется «day-one».
🔹 Async I/O — до трёх раз быстрее выполняются операции чтения. Это особенно заметно при сложных аналитических запросах и работе с большими наборами данных.
🔹 Skip scan для b-tree индексов — теперь индекс может ускорить выборки даже тогда, когда запрос использует не все колонки из индекса. Это снижает количество full scan и экономит ресурсы.
🔹 UUIDv7 — новые идентификаторы включают временную метку. Это позволяет сохранять уникальность и одновременно упрощает сортировку по времени создания.
В Yandex Cloud доступны все актуальные версии PostgreSQL, а обновления появляются сразу после релиза в сообществе.
👉 Подробнее
Современные базы данных: от векторных СУБД до моделей работы с данными в PostgreSQL.
Базы данных меняются так же быстро, как и задачи, которые они решают. Сегодня нужны не только надёжные стратегии хранения, но и новые инструменты для работы с AI.
OTUS приглашает на два открытых вебинара курса «Базы данных», где мы разберём ключевые технологии и практики:
📌 29 сентября, 20:00
«Векторные СУБД: Milvus, Weaviate, Qdrant и Chroma в реальной практике»
— сравним сильные и слабые стороны решений и разберём, как встроить их в проекты с LLM и AI-сервисами.
📌 13 октября, 20:00
«Модель работы с данными в PostgreSQL»
— разберём ключевые аспекты модели данных в PostgreSQL, включая структуру таблиц, индексов, транзакций и связи между данными.
Оба вебинара бесплатные и будут полезны разработчикам, инженерам данных, администраторам и архитекторам, которые работают с современными системами хранения и защиты данных.
👉 Регистрируйтесь: https://vk.cc/cPRnX9
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
Positive Technologies приглашает на онлайн-презентацию нового продукта — PT Data Security*
Решение помогает защитить критически важные данные компании, снижает риски утечек и обеспечивает соответствие требованиям регуляторов.
На онлайн-трансляции вы первыми узнаете:
— Какие задачи и риски сегодня определяют настоящее и будущее рынка защиты данных.
— Какие вызовы стоят перед компаниями на рынке защиты данных.
— О новом подходе Positive Technologies к защите данных.
📅 8 октября, 15:00 мск
📍 Онлайн
👉 Регистрация
*Защита данных
Расскажут инженеры
MWS Cloud Platform ⬜️ в 8-й серии
реалити-проекта для инженеров — Building the Cloud.
📅 Когда: 9 октября в 13:00
📍 Где: Онлайн
Вы узнаете:
⏺️чем реализация ванильного Kubernetes отличается от управляемого сервиса, предоставляемого в облаке;
⏺️какую архитектуру выбрали для managed-решения в облаке MWS Cloud Platform;
⏺️как реализовали жизненный цикл кластеров, мульти-тенанси и интеграции с другими облачными сервисами — Artifact Registry, IAM, Compute, VPC.
🎁 Розыгрыш фирменного мерча — за лучший вопрос в чате.
Будет особенно полезно DevOps- и Cloud Native-инженерам, а также всем, кто интересуется облачными технологиями.
➡️Зарегистрироваться
На грани автоматизации: как AI-ассистенты в Yandex Cloud управляют базами данных
Компания запустила линейку ИИ-ассистентов, чтобы ускорить и автоматизировать работу с облаком. Они заберут на себя часть рутинных задач по работе с базами данных.
AI-ассистенты в WebSQL помогают формулировать запросы на естественном языке к Trino, ClickHouse, PostgreSQL и другим базам данных. Для этого достаточно задать нейросети вопрос, например «покажи топ-10 клиентов по выручке за 2025 год». Автоматически разметить метаданные можно с помощью Data Catalog в Yandex MetaData Hub.
Также AI-ассистент работает в YDB – как в облаке, так и в он-прем версии. По запросу клиента он может провести диагностику и оптимизировать неэффективные запросы, чтобы повысить скорость обработки данных. Кроме того, YDB MCP Server позволяет подключить LLM-модель к базе данных – таким образом пользователь может обращаться к YDB на естественном языке, а модель — генерировать SQL-запросы, обрабатывать ошибки и возвращать результат в удобочитаемой форме.
Базы данных
Рекомендации по ведению SQL-кода
В этом материале автор разберет общие рекомендации по ведению SQL-кода на примере СУБД MS SQL (T-SQL). Однако, многие пункты можно также применить и к другим СУБД.
Базы данных
Оптимизация запроса и запрос оптимизации
В этой статье: как не грабить память, не пытать диск, не мучать кластер. Или делать все это всего одним запросом на Impala к Hadoop.
Базы данных
Основы SQL
В этом ролике автор рассматривает на практике работу с основными командами языка запросов SQL.
00:00 Подготовка базы данных
04:36 Выбор данных (SELECT)
08:30 Указание текущей базы данных
09:58 Чувствительность к регистру
12:14 Выбор определенных колонок
15:28 Фильтрация с помощью WHERE
20:59 Фильтрация с И и ИЛИ
26:38 Поиск строки по шаблону
29:18 Свой среди чужих
31:26 NULL когда данные отсутствуют
34:27 Сортировка данных
38:37 Добавление записей
45:36 Обновление данных
52:32 Удаление данных
Смотреть это видео на youtube: youtu.be/WhzZZqoM-AY
👨💻Гринатом — ИТ-интегратор Росатома — открывает вакансию системного аналитика!
Ждём кандидатов с опытом работы системным аналитиком в ИТ от 5 лет, навыками проектирования, документирования и интеграций, умением декомпозировать крупные задачи, пониманием принципов построения микросервисной архитектуры ПО и разработки Web-приложений, знанием agile/scrum методологии, BPMN, UML, SQL, OpenProject и Postman. Опыт реализации и внедрения систем ECM, ERP, MES, CRM, HRM будет преимуществом.
🤝С нами вы сможете работать с полным соблюдением ТК РФ в удалённом формате из любого региона с сокращённым днём в пятницу, получать «белую» зарплату 2 раза в месяц, учиться за счёт компании и заботиться о своём здоровье с пакетом ДМС, включающим стоматологию.
Работа с множествами в SQL
В этом видеоуроке автор подробно разбирает процесс работы с операторами множеств в SQL (UNION, MINUS, INTERSECT).
00:00 Вступление
00:29 Объединение множеств строк (UNION ALL и UNION)
01:46 Вычитание множеств строк (MINUS)
02:06 Пересечение множеств строк (INTERSECT)
Смотреть это видео на youtube: youtu.be/1n9oQE9i85c