30088
Всё о базах данных простым языком. Сотрудничество: @max_excel РКН: vk.cc/cHhG5h
Как мы сократили потребление ресурсов без потери производительности благодаря exactly-once
В этой статье автор расскажет, как в его компании решили задачу объединения двух топиков с соотношением один ко многим и почему не устроило решение на Kafka-streams и RocksDB. А также о том, как, опираясь на гарантии доставки exactly-once, смогли снизить требования к ресурсам в несколько раз.
Базы данных
Основы SQL
В этом ролике автор рассматривает на практике работу с основными командами языка запросов SQL.
00:00 Подготовка базы данных
04:36 Выбор данных (SELECT)
08:30 Указание текущей базы данных
09:58 Чувствительность к регистру
12:14 Выбор определенных колонок
15:28 Фильтрация с помощью WHERE
20:59 Фильтрация с И и ИЛИ
26:38 Поиск строки по шаблону
29:18 Свой среди чужих
31:26 NULL когда данные отсутствуют
34:27 Сортировка данных
38:37 Добавление записей
45:36 Обновление данных
52:32 Удаление данных
Смотреть это видео на youtube: youtu.be/WhzZZqoM-AY
Курс Mongo DB для начинающих
В этом видеоуроке автор на практике подробно рассматривает СУБД Mongo DB.
00:00 Теория
00:25 Что представляет из себя Mongo DB?
02:10 Создание, удаление, использование баз данных
03:20 Добавление документа в коллекцию
04:00 Поиск документов в коллекции
05:10 Поиск по критериям
07:20 Сортировка
08:50 Обновление документов в коллекции
10:10 Переименование полей документа
10:40 Удаление документа из коллекции
11:10 Множественный запрос
12:32 Типы связей
16:15 Подключение Mongo к Node js
Смотреть это видео на youtube: youtu.be/LNvmI8a9jwY
Как надёжно стереть секретную информацию из базы данных
Зачем вообще "надёжно" стирать данные? Главное же, чтобы пользователь через интерфейс СУБД не мог их достать. Мало ли, что там за остатки данных в файлах болтаются, это же не проблема. Или нет?
Базы данных
10 бесплатных утилит ApexSQL для управления базами данных Microsoft SQL Server
ApexSQL — это производитель решений для управления и мониторинга баз данных Microsoft SQL Server. В России об этих ребятах знают мало. На главной своего сайта они пишут «Killer tools for SQL Server», звучит угрожающе. В этом материале автор разберет, что же такого убийственного есть в их решениях. Начнём с хайповой части — бесплатных продуктов. После них будет краткая часть о коммерческих продуктах.
Базы данных
Решения разработки баз данных
В процессе развития проекта приходится сталкиваться с проблемой производительности баз данных, т.к. объём данных растёт, и волей неволей выплывают проблемные участки. В этой статье описаны не очень удачные решения, которые незаметны на ранних стадиях проекта. И решения, которые могут в дальнейшем в разы повысить производительность.
Базы данных
Знакомство со слоем абстракции Netflix для хранилищ данных типа «ключ-значение»
Netflix способна организовывать бесперебойную, высококачественную потоковую передачу видео миллионам пользователей благодаря своей надёжной глобальной серверной инфраструктуре. В самом центре этой инфраструктуры лежит множество онлайновых распределённых баз данных. Среди них — Apache Cassandra — NoSQL-СУБД, известная высокой доступностью и хорошей масштабируемостью.
Базы данных
Освойте универсальные навыки в мире цифровых профессий — научитесь работать с SQL, Python, Power BI и DataLens на бесплатном курсе от Нетологии.
В результате вы:
— разберётесь в основах Python для анализа данных и узнаете, как извлекать информацию.
— научитесь делать запросы и отчёты с помощью SQL.
— сможете строить интерактивные дашборды в Power BI и DataLens.
Курс подойдёт новичкам и тем, кто хочет расширить свои навыки.
Присоединяйтесь
🎁 После бесплатного курса вы пройдете карьерную консультацию и сможете дальше развивать навыки на курсе Аналитик данных или Data Scientist в Нетологии с выгодой до 50%.
Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5zChSqE
Согласованность в распределённой сети — вызов, который мы готовы принять!
На открытом уроке «Распределённые транзакции» разберём, как добиться согласованности данных в микросервисной и распределённой архитектуре. Изучим шаблон Saga, методы обработки ошибок и практики отката данных.
Представьте систему, которая работает без сбоев, несмотря на распределённость данных. Архитектура, которая поддерживает масштабируемость и надёжность, даже при высоких нагрузках.
🔥 Спикер Олег Мифле — бэкенд-разработчик в одной из крупнейших отечественных соцсетей с 15-летним опытом в IT.
🔴 Присоединяйтесь к вебинару 16 декабря в 20:00 мск! Урок пройдёт перед стартом курса «Highload Architect». Участники вебинара получат скидку на обучение: https://vk.cc/cFX7af
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
✅️ GitHub теперь в Telegram!
Подписывайтесь: @GitHub
А вы тоже все еще выбираете направление для своей карьеры в 2025 году?
🙄 Маркетинг или программирование?
🙄 Логистика или финансы?
🙄 … или аналитика?
2024 год показал: аналитика — профессия будущего. Принимать решения на коленке больше никто не хочет, даже в условиях турбулентности. Темп роста рынка — более 30% в год! Джуны со знанием SQL, Python и BI-систем получают от 100 000 рублей, а уверенные мидлы — более 250 000. Кстати, аналитика – тоже IT-профессия.
Итого, если при виде зарплат в аналитике у вас загораются глаза, то мы поможем определиться с направлением, которое вам точно подойдет!
🔮 Предлагаем вам пройти бесплатный тест на профориентацию, он займет всего 3 минуты и сразу выдаст результаты. Представляйте себя на месте любимых киногероев, отвечайте на вопросы и узнайте, какой вы аналитик! 🧚♀️
Кстати, в конце теста вас ждет промокод на скидку до 30 000 рублей на обучение аналитике в школе Changellenge >> Education, чтобы начать погружаться в любимое направление было еще приятнее!
Пройдите бесплатный тест до 15 декабря и узнайте, какой вы аналитик 🪄
Пройти тест »
Реклама. ООО «Высшая школа аналитики и стратегии». ИНН 7716917009. erid: 2VtzqxXh9vZ
В ClickHouse джоины всегда считались слабым местом. Но система развивается, производительность и функциональность джоинов совершенствуется.
На вебинаре «Надо ли бояться джоинов в современном ClickHouse?» вы узнате:
- Как работают разные типы джоинов в ClickHouse: INNER, LEFT, RIGHT, CROSS
- Какие подходы к организации таблиц для выполнения джоинов – оптимальны
- Как использовать функциональность JOIN и ARRAY JOIN для сложных аналитических запросов
- Как настроить параметры ClickHouse для повышения производительности джоинов
Cпикер: Алексей Железной: старший инженер данных и руководитель курса «ClickHouse для инженеров и архитекторов БД».
Будет интересно: руководителям проектов, аналитикам данных, разработчикам и архитекторам баз данных, инженерам по обработке данных.
Бонус для участников! Скидка 5% на любой курс OTUS и гайд «Как не положить ClickHouse: примеры из практики»
10 декабря, 18:30 МСК
Бесплатно
Записаться на событие: https://vk.cc/cFPmrR
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
Хочешь разбираться в Linux?
Для тебя уже всё сделали.
🐧 Канал Секреты Сисадмина делится полезными инструментами, приёмами и лайфхаками системного администрирования, DevOps и Linux.
Подписывайтесь и прокачивайте свои навыки: @sysadmin_library
📶 С 1 декабря для граждан РФ открыт доступ к платным материалам по программированию
Вот отсортированные базы с тонной материала(книги, курсы, ресурсы и гайды). Выбирай своё направление:
👩💻 Frontend 👩💻 PHP
⚙️ Backend 👩💻 Моб. Dev
📱 GitHub 👩💻 GameDev
🤓 Всё айти 👩💻 DevOps
👩💻 Python 🖥 Data Science
👩💻 Java 🐞 Тестирование
👩💻 C# 🤔 Хакинг & ИБ
👩💻 С/С++ 📱 Маркетинг
🖥 SQL 🖥 Дизайн
👩💻 Golang 👣 Rust
Скачивать ничего не нужно — все выложили в Telegram с доступом по ссылке
Пишите код быстрее и оставляйте больше времени на творчество вместе с AI-ассистентом разработчика
Устали от рутины? Отдайте ее AI!
Заходите на платформу GitVerse и пишите код вместе с AI-ассистентом GigaCode. Он поддерживает более 35 языков, умеет анализировать контекст, дописывать строки и функции в автоматическом и ручном режимах, а еще — писать код по комментариям и делать рефакторинг с помощью коротких команд. Всего за пару минут AI-помощник может оценить проект и трудозатраты на его создание.
Внутри AI есть функция CodeChat — с ней можно оптимизировать или отрефакторить имеющийся код, сгенерировать тесты и документацию, а также объяснить фрагмент кода. Задавать вопросы можно и по всему открытому файлу, и по конкретному фрагменту — просто выделите его в редакторе и сформулируйте запрос к CodeChat.
Хорошие новости — недавно GigaCode обновился и стал еще лучше справляться с задачами разработки: теперь наиболее вероятные продолжения кода будут генерироваться с учётом контекста всего проекта. Не забудьте обновить плагин GigaCode :)
Зарегистрироваться на GitVerse.
Кэшируем поток данных из Kafka в Tarantool: подробный пример реализации с кодом и результатами
В этой статье автор расскажет о том, как можно наладить взаимодействие Kafka и Tarantool, зачем может понадобиться кэширование потока из Kafka в Tarantool, и даст подробную пошаговую инструкцию, с которой каждый сможет применить эти наработки в собственной системе.
Базы данных
ZIP-бомба в формате Apache Parquet
Исторически ZIP-бомба представляла собой архивный файл, при распаковке которого можно вызвать зависание операционной системы или рабочего приложения путём заполнения всего свободного места на носителе или оперативной/рабочей памяти. В этом смысле её можно считать разновидностью DoS-атаки.
Базы данных
Яндекс продолжает добавлять новую функциональность в СУБД собственной разработки. Компания анонсировала запуск нового компонента системы – YDB DWH. Он поддерживает аналитическую обработку данных.
С новым компонентом СУБД Яндекса может работать со сложными аналитическими запросами (OLAP) и способна хранить сотни терабайт данных. Платформа горизонтально масштабируется за счет автоматического партиционирования по объему и нагрузке, а МРР-архитектура позволяет быстро выполнять запросы.
Помимо YDB DWH, в надстройках системы также есть шина данных YDB Topics и надстройка для задач машинного обучения YDB Search. Основной компонент платформы – YDB Enterprise, он отвечает за обработку транзакций.
О векторных базах данных простым языком
Векторная база данных — это простая база данных, оптимизированная под хранение и поиск векторов, даже таких, которые состоят из сотен и тысяч измерений. Когда вы запрашиваете вектор, вместо поиска точных совпадений, он находит элементы на основе их приближённости к запросу.
Базы данных
Полный курс по базам данных MySQL в phpMyAdmin
В этом видеокурсе автор подробно разбирает базы данных на примере системы управления базами данных phpMyAdmin. Вы научитесь создавать базы данных и таблицы со связями, импортировать и экспортировать базы данных и таблицы. Зная всё это вы в любой момент сможете быстро и без особых сложностей изучить другую СУБД, так как отличия будут минимальны.
0:00:00 Введение и основные понятия
0:04:20 Установка сервера и запуск phpMyAdmin
0:12:04 Типы полей в MySQL
0:16:05 Пользователи и привилегии
0:20:49 Основные операции с БД
0:24:56 Таблицы в БД
0:40:01 Записи в таблице
0:49:45 Индекс и первичный ключ
0:53:46 Импорт и экспорт
0:59:30 Связи между таблицами
1:25:30 Теория создания базы данных Фильмы
1:28:55 Практика создания базы данных Фильмы
1:39:24 Сложный SQL запрос для связанных таблиц
Смотреть это видео на youtube: youtu.be/oevyoqUK-YY
Работа с базами данных на Python
В этом видеоуроке автор разбирает процесс работы с базами данных на Python. Вы рассмотрите как создавать таблицу, как смотреть ее содержимое, как вносить, изменять и удалять данные, а также узнаете, что такое первичный ключ и типизация ячеек.
00:00 Введение
00:35 Создание файла базы данных
02:05 Создание таблицы
04:15 Запись данных в таблицу (метод execute)
06:20 Запись массива (метод executemany)
08:00 Как посмотреть содержимое БД
11:52 PRIMARY KEY
13:00 Типизация ячеек
16:25 Чтение из базы данных
21:57 Изменение значений
26:30 Удаление значений
28:20 Удаление таблицы
Смотреть это видео на youtube: youtu.be/siSRd4s7_ro
Как установить SQLite на Windows 10?
Первостепенно необходимо скачать файлы SQLite, чтобы в дальнейшем настроить их работу для использования в операционной системе Windows 10. Загружать базу данных рекомендуется с официального сайта разработчиков, это исключит вероятность заражения компьютера вирусными программами.
Базы данных
Аналитика небольших данных: как совместить Excel, Python и SQL с помощью инструментов с открытым исходным кодом
В этом материале автор разбирает, как с помощью двух мощных инструментов с открытым исходным кодом можно совместить привычный для пользователей интерфейс, надежность и мощь SQL, гибкость Python и командную работу как в Google Spreadsheet.
Базы данных
Индексы в PostgreSQL
В этом ролике автор говорит о проблемах производительности в PostgreSQL. Вы разберете как устроены таблицы и сами базы данных, как работает дефрагментация данных, что такое и как работают индексы, какие виды существуют и для чего их используют. Без всех этих знаний невозможно полноценно заниматься оптимизацией запросов в PostgreSQL.
00:00 Вступление
01:19 Индексы в SQL
02:22 Устройство базы данных в PostgreSQL
04:35 Устройство таблиц
05:16 Страницы и строки таблиц
07:28 FSM и команда VACUUM
11:34 Проблема фрагментации данных в PostgreSQL
15:32 Оптимизация выборки записей
19:35 Обзор видов индексов
20:20 Методы сканирования
Смотреть это видео на youtube: youtu.be/lAWQNcAEiKw
Ускоряем PostgreSQL с помощью Tuned
Есть множество различных параметров и настроек, которые позволяют оптимизировать работу БД PostgreSQL. В этой статье автор не будет пытаться охватить их все и поговорит об оптимизации параметров операционной и файловой систем, а также памяти на самом сервере СУБД.
Базы данных
Синхронизация баз данных между монолитом и микросервисами с помощью Kafka
В этой статье автор расскажет про готовое решение для поддержки консистентности данных между растущей микросервисной и унаследованной архитектурой. Вы рассмотрите код для репликации двух баз данных с проверкой синхронизации, который может пригодиться для решения аналогичных задач.
Базы данных
Уровни изоляции транзакций в PostgreSQL, MySQL, MSQL, Oracle с примерами на Go
В этой статье автор обсудит проблемы, возникающие при конкурентной работе с данными, а также инструменты для их решения – атомарные инструкции, явные и неявные блокировки и уровни изолированности транзакций, реализованные в OLTP СУБД PostgreSQL, MySQL, SQL Server, Oracle с примерами на Go.
Базы данных
Функции SQL для числовых типов данных
В этом видеоуроке автор подробно разбирает процесс работы с числовыми функциями и операторами SQL (ROUND, ABS, TRUNC).
00:00 Вступление
00:47 Округление в SQL (ROUND)
01:15 Получение абсолютного значения (ABS)
01:48 Усечение числа до определенного количества знаков (TRUNC)
02:35 Описание таблицы DUAL в Oracle SQL
Смотреть это видео на youtube: youtu.be/m3ZeiBxkg70
По мотивам одного сбоя в БД Oracle
В этом материале автор расскажет о случае конкуренции на одной критичной БД. В какой-то момент перестали проходить транзакции из-за конкуренции за ITL-слоты на вставке в таблицу. Проблема, конечно, была решена, но автор хочет порассуждать о том, как можно расследовать такие инциденты хорошо известными способами.
Базы данных
Оптимистические и пессимистические блокировки на примере Hibernate (JPA)
Блокировки в первую очередь нужны для того, чтобы поддерживать консистентность данных в таблице БД. Есть два типа блокировок: оптимистическая и пессимистическая. Из названия можно догадаться, что они предлагают две разных стратегии для поддержания целостности данных.
Базы данных