databases_secrets | Unsorted

Telegram-канал databases_secrets - Базы данных | Access, SQL, Big Data

30088

Всё о базах данных простым языком. Сотрудничество: @max_excel РКН: vk.cc/cHhG5h

Subscribe to a channel

Базы данных | Access, SQL, Big Data

Оптимизация работы с большим объемом данных при помощи партиционирования в SQL

Оптимизация работы с данными позволяет снизить временные затраты, улучшить производительность и повысить доступность приложения. В этой статье автор подробно разбирает партиционирование - один из эффективных методов оптимизации работы с большим объемом данных.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Postgresso за 2023

В этом материале автор сделал обзор на все ключевые события в мире PostgreSQL за 2023 год.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Представления в SQL

В этом видеоуроке автор подробно разбирает процесс работы с представлениями (оператор VIEW) в SQL.

00:00 Представления в SQL
01:20 Работа представлений
02:21 VIEW из нескольких таблиц
03:32 Зачем использовать VIEW?
05:05 Материализованные представления
06:35 Удаление представлений
06:48 Итоги

Смотреть это видео на youtube: youtu.be/B3RRgBx_foc

Читать полностью…

Базы данных | Access, SQL, Big Data

Правильная работа с базой данных на Python

Эта статья рассчитана в основном на новичков, в ней автор подробно рассматривает, как не упереться в лимиты подключений к базе, чтобы приложение в продакшн при этом не упало.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Анализ данных на языке SQL: Хранилища и витрины данных

В этом видеоуроке автор подробно и наглядно разбирает процесс работы с хранилищами и витринами данных в SQL.

00:00 Вступление
13:48 OLTP
19:15 DWH

Смотреть это видео на youtube: youtu.be/wtm82_IY1sY

Читать полностью…

Базы данных | Access, SQL, Big Data

Немного про OR в SQL запросах

Несмотря на избитость темы и многочисленные рекомендации избегать OR в выражениях WHERE/ON SQL запросов, жизнь вносит свои коррективы. Иногда сама постановка задачи подразумевает необходимость использовать OR. В этой статье автор разберет случай, когда OR должно привести к двум разным выборкам по разным индексам одной и той же таблицы.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Производственный календарь в PostgreSQL

Заводить руками свежий производственный календарь не хочется. Хочется, чтобы он появился вызовом одной функции. Цель этой статьи - показать возможности COPY ... FROM PROGRAM и простейшие приемы парсинга XML в PostgreSQL.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Системный аналитик, присоединяйся к Сберу! 👌

Мы разрабатываем аналитическую платформу по управлению эффективностью организации. Наша цель – создать «сердце» платформы: общие технологические сервисы для разработчиков и low/no-code инструменты, которыми будут пользоваться аналитики для реализации бизнес-логики.

Чем предстоит заниматься ⤵️


👉 сбором, детализацией, уточнением и согласованием требований
👉 проработкой и подготовкой типовых решений для использования общих сервисов
👉 разработкой технической документации для разработчиков
👉 контролем реализации требований на всех этапах жизненного цикла разработки.

Читай подробности и откликайся на вакансию по ссылке 💁

Читать полностью…

Базы данных | Access, SQL, Big Data

Полезный блог про iGaming, который ведет СЕО 1win! 💙

Канал Owner 1win — про философию управления из первых уст. Простыми словами о сложном iGaming.

Тут ты найдешь:

⚡️ Гемблинг-инсайды
⚡️ Бизнес-советы
⚡️ Экспертные комментарии овнера
⚡️ Апдейты по проектам

Присоединяйся к Owner 1win и будь на волне iGaming трендов 👋

Читать полностью…

Базы данных | Access, SQL, Big Data

ITHub теперь в Telegram!

Бесплатные обучающие материалы, которые лучше платных — книги, ресурсы, статьи и курсы топовых вузов страны тут:

👩‍💻 Материалы по Python

👩‍💻 Материалы по Frontend

👩‍💻 Материалы по Java

👩‍💻 Материалы по С#

👩‍💻 Материалы по C/C++

👩‍💻 Материалы по Хакингу

🖥 Материалы по SQL

👩‍💻 Материалы по Kotlin/Swift

👩‍💻 Материалы по Linux

🐞 Материалы по QA

👩‍💻 Материалы по Go

👩‍💻 Материалы по PHP

Подписываетесь: @ITHub_tg

Читать полностью…

Базы данных | Access, SQL, Big Data

Нагрузочное тестирование СУБД в облачной среде (часть 2)

Следующая серия экспериментов выполняется с использованием периода сглаживания = 1 час. Для тестирования используется стандартный инструментарий - утилита pgbench.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Как выбирать технологии для базы данных?

В этом видео автор подробно говорит о современных задачах работы с данными, чем они отличаются и по каким критериям стоит выбирать ту или иную СУБД. Автор разберет примеры использования таких инструментов как GreenPlum, ClickHouse, Cassandra.

В результате вы узнаете маячки, на которые можно обращать внимание при выборе СУБД, и рассмотрите, какие инструменты работы с данными сейчас активно используются.

01:30 Цели и задачи вебинара
04:10 Как нам разговаривать с нашей БД?
05:19 SQL или noSQL?
08:52 Задача №1
18:00 Задача №2
25:40 Задача №3
32:40 Задача №4
39:07 Как выбрать правильный инструмент?
45:25 Последствия выбора неправильного инструмента
47:15 Сравнение с ClickHouse
48:25 Результаты

Смотреть это видео на youtube: youtu.be/hwN1k-jkvmg

Читать полностью…

Базы данных | Access, SQL, Big Data

Нагрузочное тестирование СУБД в облачной среде (часть 1)

Исследование гипотезы "СУБД по природе своей является стохастической, а не детерминированной системой". С целью проверки этого утверждения и в связи с началом работ по подготовке методики статистического анализа СУБД в условиях облачной среды, была начата серия экспериментов для определения влияния внешних/случайных факторов инфраструктуры на производительность СУБД.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Сравнительный анализ методов аппроксимации на основе SQL-запросов

В этой статье автор показывает, что для решения задач аппроксимации совсем не обязательно использовать сторонние инструменты. Если ваши экспериментальные данные хранятся в базе, и есть возможность выполнять к данным SQL запросы, значит у вас есть все необходимое, чтобы решить задачу аппроксимации.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Статистический анализ результатов нагрузочного тестирования СУБД в условиях облачной инфраструктуры

Проведение нагрузочного тестирования и получение достоверных оценочных результатов производительности СУБД в условиях нестабильной инфраструктуры - возможно. Хотя и требует большего времени и затрат на сбор и анализ экспериментальных данных.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Почему Trino такой быстрый: архитектура оптимизатора SQL-запросов

Аналитические системы должны эффективно обрабатывать сложные пользовательские запросы к десяткам и сотням терабайт данных. Продвинутый оптимизатор запросов является важнейшим компонентом любого big data движка. В этой статье автор разбирает, как устроен оптимизатор запросов в массивно-параллельном аналитическом SQL-движке Trino.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

🥇 Новые думающие модели от OpenAI, опубликованные 12.09.2024 под названием OpenAI o1, уже доступны в РФ на сервисе Чат РуНета.

Модели серии OpenAI o1 — это новые большие языковые модели, обученные с помощью обучения с подкреплением для выполнения сложных рассуждений. Модели o1 думают, прежде чем дать ответ, и могут выстраивать длинную внутреннюю цепочку мыслей, прежде чем отвечать пользователю.

👉 Переходите по ссылке, добавляйте в закладки, делитесь ссылкой и получайте доступ к безграничным возможностям всего за 1 клик.

Разработчики создали Единый API для всех моделей (o1-mini, GPT-4 Omni, GPT-4o-mini, GPT-4 Turbo, DALLE-3, Llama-3.1, GigaChat-Pro и других).
Доступ к модели Google Gemini Pro бесплатный и по-настоящему безлимитный.

❗️ Полный функционал сервиса раскрывается при использовании с ПК, полезные видеоинструкции по ссылке: chatru.net/video-instructions

Следите за обновлениями в телеграм-канале: @ChatRu_net

Читать полностью…

Базы данных | Access, SQL, Big Data

Станьте разработчиком нейро-сотрудников на Python и зарабатывайте от 150.000р в месяц 🔥🔥🔥

Мы научим вас создавать топовых нейро-сотрудников на базе GPT-4 Omni, и вы сможете:
1️⃣ Устроиться разработчиком в крупную компанию и зарабатывать от 150 тысяч ₽ в месяц
2️⃣ Разрабатывать такие проекты на заказ и зарабатывать от 500 тысяч ₽ за проект
3️⃣ Создать нейро-сотрудника в вашей компании и вырасти на +30-100% в зарплате

Что будет на интенсиве?
🧬 Теория: как создаются нейро-сотрудники с GPT-4o на Python
🧬 Практика: мы создадим нейро-консультанта, нейро-HR, нейро-маркетолога и др.

Ведущий интенсива - Senior AI разработчик нейросетей и основатель Университета искусственного интеллекта
🔥 Регистрируйтесь на бесплатный интенсив! Встречаемся в ближайший четверг!

Читать полностью…

Базы данных | Access, SQL, Big Data

Как быстро обработать большой объем данных и ничего не потерять?

Расскажем на бесплатном вебинаре «Больше чем Pandas: библиотеки подготовки данных для ML-моделей».

Разберём:
➡️ на что стоит обратить внимание для эффективной работы с данными;
➡️ форматы работы с данными и их особенности;
➡️ фреймворки: pandas, swifter, polars, dask и cudf.

⚡️Спикер: Владимир Бугаевский, Team Lead Поиска в Купере

Бонус: демонстрационные jupyter-ноутбуки

⭐️ Когда вебинар: 24 сентября в 19:00
⭐️ Занять место на вебинаре — через бота

Реклама ООО «Слёрм» ИНН 3652901451

Читать полностью…

Базы данных | Access, SQL, Big Data

Умеете внедрять ERP и автоматизированные системы? Понимаете методологию управления корпоративной архитектурой? Знакомы с понятиями PDM/PLM, MES, QM, LIMS, ТОиР и APS? Мечтаете разрабатывать крутой продукт в крупной компании?

Гринатом рад пригласить в свою команду Архитектора продукта ERP, готового отвечать за обработку запросов на автоматизацию бизнес-процессов и разработку архитектурных концепций в области промышленной автоматизации. Предстоит формировать требования к IT-ландшафту, обеспечивать согласованность взаимозависимых проектов и контролировать качество реализации IT-решений.

Больше о вакансии

Читать полностью…

Базы данных | Access, SQL, Big Data

✊Расширьте свой стек и апнитесь в зарплате!

👉Начните на бесплатном вебинаре онлайн-курса «Greenplum для разработчиков и аналитиков» - «Введение в Greenplum и её архитектуру»: регистрация

На вебинаре вы узнаете о структуре системы, параллелизме и масштабируемости. В практической части будут продемонстрированы примеры работы с запросами и оптимизации производительности.

Цели вебинара:
1. Основы: Познакомить участников с архитектурой Greenplum и её концепциями.
2. Распределенная обработка: Объяснить преимущества MPP (Massively Parallel Processing).
3. Практика: Показать, как разрабатывать и оптимизировать запросы.
4. Сравнение: Рассмотреть отличия от других СУБД, таких как PostgreSQL.

🤝Понравится урок — продолжите обучение на курсе по спеццене и даже в рассрочку!

erid: LjN8Jx2gZ

Читать полностью…

Базы данных | Access, SQL, Big Data

«PostgreSQL для начинающих»: #2 — Простые SELECT

В этой статье автор разберет самые простые, но важные возможности команды SELECT, наиболее часто используемой при работе с базами данных - формирование выборок (VALUES), их ограничение (LIMIT/OFFSET/FETCH), фильтрацию (WHERE/HAVING), сортировку (ORDER BY), уникализацию (DISTINCT) и группировку (GROUP BY).

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

Работа с множествами в SQL

В этом видеоуроке автор подробно разбирает процесс работы с операторами множеств в SQL (UNION, MINUS, INTERSECT).

00:00 Вступление
00:29 Объединение множеств строк (UNION ALL и UNION)
01:46 Вычитание множеств строк (MINUS)
02:06 Пересечение множеств строк (INTERSECT)

Смотреть это видео на youtube: youtu.be/1n9oQE9i85c

Читать полностью…

Базы данных | Access, SQL, Big Data

SQL HowTo: итоги по строкам и столбцам «в одно действие»

В этой статье автор предлагает немного отвлечься от простых SELECT и посмотреть на реальной бизнес-задаче построения различных "тепловых карт" и "шахматок" как знание возможностей SQL может облегчить жизнь и разработчику, и его базе.

Базы данных

Читать полностью…

Базы данных | Access, SQL, Big Data

SQL vs NoSQL: блеск и нищета реляционных СУБД

В этом видео мы погрузимся в мир реляционных систем управления базами данных. Начнем с истории их развития, затем подробно рассмотрим особенности и преимущества реляционных СУБД. Обсудим современные требования к базам данных и выявим слабые стороны реляционных систем, включая их ограничения в масштабируемости и гибкости.

00:00 Вступление
00:42 История развития СУБД
01:15 Реляционные СУБД
02:27 Новые требования к базам данных
02:55 Что не так с реляционными СУБД
03:05 CAP-теорема / теорема Брюера
05:00 Транзакционность реляционных СУБД
05:47 Как реляционные СУБД хранят данные
07:30 Жёсткие схемы в реляционных базах данных
08:25 ACID и транзакции
11:10 Big Data и другие сценарии
12:22 Итоги

Смотреть это видео на youtube: youtu.be/X7hwc-KmhaY

Читать полностью…

Базы данных | Access, SQL, Big Data

PGCONF.ACADEMY 2024 —  первая конференция для преподавателей PostgreSQL в России 

9 октября в Москве пройдет конференция для преподавателей системного программирования и дисциплин, связанных с системами управления базами данных (СУБД). 

Организатор — компания Postgres Professional, ведущий российский СУБД-разработчик.

Темы встречи: 

✔️Внедрение PostgreSQL и Postgres Pro в учебный процесс
✔️Обучение базам данных и системному программированию, автоматизация и использование интерактивных систем в учебе
✔️Научно-исследовательская и проектная работа студентов по теме СУБД
✔️Профессиональная сертификация специалистов по PostgreSQL и др.

Для кого? Специалисты в сфере ИТ-образования: преподаватели, методисты, сотрудники администрации вузов, колледжей и учебных центров.

Онлайн и офлайн: Москва, ИНТЦ МГУ «Воробьёвы горы», кластер «Ломоносов», Раменский бульвар, д. 1.

Регистрация — до 6 октября 2024 г. 

🔥Участие для преподавателей, сотрудников администраций вузов и колледжей — бесплатное.

ЗАРЕГИСТРИРОВАТЬСЯ

Реклама. ООО «ПОСТГРЕС ПРОФЕССИОНАЛЬНЫЙ». ИНН 7729445882. erid: 2VtzqwEDsAw

Читать полностью…

Базы данных | Access, SQL, Big Data

Что делать, если пробелы в резюме не дают расти в профессии и финансах

Повышения проходят мимо, новых офферов нет, и для интересных вакансий не хватает навыков? Проверьте, насколько хорошо вы владеете тремя самыми популярными (и доходными) аналитическими инструментами — Excel, SQL и Python!

И нет, это не только про аналитику: эти три столпа нужны в маркетинге, финансах, управлении, консалтинге, HR и многих других сферах, где работают с большими объемами данных. При этом карьерный рост даже до уровня миддл без аналитических навыков практически невозможен – стоит только взглянуть на требования для серьезных вакансий на hh.

Заманчиво? Приходите на бесплатный интенсив «Введение в аналитику данных» школы Changellenge >> Education и научитесь уверенно использовать Excel, SQL и Python для работы с данными! Он пройдет онлайн с 12 по 16 сентября.

За пять дней вы:
👉 решите 2 практических кейса;
👉 поработаете с Excel, SQL и Python в связке, как это часто происходит в реальной работе;
👉 построите сводные таблицы с помощью SQL и Python;
👉 построите столбчатый график с помощью Python;
👉 потренируетесь применять функцию VLOOKUP в Excel.

А еще получите бонусы:
• памятки по решению задач в Excel, SQL и Python;
• сборник полезных материалов по аналитике;
• грант 15 000 рублей на комплексные программы по аналитике.

Пора сдвинуть карьеру с мертвой точки! Подключиться к обучению можно до 12 сентября включительно. Бесплатно!

Регистрируйтесь по ссылке >>

Реклама. ООО «Высшая школа аналитики и стратегии». ИНН 7716917009. erid: 2VtzqwbA6HV

Читать полностью…

Базы данных | Access, SQL, Big Data

Как управлять ресурсами в ClickHouse?

🔹Научитесь управлять ресурсами и профилированием запросов в ClickHouse на открытом уроке от Otus. Практика поможет оптимизировать работу с базой данных, улучшить производительность запросов и эффективно управлять ресурсами системы. 

✅ Практика: настройка квот, ограничений и профилей пользователей

Урок приурочен к курсу «ClickHouse для инженеров и архитекторов БД». Все о работе с ClickHouse: от установки и настройки, до продовых решений 

👉 Регистрация и подробности:
https://otus.pw/xi3g/?erid=LjN8K11Rr

Читать полностью…

Базы данных | Access, SQL, Big Data

IT Elements — технологическая конфа про сети, инфру и ИБ

2000+ участников, 60+ спикеров, 30 демозон, десятки докладов и дискуссий, воркшопы и лабы, настоящий опыт, сложные кейсы и тренды по топовым темам в ИТ.

ИТ-инфраструктура:
▪️Как оставаться на пике технологического развития
▪️Платформы разработки, контейнеры, гибридные облака
▪️Стык разработки и инфры
▪️Инфра на отечественном
▪️Highload-нагрузки
▪️ИТ-стратегия

Сетевые решения:
▪️SD-WAN
▪️Telco Cloud
▪️Балансировка приложений
▪️ВКС, телефония и умный офис
▪️VXLAN, ECMP, Multihoming, MC-LAG
▪️МЦОД и инфраструктура вокруг ЦОД

ИБ:
▪️DevSecOps
▪️Защита приложений
▪️Отечественные NGFW
▪️Мониторинг ИБ в инфраструктуре
▪️Киберустойчивая ИТ-инфраструктура

Участие бесплатное

Встречаемся 18–19 сентября на IT Elements!

Регистрация

Читать полностью…

Базы данных | Access, SQL, Big Data

Как создавать высокопроизводительные очереди сообщений с различной архитектурой

В этом материале автор рассказывает об основных сложностях развития высоконагруженных ИТ-систем и о способах их преодоления с помощью очередей сообщений на примере Tarantool Queue Enterprise.

Базы данных

Читать полностью…
Subscribe to a channel