30088
Всё о базах данных простым языком. Сотрудничество: @max_excel РКН: vk.cc/cHhG5h
Оптимизация работы с большим объемом данных при помощи партиционирования в SQL
Оптимизация работы с данными позволяет снизить временные затраты, улучшить производительность и повысить доступность приложения. В этой статье автор подробно разбирает партиционирование - один из эффективных методов оптимизации работы с большим объемом данных.
Базы данных
Postgresso за 2023
В этом материале автор сделал обзор на все ключевые события в мире PostgreSQL за 2023 год.
Базы данных
Представления в SQL
В этом видеоуроке автор подробно разбирает процесс работы с представлениями (оператор VIEW) в SQL.
00:00 Представления в SQL
01:20 Работа представлений
02:21 VIEW из нескольких таблиц
03:32 Зачем использовать VIEW?
05:05 Материализованные представления
06:35 Удаление представлений
06:48 Итоги
Смотреть это видео на youtube: youtu.be/B3RRgBx_foc
Правильная работа с базой данных на Python
Эта статья рассчитана в основном на новичков, в ней автор подробно рассматривает, как не упереться в лимиты подключений к базе, чтобы приложение в продакшн при этом не упало.
Базы данных
Анализ данных на языке SQL: Хранилища и витрины данных
В этом видеоуроке автор подробно и наглядно разбирает процесс работы с хранилищами и витринами данных в SQL.
00:00 Вступление
13:48 OLTP
19:15 DWH
Смотреть это видео на youtube: youtu.be/wtm82_IY1sY
Немного про OR в SQL запросах
Несмотря на избитость темы и многочисленные рекомендации избегать OR в выражениях WHERE/ON SQL запросов, жизнь вносит свои коррективы. Иногда сама постановка задачи подразумевает необходимость использовать OR. В этой статье автор разберет случай, когда OR должно привести к двум разным выборкам по разным индексам одной и той же таблицы.
Базы данных
Производственный календарь в PostgreSQL
Заводить руками свежий производственный календарь не хочется. Хочется, чтобы он появился вызовом одной функции. Цель этой статьи - показать возможности COPY ... FROM PROGRAM и простейшие приемы парсинга XML в PostgreSQL.
Базы данных
Системный аналитик, присоединяйся к Сберу! 👌
Мы разрабатываем аналитическую платформу по управлению эффективностью организации. Наша цель – создать «сердце» платформы: общие технологические сервисы для разработчиков и low/no-code инструменты, которыми будут пользоваться аналитики для реализации бизнес-логики.
Чем предстоит заниматься ⤵️
👉 сбором, детализацией, уточнением и согласованием требований
👉 проработкой и подготовкой типовых решений для использования общих сервисов
👉 разработкой технической документации для разработчиков
👉 контролем реализации требований на всех этапах жизненного цикла разработки.
Читай подробности и откликайся на вакансию по ссылке 💁
Полезный блог про iGaming, который ведет СЕО 1win! 💙
Канал Owner 1win — про философию управления из первых уст. Простыми словами о сложном iGaming.
Тут ты найдешь:
⚡️ Гемблинг-инсайды
⚡️ Бизнес-советы
⚡️ Экспертные комментарии овнера
⚡️ Апдейты по проектам
Присоединяйся к Owner 1win и будь на волне iGaming трендов 👋
ITHub теперь в Telegram!
Бесплатные обучающие материалы, которые лучше платных — книги, ресурсы, статьи и курсы топовых вузов страны тут:
👩💻 Материалы по Python
👩💻 Материалы по Frontend
👩💻 Материалы по Java
👩💻 Материалы по С#
👩💻 Материалы по C/C++
👩💻 Материалы по Хакингу
🖥 Материалы по SQL
👩💻 Материалы по Kotlin/Swift
👩💻 Материалы по Linux
🐞 Материалы по QA
👩💻 Материалы по Go
👩💻 Материалы по PHP
Подписываетесь: @ITHub_tg
Нагрузочное тестирование СУБД в облачной среде (часть 2)
Следующая серия экспериментов выполняется с использованием периода сглаживания = 1 час. Для тестирования используется стандартный инструментарий - утилита pgbench.
Базы данных
Как выбирать технологии для базы данных?
В этом видео автор подробно говорит о современных задачах работы с данными, чем они отличаются и по каким критериям стоит выбирать ту или иную СУБД. Автор разберет примеры использования таких инструментов как GreenPlum, ClickHouse, Cassandra.
В результате вы узнаете маячки, на которые можно обращать внимание при выборе СУБД, и рассмотрите, какие инструменты работы с данными сейчас активно используются.
01:30 Цели и задачи вебинара
04:10 Как нам разговаривать с нашей БД?
05:19 SQL или noSQL?
08:52 Задача №1
18:00 Задача №2
25:40 Задача №3
32:40 Задача №4
39:07 Как выбрать правильный инструмент?
45:25 Последствия выбора неправильного инструмента
47:15 Сравнение с ClickHouse
48:25 Результаты
Смотреть это видео на youtube: youtu.be/hwN1k-jkvmg
Нагрузочное тестирование СУБД в облачной среде (часть 1)
Исследование гипотезы "СУБД по природе своей является стохастической, а не детерминированной системой". С целью проверки этого утверждения и в связи с началом работ по подготовке методики статистического анализа СУБД в условиях облачной среды, была начата серия экспериментов для определения влияния внешних/случайных факторов инфраструктуры на производительность СУБД.
Базы данных
Сравнительный анализ методов аппроксимации на основе SQL-запросов
В этой статье автор показывает, что для решения задач аппроксимации совсем не обязательно использовать сторонние инструменты. Если ваши экспериментальные данные хранятся в базе, и есть возможность выполнять к данным SQL запросы, значит у вас есть все необходимое, чтобы решить задачу аппроксимации.
Базы данных
Статистический анализ результатов нагрузочного тестирования СУБД в условиях облачной инфраструктуры
Проведение нагрузочного тестирования и получение достоверных оценочных результатов производительности СУБД в условиях нестабильной инфраструктуры - возможно. Хотя и требует большего времени и затрат на сбор и анализ экспериментальных данных.
Базы данных
Почему Trino такой быстрый: архитектура оптимизатора SQL-запросов
Аналитические системы должны эффективно обрабатывать сложные пользовательские запросы к десяткам и сотням терабайт данных. Продвинутый оптимизатор запросов является важнейшим компонентом любого big data движка. В этой статье автор разбирает, как устроен оптимизатор запросов в массивно-параллельном аналитическом SQL-движке Trino.
Базы данных
🥇 Новые думающие модели от OpenAI, опубликованные 12.09.2024 под названием OpenAI o1, уже доступны в РФ на сервисе Чат РуНета.
Модели серии OpenAI o1 — это новые большие языковые модели, обученные с помощью обучения с подкреплением для выполнения сложных рассуждений. Модели o1 думают, прежде чем дать ответ, и могут выстраивать длинную внутреннюю цепочку мыслей, прежде чем отвечать пользователю.
👉 Переходите по ссылке, добавляйте в закладки, делитесь ссылкой и получайте доступ к безграничным возможностям всего за 1 клик.
Разработчики создали Единый API для всех моделей (o1-mini, GPT-4 Omni, GPT-4o-mini, GPT-4 Turbo, DALLE-3, Llama-3.1, GigaChat-Pro и других).
Доступ к модели Google Gemini Pro бесплатный и по-настоящему безлимитный.
❗️ Полный функционал сервиса раскрывается при использовании с ПК, полезные видеоинструкции по ссылке: chatru.net/video-instructions
Следите за обновлениями в телеграм-канале: @ChatRu_net
Станьте разработчиком нейро-сотрудников на Python и зарабатывайте от 150.000р в месяц 🔥🔥🔥
Мы научим вас создавать топовых нейро-сотрудников на базе GPT-4 Omni, и вы сможете:
1️⃣ Устроиться разработчиком в крупную компанию и зарабатывать от 150 тысяч ₽ в месяц
2️⃣ Разрабатывать такие проекты на заказ и зарабатывать от 500 тысяч ₽ за проект
3️⃣ Создать нейро-сотрудника в вашей компании и вырасти на +30-100% в зарплате
Что будет на интенсиве?
🧬 Теория: как создаются нейро-сотрудники с GPT-4o на Python
🧬 Практика: мы создадим нейро-консультанта, нейро-HR, нейро-маркетолога и др.
Ведущий интенсива - Senior AI разработчик нейросетей и основатель Университета искусственного интеллекта
🔥 Регистрируйтесь на бесплатный интенсив! Встречаемся в ближайший четверг!
Как быстро обработать большой объем данных и ничего не потерять?
Расскажем на бесплатном вебинаре «Больше чем Pandas: библиотеки подготовки данных для ML-моделей».
Разберём:
➡️ на что стоит обратить внимание для эффективной работы с данными;
➡️ форматы работы с данными и их особенности;
➡️ фреймворки: pandas, swifter, polars, dask и cudf.
⚡️Спикер: Владимир Бугаевский, Team Lead Поиска в Купере
Бонус: демонстрационные jupyter-ноутбуки
⭐️ Когда вебинар: 24 сентября в 19:00
⭐️ Занять место на вебинаре — через бота
Реклама ООО «Слёрм» ИНН 3652901451
Умеете внедрять ERP и автоматизированные системы? Понимаете методологию управления корпоративной архитектурой? Знакомы с понятиями PDM/PLM, MES, QM, LIMS, ТОиР и APS? Мечтаете разрабатывать крутой продукт в крупной компании?
Гринатом рад пригласить в свою команду Архитектора продукта ERP, готового отвечать за обработку запросов на автоматизацию бизнес-процессов и разработку архитектурных концепций в области промышленной автоматизации. Предстоит формировать требования к IT-ландшафту, обеспечивать согласованность взаимозависимых проектов и контролировать качество реализации IT-решений.
Больше о вакансии
✊Расширьте свой стек и апнитесь в зарплате!
👉Начните на бесплатном вебинаре онлайн-курса «Greenplum для разработчиков и аналитиков» - «Введение в Greenplum и её архитектуру»: регистрация
На вебинаре вы узнаете о структуре системы, параллелизме и масштабируемости. В практической части будут продемонстрированы примеры работы с запросами и оптимизации производительности.
Цели вебинара:
1. Основы: Познакомить участников с архитектурой Greenplum и её концепциями.
2. Распределенная обработка: Объяснить преимущества MPP (Massively Parallel Processing).
3. Практика: Показать, как разрабатывать и оптимизировать запросы.
4. Сравнение: Рассмотреть отличия от других СУБД, таких как PostgreSQL.
🤝Понравится урок — продолжите обучение на курсе по спеццене и даже в рассрочку!
erid: LjN8Jx2gZ
«PostgreSQL для начинающих»: #2 — Простые SELECT
В этой статье автор разберет самые простые, но важные возможности команды SELECT, наиболее часто используемой при работе с базами данных - формирование выборок (VALUES), их ограничение (LIMIT/OFFSET/FETCH), фильтрацию (WHERE/HAVING), сортировку (ORDER BY), уникализацию (DISTINCT) и группировку (GROUP BY).
Базы данных
Работа с множествами в SQL
В этом видеоуроке автор подробно разбирает процесс работы с операторами множеств в SQL (UNION, MINUS, INTERSECT).
00:00 Вступление
00:29 Объединение множеств строк (UNION ALL и UNION)
01:46 Вычитание множеств строк (MINUS)
02:06 Пересечение множеств строк (INTERSECT)
Смотреть это видео на youtube: youtu.be/1n9oQE9i85c
SQL HowTo: итоги по строкам и столбцам «в одно действие»
В этой статье автор предлагает немного отвлечься от простых SELECT и посмотреть на реальной бизнес-задаче построения различных "тепловых карт" и "шахматок" как знание возможностей SQL может облегчить жизнь и разработчику, и его базе.
Базы данных
SQL vs NoSQL: блеск и нищета реляционных СУБД
В этом видео мы погрузимся в мир реляционных систем управления базами данных. Начнем с истории их развития, затем подробно рассмотрим особенности и преимущества реляционных СУБД. Обсудим современные требования к базам данных и выявим слабые стороны реляционных систем, включая их ограничения в масштабируемости и гибкости.
00:00 Вступление
00:42 История развития СУБД
01:15 Реляционные СУБД
02:27 Новые требования к базам данных
02:55 Что не так с реляционными СУБД
03:05 CAP-теорема / теорема Брюера
05:00 Транзакционность реляционных СУБД
05:47 Как реляционные СУБД хранят данные
07:30 Жёсткие схемы в реляционных базах данных
08:25 ACID и транзакции
11:10 Big Data и другие сценарии
12:22 Итоги
Смотреть это видео на youtube: youtu.be/X7hwc-KmhaY
PGCONF.ACADEMY 2024 — первая конференция для преподавателей PostgreSQL в России
9 октября в Москве пройдет конференция для преподавателей системного программирования и дисциплин, связанных с системами управления базами данных (СУБД).
Организатор — компания Postgres Professional, ведущий российский СУБД-разработчик.
Темы встречи:
✔️Внедрение PostgreSQL и Postgres Pro в учебный процесс
✔️Обучение базам данных и системному программированию, автоматизация и использование интерактивных систем в учебе
✔️Научно-исследовательская и проектная работа студентов по теме СУБД
✔️Профессиональная сертификация специалистов по PostgreSQL и др.
Для кого? Специалисты в сфере ИТ-образования: преподаватели, методисты, сотрудники администрации вузов, колледжей и учебных центров.
Онлайн и офлайн: Москва, ИНТЦ МГУ «Воробьёвы горы», кластер «Ломоносов», Раменский бульвар, д. 1.
Регистрация — до 6 октября 2024 г.
🔥Участие для преподавателей, сотрудников администраций вузов и колледжей — бесплатное.
ЗАРЕГИСТРИРОВАТЬСЯ
Реклама. ООО «ПОСТГРЕС ПРОФЕССИОНАЛЬНЫЙ». ИНН 7729445882. erid: 2VtzqwEDsAw
Что делать, если пробелы в резюме не дают расти в профессии и финансах
Повышения проходят мимо, новых офферов нет, и для интересных вакансий не хватает навыков? Проверьте, насколько хорошо вы владеете тремя самыми популярными (и доходными) аналитическими инструментами — Excel, SQL и Python!
И нет, это не только про аналитику: эти три столпа нужны в маркетинге, финансах, управлении, консалтинге, HR и многих других сферах, где работают с большими объемами данных. При этом карьерный рост даже до уровня миддл без аналитических навыков практически невозможен – стоит только взглянуть на требования для серьезных вакансий на hh.
Заманчиво? Приходите на бесплатный интенсив «Введение в аналитику данных» школы Changellenge >> Education и научитесь уверенно использовать Excel, SQL и Python для работы с данными! Он пройдет онлайн с 12 по 16 сентября.
За пять дней вы:
👉 решите 2 практических кейса;
👉 поработаете с Excel, SQL и Python в связке, как это часто происходит в реальной работе;
👉 построите сводные таблицы с помощью SQL и Python;
👉 построите столбчатый график с помощью Python;
👉 потренируетесь применять функцию VLOOKUP в Excel.
А еще получите бонусы:
• памятки по решению задач в Excel, SQL и Python;
• сборник полезных материалов по аналитике;
• грант 15 000 рублей на комплексные программы по аналитике.
Пора сдвинуть карьеру с мертвой точки! Подключиться к обучению можно до 12 сентября включительно. Бесплатно!
Регистрируйтесь по ссылке >>
Реклама. ООО «Высшая школа аналитики и стратегии». ИНН 7716917009. erid: 2VtzqwbA6HV
Как управлять ресурсами в ClickHouse?
🔹Научитесь управлять ресурсами и профилированием запросов в ClickHouse на открытом уроке от Otus. Практика поможет оптимизировать работу с базой данных, улучшить производительность запросов и эффективно управлять ресурсами системы.
✅ Практика: настройка квот, ограничений и профилей пользователей
Урок приурочен к курсу «ClickHouse для инженеров и архитекторов БД». Все о работе с ClickHouse: от установки и настройки, до продовых решений
👉 Регистрация и подробности:
https://otus.pw/xi3g/?erid=LjN8K11Rr
IT Elements — технологическая конфа про сети, инфру и ИБ
2000+ участников, 60+ спикеров, 30 демозон, десятки докладов и дискуссий, воркшопы и лабы, настоящий опыт, сложные кейсы и тренды по топовым темам в ИТ.
ИТ-инфраструктура:
▪️Как оставаться на пике технологического развития
▪️Платформы разработки, контейнеры, гибридные облака
▪️Стык разработки и инфры
▪️Инфра на отечественном
▪️Highload-нагрузки
▪️ИТ-стратегия
Сетевые решения:
▪️SD-WAN
▪️Telco Cloud
▪️Балансировка приложений
▪️ВКС, телефония и умный офис
▪️VXLAN, ECMP, Multihoming, MC-LAG
▪️МЦОД и инфраструктура вокруг ЦОД
ИБ:
▪️DevSecOps
▪️Защита приложений
▪️Отечественные NGFW
▪️Мониторинг ИБ в инфраструктуре
▪️Киберустойчивая ИТ-инфраструктура
Участие бесплатное
Встречаемся 18–19 сентября на IT Elements!
Регистрация
Как создавать высокопроизводительные очереди сообщений с различной архитектурой
В этом материале автор рассказывает об основных сложностях развития высоконагруженных ИТ-систем и о способах их преодоления с помощью очередей сообщений на примере Tarantool Queue Enterprise.
Базы данных