🕵♂Использование CROSS JOIN для задач поиска пересечений в исторических данных
🔵 CROSS JOIN (или полное соединение таблиц без условий) — декартова перемножение множеств. Говоря простым языком — для каждого варианта первого множества будет сопоставлены все варианты второго множества.
• Правильное использование этого типа соединения может помочь в решении сложных задач, например, нахождении пересечений в исторических данных.
• Структура таблиц представленных примеров в изображении 1.
📕 Допустим: клиент Сидоров Степан Павлович подал заявку на кредит. На некотором этапе рассмотрения потребовался анализ платежеспособности клиента андеррайтером.
Заявка автоматически распределилась на сотрудника Петрова Екатерина Павловна.
На первый взгляд ничего подозрительного нет — в ФИО людей совпадает только отчество, что является широко распространенной ситуацией.
❗️ Однако, при детальном анализе выясняется, что девичья фамилия андеррайтера и клиента совпадают (Сидорова / Сидоров) изображение 2.
В таком случае заявка клиента должна была распределиться на другого сотрудника, чтобы решение, вынесенное по заявке, было не предвзятым.
• Для решения данной задачи можно использовать простой запрос с CROSS JOIN изображение 3.
➡️ Продолжение
Как начать развиваться в профессии дата-инженера?
👨💻Освойте лучшие практики работы с данными на онлайн-курсе «Data Engineer» от OTUS.
➡️За 4 месяца вы научитесь собирать данные, разрабатывать архитектуру данных в компании и создавать сервисы для обработки данных больших объемов. Одна из фишек курса — метод кейсов. На занятиях разбираем примеры внедрений, использования инструментов, оптимизации производительности, а также возможные проблемы и ошибки.
💣 Пройдете тест и получите:
✔️ Живое общение с экспертами
✔️ Лучшие открытые уроки прошлых наборов курса
✔️ Продвинутые темы и практика на «боевых» задачах уровня Middle+
✔️ Скидку на прохождение онлайн курса «Data Engineer»
👉 ПРОЙТИ ТЕСТ
Приобрести курс возможно в рассрочку.Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Кто из айтишников зарабатывает миллион в месяц?
Вы удивитесь, но дата-сайентист GigaChat. Он управляет массивами данных и выбирает, чем «кормить» нейросеть. И это все его обязанности.
Если хотите так же выйти на шестизначную зарплату, быстрее открывайте эти каналы:
— Data Science | Machinelearning;
— About Python.
Узнаете, как легко добиться оффера в Data Science. Получите готовые модели данных и гайды, как их тестировать.
Нейросети — мусор без дата-сайентистов. Используйте тренд на благо своей карьеры:
— Data Science | Machinelearning;
— About Python.
🔊 Делимся «вредными советами» по работе с ClickHouse®
ClickHouse® — быстрая и масштабируемая колоночная база данных. Она известна своей высокой производительностью, возможностью обрабатывать аналитические запросы в режиме онлайн и строить аналитические витрины. Как и у любой другой технологии, у ClickHouse® есть свои особенности и нюансы, которые необходимо учитывать при работе.
В видео архитекторы Yandex Cloud поделятся распространёнными ошибками при использовании базы данных ClickHouse®, а также рекомендациями, как избежать этих ошибок и достичь максимально производительности БД ClickHouse.
🗣 Подробнее по ссылке.
Как эффективно работать с MySQL?
Расскажет Николай Лавлинский на бесплатном практическом уроке «MySQL 8.0: запуск GTID-репликации в Docker» от OTUS.
На вебинаре:
- разберём полный процесс запуска надежной репликации в MySQL 8.0 c использованием GTID
- используем контейнеры для запуска серверов баз данных
💻 Урок будет полезен начинающим и опытным сисадминам Linux, веб-разработчикам и всем, кто хочет разобраться в работе MySQL в контейнерах.
Занятие пройдёт 30 января в 19:00 мск и будет приурочено к старту курса «Administrator Linux. Professional». Доступна рассрочка на обучение!
Пройдите короткое тестирование прямо сейчас, чтобы занять место на открытом уроке:
https://clck.ru/38Lrpf
usql
usql – это мощный инструмент, который позволяет легко работать с базами данных SQL и NoSQL через командную строку. Созданный на основе популярного psql от PostgreSQL, usql предоставляет удобный интерфейс для выполнения запросов и манипуляций с данными.
Одной из главных особенностей usql является поддержка множества баз данных. Вы можете легко переключаться между разными базами данных, копировать данные между ними и выполнять другие операции без необходимости покидать командную строку.
usql также предоставляет множество удобных функций, таких как подсветка синтаксиса и завершение на основе контекста. Это помогает сделать процесс написания и отладки запросов более эффективным.
Как мы сокращаем время простоя при установке обновлений схемы базы данных. Советы разработчикам
Читать статью
🟡 Освойте одну из самых перспективных и интересных IT-профессий всего за 4 месяца
Computer Vision — дисциплина, которая позволит вам работать с визуальными данными и нейросетями на профессиональном уровне, играя важную роль в современных инновационных проектах.
💻 Вы изучите:
— Классификацию и сегментацию изображений
— Детекцию и отслеживание объектов на видео
— Обработку и анализ трехмерных сцен
— Распознавание лиц и людей по силуэту
— Генерацию и реконструкцию изображений
— Обучение, тестирование и оптимизацию нейросетей
— Развертывание моделей в продакшн
Есть рассрочка на комфортных условиях!
🔥 Оставьте заявку прямо сейчас и получите 4 полезных урока от экспертов курса в подарок: https://clck.ru/37s4QV
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
#вопросы_с_собеседований
Можно ли связать SQL Server с другими серверами?
Да, можно подключить SQL Server к любому серверу базы данных, поддерживающему поставщика OLE-DB. Серверы баз данных, поддерживающие поставщика OLE-DB:
- IBM Informix
- Microsoft Access
- База данных Oracle
#Вопросы_с_собеседования
Как запустить, перезапустить или остановить сервер PostgreSQL?
Чтобы запустить сервер PostgreSQL, мы используем:
service postgresql start
Чтобы перезапустить сервер PostgreSQL, мы используем:
service postgresql restart
Чтобы остановить сервер PostgreSQL, мы используем:
service postgresql stop.
#Вопросы_с_собеседования
В SQL, каким образом можно использовать подзапросы в предикате EXISTS для определения существования записей в одной таблице, на основе условий, связанных с другой таблицей, без возвращения каких-либо данных из подзапроса?
В SQL, подзапросы в предикате EXISTS проверяют наличие записей в одной таблице, которые удовлетворяют определенным критериям в другой таблице. Подзапрос в EXISTS не возвращает данные, а лишь возвращает логическое значение TRUE или FALSE, в зависимости от того, находит ли он соответствующие записи. Это часто используется для фильтрации результатов основного запроса, основываясь на наличии или отсутствии связанных данных в другой таблице.
Fetchall в SQL
Fetchall - это метод, используемый в языке SQL для извлечения всех строк из результата запроса. В этой статье мы рассмотрим подробности Fetchall и его применение в SQL.
Fetchall и его функции
Fetchall является одним из методов получения данных из базы данных в SQL. Он позволяет извлечь все строки из результата запроса и сохранить их в переменной для дальнейшей обработки. Fetchall возвращает список кортежей, где каждый кортеж представляет собой одну строку из результата запроса. Это очень удобно, когда требуется обработать все строки результата запроса.
Fetchall - это мощный метод в языке SQL, который позволяет извлекать все строки из результата запроса и сохранять их для последующей обработки. Он широко применяется в сочетании с оператором SELECT для получения всех строк из таблицы или представления.
#Вопросы_с_собеседования
Поддерживает ли PostgreSQL полнотекстовый поиск?
Полнотекстовый поиск - это метод поиска одного документа или коллекции документов, хранящихся на компьютере, в полнотекстовой базе данных. В основном он поддерживается в продвинутых системах баз данных, таких как SOLR или ElasticSearch. Тем не менее, эта функция присутствует, но довольно проста в PostgreSQL.
#Вопросы_с_собеседования
Как вы можете оптимизировать запрос SQL, который работает медленно из-за большого объема данных в таблице, не изменяя структуру таблицы и не применяя индексы?
Одним из способов оптимизации такого запроса является использование временных таблиц для хранения промежуточных результатов. Это может снизить нагрузку на основную таблицу и ускорить выполнение запроса. Также можно рассмотреть возможность пересмотра самого запроса для уменьшения объема обрабатываемых данных, например, путем более эффективного использования условий WHERE.
Что вы должны знать о PostgreSQL?
Расскажем на бесплатном открытом уроке «B-tree индексы в PostgreSQL» от OTUS, где вы вместе с опытным экспертом:
- рассмотрите один из самых распространенных типов индекса b-tree в PostgreSQL;
- изучите один из наиболее эффективных способов оптимизации производительности базы данных;
- узнаете, как работают индексы в базе данных и сможете эффективно применять их в разных ситуациях.
📅 Встречаемся 17 января в 20:00 мск в рамках курса «PostgreSQL для администраторов баз данных и разработчиков». После урока вы сможете стать студентом программы в рассрочку.
🌐 Для бесплатного участия и получения записи регистрируйтесь прямо сейчас: https://clck.ru/37dBNM
⚡️ Совет по работе с базами данных
Удаление сотен тысяч строк происходит медленно, влияет на производительность и не освобождает память.
Однако удалить старые данные можно очень эффективно, если разбить таблицу на временные диапазоны и удалить один из них.
Ультимативная дорожная карта для изучения SQL и баз данных в 2023 году + источники для знаний
Читать статью
#Вопросы_с_собеседования
Что такое соединения SQL и какие соединения SQL наиболее популярны?
Объединения являются фундаментальной частью управления данными в SQL. Они позволяют объединить две или более таблиц для создания единой таблицы, которую можно использовать для анализа данных. Они также предоставляют способ фильтрации результатов на основе критериев в одной таблице, что может быть полезно при попытке найти определенные строки или столбцы в большой таблице.
В SQL существует четыре основных типа соединений: ВНУТРЕННЕЕ СОЕДИНЕНИЕ, ВНЕШНЕЕ СОЕДИНЕНИЕ, ПЕРЕКРЕСТНОЕ СОЕДИНЕНИЕ и САМОСТОЯТЕЛЬНОЕ СОЕДИНЕНИЕ.
Как сэкономить свои нервы и деньги компании на перестроении структуры больших таблиц без простоя в PostgreSQL
Смотреть статью
#вопросы_с_собеседований
Равен ли NULL 0 в SQL?
Нулевое значение в SQL обозначает значение, которое недоступно или назначено. Пробел (‘ ‘) или ноль (0) не эквивалентны значению NULL. Вы не можете сравнить значение NULL с любым другим значением, используя операторы сравнения, такие как “=” или”>”, поскольку оно не может быть равно или неравно любому другому значению.
Брокеры сообщений – что это и зачем они нужны?
Узнайте на бесплатном практическом уроке от OTUS, где опытный эксперт разберет:
- какие проблемы решают брокеры сообщений;
- основные понятия в теме;
- применение брокеров в микросервисной архитектуре;
- почему именно RabbitMQ;
- почему не Каfka и в чем разница.
Встречаемся 25 января в 20:00 мск в рамках курса «RabbitMQ для разработчиков и администраторов». Доступна рассрочка на обучение!
Регистрируйтесь прямо сейчас, чтобы посетить бесплатный урок и получить запись: https://clck.ru/37qK6f
Какими инструментами нужно владеть для работы с высоконагруженной архитектурой?
Расскажем на бесплатном практическом уроке «Роль Tarantool в высоконагруженной архитектуре» от OTUS.
На вебинаре разберём:
- особенности, функционал и преимущества Tarantool;
- архитектурные шаблоны и примеры его применения;
- итоги и вопросы.
Урок будет полезен для разработчиков, сисадминов и архитекторов, интересующихся высоконагруженными системами.
Занятие пройдёт 31 января в 20:00 мск и будет приурочено к старту курса «Highload Architect». Доступна рассрочка на обучение!
Пройдите короткое тестирование прямо сейчас, чтобы занять место на открытом уроке: https://clck.ru/37mqgc
#Вопросы_с_собеседования
Что такое определяемая пользователем функция?
Определяемая пользователем функция — это подпрограмма, которая принимает параметры, выполняет действие и возвращает результат в виде одного скалярного значения или результирующий набор.
SQL — востребованный язык для разработчиков, аналитиков и тестировщиков. Прокачайте знания SQL и навыки работы с базами данных на бесплатном мини-курсе Skillbox.
Зарегистрируйтесь прямо сейчас и получите полезный гайд по профессии: https://epic.st/Y8I9a
Что будем делать:
— Писать запросы на языке SQL.
— Проводить аналитику для бизнеса.
— Разрабатывать автоматизированную отчётность в Excel.
— Обрабатывать данные в Power Query.
— Визуализировать показатели в Excel: создавать красивые графики, диаграммы и отчёты.
— Применять инструменты Excel для анализа данных.
Спикер — Мкртич Пудеян, специалист по анализу данных в «Газпромбанке». Сертифицированный SQL-разработчик от Microsoft.
🎉 Всех участников ждут подарки: персональная карьерная консультация, на которой мы определим ваши сильные стороны и поможем выбрать направление в разработке, 5 полезных статей по SQL и Excel, а также год бесплатного изучения английского языка.
Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880
#Вопросы_с_собеседования
В чем заключается основной недостаток удаления данных из существующей таблицы с помощью команды DROP TABLE?
Хотя команда DROP TABLE позволяет полностью удалить данные из существующей таблицы, у не` есть недостаток — она удаляет полную структуру таблицы из базы данных. Из-за этого нам нужно заново создать таблицу для хранения данных.