11177
Изучаем SQL с нуля По всем вопросам @valentin_mascarov Реклама на бирже - https://telega.in/c/SQl_and_DB_Learning № 4974313625
Установка значения по умолчанию для NULL
Предположим, у вас есть таблица Users с полями Name и Email. Некоторые строки имеют NULL в поле Email. Вы хотите выбрать все имена и электронные адреса, но для строк с NULL в Email вы хотите установить значение по умолчанию, например, 'no-еmail@example.c0m'.
🖥 Хотите проиндексировать атрибуты, хранящиеся в массиве #JSON?
В Oracle Database 21c это можно сделать с помощью функцииCREATE MULTIVALUE INDEX ...
ON t ( t.col.json_array_path[*]... ).
Затем база данных может использовать его для обработки SQL-запросов JSON_exists с поиском пути к массиву.
Функции LOCALTIMESTAMP и LOCALTIME
Функция LOCALTIMESTAMP и LOCALTIME в MySQL используются для получения текущего времени на сервере базы данных. Как следует из названия, эти функции возвращают локальное время, которое находится на сервере базы данных.
LOCALTIME возвращает текущее время в формате HH:MM:SS, а LOCALTIMESTAMP возвращает текущую дату и время в формате YYYY-MM-DD HH:MM:SS. Обе функции могут быть использованы в качестве значения по умолчанию для столбцов таблицы.
#Вопросы_с_собеседования
Как вы можете оптимизировать производительность запроса SQL, который объединяет несколько больших таблиц и содержит множественные условия JOIN и WHERE?
Для оптимизации такого запроса можно использовать следующие стратегии:
1) Индексирование: Создайте индексы на столбцы, которые часто используются в условиях JOIN и WHERE, чтобы ускорить поиск и сопоставление данных.
2) Оптимизация условий JOIN: Убедитесь, что условия JOIN соединяют таблицы по индексированным столбцам. Избегайте ненужных соединений.
3) Использование подзапросов: Иногда подзапросы могут быть эффективнее, особенно если они помогают уменьшить объем данных перед JOIN.
4) Ограничение результата: Используйте LIMIT для ограничения количества возвращаемых строк, если это возможно.
5) Использование агрегатных функций с умом: Избегайте ненужных агрегатных вычислений на больших наборах данных.
6) Анализ плана выполнения запроса: Используйте инструменты, такие как EXPLAIN PLAN, для понимания, как SQL-сервер выполняет ваш запрос, и находите узкие места в производительности.
Эти методы помогают уменьшить время выполнения запроса и улучшить общую производительность.
Ошибки выбора MongoDB в качестве основной БД в стартапе
Смотреть статью
Как работать с данными в 2024 году? Узнайте на VK Data Meetup!
VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях.
Митап 14 декабря посвящен Databases & Storage. Обсудим тренды наступающего 2024 года, разберем особенности реализации масштабных проектов миграции и трансформации хранилищ и баз данных.
⏰ 14.12.2023, 14:30 МСК
⚡️ Регистрация: https://bit.ly/3Ratqv1
В программе
🔹 Тренды хранения данных, актуальные в 2024 году.
🔹 Миграция хранилища на Greenplum с сохранением уровня SLA.
🔹 Разделение слоев Compute & Storage в Hadoop.
🔹 Перенос большого Hadoop-кластера с bare metal на самописную оркестрацию One-cloud.
Приглашаем дата-инженеров, специалистов по DWH, администраторов, архитекторов и разработчиков.
Регистрация: https://bit.ly/3Ratqv1
Руководство по наиболее востребованным базовым командам SQL
Смотреть статью
Откройте для себя все преимущества удалённой работы — начните изучать мир Data Science. Специалисты этой сферы нужны и в небольших стартапах, и в крупных корпорациях любых индустрий. На практике вы сможете поближе познакомиться с языками Python и SQL, нейросетями и визуализацией данных.
Забудьте о затянутых лекциях и медленном старте в карьере. Мы знаем, как ценно время, поэтому предлагаем интенсивный мини-курс, который поможет быстро познакомиться с необходимыми навыками.
👉 Зарегистрируйтесь прямо сейчас и получите полезный материал «Как пользоваться ChatGPT и Midjourney»: https://epic.st/pMpPp
В программе:
📌 Профессии в Data Science и язык Python.
📌 ML Engineer — пишем нейросеть для подбора новостных статей.
📌 Data Engineer — знакомимся с языком запросов SQL.
📌 Data Analyst — учимся визуализировать данные.
Кому полезен мини-курс:
— Тем, кто хочет влиться в IT. Познакомитесь с одним из самых востребованных IT-направлений и узнаете, как начать работать в Data Science, в том числе удалённо.
— Тем, кто интересуется Data Science. На практике познакомитесь с основными направлениями и выполните несколько практических заданий, чтобы решить, какая специальность вам ближе.
Новогодняя распродажа — при покупке курса со скидкой выбирайте второй курс в подарок!
Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880
SQL — востребованный язык программирования для разработчиков, аналитиков и тестировщиков. Пора освоить его магию! Волшебство продуктивной работы с базами данных теперь доступно всем на бесплатном мини-курсе по программированию. Расширите свой кругозор и сделаете первый шаг в IT!
Зарегистрируйтесь прямо сейчас и сразу получите первый из 5 полезных материалов: https://epic.st/k1IFB
Что будем делать:
— Писать запросы на языке SQL.
— Проводить аналитику для бизнеса.
— Разрабатывать автоматизированную отчётность в Excel.
— Обрабатывать данные в Power Query.
— Визуализировать показатели в Excel: создавать красивые графики, диаграммы и отчёты.
— Применять инструменты Excel для анализа данных.
Спикер Мкртич Пудеян, специалист по анализу данных в «Газпромбанке». Сертифицированный SQL-разработчик от Microsoft.
🎉 Всех участников ждут подарки: персональная карьерная консультация, на которой мы определим ваши сильные стороны и поможем выбрать направление в разработке, 5 полезных статей по SQL и Excel, а также год бесплатного изучения английского языка.
В Skillbox проходит новогодняя распродажа: весь декабрь скидки до 60% и при покупке второй курс на выбор в подарок.
Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880
#Вопросы_с_собеседования
Как SQL-запрос с использованием операторов JOIN может быть оптимизирован для ускорения выполнения, если одна из таблиц содержит миллионы записей, а другая – только несколько сотен? Опишите три различных подхода к оптимизации
Использование Индексов: Создание индексов на столбцах, участвующих в JOIN, может значительно ускорить процесс, особенно на столбцах большой таблицы. Если JOIN выполняется по столбцу, который является первичным ключом или имеет уникальный индекс, это обычно обеспечивает наилучшую производительность.
Оптимизация Порядка JOIN: Порядок, в котором таблицы соединяются в запросе, может влиять на производительность. Лучше начинать с таблицы с наименьшим количеством строк (в данном случае, таблицы с несколькими сотнями записей), что может уменьшить количество обрабатываемых данных на более ранней стадии выполнения запроса.
Использование Подзапросов или CTE (Common Table Expressions): В некоторых случаях, использование подзапросов или CTE для предварительной фильтрации данных перед выполнением JOIN может быть эффективным. Например, можно сначала выделить необходимые данные из меньшей таблицы с помощью подзапроса или CTE, а затем выполнить JOIN с большей таблицей. Это может сократить количество обрабатываемых данных и ускорить выполнение запроса.
Каждый из этих подходов может помочь в оптимизации запросов SQL, особенно когда речь идет о соединении таблиц с большим различием в размерах.
Ультимативная дорожная карта для изучения SQL и баз данных в 2023 году + источники для знаний
Смотреть статью
SQLGlot - это универсальный инструмент для работы с SQL.
Он может использоваться для форматирования SQL-запросов, а также для трансляции между 20 различными диалектами, включая DuckDB, Presto, Spark, Snowflake и BigQuery.
Более того, при помощи SQLGlot можно проводить оптимизацию SQL-запросов, что повышает их эффективность и быстродействие.
Как мы продукт на PostgreSQL переводили
Смотреть статью
Ищем 100 человек, которые пройдут 3 курса по IT бесплатно и дадут обратную связь!
Старая цена - 23 500 руб
Цена для тестовой группы - 0 руб 💯
👉🏻Получить курсы тут
Реклама. ООО "ГикБреинс".
ИНН 7726381870
DB Fiddle — онлайн-площадка для работы с базами данных SQL
Её можно использовать как своеобразную песочницу для тестирования, отладки и обмена фрагментами SQL. Есть поддержка разных версий MySQL, PostgreSQL и SQLite
Из интересного: к работе над базой можно подключить приятеля — делается это буквально в пару кликов
6 SQL-запросов, о которых должен знать каждый дата-инженер
Смотреть статью
#Вопросы_с_собеседования
Что такое "SQL инъекция" и как её можно предотвратить?
SQL инъекция – это вид атаки на приложения, при котором злоумышленник вводит или "инъецирует" вредоносный SQL-код в запрос, который затем выполняется базой данных. Это может привести к несанкционированному доступу к данным, их изменению или удалению, а также к другим серьезным уязвимостям безопасности.
Для предотвращения SQL инъекций следует использовать параметризованные запросы, при которых вводимые пользователем данные обрабатываются как параметры, а не как часть SQL-кода. Это изолирует эти данные от самого запроса, предотвращая их интерпретацию как часть SQL-команды. Также важно проводить валидацию и санитизацию вводимых данных, ограничивая возможность ввода потенциально опасных символов или конструкций.
🔥 Ключевой навык востребованных дата-инженеров
Освойте его, чтобы вырасти в доходе всего за 4 месяца на онлайн-курсе «Spark Developer» от OTUS.
💻 После курса вы сможете:
— Разрабатывать приложения Spark
— Разрабатывать модели ML на Spark и выводить их в Production
— Запускать Spark в Hadoop и Kubernetes
— Писать тесты для Spark-приложений
— Использовать Spark для обработки табличных, потоковых, гео-данных и графов
— Настраивать мониторинг Spark-приложений
Вы можете заранее бесплатно получить полную программу обучения, чтобы убедиться, что она вам подходит. Также курс доступен для приобретения в рассрочку.
⏩ Оставьте заявку прямо сейчас и получите 3 полезных урока от экспертов курса в подарок: https://clck.ru/36zaZ4
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
#Вопросы_с_собеседования
Какое основное различие между внешним и внутренним соединением в SQL?
Внешнее соединение возвращает все строки из левой таблицы, даже если в правой таблице нет сопоставленных строк. Внутреннее соединение возвращает только строки, которые имеют сопоставленные строки в обеих таблицах.
Этот вопрос является сложным, потому что он требует понимания основ соединения таблиц в SQL. Внешние и внутренние соединения - это два основных типа соединения таблиц, и важно понимать, как они работают, чтобы правильно писать запросы.
SQL Server: DATEFROMPARTS
Функция DATEFROMPARTS принимает в качестве параметров год, месяц и день и возвращает значение даты.
Синтаксис функции следующий:
DATEFROMPARTS ( year, month, day )
Функция принимает следующие параметры:
- year - (целое число);
- month - (целое число от 1 до 12);
- day - (целое число от 1 до 31).
#Вопросы_с_собеседования
Объясните, как вы бы оптимизировали производительность SQL-запроса, работающего медленно на большом объеме данных. Какие факторы вы бы учли и какие методы применили?
Этот вопрос проверяет понимание кандидатом принципов оптимизации запросов и управления производительностью баз данных. Ответ должен включать обсуждение различных аспектов, таких как использование индексов, понимание плана выполнения запроса, анализ статистики базы данных, а также методы оптимизации, такие как денормализация данных или изменение структуры запроса. Кандидат также может обсудить использование определенных инструментов для профилирования и мониторинга производительности запросов.
#Вопросы_с_собеседования
Как изменить тип данных столбца?
Это можно сделать с помощью инструкции ALTER TABLE.
#Вопросы_с_собеседования
Как в SQL можно определить и устранить "фантомное чтение" в транзакциях и какие уровни изоляции транзакций необходимо учитывать для предотвращения этого явления?
"Фантомное чтение" в SQL - это ситуация, когда транзакция читает набор строк дважды и получает разные результаты из-за изменений, внесенных другими транзакциями. Для устранения фантомного чтения можно использовать уровни изоляции транзакций, такие как SERIALIZABLE, который предотвращает фантомное чтение, обеспечивая полную изоляцию транзакции. Однако использование высоких уровней изоляции может снизить производительность из-за увеличения блокировок и ожидания.
⁉️ Как аналитику обрабатывать данные из разных источников практически в реальном времени?
Узнайте на бесплатном открытом уроке «Как на Spark Structured Streaming работать с данными в HDFS и Kafka?» от OTUS.
💻 На вебинаре:
— узнаем, какие источники данных могут быть обработаны стриминговым API Spark;
— рассмотрим конкретные примеры с данными на HDFS и Kafka;
— разберёмся, как осуществить подключение к таким источникам;
— научимся группировать данные.
👉 Занятие пройдёт 4 декабря в 20:00 мск в рамках курса «Spark Developer». После урока вы сможете продолжить обучение на курсе. Оплата доступна в рассрочку.
🔥 Для бесплатного участия и получения записи регистрируйтесь прямо сейчас: https://clck.ru/36sBch
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
#Вопросы_с_собеседования
Объясните разницу между INNER JOIN и LEFT JOIN в SQL и приведите пример ситуации, в которой каждый из них наиболее подходит
INNER JOIN в SQL возвращает строки, когда есть совпадение в обеих таблицах, в то время как LEFT JOIN возвращает все строки из левой таблицы и совпадающие строки из правой таблицы; строки, для которых нет совпадений в правой таблице, будут иметь NULL в этих столбцах. INNER JOIN подходит, когда необходимо найти точные совпадения между таблицами, тогда как LEFT JOIN используется, когда нужно включить все записи из одной таблицы, даже если соответствующих совпадений в другой таблице нет.
Разработчики создали ChatGPT, БЕЗ ОГРАНИЧЕНИЙ ПО ЗАПРОСАМ.
Он может:
-Кодить и обучать кодингу
-Стать репетитором по английскому
-Создавать контент план
-Быть психологом, СММщиком, мотиватором
-Писать рефераты/рассказы/песни/стихи/статьи на любые темы
-Создать резюме
-Объяснить любую тему
Возможности ограничены только вашей фантазией. @NeuroConnect_Bot
Использование CROSS JOIN для задач поиска пересечений в исторических данных
CROSS JOIN - это декартово произведение множеств, которое соединяет таблицы без условий. Его использование может помочь в решении сложных задач, таких как нахождение пересечений в исторических данных.
1. На примерах в изображении 1 представлена структура таблиц.
2. В изображении 2 показано, что заявка была неправильно распределена на сотрудника, из-за того, что у андеррайтера и клиента совпадают девичьи фамилии - результат
3. Для решения этой проблемы можно использовать простой запрос с CROSS JOIN, как показано в изображении 3 - результат
Полноценное продолжение - здесь
Правильное подключение к БД: почему, зачем и как
Смотреть статью
Как улучшить эффективность создания асинхронных приложений?
Расскажем на бесплатном открытом уроке «Корутины в С++: Асинхронность без классических потоков» от OTUS.
На вебинаре:
- проведем обзор концепции корутин в С++;
- поговорим об основных преимуществах и особенностях асинхронного программирования без использования классических потоков;
- рассмотрим примеры использования корутин на практике.
Эфир будет очень полезен разработчикам на С++ любого уровня.
Занятие пройдёт 30 ноября в 20:00 мск и будет приурочено к старту курса «C++ Developer. Professional». После урока вы сможете продолжить обучение в рассрочку.
Регистрируйтесь бесплатно прямо сейчас и ставьте событие в календарь, чтобы ничего не пропустить: https://otus.pw/O0h0/Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
