11243
Изучаем SQL с нуля По всем вопросам @valentin_mascarov Реклама на бирже - https://telega.in/c/SQl_and_DB_Learning
Вакансия Senior System Analyst DWH в команде Lamoda Tech
Создаем продукты, которые делают шопинг удобным и вдохновляющим. Результат — 17 млн. довольных пользователей ежемесячно и звание крупнейшей fashion & lifestyle платформы в России по версии Data Insight.
Ищем специалиста на проект развития хранилища данных и автоматизации отчетности.
О задачах: выявлять и оценивать бизнес-требования к новым витринам и отчетности; проводить системный анализ источников данных, проектировать модели данных для новых витрин; разрабатывать техническую документацию; разрабатывать новые юниверсы и отчеты (SAP Business Objects), создавать и изменять объекты в существующих. Стек технологий: Oracle, Vertica, Hadoop, SQL, PowerBI, SAP BO
Что еще интересного: гибрид; офис в Москве и коворкинг в СПб; организуем внутренние и внешние митапы; помогаем развивать личный бренд; шопинг на Lamoda со скидками до 40%
Подробнее о вакансии.
Всем привет! Хотите написать свой первый SQL-код в прямом эфире под руководством эксперта-практика?
Залетайте на бесплатный мастер-класс с Серафимом Фролкиным, инженером данных VK и экспертом программ школы аналитики Changellenge >> Education.
Серафим расскажет:
✔️ почему SQL — это отличный старт в мир больших данных;
✔️ как он экономит время на рабочих задачах;
✔️ почему знание SQL так ценят рекрутеры.
А еще вы разберете девять базовых функций SQL в прямом эфире и решите практический кейс. Справятся даже новички.
Всего полтора часа — и в резюме новый навык!
Дата: 25 июня
Время: 19:00 Мск
Длительность: 1,5 часа
Формат: онлайн
Стоимость: бесплатно
Карьерные бонусы: всем зарегистрировавшимся и участникам!
Регистрируйтесь и получайте бонусы >>
#реклама
ООО "ВЫСШАЯ ШКОЛА АНАЛИТИКИ И СТРАТЕГИИ"
ИНН 7716917009
2VtzqxdpxqV
erid: LjN8KG7LH
Цифры без бизнеса — это математика. Бизнес без цифр — это авантюра. Цифры в основе бизнеса — это анализ данных.
Аналитик данных собирает, анализирует, структурирует данные — и благодаря этому помогает бизнесу решать проблемы и принимать важные решения. Поэтому профессия входит в топ-5 на рынке.
Стать аналитиком данных с нуля можно всего за 5 месяцев в онлайн-школе KARPOV.COURSES
Преподаватели — практикующие специалисты, которые знают, какие навыки нужны для успешной карьеры, поэтому обучение включает в себя и теорию, и отработку знаний на практических задачах.
По итогу вы соберете готовое портфолио, а школа поможет с трудоустройством. Уже 89% студентов нашли работу благодаря карьерному сопровождению.
Присоединяйтесь к курсу со скидкой 5% по промокоду SQLIBD до 30.06.2024: https://clc.to/4_VL2w
Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627.
Приемы очистки данных в SQL
1. Выявление и удаление дублирующих записей
SELECT DISTINCT column1, column2, ...
FROM table_name;
В качестве альтернативы можно использовать GROUP BY, чтобы сгруппировать похожие записи вместе, а затем удалить количество записей в каждой группе.SELECT column_name, COUNT(*)
FROM table_name
GROUP BY column_name
HAVING COUNT(*) > 1;
2. Стандартизация текстовых полейUPDATE table_name
SET column_name = UPPER(column_name);
Вы также можете использовать функцию REPLACE для замены определенных символов или строк в текстовых полях. Например:UPDATE table_name
SET column_name = REPLACE(column_name, 'OldString', 'NewString');
3. Обработка отсутствующих или нулевых значенийSELECT column1, column2, ...
FROM table_name
WHERE column_name IS NULL;
Затем вы можете удалить эти записи или заменить отсутствующие значения значением по умолчанию. Например:UPDATE table_name
SET column_name = 'DefaultValue'
WHERE column_name IS NULL;
4. Удаление кривых символовUPDATE table_name
SET column_name = REPLACE(column_name, 'InvalidChar', '');
UPDATE table_name
SET column_name = REGEXP_REPLACE(column_name, '[^a-zA-Z0–9 ]', '');
5. Обработка выбросов
Чтобы определить и удалить выбросов, мы можем использовать функции AVG и STDDEV для расчета среднего и стандартного отклонения столбца.SELECT AVG(column_name), STDDEV(column_name)
FROM table_name;
6. Корректировка форматов дат
Функция STR_TO_DATE может преобразовать строку в формат даты. Синтаксис функции следующий:SELECT STR_TO_DATE(date_string, format_string)
FROM table_name;
7. Очистка текстовых данных
Функция REPLACE может заменить подстроку в строке. Функция TRIM позволяет удалить из строки ведущие и последующие пробелы. Синтаксис выглядит следующим образом:SELECT UPPER(column_name)
FROM table_name;SELECT REPLACE(column_name, 'old_string', 'new_string')
FROM table_name;
SELECT TRIM(column_name)
FROM table_name;
8. Проверка типов данных
Важно убедиться, что ваши данные имеют правильный тип данных. Для проверки и преобразования типов данных можно использовать функции CAST или CONVERT. Например:SELECT CAST(column_name AS INT)
FROM table_name;
SELECT CONVERT(column_name, DATE)
FROM table_name;
💻PostgreSQL: исполнение запроса из Bash-скрипта
⏩Для выполнения запроса в PostgreSQL от имени пользователя 'postgres' используйте команду:
sudo -u postgres psql -d dbname -c "SELECT * FROM table;"
dbname — это название вашей БД, table – имя таблицы. sudo для переключения пользователя на postgres, psql является инструментом командной строки PostgreSQL, а ключ -c нужен для выполнения конкретного запроса.-t, который выводит данные построчно, и -X для того, чтобы .psqlrc не обрабатывался командой psql.
🔎 Поиск последних изменений в таблице в Oracle Database с помощью запроса SELECT ... FROM ... VERSIONS BETWEEN TIMESTAMP <start_dt> AND <end_dt>
Возвращаются изменения в диапазоне дат.
👱🏻♀️Как легко знакомиться с реально классными девушками?
Знакомиться на улицах сейчас — это как звонить другу на домашний телефон. В теории работает, но на практике уже неадекватно.
Какова вероятность, что достойная девушка для отношений попадется тебе в метро?
Вроде, достойные девушки и существуют, но как будто где-то в параллельной реальности с тобой, лишь изредка пересекаясь.
Лови простой лайфхак:
Ты боишься знакомства не потому, что не можешь сказать «привет». А потому, что понятия не имеешь что делать в следующие 5-10 минут и будешь просто щелкать еб@лом. А у тебя тут всего две простых задачи:
— Продемонстрировать свою ценность
— Выстроить нужный контекст общения
Заметь в ней что-то уникальное и свяжи это с историей из своей жизни. Например:
— Привет, я случайно увидел тебя и обратил внимание на твои очки. Тебе идут, я тоже раньше носил такие, чтобы казаться старше, когда только начинал преподавать…
Звучит сложно. Однако на канале Творчество Чувств опытный психолог раскладывает это по полочкам. Один из его недавних кейсов — программист из Гугла, который вышел из 5-летней депрессии и нашел ту самую.
💘 Прекрати застой на личном фронте: /channel/+gaMCJdAXvOpmNWYy
PostgreSQL + pgAdmin + mTLS + certificate-based authentication + docker-compose в одном флаконе
Читать статью
SQL-запросы, которые вы рано или поздно погуглите
Отвечу на вопросы, которые возникают у новичков в SQL, в частности в PostgreSQL и BigQuery. Мы не будем обсуждать совсем базовые SELECT, CREATE или DROP.
Для удобства восприятия будем использовать тестовые данные. Первая таблица players содержит данные о пользователях и дате установки мобильной игры:|playerId|name |installationDate|game |os |
|--------|----------------|----------------|----------|----------|
|9e8a0174|Трофимова Алёна |2023-07-30 |basketball|iOS 16 |
|3e2e04ad|Семенова Алиса |2022-07-21 |consumer |iOS 13 |
|642eafb2|Абрамова Диана |2022-06-06 |curtain |iOS 15 |
|8c231f49|Ефимова Ульяна |2022-06-21 |conductor |Android 12|
|a085caf1|Захаров Михаил |2023-04-11 |appear |Android 11|
|c4deb869|Николаева Марта |2022-03-31 |possible |iOS 11 |
вторая, levels, — даты прохождения игроком с определенным ID того или иного уровня:|playerId|level|completionDate|
|--------|-----|--------------|
|7b50274d|6 |2023-05-17 |
|b0c9a9da|20 |2022-02-19 |
|09b3d5b5|15 |2022-07-22 |
|52b3bfa9|11 |2022-02-18 |
|3e2e04ad|17 |2022-08-17 |
|642eafb2|17 |2022-04-14 |
|8c231f49|20 |2022-05-30 |
|a085caf1|20 |2023-02-24 |
|36545ec1|16 |2022-08-10 |
|44e9653f|3 |2023-06-02 |
Я буду верстать в BigQuery на таком же датасете, так что использую соответствующий диалект.
INNER JOIN
Это тип объединения по умолчанию, и он оставит наименьшее число строк. Слово INNER можно опустить:SELECT
p.playerId,
installationDate,
game,
level,
completionDate
FROM `project.tutorials.players` AS p
JOIN `project.tutorials.levels` AS l ON p.playerId = l.playerId;
Посмотрим, что здесь происходит:
• В строках 1-6 мы выбираем только необходимые столбцы;
• 7-8: командой AS задаем псевдонимы таблицам;
• 8: определяем логику объединения по совпадающим playerId. Это означает также, что мы сохраним данные только об первом попавшемся уровне.
Получим всего четыре строки:|playerId|name |installationDate|game |level|completionDate|
|--------|--------------|----------------|---------|-----|--------------|
|3e2e04ad|Семенова Алиса|2022-07-21 |consumer |17 |2022-08-17 |
|642eafb2|Абрамова Диана|2022-06-06 |curtain |17 |2022-04-14 |
|8c231f49|Ефимова Ульяна|2022-06-21 |conductor|20 |2022-05-30 |
|a085caf1|Захаров Михаил|2023-04-11 |appear |20 |2023-02-24 |
OUTER JOIN
Этот тип объединения, напротив, куда «добрее» и в случае FULL-объединения сохранит записи обо всех игроках и всех пройденных уровнях:SELECT
p.playerId,
installationDate,
game,
level,
completionDate
FROM `project.tutorials.players` AS p
FULL OUTER JOIN `project.tutorials.levels` AS l ON p.playerId = l.playerId;
У нас появятся записи, где playerId пуст, поскольку попросили мы идентификаторы только из первой таблицы:
Читать
Как устроена виртуальная машина SQLite
SQL – концептуально странный язык. Вы пишете ваше приложение на одном языке, скажем, на JavaScript, а затем направляете базе данных команды, написанные на совершенно другом языке – SQL.
После этого база данных компилирует и оптимизирует эту команду на SQL, выполняет её и возвращает вам данные. Такой метод кажется ужасно неэффективным, но, всё-таки, ваше приложение может проделывать сотни таких операций в секунду. Просто безумие!
Смотреть статью
❓Как аналитику визуализировать данные максимально эффективно?
Покажем на открытом практическом уроке от OTUS, где вы:
- познакомитесь с основными библиотеками визуализации данных;
- рассмотрите различные типы графиков и поймете, в каких случаях стоит их использовать;
- поймете, как добавить сложные подписи на данные, как сделать несколько осей или оси различных масштабов, как сложить несколько кривых в одном отображении.
После занятия никакая фича не сможет спрятаться от вас в большом датасете!
Встречаемся 6 июня в 20:00 мск в преддверии старта курса «Python для аналитики». Все участники вебинара получат специальную цену на обучение и консультацию от менеджеров OTUS!
👉 Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://otus.pw/gb5k/
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Многомерный анализ данных: исследование многомерных кубов и SQL OLAP-запросов
Читать статью
Устраняем типичные ошибки в MySQL
Читать статью
database/sql: плохой, хороший, злой
Смотреть статью
Azure Data Studio
Azure Data Studio - это инструмент для управления базами данных и выполнения запросов к ним, который разработан компанией Microsoft для операционных систем Windows, macOS и Linux. Он является бесплатной альтернативой Microsoft SQL Server Management Studio (SSMS) и поддерживает не только SQL Server, но и другие базы данных, такие как PostgreSQL, MySQL и Azure SQL Database.
Azure Data Studio имеет более легкий интерфейс по сравнению с SSMS и может использоваться как для управления базами данных в локальной сети, так и для работы с облачными базами данных в Azure. Кроме того, Azure Data Studio обеспечивает возможность совместной работы и обмена данными с помощью Git и Jupyter Notebook.
Azure Data Studio обладает достаточно широким функционалом и возможностями, на видео представлен "Интеллектуальные фрагменты SQL кода"
#вопросы_с_собеседований
Как распарсить строку в SQL?
Часто возникает необходимость распарсить строку в SQL запросе, чтобы получить отдельные элементы. Существует несколько способов это сделать.
1. Использование функции SUBSTRING
Для извлечения отдельных элементов из строки можно использовать функцию SUBSTRING.
2. Использование функции CHARINDEX
Для извлечения подстроки из строки можно использовать функцию CHARINDEX.
3. Использование функции PARSENAME
Для извлечения отдельных элементов из строки, разделенных определенным символом, можно использовать функцию PARSENAME.
SQLMesh - это фреймворк для преобразования данных, который позволяет командам, работающим с данными, использовать преимущества DevOps. Она позволяет ученым, аналитикам и инженерам эффективно выполнять и развертывать преобразования данных, написанные на SQL или Python.
SQLMesh обеспечивает точность и эффективность построения конвейеров данных с помощью пробвинутого решения DataOps для преобразования, тестирования и совместной работы.
Виртуальные среды данных позволяют команде разработчиков создавать динамические представления данных, гарантируя, что таблицы не будут создаваться более одного раза. Модульные тесты, аудиты и Data Diff обеспечивают проверку на протяжении всего рабочего процесса разработки, что позволяет легко работать с данными.pip install sqlmesh
▪ Github
▪ Подробнее
▪ Документация
Уроки по T-SQL
Предлагаем вашему просмотру подробные 7 уроков.
В базу уроков входят основные понятия, работа с временными таблицами, разбор выборки данных и многое другое
📘Видео урок
❓Зачем аналитику изучать Python и с чего начать?
Python — один из самых популярных языков программирования, который используется во многих сферах, в том числе для анализа данных. Ждем вас на открытом практическом уроке «Основы Python» от OTUS, где вы вместе с опытным экспертом:
- рассмотрите синтаксис Python;
- разберете его основы;
- узнаете про инструменты анализа данных, с которыми работают аналитики.
Встречаемся 20 июня в 20:00 мск в преддверии старта курса «Python для аналитики». Все участники вебинара получат специальную цену на обучение и консультацию от менеджеров OTUS!
👉 Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://otus.pw/mHQW/
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
😎На Си можно всё!
👉Узнайте больше о возможностях языка на бесплатном вебинаре онлайн-курса «Программист С» — «Написание расширения PostgreSQL на языке С»: регистрация
На бесплатном вебинаре мы:
- познакомимся с возможностью написания функций на языке С для работы с данными
- создадим и подключим собственное расширение для СУБД PostgreSQL, написанное на языке С
- рассмотрим плюсы и минусы создания таких расширений
🤝Понравится вебинар — продолжите обучение на курсе по специальной цене и даже в рассрочку!
erid: LjN8K5RoZ
Руководство для начинающих по MySQL
MySQL — одна из наиболее используемых СУБД, т.к. она поддерживается почти всеми ОС и распространяется как свободное программное обеспечение. Поэтому, MySQL популярна среди разработчиков сайтов и веб-приложений.
Однако без хорошего гайда достаточно трудно разобраться в этапах создания баз данных. В этом руководстве подробно описывается, как установить MySQL, создать БД и таблицы, а также сделать первые запросы:
https://wiki.gentoo.org/wiki/MySQL/Startup_Guide/ru
📢 Как заменить null на 0 в SQL
Чтобы заменить значение NULL на 0 в SQL, можно использовать функцию COALESCE. Эта функция принимает несколько аргументов и возвращает первый не NULL аргумент.
Если все аргументы NULL, функция вернет NULL. Вот пример использования COALESCE для замены значений NULL на 0:SELECT COALESCE(column_name, 0) FROM table_name;
Также можно использовать оператор IS NULL для проверки на NULL и замены его на 0. Вот пример:SELECT CASE WHEN column_name IS NULL THEN 0 ELSE column_name END FROM table_name;
⭐️ Хакатон ARCHI.Tech от ВТБ – уникальный шанс сделать проект в роли ИТ-архитектора. Приглашаем начинающих и опытных ИТ-специалистов – студентов и выпускников технических вузов, разработчиков, архитекторов, аналитиков.
🔹 Выбирайте задачу любого уровня — простую, среднюю или сложную
🔹 Собирайте архитектурные артефакты, спрятанные в заданиях, и зарабатывайте баллы
🔹 Презентуйте свои решения экспертам ВТБ
🔹 Не упустите возможность решить «разминочную» задачу и получить дополнительные баллы
🔹 Заработанные баллы, найденные артефакты и коэффициент сложности задачи помогут определить победителей
🔹 Три категории: «Архитектор стрима», «Архитектор системы» и «Архитектор данных»…
🔹… и три призовых места в каждой
🔹 Лучшие из лучших разделят призовой фонд в 1 200 000 рублей!
Начало предварительного этапа – 14 июня. Соревнование стартует 28 июня – у участников будет 24 часа на решение задачи.
👉 Продемонстрируй свои знания об архитектуре – участвуй в ARCHI.Tech от ВТБ: https://cnrlink.com/architechvtbsqldblearn
Реклама. БАНК ВТБ (ПАО). ИНН 7702070139. erid: LjN8KUW6W
🔵🗣Вырасти до хардового Middle+ аналитика.
Как? Добавьте к своим скилам навыки в проектировании архитектуры и интеграций веб-сервисов!
Рассмотрите — авторский курс про архитектуру и интеграции
с практикой.
—————
По результатам курса вы:
▫️научитесь выбирать стиль интеграции под вашу задачу;
▫️сможете проектировать с нуля и описывать интеграции в современных стилях (API: REST, SOAP, gRPC и др. + брокеры сообщений);
▫️поймете, как правильно собирать требования и моделировать в UML;
▫️подготовитесь к собеседованию, решив более 100 тестов;
▫️разработаете свой API на Python;
—————
🟢Вы получите большую базу фундаментальных знаний, доступ к урокам и обновлениям остается навсегда 💡
• Всю программу и отзывы смотрите в боте курса.
• Бонусный модуль про проектирование баз данных — нормализация, транзакции, основы DWH, индексы.
• Результат после прохождения курса: 15 рабочих проектов в портфолио.
• Доступ к чату учеников (общение, обмен опытом, помощь внутри сообщества)
🔹🔹 С чего начать?🔹🔹
С открытых бесплатных уроков по архитектуре и интеграциям в чат-боте курса. Переходите.
👇
@studyit_help_bot
Скидка на курс от канала —
1 000₽ по промокоду SQLAND до 30 июня.
Как в sql посчитать количество повторяющихся значений
Можно попробовать использовать функцию COUNT() в сочетании с оператором GROUP BY.
Предположим, у нас есть таблица "orders" с колонками "customer_name" и "order_date", и мы хотим посчитать, сколько заказов было сделано каждым клиентом. Мы можем написать следующий SQL-запрос:SELECT customer_name, COUNT(*) as order_count
FROM orders
GROUP BY customer_name
Этот запрос выберет все уникальные значения из колонки "customer_name" в таблице "orders" и подсчитает количество строк, связанных с каждым уникальным значением. Результатом запроса будет таблица со столбцами "customer_name" и "order_count", в которой каждая строка будет показывать клиента и количество его заказов.
Шпаргалка по SQL
Шпаргалок по SQL много не бывает, так что держите, полезно освежить перед собеседованием
Здесь освещаются самые основные операторы, такие как JOIN, IN, LIKE, BETWEEN, ORDER BY, а также много всего ещё
Пользуйтесь)
⚡️В сети начали находить курсы и книги известных онлайн школ в открытом доступе
Вот отсортированная база с тонной материала(постепенно пополняется):
🔗 БАЗА (3385 видео):
(343 видео, 87 книги) — Java
(176 видео, 32 книги) — Git
(293 видео, 63 книги) — C#
(352 видео, 89 книги) — С++
(167 видео, 53 книги) — PHP
(227 видео, 83 книги) — SQL
(163 видео, 29 книги) — Linux
(363 видео, 122 книги) — Python
(415 видео, 168 книги) — Frontend
(143 видео, 33 книги) — Flask
(167 видео, 43 книги) — Django
(197 видео, 49 книги) — Разработка ботов
(137 видео, 93 книги) — Data Science
(113 видео, 82 книги) — GameDev
(129 видео, 73 книги) — QA
Скачивать ничего не нужно — все выложили в Telegram и на YouTube с доступом по ссылке
6 июня состоится Firebird Conf 2024, ежегодная конференция для разработчиков, администраторов и пользователей СУБД Firebird
🕊Firebird Conf — ежегодная практическая конференция для разработчиков и администраторов баз данных, активных пользователей СУБД Firebird и тех кто хочет узнать про неё подробнее.
Уже второй год конференция Firebird Conf становится местом для нетворкинга, обмена опытом и формирования связей для реализации совместных проектов.
Доклады конференции посвящены техническим аспектам работы с Firebird:
🔴Новые возможности в СУБД Firebird 6.0 и Ред База Данных 6.0
🔴Firebird в высоконагруженной системе мониторинга сети
🔴Особенности миграции с MS SQL Server и Oracle на СУБД Firebird
🔴Средства разработки для СУБД Firebird
🔴Полнотекстовые движки в СУБД Firebird
Полная программа доступна на сайте мероприятия.
Среди спикеров — представители ИТ-сообщества, бизнеса, люди с опытом разработки и реализации собственных уникальных проектов, а также сами контрибьюторы Firebird. Также предусмотрены активности за пределами конференц-зала.
📌 Регистрация
Реклама, ООО «Ред Софт», ИНН 9705000373, erid: 2Vtzquj1UWp
🖥 Как работает CASE SQL
Оператор CASE в SQL используется для создания условий, когда нужно выполнить различные операции в зависимости от значения столбца или выражения.
Оператор CASE может быть использован в двух форматах:CASE без ELSE:
SELECT column1,
CASE
WHEN column2 = 'value1' THEN 'result1'
WHEN column2 = 'value2' THEN 'result2'
END AS column3
FROM table;
В этой форме оператора CASE используется блок WHEN для проверки значения столбца column2. Если значение равно value1, то будет возвращено значение result1. Если значение равно value2, то будет возвращено значение result2. Если значение не соответствует ни одному из условий, то для столбца column3 будет возвращено значение NULL.CASE с ELSE:
SELECT column1,
CASE column2
WHEN 'value1' THEN 'result1'
WHEN 'value2' THEN 'result2'
ELSE 'result3'
END AS column3
FROM table;
В этой форме оператора CASE используется значение столбца column2 в блоке CASE. Если значение равно value1, то будет возвращено значение result1. Если значение равно value2, то будет возвращено значение result2. Если значение не соответствует ни одному из условий, то будет возвращено значение result3.
Оба формата оператора CASE могут использоваться в запросах на выборку данных в SQL. Они позволяют создавать условия, когда нужно выполнить различные операции в зависимости от значения столбца или выражения.
Ровно год назад автор каналa Торговый Инсайдер дал 4 монеты своим подписчикам и вложил вместе с ними по 100$ в каждую, а теперь пришло время подводить итоги.
Apex 100$ - 11.100$
CDX 100$ - 10.000$
PIXEL 100$ - 3828$
VEIL 100$ - 7.460$
И это всего лишь 4 монеты из огромного количества, которые мы разбирали на канале «Торговый Инсайдер»
9 апреля мы выложим новый список монет на 2024 год.
Поспеши узнать и зайти закупиться пока монеты не улетели в космос!
P.s кто не успел, тот опоздал извиняйте 🤷♂️👇🏼
/channel/+jtdMrubMBy0xM2E6