36043
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo
🖥 Реальный вопрос c собеседования Microsoft SQL:"Какой клиент Azure из базы покупателей, приоьретает хотя бы 1 продукт Azure из каждой категории продуктов?"
❕ Подсказки:
- Объединить таблицы с помощью LEFT JOIN
- Подсчитайть разные категории продуктов с помощью COUNT и DISTINCT.
Доп задание: напишие код с использованием Pandas для решения задачи.
Протестировать свой SQL-запрос и посмотреть таблицы можно здесь: https://datalemur.com/questions/supercloud-customer
Пишите свое решение в комментариях👇
@sqlhub
🖥 csvs-to-sqlite
Чтобы преобразовать файлы CSV в базу данных SQLite для эффективной работы с данными и их хранения, попробуйте csvs-to-sqlite.
https://github.com/simonw/csvs-to-sqlite
@sqlhub
🔥 Дайджест полезных материалов из мира SQL за неделю
Почитать:
— Как создать сервис по оценке транспортной доступности новостроек при горящих дедлайнах
— Полный отчет Github за 2023 о состоянии проектов.
— 100 вопросов для подготовки к собесу Python
— PostgreSQL: вернуть место после delete
— 9 вопросов для собеседования по SQL в Apple
— PostgreSQL 17: Часть 3 или Коммитфест 2023-11
— SQL HowTo: итоги по строкам и столбцам «в одно действие»
— Победа над ORM путем кодогенерации
— Курс «PostgreSQL для начинающих»: #2 — Простые SELECT
— Nota, Typst и Evidence. Языки программирования для генерации документов
— A Guide to Sargable Queries
— Understanding PostgreSQL and MongoDB Databases: Know When to Use Each
— MySQL: Everything You Need To Know
— Database Monitoring Metrics: Key Indicators for Performance Analysis
— SQL Cheat Sheet: A Comprehensive Guide to SQL Commands and Queries
— Surrogate Key vs Primary Key: What's the Difference?
— Discord economy bot using python
— The Top 10 GitHub Repositories Making Waves 🌊📊
— `OR` Filter on Two Tables, and Batched Nested Loops
— AI in 2024: Art Thrives, Open-Source Battles GPT
Посмотреть:
🌐 Azure OpenAI and copilot meet Azure SQL | Data Exposed
🌐 100 вопросов с собеседований Python. Полный разбор реальных вопросов. (⏱ 34:27)
🌐 💡Задача #Python:Комбинация сумм II #python #программирование #код #yotube #youtube #пито (⏱ 00:54)
🌐 💡Крутая задача #Python: #python #программирование #код #yotube #youtube #питон (⏱ 00:49)
🌐 Mixtral 8x7B - новый ИИ. Нейросети, которые ДОМИНИРУЮТ на другими моделями (⏱ 08:04)
Хорошего дня!
@sqlhub
🖥 100 вопросов для подготовки к собесу Python
https://habr.com/ru/articles/782266/
@sqlhub
💉 Эти 5 команд помогут выявить SQL-инъекцию в целевом домене.
@sqlhub
Как аналитику сделать новый шаг в своей карьере?
Специально для вашего быстрого роста karpovꓸcourses подготовили новогоднее комбо из симуляторов
🎄В Симуляторе аналитика вы получите практику на реальных задачах в формате настоящей рабочей стажировки.
— Вы разберете решения senior-специалистов, получите индивидуальный фидбек на свои решения и сможете пополнить портфолио проектами по BI-аналитике, статистике, A/B-тестам и автоматизации.
🎄В Симуляторе А/В-тестов освоите весь пайплайн проведения А/В-тестов, разберёте тонкости и подводные камни.
— Прохождение Симулятора даст вам уверенность в знаниях A/B-тестирования и поможет на собеседовании или в работе.
Записывайтесь до конца декабря
[Забронировать скидку]
🔥 Дайджест полезных материалов из мира SQL за неделю
Почитать:
— Разворачиваем и заворачиваем в docker проект ASP.NET core на Ubuntu в связке с PostgreSQL
— Оптимизация хранения данных в Greenplum
— Наиболее часто используемые команды Linux
— 79 Ресурсов, которые следует прочитать, чтобы улучшить свои навыки в области проектирования систем:
— Бесплатные сертификационные курсы для специалистов по данным
— Курс «PostgreSQL для начинающих»: #1 — Основы SQL
— Рекомендации по ведению SQL-кода
— Сравнительный анализ методов аппроксимации на основе SQL-запросов
— Как мы наводим порядок с данными в столичном транспортном институте
— Сборка pgModeler в Windows 10 без знания Qt
— Exploring Columnar Indexes in PostgreSQL
— How the Relational Database Came to Be
— Use SQL without Databases
— About Using SQL for Big Data Computing
— Unit of Work pattern in Go
— DB2 Cheat Sheet
— High Availability in SQL: A Guide to High Availability Databases
— SQL vs No-SQL
— Understan How Sql works
— Sql Beginners Tutorials
Посмотреть:
🌐Azure SQL DB High Availability & Disaster Recovery overview | Data Exposed
🌐 Mixtral 8x7B - это сет из 8 нейронок, которые работают вместе
🌐 Ollama — модель уровня GPT. Используй GPT без ограничений и абсолютно бесплатно. (⏱ 07:40)
🌐 Shutil: лучший инструмент для управления файлами Python. (⏱ 17:05)
🌐 Как использовать API ChatGpt. Работа с Api c нуля (⏱ 12:42)
🌐 💡Задача Python: Максимальное среднее подмассива (⏱ 01:00)
🌐 Нахождение позиций в отсортированном массиве #python #array #shorts #сортировка (⏱ 00:40)
Хорошего дня!
@sqlhub
🦆 Традиционные системы баз данных часто требуют управления отдельным сервером СУБД, что вносит дополнительные сложности в рабочий процесс.
С помощью DuckDB вы можете эффективно выполнять SQL-запросы на pandas
DataFrames без необходимости управления отдельным сервером СУБД. DuckDB - это высокопроизводительная аналитическая система баз данных.
Она разработана как быстрый, надежный, переносимый и простая в использовании база данных. DuckDB предоставляет богатый синтаксис SQL.
https://github.com/duckdb/duckdb
@sqlhub
🖥 Как работают JOINS в SQL?
На диаграмме ниже подробно показано, как работают 4 типа объединений SQL.
🔹 INNER JOIN
Возвращает совпадающие строки в обеих таблицах.
🔹 LEFT JOIN
Возвращает все записи из левой таблицы и совпадающие записи из правой таблицы.
🔹 RIGHT JOIN
Возвращает все записи из правой таблицы и совпадающие записи из левой таблицы.
🔹 ПОЛНОЕ ВНЕШНЕЕ СОЕДИНЕНИЕ
Возвращает все записи, для которых есть совпадение в левой или правой таблице.
@sqlhub
🖥 Что такое GraphQL с примерами
00:59 Что такое GraphQL и откуда он взялся
01:55 Чем GraphQL лучше, чем REST API
04:03 Графовая структура
04:45 Типы запросов
07:00 Основные концепции в GraphQL
12:07 Схема
14:09 Преимущества
👉 Источник: youtu.be/Xkx5wroOt7o
@sqlhub
📁 Shutil: лучший инструмент для управления файлами Python
https://www.youtube.com/watch?v=_q2h9qslPzI
@sqlhub
Удобный мини-курс для тех, кто хочет прокачать свои навыки в направлении Python-разработки в новом году. Вы на практике познакомитесь с задачами разработчиков. Научитесь создавать полезные приложения для заработка или решения личных задач. Для 200 первых участников мини-курс доступен бесплатно: https://epic.st/iNYXPE
Кому будет полезен мини-курс:
— тем, кто хочет попасть в IT, но сомневается, что им подойдёт эта сфера;
— тем, кто уже знает основы Python и хочет дополнить базовые знания крутой практикой;
— тем, кто жаждет карьерных перемен и развития в новой профессии.
Спикер — Анастасия Борнева. Руководитель направления по исследованию данных в «Сбере». Опыт в программировании более 9 лет. С 2018 года — эксперт по автоматизации процессов с помощью искусственного интеллекта в «Сбере».
Что будете делать:
— разберёте базовый синтаксис языка;
— создадите бота для Telegram, который умеет переводить голос в текст;
— сделаете бота умнее — «научите» его обрабатывать фотографии;
— узнаете, как парсить сайты — собирать информацию с веб-страниц в удобные таблицы;
— напишете сайт с помощью инструмента Flask.
В финале будет прямой эфир, где вы сможете обсудить практические работы и задать вопросы спикеру.
Все участники получат в подарок полезные материалы с чек-листами, гайдами, скринкастами и другими бонусами.
Откройте новые возможности в новом году!
Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880.
🖥 Проверить, насколько похожи две строки в Oracle Database 23c #SQL с помощьюFUZZY_MATCH ( <algorithm>, 'string1', 'string2' )Поддерживается множество алгоритмов сравнения, включая:
▪Левенштейна
▪Яро-Винклер
▪Биграм
▪Совпадение всего слова
▪Длиннейшая общая подстрока
@sqlhub
🖥 Python и базы данных
1. Python+SQL работа с базами данных
2. Python анализ данных с Pandas. PandaSQL
3. Python анализ данных с Pandas. Join, merge, concat в Pandas
4. Python+SQL часть 2, создание таблиц
5. Python+SQL. Операции с записями
6. Устраиваемся на работу. Решаем тестовое задание на позицию Python Junior
#video #python #sql
https://youtube.com/watch?v=Q7FtqwF5GDw&list=PLysMDSbb9HcxdvtQSkYoO7xaF3SvGUD8n
@sqlhub
🖥 Python и базы данных
1. Python+SQL работа с базами данных
2. Python анализ данных с Pandas. PandaSQL
3. Python анализ данных с Pandas. Join, merge, concat в Pandas
4. Python+SQL часть 2, создание таблиц
5. Python+SQL. Операции с записями
6. Устраиваемся на работу. Решаем тестовое задание на позицию Python Junior
#video #python #sql
https://youtube.com/watch?v=Q7FtqwF5GDw&list=PLysMDSbb9HcxdvtQSkYoO7xaF3SvGUD8n
@sqlhub
🖥 Google почти всегда задает вопросы по SQL во время собеседований на вакансии Data Analytics, Data Science и Data Engineering.
Поэтому, если вы готовитесь к собеседованию по SQL, решите эти 11 РЕАЛЬНЫХ вопросов для собеседования Google по SQL.
https://datalemur.com/blog/google-sql-interview-questions
@sqlhub
SQL: комплексный анализ оттока клиентов
Постановка задачи
В конкурентной телекоммуникационной сфере восприятие компании в целом формируется критической оценкой ее услуг клиентами. Сбои в работе чреваты ростом обеспокоенности, поэтому так важен анализ оттока.
Уровнем оттока характеризуется потеря клиентов, а это сказывается на доходах.
На выводы анализа опираются при разработке стратегий, сегментном таргетировании, совершенствовании обслуживания для роста доверия и удовлетворенности клиентов.
Что такое «отток клиентов»?
Отток, или оборот клиентов, называемый также оттоком покупателей, — это явление, при котором клиенты или подписчики прекращают сотрудничать с компанией или пользоваться ее продуктами/услугами. Оно случается, когда привлеченные ее деятельностью или предложениями клиенты решают отказаться от дальнейших отношений или покупок.
Возможные причины: предложения конкурентов, цена, неудовлетворенность продуктом или услугой, недостаточная их ценность в глазах покупателя, личные обстоятельства.
Очистка данных
Определение общего количества клиентовSELECT DISTINCT COUNT(CUSTOMER_ID) AS TOTALCUSTOMERS FROM CHURNDATA;
То есть выбираем из churndata отдельный счетчик count(customer_id) по общему числу клиентов TotalCustomers:
📌Продолжение
@sqlhub
Что такое логирование и с чем его едят разработчики?
Расскажет Кирилл Мухин на бесплатном открытом уроке «Система логирования в PostgreSQL» от OTUS
Логирование помогает разработчикам лучше понимать работу своего приложения, улучшать его качество и обеспечивать безопасность и производительность. На вебинаре рассмотрим различные способы реализации логирования запросов и хранимых процедур стандартным средствами, а также расширениями PopstgreSQL
📅 Встречаемся 27 декабря в 20:00 мск в рамках курса «PostgreSQL для администраторов баз данных и разработчиков»
Для участия и получения записи регистрируйтесь прямо сейчас: https://otus.pw/XHBt/?erid=LjN8JtGVF
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963
🖥 Ранний релиз: Skrub - новый инструмент для подготовки данных.
▪Подготовка таблиц для машинного обучения
▪Создан для работы со scikit-learn, Python
▪Устойчив к зашумленным данным
▪Работает с фреймами данных pandas
pip install skrub -U
https://skrub-data.org/stable/
@sqlhub
🔥Подборка лучших обучающих каналов для программистов.
➡️Делитесь с коллегами и Сохраняйте себе, чтобы не потерять
⚡Машинное обучение
Machine Learning - полезные статьи новости гайды и разбор кода
Ml Собеседование - подготовка к собеседовению мл, алгоритмам, кодингу
Ml ru - актуальные статьи, новости, код и обучающие материалы
Ml Jobs - вакансии ML
ML Книги - актуальные бесплатные книги МО
ML чат
🚀 Data Science
Анализ данных - полезные фишки, код, гайды и советы, маст-хэв датасаентиста
Data Jobs - ds вакансии
Аналитик данных
Data Science книги - актуальные бесплатные книги
Big data
🏆 Golang
Golang - подробные гайды, разбор кода, лучшие практики, заметки
Golang собеседование
Golang вакансии
Golang книги
Golang задачи и тесты
Golang чат
Golang news - новости go
#️⃣C#
С# академия
С# заметки — код, лучшие практики, заметки программиста c#
С# задачи и тесты
С# библиотека - актуальные бесплатные книги
C# вакансии - работа
🐍 Python
Python/django
Python Собеседование - подготовка к собеседовению python и разбор алгоритмов
Pro python - статьи, новости, код и обучающие материалы
Python Jobs - вакансии Python
Python чат
Python книги
☕ Java
Java академия
Java вакансии
Java чат
Java вопросы с собеседований
Java книги
💻 C++
C++ академия
С++ книги
C++ задачи - подготовка к собеседовению мл, алгоритмам
C++ вакансии
💥 Хакинг Kali Linux
Kali linux
linux_kal - kali чат
Информационная безопасность
🐧 Linux
Linux academy
🦀 Rust
Rust программирование
Rust чат
🛢Базы данных
Sql базы данных
Библиотека баз данных
SQL чат
📲 Мобильная разработка
Android разработка
Мобильный разработчик гайды и уроки
🖥 Javascript/React/PHP
Javascript академия
React программирование
PHP
Книги frontend
Задачи frontend
🇬🇧 Английский для программистов
🧠 Искусственный интеллект
ИИ и технологии
Neural - нейросети для работы и жизни
Книги ИИ
Artificial Intelligence
🔥 DevOPs
Devops для программистов
Книги Devops
Docker
📓 Книги
Библиотеки Книг для программситов
💼 Папка с вакансиями:
Папка Go разработчика:
Папка Python разработчика:
Папка Data Science
Папка Java разработчика
Папка C#
Аналитики, отзовитесь! 👋
Прямо сейчас в Авито требуются опытные специалисты, которые хотят работать с сильной командой амбициозных коллег с высокой профессиональной экспертизой:
➡️ Старший BI аналитик
➡️ Старший аналитик данных в команду прайсинга
➡️ Аналитик данных в направление инцидент и проблем менеджмент
Конкурентная заработная плата (обсуждается на собеседовании).
Что касается бенефитов:
– прозрачная система премий;
– классный офис в 2-х минутах от метро «Белорусская»;
– забота о здоровье: ДМС со стоматологией с первого дня, в офисе ведут приём терапевт, психолог и массажист, два зала с тренажёрами, занятия йогой и скидки на абонементы;
– самые передовые IT-инструменты для эффективного выполнения задач;
– личный бюджет на обучение, который можно тратить на книги, курсы и конференции;
– масштабные корпоративы, онлайн-вечеринки, командные тимбилдинги.
Скорее откликайтесь на вакансии и присоединяйтесь к крутой аналитической культуре 💪
🖥 6 бесплатных курсов по SQL
1- SQL для анализа данных от Udacity
Продолжительность: Примерно 4 недели
Уровень навыков: Начинающий
Ссылка - https://shiksha.com/online-courses/sql-for-data-analysis-course-udacl3
2- Введение в SQL от Kaggle
Продолжительность: Приблизительно 3 часа
Уровень мастерства: Начинающий
Ссылка - https://kaggle.com/learn/intro-to-sql
3- Продвинутый SQL от Kaggle
Продолжительность: Приблизительно 4 часа
Уровень мастерства: Промежуточный
Ссылка - https://kaggle.com/learn/advanced-sql
4- Введение в базы данных и SQL-запросы от Udemy
Продолжительность: Приблизительно 2 часа 17 минут
Уровень мастерства: Начинающий
Ссылка - https://udemy.com/course/introduction-to-databases-and-sql-querying/
5- Intro to Relational Databases byUdacity
Продолжительность : 4 недели
Уровень квалификации: Средний ученик
Ссылка - https://udacity.com/course/intro-to-relational-databases-ud197
6- Введение в SQL (DataCamp)
Продолжительность: 4,5 часа
Уровень квалификации: Начинающий
Ссылка -
https://datacamp.com/courses/introduction-to-sql
@sqlhub
Обведите дату в кружочек: курс «Data-инженер» от Слёрм стартует 15 января
На курсе обширная, но при этом глубокая программа. Эксперты показывают и рассказывают, чем же именно занимается специалист, какие знания и навыки потребуются аналитику данных в профессии data-инженера.
В создании обучения участвовали три действующих data-инженера. Они точно знают, какие знания потребуются на старте карьеры!
Курс проходит в формате потока:
🫖 Каждая тема отрабатывается на практике, а по некоторым заданиям эксперты дадут подробную обратную связь — ревью;
✨ Будут вопросы? Вы сможете задать их в чате студентов и на встречах со спикерами;
💪 В конце курса вы сделаете проект на основе своих данных — или воспользоваться материалами от Слёрм.
Курс подойдет аналитикам данных, администраторам БД, разработчикам и начинающим Data-инженерам.
🍀Вы можете оплатить курс полностью, разбить по частям или провести оплату от работодателя!
Подробная программа и форма для записи на сайте Слёрм ⬅️
Реклама. ООО «Слёрм» г. Лиски, ОГРН 1193668020545 Erid: 2VtzqwiH2Rx
🖥 СОВЕТ: В SQL, если вы ищите «все строки без определенного значения» вывод не будет включать строки, содержащие NULL 😳
Мой коллега постоянно работает с базами данных и обнаружил это вчера на собственном горьком опыте.
Некоторым это может показаться неожиданным поведением для движков: #mysql, #postgresql.
Если вы хотите вывести NULL, используйте `val != 'crazy' OR val IS NULL`
@sqlhub
🔥 Дайджест полезных материалов из мира SQL за неделю
Почитать:
— 8 бесплатных курсов по большим языковым моделям
— Современные варианты баз данных
Почитать:
— Детализированные стратегии кэширования динамических запросов
— Как в РСХБ разработали средство генерации SQL-запроса для упрощения задач по тестированию
— Прекратите клепать базы данных
— CADLib API: От API к прямой работе с базой данных модели через SQL-запросы
— The Most Annoying Optimizer Fail in Postgres ✅ Best index solved it.
— How Modern SQL Databases Are Changing Web Development - #3 Better Developer Experience
— Configuring Delete Behaviour for One to Many Related Objects in SQLAlchemy 2.0
— Isolation Levels - part VIII: Cursor Stability
— SQL - Joins (Tutorial Prático)
— Views, Sequences e Synonyms: Um tutorial prático
— Quick 📸 on 🐘 wait events from pg_stat_activity
— DATABASE
— Triggers
— NoSQL? I'll show you NoSQL!
Посмотреть:
🌐 Ollama — модель уровня GPT. Используй GPT без ограничений и абсолютно бесплатно.
🌐 Эти фишки сделают твой Python код лучше🔥 (⏱ 18:27)
🌐Выполнение простейших запросов SQL в СУБД Ред База Данных и Firebird!
Хорошего дня!
@sqlhub
🔍 Prisma
Популярная ORM prisma получила обновления.
Prisma - это продвинутая ORM для Node.js и TypeScript | PostgreSQL, MySQL, MariaDB, SQL Server, SQLite, MongoDB и CockroachDB
https://github.com/prisma/prisma
@sqlhub
🔥 Shopify обслуживает более 1 миллиона запросов в секунду во время черной пятницы.
Вероятно, вы думаете, что с такими большим количеством запросов могут справиться только какие-то мощные микросервисы. На самом деле все обстоит несколько иначе.
Shopify использует 𝗺𝗼𝗱𝘂𝗹𝗮𝗿 𝗺𝗼𝗻𝗼𝗹𝗶𝘁𝗵 𝗮𝗽𝗽𝗿𝗼𝗮𝗰𝗵( модульную монолитную архитектуру), они хранят весь свой код в одной модульной кодовой базе.
Монолитная архитектура - самая простая архитектура для понимания и реализации.
Поскольку монолитный дизайн прост в построении и позволяет командам быстро работать на начальном этапе разработки, он может помочь продвинуть разработку приложения.
Централизация развертывания приложения и поддержки кодовой базы имеет множество преимуществ.
Вся функциональность доступна в одной папке; вам нужно будет управлять только одним репозиторием. Кроме того, это означает, что необходимо поддерживать один конвейер тестирования и развертывания, что может сэкономить много времени.
Возможность обращаться к различным компонентам, а не полагаться на API веб-сервисов, - однно из самых привлекательных приемуществ монолитной архитектуры по сравнению с несколькими отдельными сервисами.
Shopify реализовала одну из версий модульного монолита на 𝗥𝘂𝗯𝘆 𝗼𝗻 𝗥𝗮𝗶𝗹𝘀. Они организуют кодовую базу вокруг реальных концепций (таких как заказы, доставка, инвентаризация и выставление счетов), что облегчает разметку кода и людей, которые его понимают. Каждый компонент представляет собой мини-приложение на Rails (модуль).
Каждый компонент претендует на единоличное владение данными, с которыми связан, и определяет прямой, специализированный интерфейс с границами домена, передаваемыми через публичный API.
Cтатистики работы Shopify на черной пятнице:
🔹 145 миллиардов запросов (~60 миллионов в минуту)
🔹 99,999+% аптайма
🔹 5 ТБ/мин данных из всей инфраструктуры
🔹 MySQL 5.7 и 8 обрабатывают более 19 миллионов запросов в секунду (QPS)
🔹 22 ГБ/сек журналов и 51,4 ГБ/сек метрических данных
🔹 9 миллионов проходов в секунду данных трассировки
🔹 Их Apache Kafka обслуживал 29 миллионов сообщений в секунду в пиковый момент
🔹 Все работает в облаке Google Cloud
@sqlhub