6213
Базы данных (Data Base). По всем вопросам @evgenycarter
Шпаргалка по базам данных
SQL. Содержит справку наиболее распространенных операторов SQL в инфографике на нескольких страницах.
https://www.sqltutorial.org/sql-cheat-sheet/
PostgreSQL. Предоставляет информацию об общих командах и операторах PostgreSQL, которые позволяют быстро и эффективно работать с базой данных.
https://www.postgresqltutorial.com/postgresql-cheat-sheet/
MySQL. Шпаргалка-инструкция с примерами кода GitHub.
https://gist.github.com/bradtraversy/c831baaad44343cc945e76c2e30927b3
MongoDB. Еще одна практичная шпаргалка GitHub без теории.
https://gist.github.com/bradtraversy/f407d642bdc3b31681bc7e56d95485b6
#SQL
👉 @database_info
Подборка Telegram каналов для программистов
Системное администрирование 📌
/channel/tipsysdmin Типичный Сисадмин (фото железа, было/стало)
/channel/sysadminof Книги для админов, полезные материалы
/channel/i_odmin Все для системного администратора
/channel/i_odmin_book Библиотека Системного Администратора
/channel/i_odmin_chat Чат системных администраторов
/channel/i_DevOps DevOps: Пишем о Docker, Kubernetes и др.
/channel/sysadminoff Новости Линукс Linux
/channel/tikon_1 Новости высоких технологий, науки и техники💡
/channel/mir_teh Мир технологий (Technology World)
/channel/rust_lib Полезный контент по программированию на Rust
/channel/golang_lib Библиотека Go (Golang) разработчика
/channel/itmozg Программисты, дизайнеры, новости из мира IT.
/channel/phis_mat Обучающие видео, книги по Физике и Математике
/channel/php_lib Библиотека PHP программиста 👨🏼💻👩💻
/channel/nodejs_lib Подборки по Node js и все что с ним связано
/channel/ruby_lib Библиотека Ruby программиста
1C разработка 📌
/channel/odin1C_rus Cтатьи, курсы, советы, шаблоны кода 1С
Программирование C++📌
/channel/cpp_lib Библиотека C/C++ разработчика
/channel/cpp_knigi Книги для программистов C/C++
/channel/cpp_geek Учим C/C++ на примерах
Программирование Python 📌
/channel/pythonofff Python академия. Учи Python быстро и легко🐍
/channel/BookPython Библиотека Python разработчика
/channel/python_real Python подборки на русском и английском
/channel/python_360 Книги по Python Rus
Java разработка 📌
/channel/BookJava Библиотека Java разработчика
/channel/java_360 Книги по Java Rus
/channel/java_geek Учим Java на примерах
GitHub Сообщество 📌
/channel/Githublib Интересное из GitHub
Базы данных (Data Base) 📌
/channel/database_info Все про базы данных
Мобильная разработка: iOS, Android 📌
/channel/developer_mobila Мобильная разработка
/channel/kotlin_lib Подборки полезного материала по Kotlin
Фронтенд разработка 📌
/channel/frontend_1 Подборки для frontend разработчиков
/channel/frontend_sovet Frontend советы, примеры и практика!
/channel/React_lib Подборки по React js и все что с ним связано
Разработка игр 📌
/channel/game_devv Все о разработке игр
Вакансии 📌
/channel/sysadmin_rabota Системный Администратор
/channel/progjob Вакансии в IT
Чат программистов📌
/channel/developers_ru
Библиотеки 📌
/channel/book_for_dev Книги для программистов Rus
/channel/programmist_of Книги по программированию
/channel/proglb Библиотека программиста
/channel/bfbook Книги для программистов
/channel/books_reserv Книги для программистов
БигДата, машинное обучение 📌
/channel/bigdata_1 Data Science, Big Data, Machine Learning, Deep Learning
Программирование 📌
/channel/bookflow Лекции, видеоуроки, доклады с IT конференций
/channel/coddy_academy Полезные советы по программированию
QA, тестирование 📌
/channel/testlab_qa Библиотека тестировщика
Шутки программистов 📌
/channel/itumor Шутки программистов
Защита, взлом, безопасность 📌
/channel/thehaking Канал о кибербезопасности
/channel/xakep_1 Статьи из "Хакера"
Книги, статьи для дизайнеров 📌
/channel/ux_web Статьи, книги для дизайнеров
Английский 📌
/channel/UchuEnglish Английский с нуля
Математика 📌
/channel/Pomatematike Канал по математике
Excel лайфхак📌
/channel/Excel_lifehack
Mastering SQL Joins: A Quick Handbook On Mastering SQL Joins With Practical Exercises
Автор: Dane Wade (2023)
В этом кратком руководстве вы узнаете:
- Упрощенную концепцию джойнов SQL, изложенную ясным и лаконичным языком, которая поможет вам создать прочный фундамент для понимания джойнов SQL.
- Практические вопросы после каждой главы для закрепления полученных знаний
- Отдельная глава для практических вопросов отраслевого уровня, которые отточат ваши навыки
- Иллюстрации, позволяющие легко понять и трудно забыть, чтобы стать мастером в области SQL Joins
- Практические наборы данных, включенные в книгу, позволят вам не тратить время на поиск подходящего набора данных для практического применения SQL Joins.
#db
👉 @database_info
БАЗЫ ДАННЫХ за 2 минуты
0:00 Какие есть базы?
0:08 Реляционные БД
0:22 Что за SQL
0:33 БД Ключ-Значение
0:43 Документо-Ориентированные БД
0:59 Графовые БД
1:26 Поисковые БД (Search Engines)
источник
#db
👉 @database_info
Компания Uber создала собственную базу данных с нуля. Она получила название Schemaless DB.
В ее рамках они хотели добиться высокой доступности операций записи.
Uber сделала это возможным благодаря использованию умной и простой техники под названием Buffered Writes.
В двух словах, Buffered Writes означает, что каждый запрос на запись хранится как минимум на двух узлах - Primary Leader и Secondary Leader.
Вот как это работает:
✅ Клиент делает запрос в обработчик запросов.
✅ Обработчик запросов отправляет запросы на запись на Secondary Leader. Данные сохраняются в специальной буферной таблице на Secondary Leader.
Затем он также отправляет запрос на запись на Primary Leader. Только если обе записи прошли успешно, клиент получает подтверждение успешной записи.
✅ Задача Primary Leader заключается в репликации данных.
Но если leader выходит из строя до успешной асинхронной репликации, Secondary Leader служит временной резервной копией данных.
✅ Background Worker следит за Primary Follower, чтобы узнать, когда появится запись после репликации
✅ Как только запись появляется на Primary Follower, Background Worker удаляет запись из Buffer Table.
Здесь следует отметить несколько важных моментов:
- Количество вторичных лидеров настраивается
- Secondary leader выбирается случайным образом
- Буферизованные записи используют идемпотентность. Если существует несколько записей с одинаковыми идентифицирующими полями, то не имеет значения, сколько раз был сделан запрос.
#db
👉 @database_info
PostgreSQL
Лекция 1: Основы SQL
Лекция 2: Простые SELECT
Лекция 3: Сложные SELECT
Лекция 4: Анализ запросов | Часть 1
Лекция 4: Анализ запросов | Часть 2
Лекция 5: Индексы | Часть 1
Лекция 5: Индексы | Часть 2
Лекция 6: Транзакции
Лекция 7: Блокировки
источник
#db
👉 @database_info
Как пройти интервью на позицию Data Warehouse Analyst?
Узнайте на бесплатном практическом уроке от OTUS, Алексея Железного – Senior Data Engineer в Wildberries и Александры Мерзлой – Team Lead DWH в Tinkoff.
На вебинаре:
- обсудим, как проходить интервью на позицию DWH-аналитика для middle+ специалистов;
- разберём практические кейсы;
- ответим на все вопросы в режиме реального времени.
Занятие пройдёт 20 декабря в 20:00 мск и будет приурочено к старту курса «Data Warehouse Analyst». После урока вы сможете продолжить обучение в рассрочку.
Регистрируйтесь на занятие: https://vk.cc/ctd3E3Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Детализированные стратегии кэширования динамических запросов
Сегодня я хотел бы поговорить о стратегиях кэширования для совокупных запросов к часто обновляемым данным, основанным на времени. На предыдущем месте работы я провел немало «мозговых циклов» и с удовольствием поделюсь некоторыми своими находками.
https://jensrantil.github.io/posts/fast-aggregate-queries-on-dynamic-data/
#db
👉 @database_info
🔥 Ключевой навык востребованных дата-инженеров
Освойте его, чтобы вырасти в доходе всего за 4 месяца на онлайн-курсе «Spark Developer» от OTUS.
💻 После курса вы сможете:
— Разрабатывать приложения Spark
— Разрабатывать модели ML на Spark и выводить их в Production
— Запускать Spark в Hadoop и Kubernetes
— Писать тесты для Spark-приложений
— Использовать Spark для обработки табличных, потоковых, гео-данных и графов
— Настраивать мониторинг Spark-приложений
Вы можете заранее бесплатно получить полную программу обучения, чтобы убедиться, что она вам подходит. Также курс доступен для приобретения в рассрочку.
➡️ Оставьте заявку прямо сейчас и получите 3 полезных урока от экспертов курса в подарок: https://vk.cc/ct05jk
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Открытый практикум Linux by Rebrain: Прокси-сервер
Успевайте зарегистрироваться. Количество мест строго ограничено! Запись практикума “DevOps by Rebrain” в подарок за регистрацию!
👉Регистрация
Время проведения:
6 Декабря (Среда) в 20:00 по МСК
Программа практикума:
🔹Базовые принципы модели OSI
🔹На каком уровне работает прокси
🔹tor прокси
Кто ведёт?
Андрей Буранов – Специалист по UNIX-системам в компании VK. Опыт работы с ОС Linux более 7 лет. Опыт преподавания более 5 лет. Входит в топ 3 лучших преподавателей образовательных порталов.
Бесплатные практикумы по DevOps, Linux, Networks и Golang от REBRAIN каждую неделю. Подключайтесь!
Реклама. ООО "РЕБРЕИН". ИНН 7727409582 erid: 2Vtzqx7geoV
Запустили новый курс Base Data Engineer
Подходит для новичков в сфере данных и ИТ. Знакомит с тонкостями управления данными: от подходов к хранению до визуализации.
• Вы научитесь работать с данными.
• Освоите инструменты для их управления.
• Погрузитесь в мир баз данных и изучите методы очистки данных.
• Разберетесь с вопросами проектирования хранилищ, изучите примеры их построения.
💻Учитесь в удобном для вас ритме — смотрите онлайн-лекции и демо, задавайте вопросы и получайте поддержку в чате курса.
Подробнее о Base Data Engineer рассказали в карточках. А записаться на обучение и получить больше информации можно на странице курса →
Реклама. ООО "ДАТАФОРТ". ИНН 7713606615.
Как мы продукт на PostgreSQL переводили
Все побежали, и я побежал… Строго говоря, историю о том, как мы научили наше приложение работать с СУБД PostgreSQL и провели первую миграцию боевой системы одного из наших заказчиков, можно было рассказать ещё три года назад. Именно тогда мы это сделали впервые. Сейчас за нашими плечами уже 11 внедрений «Единого клиента» на PostgreSQL. Две миграции на эту СУБД с Oracle пройдут в этом году.
В статье поделюсь нашими наработками. Будет полезно тем, кто только собирается пойти по такому пути. Если тема интересна, можете посмотреть и выступление моего коллеги Вадима Зайцева на CDI Tech Conf.
https://habr.com/ru/companies/hflabs/articles/735000/
#db
👉 @database_info
⁉️ Как аналитику обрабатывать данные из разных источников практически в реальном времени?
Узнайте на бесплатном открытом уроке «Как на Spark Structured Streaming работать с данными в HDFS и Kafka?» от OTUS.
💻 На вебинаре:
— узнаем, какие источники данных могут быть обработаны стриминговым API Spark;
— рассмотрим конкретные примеры с данными на HDFS и Kafka;
— разберёмся, как осуществить подключение к таким источникам;
— научимся группировать данные.
👉 Занятие пройдёт 4 декабря в 20:00 мск в рамках курса «Spark Developer». После урока вы сможете продолжить обучение на курсе. Оплата доступна в рассрочку.
🔥 Для бесплатного участия и получения записи регистрируйтесь прямо сейчас: https://vk.cc/csKyNl
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
SQL на примерах
Изучите основные понятия языка структурированных запросов на примерах (ENG/RUS)
SQL (Structured Query Language) – это специальный язык запросов для работы с реляционными базами данных (например MySQL, PostgreSQL, Oracle, MariaDB). SQL-запросы строятся из набора операторов, которые представляют из себя обычные слова английского языка.
https://github.com/cheatsnake/sql-by-example/blob/master/README_RUS.md
#db
👉 @database_info
Как современные базы данных SQL меняют веб-разработку
#1 Serverless & Edge
https://dev.to/zenstack/how-modern-sql-databases-are-changing-web-development-1-serverless-edge-18h8
#2 Новые способы программирования
https://dev.to/zenstack/how-modern-sql-databases-are-changing-web-development-2-new-ways-to-program-enm
#3 Лучший опыт разработчика
https://dev.to/zenstack/how-modern-sql-databases-are-changing-web-development-3-better-developer-experience-2bhl
#4 В эпоху искусственного интеллекта
https://dev.to/zenstack/how-modern-sql-databases-are-changing-web-development-4-into-the-ai-era-532p
#SQL
👉 @database_info
Шпаргалка по основам SQL
#SQL
👉 @database_info
Рекомендации по ведению SQL-кода
В этом материале разберем общие рекомендации по ведению SQL-кода на примере СУБД MS SQL (T-SQL). Однако, многие пункты можно также применить и к другим СУБД.
https://habr.com/ru/articles/779598/
#db
👉 @database_info
REDIS за 2 минуты
0:00 Что такое и как используется?
0:25 Архитектура Redis
0:35 Simple Database
0:41 Redis High Availability
0:50 Redis Sentinel
1:03 Redis Cluster
1:14 Команды Redis
1:38 Паттерны поиска в Redis
2:08 Ещё команды Redis
2:28 Redis Insight a.k.a. GUI для редиса
источник
#db
👉 @database_info
SQL: история, теория и практика
Основы SQL Тема 1.1: История возникновения
Основы SQL Тема 1.2: Нормализация
Основы SQL Тема 1.3: Проектирование схемы данных
Основы SQL Тема 2.1: Операторы и практика работы с запросами
Основы SQL Тема 2.2 : Практика работы с запросами
SQL Тема 3.1: Вложенные запросы
SQL Тема 3.2: Вложенные запросы
SQL Тема 4: Приемы анализа и оптимизации запросов
SQL Тема 5.1: Дополнительные средства некоторых баз данных
Тема 5.2: Дополнительные средства некоторых баз данных
источник
#db
👉 @database_info
Mastering SQL: A Beginner’s Guide
Автор: Sufyan bin Uzayr (2023)
Это книга, предназначенная для тех, кто хочет освоить язык структурированных запросов SQL с нуля и стать опытным пользователем в области работы с базами данных.
Эта книга предлагает пошаговое и всестороннее введение в SQL, начиная с основных концепций и постепенно переходя к более сложным темам. Она предназначена для начинающих, поэтому не требует никакого предварительного опыта в программировании или базах данных.
#db
👉 @database_info
SQL and NoSQL Interview Questions: Your essential guide to acing SQL and NoSQL job interviews
Автор: Vishwanathan Narayanan (2023)
Данная книга призвана познакомить вас с типами вопросов, с которыми вы можете столкнуться на собеседовании, а также дать рекомендации по подготовке и выработке соответствующей стратегии. В книге подробно рассматривается семейство NoSQL и SQL, начиная с фундаментальных основ и заканчивая такими продвинутыми темами, как архитектура, оптимизация и практические примеры использования. Она также включает подборку часто задаваемых вопросов с точки зрения запросов. Кроме того, эта книга призвана помочь вам при внесении изменений в последние минуты. В книге также рассматривается распространенная проблема собеседования - эффективное изложение сложных концепций в ясной и краткой форме, даже если вы хорошо разбираетесь в предмете.
#db
👉 @database_info
MongoDB for Jobseekers: Reach new heights in your career with MongoDB
Автор: Justin Jenkins (2023)
Эта книга предлагает хорошо структурированный подход к пониманию тонкостей этой мощной базы данных NoSQL, начиная с основ и заканчивая продвинутыми концепциями. В книге рассматриваются такие темы, как моделирование схем, формирование запросов, индексирование и масштабируемость, а также раскрываются причины широкой популярности MongoDB. Благодаря наглядным практическим примерам книга поможет быстро освоить фундаментальные концепции и методики, необходимые для работы с MongoDB в реальных условиях.
#db
👉 @database_info
Mastering PostgreSQL 15: Advanced techniques to build and manage scalable, reliable, and fault-tolerant database applications, 5th Edition
Автор: Hans-Jürgen Schönig (2023)
Вы изучите расширенные возможности PostgreSQL, такие как логическая репликация, кластеры баз данных, расширенная индексация и управление пользователями для управления и обслуживания базы данных. Затем вы поработаете с оптимизатором PostgreSQL, настроите PostgreSQL на высокую скорость и перейдете с Oracle на PostgreSQL. Среди других навыков, которые книга поможет вам развить, - транзакции, работа с рекурсиями, работа с данными JSON и JSONB, а также настройка кластера Patroni. Из книги вы узнаете, как повысить производительность с помощью оптимизации запросов. Вы также уделите внимание управлению сетевой безопасностью и работе с резервным копированием и репликацией, изучая полезные расширения PostgreSQL, оптимизирующие работу больших баз данных.
#db
👉 @database_info
Руководство по стилю SQL · SQL Style Guide
Рекомендации, описанные в этом руководстве, во многом пересекаются с описанными в книге Джо Селко «Стиль программирования Джо Селко на SQL» (оригинал: SQL Programming Style). Это, в частности, найдут полезным те, кто уже знаком с этой книгой. Тем не менее автор этого руководства в некоторых аспектах более категоричен, нежели Джо Селко, а в других, напротив, более гибок. И, конечно, нельзя не отметить, что это руководство значительно короче и лаконичнее книги Селко — здесь вы не встретите ни весёлых историй из жизни, наглядно объясняющих, как и почему лучше не делать, ни длинных повествований, мотивирующих на использование той или иной рекомендации.
https://www.sqlstyle.guide/ru/
#db
👉 @database_info
Как быстрее всего передавать данные с PostgreSQL на MS SQL
Однажды мне потребовалось забирать регулярно относительно большие объемы данных в MS SQL из PostgreSQL. Неожиданно выяснилось, что самый очевидный способ, через Linked Server на родные ODBC к PostgreSQL, очень медленный.
https://habr.com/ru/articles/553472/
#db
👉 @database_info
Как работать с данными в 2024 году? Узнайте на VK Data Meetup!
VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях.
Митап 14 декабря посвящен Databases & Storage. Обсудим тренды наступающего 2024 года, разберем особенности реализации масштабных проектов миграции и трансформации хранилищ и баз данных.
⏰ 14.12.2023, 14:30 МСК
⚡️ Регистрация: https://bit.ly/3RpwoNA
В программе
🔹 Тренды хранения данных, актуальные в 2024 году.
🔹 Миграция хранилища на Greenplum с сохранением уровня SLA.
🔹 Разделение слоев Compute & Storage в Hadoop.
🔹 Перенос большого Hadoop-кластера с bare metal на самописную оркестрацию One-cloud.
Приглашаем дата-инженеров, специалистов по DWH, администраторов, архитекторов и разработчиков.
Регистрация: https://bit.ly/3RpwoNA
Памятка/шпаргалка по SQL
Изучение настоящей шпаргалки не сделает вас мастером SQL, но позволит получить общее представление об этом языке программирования и возможностях, которые он предоставляет. Рассматриваемые в шпаргалке возможности являются общими для всех или большинства диалектов SQL.
https://habr.com/ru/articles/564390/
#db
👉 @database_info
SQLite: как организовывать таблицы
Поддерживать порядок в данных - все равно что поддерживать порядок на рабочем месте. Так легче понять, где что лежит, и освободить больше места для хранения или работы.
В настоящее время мир баз данных делится на SQL-библиотеки и NoSQL-библиотеки со своими преимуществами и недостатками. В этом материале мы остановимся на SQL-аналоге баз данных.
https://medium.com/swlh/sqlite-keeping-your-tables-organised-4b6bd2ec962e
#db
👉 @database_info
До сих пор ведёте документацию в аналитике вручную?
Освободите свое время для более важных задач, приходите на бесплатный открытый урок «Документирование по-умному» от OTUS и Алексея Железного – Senior Data Engineer в Wildberries.
На вебинаре вы:
- Познакомитесь с современными принципами и инструментами для документирования и работы с метаданными
- Установите, настроите и изучите отличительные черты одного из представителей
- Выработаете требования и Best Practices к умному документированию
Занятие пройдёт 6 декабря в 20:00 мск и будет приурочено к старту курса «Data Warehouse Analyst». После урока вы сможете продолжить обучение в рассрочку.
Регистрируйтесь бесплатно прямо сейчас и ставьте событие в календарь, чтобы ничего не пропустить: https://vk.cc/csIVdzРеклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru