5485
Новостной канал Devops Deflope от инженеров Экспресс 42 и Флант Для связи @dvpsdflpfdbkbot. Коммерческую рекламу не размещаем.
Красивая штука для отображения графа взаимосвязей security groups в AWS.
https://goo.gl/VwnUXa
GitHub: https://goo.gl/9DRVaa
Плюс в эту же тему скрипт для поиска неиспользуемых security groups в AWS.
https://goo.gl/t1bbxM
pspg — красивый pager для psql и mysql клиентов.
Поддерживает темы, изменение ширины столбцов, скроллинг и многое другое.
https://goo.gl/Qt2nNY
Небольшая заметка про сравнение использования Packer для AWS и Azure.
https://goo.gl/urJL91
Ну и в завершении сегодняшних постов шикарный мануал по Git, который разбит на простые сценарии и их решения, например: «Oh shit, I accidentally committed something to master that should have been on a brand new branch!» ヅ
https://goo.gl/yLLgGx
Хорошее summary отличной книги DevOps Handbook в четырех частях в блоге Russell Wangler.
https://goo.gl/9ZBJ19
И курс на edX, основанный на этой книге, читает один из авторов, John Willis:
https://goo.gl/qVWSRF
Плюс интересная подборка различных материалов по DevOps.
https://goo.gl/5b2k4V
Привет, как вы знаете, мы в Express 42 читаем онлайн курсы по Devops на площадке OTUS. Уже 28 ноября начнётся наш онлайн курс «DevOps практики и инструменты», который будет длиться 5 месяцев, студенты освоят современный стек технологий и приобретут навыки, которые котируются на международном рынке труда.
А завтра, 22 ноября в 20:00 MSK мы проведем День Открытых Дверей, где расскажем о курсе и о процессе обучения. Среди всех, кто успешно пройдет тестирование, мы разыграем бесплатные места в группу 28 ноября.
Информация о курсе и тест — https://goo.gl/1Mr6Ho
И в завершении пятницы шикарный чеклист от Gruntwork, который всегда поможет когда падает прод ヅ
https://goo.gl/PhUyvc
PDF версия: https://goo.gl/bW1yAU
GitHub анонсировали security alerts.
Данный функционал анализирует граф зависимостей проекта и оповещает о найденных уязвимостях.
Пока что поддерживаются только Javascript and Ruby.
https://goo.gl/ub7BPy
Прекрасная серия статей про SRE Golden Signals.
Объясняется само понятие, различные подходы и приведены примеры для различных сущностей:
Load Balancers — AWS ALB/ELB, HAProxy
Web Servers — Apache & Nginx
App Servers — PHP, FPM, Java, Ruby, Node, Go, Python
Database Servers — MySQL & AWS RDS
Linux Servers
https://goo.gl/Hsxgnj
Отличное выступление CARL BERGQUIST из Grafana Labs на Øredev 2017 про мониторинг, observability, логирование, трейсинг и метрики.
https://goo.gl/3tT17B
CNCF вчера анонсировала программу Certified Kubernetes Conformance Program. Платформы, получившие данную сертификацию обеспечивают консистентное и переносимое выполнение приложений.
Сертифицированы уже 32 платформы, включая Google Kubernetes Engine и Azure ACS-Engine.
https://goo.gl/qxNRWp
Свежая статья в блоге Brendan Gregg про «Brilliant Jerks» и то, как они разрушают атмосферу внутри компаний.
https://goo.gl/WWpDhv
https://goo.gl/12s58Q
Вышел 38-й выпуск подкаста DevOps Deflope! Мы зашли на HighLoad++ 2017 и взяли интервью у некоторых докладчиков.
https://goo.gl/PBcnDs
Несколько дней назад MongoDB обновилась до версии 3.6 и теперь по умолчанию она принимает подключения только на localhost, что должно уменьшить масштаб проблемы с кучей публично доступных инсталляций монги.
https://goo.gl/b3hcDN
Анонс: https://goo.gl/GGEg4U
И прекрасная новость.
Сегодня анонсировали Prometheus 2.0
Из основных нововведений:
— новый движок TSDB
— уменьшение потребления CPU на 20%-40%
— уменьшение потребления дискового хранилища на 33%-50%
— улучшение обработки staleness сервисов
— правила алертов теперь описываются в YAML
— встроенная поддержка snapshot backups всей базы
https://goo.gl/QZ9rWP
Также стоит упомянуть про PromHouse — долговременное remote хранилище для Prometheus с хранением данных в ClickHouse. Пока еще не production-ready.
https://goo.gl/juYVNG
Начало серии блог постов от SRE из компании Xero про инцидент менеджмент и механизм on-call.
https://goo.gl/6vHdH3
В продолжение темы мониторинга. На портале InfoQ в предверии выхода новой книги Mike Julian «Practical Monitoring» вышел ее обзор и интервью с автором.
https://goo.gl/h71EtE
Книга: https://goo.gl/atVDoY
Для Observability уже образуются Best Practices, и о них идет речь в новой статье в блоге Honeycomb.
https://goo.gl/aPDKS1
Плюс заметка по мотивам недавнего выступления Cindy Sridharan про Observability и Monitoring
https://goo.gl/6VgeVk
Kelsey Hightower, широко известный автор прекрасного туториала Kubernetes The Hard Way, опубликовал новый туториал под названием pipeline.
В процессе прохождения вы создаете end-to-end deployment pipeline с использованием Cloud Container Builder, GitHub, и нескольких кластеров Kubernetes.
Различные окружения используют различные кластера Kubernetes.
Все выполняется в облаке Google Cloud Platform.
https://goo.gl/81fxTq
На выходных вышла новая версия Terraform — 0.11
Из основных изменений:
— улучшенная интеграция с Terraform Registry, теперь возможно версионирование модулей и поддерживаются private registry
— провайдеры теперь можно конфигурировать отдельно для каждого модуля
— ну и кардинальное изменение работы команды terraform apply.
Теперь по умолчанию apply запрашивает подтверждение действий. А с другой стороны, отпала необходимость в terraform plan. Для возврата старого поведения необходимо использовать опцию -auto-approve=true
https://goo.gl/ckhWGg
Также не лишним будет привести ссылку на официальное руководство по применению terraform в автоматизации
https://goo.gl/SrbcdQ
В тему необычных вещей.
В то время, когда все больше проектов мигрируют в публичные облака, компания antsle внезапно продвигает идею локального облака из одного сервера.
По сути, они разрабатывают и продают небольшой сервер с пассивным охлаждением и веб интерфейсом для запуска виртуальных машин в KVM и контейнеров LXC. Функционирует все на antsleOS, которая основана на Gentoo.
https://goo.gl/TdWKP6
GitHub antsleOS: https://goo.gl/PukaGC
Отличное описание процессов, которые происходят в Kubernetes когда например выполняется деплой приложения.
https://goo.gl/FNeURM
И еще интересная подборка фактов из серии «What happens when…»
https://goo.gl/QKh89b
Вчера практически синхронно были сделаны анонсы функционала для групповой работы в Visual Studio Code и Atom.
И если Microsoft только обещает скоро его выпустить, то Teletype для Atom уже доступен, хоть и в бете.
Анонс Visual Studio Live Share: https://goo.gl/RGDuhZ
Анонс Teletype(beta) for Atom: https://goo.gl/EGJ688
Свежая статья в блоге Turbine Labs, в которой они рассказали про переход с Nginx на Envoy и причины этого решения.
https://goo.gl/9a6gJW
Grafana Labs совместно с Azure team разработали плагин для получения метрик из облака Microsoft Azure.
https://goo.gl/9g6ycb
Jaana B. Dogan, инженер из Google, вчера опубликовала статью про подход к observability в Google.
https://goo.gl/PvoiUk
Отличная подборка материалов по дизайну отказоустойчивых систем. С графиками, ссылками на доп. материалы и карточками Anki для изучения.
Есть также перевод на русский.
https://goo.gl/kreXbJ
webhook — простая утилита на Go для создания веб хуков.
С ее помощью удобно организовывать взаимодействия различных сервисов.
https://goo.gl/FsK2VC
В копилку странных вещей:
Converge — configuration management tool, написанная на Go и использующая HCL для описания конфигурации.
https://goo.gl/QVU6Vi
Интересная новость. Amazon анонсировали новый тип EC2 инстанса в AWS — C5, более производительный и дешевый по сравнению с C4.
Так вот, оказывается, что для этих инстансов Amazon начала использовать гипервизор KVM вместо привычного XEN.
https://goo.gl/s6aaYX
Анонс в AWS: https://goo.gl/2vF4ZZ