5485
Новостной канал Devops Deflope от инженеров Экспресс 42 и Флант Для связи @dvpsdflpfdbkbot. Коммерческую рекламу не размещаем.
Amazon запустили новый load balancer - ALB (Application Load Balancer). Он заточен под микросервисы и контейнеры и позволяет перенаправлять трафик на разные инстансы, основываясь на содержимом HTTP-запросов. Например, запросы к адресу /api будут перенаправляться на один сервис, а к адресу /mobile - на другой. Также добавлена поддержка WebSocket и HTTP/2, имеются healthcheck'и.
"Старый" ELB по-прежнему остается доступен для использования.
http://amp.gs/8EsF
Мы вам, наверное, уже надоели с этим serverless, но мы не можем остановиться. Вот вам 10 часов видеодокладов с майской Serverlessconf - NYC 2016.
http://amp.gs/8giT
Инженеры Treasure Data опубликовали разбор проблем, связанных со сбором логов в микросервисной инфраструктуре. Ну и порекламировали свой Fluentd в конце статьи, конечно.
http://amp.gs/8gNj
Инженер Google Kelsey Hightower написал (в свободное время, программа не является официальным проектом Google) утилиту для управления сертификатами Let's Encrypt в рамках кластера Kubernetes.
http://amp.gs/8vdw
Netflix открыли код vizceral - компоненты для визуализации потоков траффика на уровне сервисов, серверов и датацентров.
http://amp.gs/8hr7
Github представили свою утилиту для MySQL online schema migration - gh-ost. От аналогов она отличается отсутствием использованиz триггеров, легковесностью, возможностью приостановить миграцию, а также менять ее параметры на лету.
http://amp.gs/8yii
Еще пара материалов с разбором проблем PostgreSQL, приведшим к миграции Uber на MySQL.
Дискуссия между разработчиками PostgreSQL в их рассылке: http://amp.gs/8yAc
И отдельный пост от Simon Riggs, одного из разработчиков PostgreSQL: http://amp.gs/8yA6
Новость для тех, кто(все еще) использует zabbix. Появилась cli утилита zabbixctl. С ее помощью можно посмотреть список сработавших триггеров, latest data и управлять пользователями.
http://amp.gs/8762
Хорошая публикация с разбором статьи Uber о их переходе с PostgreSQL на MySQL. Обозрены некие недомоловки из оригинальной статьи и более четко обозначен фокус проблем.
http://amp.gs/87lP
Забавная (но довольно бесполезная) аналитика от David Gageot. Он взял Google BigQuery, данные о всех публичных репозиториях Github и начал анализировать.
Например, он выяснил, что самым популярным base image является ubuntu:14.04 (используется примерно в каждом десятом Dockerfile), а всего Dockerfile содержится примерно в 1% всех публичных Github репозиториев.
Остальные факты и примеры запросов вы можете посмотреть здесь: http://amp.gs/87YA
Инженеры Datadog написали замечательную статью про анти-паттерны построения графиков для мониторинга. Большинство советов, правда, сводится к простому "не сваливайте все в одну кучу".
http://amp.gs/8exb
Автор Goss (serverspec-like утилиты для валидации конфигурации сервисов и проведения healtcheck'ов) опубликовал статью, рассказывающую о том, как решить с помощью его утилиты ряд ограничений Docker и Kubernetes.
Например: запускать healthcheck, включающий в себя несколько команд (директива HEALTHCHECK в Dockerfile этого не позволяет) или запускать Docker-контейнер/Kubernetes-под только после запуска всех сервисов, от которых он зависит.
http://amp.gs/8elH
На SlideShare выложили презентацию с различными архитектурами Docker Continuous Delivery. К каждой схеме есть ссылка на пост с подробным описанием деталей.
http://amp.gs/8kPp
Дмитрий Зайцев из OneFactor опубликовал на Хабре туториал по использованию Hashicorp Vault - key-value хранилищу приватных данных, позволяющему гибко настраивать политики доступа к секретам.
http://amp.gs/8kCO
Дмитрий Франк опубликовал неплохую шпаргалку по Docker (к сожалению, не затронуты команды оркестрации, но вы всегда можете послать Pull Request).
http://amp.gs/8C4z
Uber презентовал uMirrorMaker - собственную замену ванильного Kafka MirrorMaker, инструмента для репликации данных из одного кластера Kafka в другой.
Реализация от Uber решает проблемы с даунтаймом во время ребалансинга, упрощает добавление новых топиков для репликации и гарантирует zero data loss.
Также в статье рассмотрены альтернативные решения с использованием Apache Samza и Apache Helix.
http://amp.gs/8Eqk
Если вам очень интересно посмотреть на Vizceral (мы писали про него позавчера, это компонента от Netflix для визуализации трафика между сервисами, нодами и датацентрами), но лень писать для него обвязку, то Gergo Horanyi подготовил для вас прототип сервиса, визуализирующий траффик между Docker контейнерами в Swarm кластере.
Для сбора данных о нодах в кластере используется самописный агент (репозиторий на Github почему-то недоступен, но образ есть на Docker Hub), а для сбора и хранения данных о трафике - Packetbeat+Elasticsearch.
http://amp.gs/8gAJ
И продолжая тему Kubernetes. В блоге CoreOS опубликовали мануал по мониторингу кластера Kubernetes с помощью Prometheus.
http://amp.gs/8vSC
На Ponyfoo опубликовали неплохое руководство для подготовки качественного Pull Request, следуя которому вы облегчите жизнь разработчикам и повысите шансы на принятие ваших изменений в основную кодовую базу проекта.
http://amp.gs/8vUB
Вышла запись Syscast Podcast с главой core team Ansible James Cammarata. Поговорили о push/pull сценариях работы, поглощении Ansible Red Hat'ом, сравнении с другими системами управления конфигурациями и многом другом.
http://amp.gs/8hds
Docker запустили свой подкаст - Dockercast. Вести его будет John Willis - один из авторов DevOps Cafe Podcast.
Анонс в блоге Docker: http://amp.gs/8ysT
Ссылка на RSS: http://amp.gs/8ysz
Вслед за новым Apache Mesos вышла новая версия DC/OS - операционной системы, позволяющей взаимодействовать с кластером машин как с единой системой.
Основные новшества:
UI Marathon интегрирован в основной UI DC/OS, теперь не надо лезть в дебри интерфейса, чтобы увидеть Marathon таски;
Добавлен Metronome - фреймворк для запуска задач по расписанию. Он заменяет Chronos, который, при желании, все равно можно поставить из Universe;
Появилась возможность выделять IP для контейнеров и создавать изолированные виртуальные сети;
Упрощена установка dcos cli-утилиты. Теперь она поставляется в виде одного бинарного файла.
Release notes: http://amp.gs/8PI1
Обзор новой версии в DC/OS office hours: http://amp.gs/8PIz
На Github выложили первую часть списка ресурсов для подготовки к сертификации AWS. Список пока охватывает только AWS solutions architect - Associate exam, но уже получился довольно внушительным.
http://amp.gs/87cX
В блоге Docker опубликовали статью, подробно рассказывающую о взаимодействии компонентов кластера, а также об алгоритмах добавления ноды, создания и обновления сервиса.
В конце статьи есть ссылки на пару видеопрезентаций об архитектуре нового Swarm.
http://amp.gs/87Zm
На The Next Platform вышла статья о том, что же вообще такое Serverless (спойлер: serverless doesn't really serverless), а также о том, какие выгоды такая архитектура может принести бизнесу.
Статья обзорная, больше про общие рассуждения, нежели про технологии, но в конце есть полезная ссылка на примеры архитектур с использованием AWS Lambda.
http://amp.gs/87zs
Состоялся релиз Terraform 0.7 - утилиты от Hashicorp для описания инфраструктуры и ее развертывания в облачных (и не только) провайдерах.
Ключевые изменения:
Import - Terraform научился импортировать существующую инфраструктуру в файл - может быть полезно в случае создания части инфраструктуры руками;
Data sources - аналогично предыдущему пункту, Terraform научился получать данные из внешних источников для последующего использования их в конфигурации. Например, вместо хардкодинга aws_ami можно заставить Terraform получать его динамически;
State - появился набор сабкомманд для работы со state-файлами (раньше их приходилось править вручную);
List and Map - в конфигурациях стало возможным использовать массивы, в том числе и ассоциативные.
http://amp.gs/8enw
Platform9 (фирма, предоставляющая managed OpenStack облака как сервис) презентовала свой новый продукт: managed Kubernetes кластер. Ребята берут на себя все вопросы по конфигурированию, обслуживанию и мониторингу кластера: http://amp.gs/8epl
На основе своего опыта эксплуатации Kubernetes в продакшене, инженеры Platform9 написали статью о сложностях использования этой платформы: http://amp.gs/8epp
Мы тут немного упустили, извиняемся. 26 июля вышел релиз 2.0.0 платформы для распределенной обработки данных Apache Spark.
Основные изменения:
API переработано в сторону большей унификации: объединены DataFrames и Datasets, добавлена универсальная входная точка SparkSession, упрощено Accumulator API;
Значительно (до 10 раз по сравнению со Spark 1.6) увеличено быстродействие на некоторых операциях;
Добавлено Structured Streaming API (пока альфа-версия, незначительно расширяющая DataFrame/Dataset API).
Официальные Release Notes: http://amp.gs/8key
Сообщение в блоге Databricks, включает в себя подробное сравнение быстродействия Spark 1.6 и 2.0: http://amp.gs/8ke7
Если вы поддерживаете свои публичные (или часто пользуетесь чужими) Docker Images, вам может пригодиться MicroBadger: сервис, который предоставляет детальную информацию об используемых слоях, лицензии и истории версий, а также позволяет встраивать бэйджи с этими данными в свой репозиторий.
Раньше сходную информацию предоставлял ImageLayers, но он последнее время не работает.
http://amp.gs/8CUJ
DevOps Library выпустили (и планируют продолжить углубляться в тему) большой курс по Jenkins.
Курс представляет собой цикл видео и текстовых мануалов, разбирающий тот или иной аспект этой CI системы. Итоговой целью курса является подготовка слушателей к CCJPE (Certified CloudBees Jenkins Platform Engineer).
Также на их сайте есть обзорные уроки по ELK, Vagrant, Docker, и, внезапно, SaltStack.
http://amp.gs/8CE6