5485
Новостной канал Devops Deflope от инженеров Экспресс 42 и Флант Для связи @dvpsdflpfdbkbot. Коммерческую рекламу не размещаем.
Несколько месяцев назад мы писали про эксперимент Swarm2k - (удачную) попытку запуска Swarm-кластера из 2000 нод. Недавно, Chanwit Kaewkasi запустил новый эксперимент - Swarm3k, в ходе которого было запущено порядка 4700 нод.
http://amp.gs/zmOY
Вышел InfluxDB 1.1.
Основные изменения:
- Серьезно увеличена производительность (выигрыш до 60% на некоторых операциях);
- Улучшена стабильнось, теперь OOM ошибки должны появляться значительно реже;
- Добавлены операции fill(linear) и cumulative_sum() в язык запросов;
- Теперь в SELECT запросах можно использовать регулярные выражения для полей;
- Встроенная админка теперь deprecated. Она отключена по умолчанию и будет окончательно удалена в следующем релизе. Авторы рекомендуют использовать Chrongraf или Grafana.
http://amp.gs/zYbY
Amazon RDS теперь поддерживает PostgreSQL 9.6.1. Как-то даже и добавить нечего по этому поводу.
http://amp.gs/zYaA
Alberto García L. рассказал как построить деплой приложения, состоящего из нескольких микросервисов с помощью GitLab, Helm и Kubernetes. Для планирования и тестирования взаимодействия между микросервисами используются Consumer Driven Contracts - наборы спецификаций, создаваемые командами, которые отвечают за сервисы-консьюмеры (сервисы, получающие данные от других сервисов).
http://amp.gs/z1Sg
Появились видео с Serverlessconf London 2016, проходившего в конце октября.
https://www.youtube.com/playlist?list=PLnwBrRU5CSTmM4OsUzDaog2pqadQSxKBv
Немного бесполезной статистики. Docker-образ Ubuntu пуллят в среднем 5 раз в минуту. А Docker-образ Alpine - в среднем 8,4 раз в минуту.
http://amp.gs/z8aX
Вышла первая бета Grafana 4.0 - системы для визуализации (а теперь и мониторинга) метрик, которые система может забирать из Graphite, Prometheus, InfluxDB и OpenTSDB.
Что нового:
- Алерты! Это одна из самых ожидаемых фич в Grafana. Теперь можно задать пороговые значения метрик, при которых будет отправляться уведомление в Slack или PagerDuty, на почту или через вебхук. А еще на дашборде будет зажигаться красное разбитое сердечко. Добавлена отдельная Alert List Panel для сбора всех алертов в одном месте, в будущем обещают добавить алертинг не только по превышению порога метрики, но и зависимости от других алертов, а также от времени суток;
- Ad-Hoc Filters. Появилась возможность фильтровать данные прямо на графике;
- Добавлены TV-mode и Kiosk mode;
- Переработан в сторону удобства интерфейс создания дашбордов.
- При всем этом, обеспечена совместимость с предыдущей версией Grafana. Все старые дашборды продолжат работать как обычно.
http://amp.gs/zjRM
Статья от “The HFT Guy” вызвала бурное обсуждение на реддите и других технических ресурсах, и некоторые люди сочли необходимым подвергнуть ее критическому анализу. Вот вам один из примеров от Patrick Robinson, признающего часть проблем Docker, но вместе с тем отмечающего, что статья очень субъективна.
http://amp.gs/zIZZ
Сегодня и завтра нас практически не будет в эфире из-за HighLoad++ 2016. Но зато, если вы тоже туда едете - вы сможете пожать нам руку! :)
Надеемся на ваше понимание.
The New York Times рассказали об архитектуре своих микросервисов для перекодирования и публикации видео. Также, в посте прилагаются ссылки на открытые компоненты для работы с видео, написанные NY Times.
http://amp.gs/Togn
Peter Sprygada рассказал в блоге Ansible об основных изменения в версии 2.2 и кратко затронул планы на версию 2.4.
http://amp.gs/TWMh
Вышел Ansible 2.2.
Основные новшества:
- серьезные улучшения в производительности;
- добавлена поддержка бинарных модулей;
- meta таски теперь поддерживают условия;
- добавлена meta таска 'end_play', позволяющая закончить плей;
- теперь можно подключать роли прямо посреди списка тасок с помощью include_role;
- факты для Windows частично приведены в соответствие с форматом фактов для Unix-систем;
- почти завершен переход на Python 3, фича находится в статусе Tech Preview
- ну и куча новых модулей, в частности появились win_command и win_shell
http://amp.gs/TLAY
В блоге Docker опубликовали несколько "страшных" историй (вчера же был Хеллоуин) о том, как Docker сделал всем хорошо.
http://amp.gs/TLUZ
В блоге Docker опубликовали запись вебинара, посвященного Image2Docker - утилиты для создания docker-образов из виртуальных машин с Windows.
http://amp.gs/TXn8
Mark Corwin написал статью (первую из двух) про работу с Vault - системой для управления приватными данными от HashiCorp. В первой статье рассказывается об общей архитектуре приложения и о выборе стратегии хранения данных, в следующей будет рассказано о конкретных вопросах эксплуатации Vault.
http://amp.gs/TXmY
Matthew Hodgkins написал мануал о том, как тестировать роли Ansible для Windows с помощью Test-Kitchen. Мануал, скажем так, немного странный - например, Test-Kitchen предлагается ставить с помощью ChefDK, но в целом работа с этим инструментом описана нормально.
http://amp.gs/zmRE
Презентация с полезными советами от Mark Imbriaco - бывшего руководителя Ops-команд в GitHub, Heroku, DigitalOcean и 37signals.
http://amp.gs/zY5A
В блоге DatadogHQ опубликовали серию статей об организации мониторинга кластера Kubernetes. Серия состоит из 4 частей, в первых трех рассказывается о различных метриках продукта и способах их сбора, а в последней - о том, как классно все это собирать с помощью Datadog.
http://amp.gs/zYXf
Больше картиночек от Julia Evans! На этот раз она решила попробовать рисовать по картинке в день на протяжении всего ноября. Тематика - различные аспекты устройста Linux.
http://amp.gs/z1O8
Если вы не знали, у Docker есть скрипт docker-bench-security, позволяющий проверить ваш образ на соответствие best practices по использованию Docker в продакшене.
Denny Zhang прошелся по этим best practices и объяснил, зачем они нужны и что означают.
http://amp.gs/z8ML
Riot Games рассказали, как они используют Docker у себя в продакшене. Как это нынче модно, они взяли и написали свой scheduler - Admiral, все имеющиеся на тот момент продукты их не устроили. Однако, кажется, они одумались и теперь постепенно переходят на DC/OS.
http://amp.gs/z8Li
На TheNewStack вышел конспект доклада Greg Pryzby на OpenStack Summit, посвященного использованию 12-factor methodology в разработке программых продуктов.
http://amp.gs/zIlQ
“The HFT Guy” (SRE и девелопер из Лондона, ведущий свой блог на темы облаков и devops тулсета) поделился своей болью от использования Docker в продакшене. Используя Docker с версии 1.6 он столкнулся со значительным количеством проблем (нестабильные storage drivers, проблемы с aufs, overlay, самые различные баги в самом docker).
http://amp.gs/zIYs
Joakim Recht из Uber написал пост о том, как (и зачем) в Uber докеризируют MySQL. Описано довольно много нюансов и подводных камней, так что статья будет полезна тем, кто раздумывает о том, как бы загнать MySQL кластер в Docker.
http://amp.gs/To9E
В блоге LinkedIn опубликовали первый пост из серии "Engineering Infrastructure at Scale", рассказывающей о том, как устроена инфраструктура и выстроены инженерные процессы в LinkedIn. Первый пост - обзорный, посвященный краткому описанию основных четырех приложений проекта (Desktop и Mobile сайты, плюс нативные приложения под iOS и Android), а также обзору процесса разработки.
http://amp.gs/Toys
git-watch - небольшой сервис для Continuous Deployment, позволяющий запускать определенные действия по пушу в мастер. Пока поддерживается только Github, в будущем планируется добавить GitLab и BitBucket.
http://amp.gs/TLi6
Julia Evans рассказала о том, как устроен Service Discovery в Stripe, как обычно, с веселыми картинками. У них используется связка Consul+HAProxy, Consul осуществляет discovery, генерирует конфиг HAProxy и все DNS обращения к сервисам идут через него.
http://amp.gs/TLS8
Condoвый, 31-ый выпуск Devops Deflope. Мы пригласили автора(http://twitter.com/prepor) condo поговорить о condo :)
http://amp.gs/TXUY
Небольшой обзорный материал от Derick Bailey о том, что представляет собой RabbitMQ. Статья не содержит в себе особых технических подробностей и рассчитана на тех, кто до этого не работал с брокерами сообщений.
https://derickbailey.com/2016/10/12/what-is-rabbitmq-what-does-it-do-for-me/
Инженеры Datadog добавили в свою систему мониторинга возможность расширенного детектирования аномальных значений в метриках. Система анализирует данные за длительный промежуток времени, строит аппроксимированные кривые и сигнализирует, когда данные сильно выбиваются из этих кривых.
http://amp.gs/TXYT