5485
Новостной канал Devops Deflope от инженеров Экспресс 42 и Флант Для связи @dvpsdflpfdbkbot. Коммерческую рекламу не размещаем.
Вышел Elastic Stack 5.0.0. Про его основные новшества мы писали еще во время релиза беты, но не лишним будет напомнить:
Elasticsearch серьезно прибавил в производительности - до 80% прироста скорости индексирования;
Kibana - код для работы с time series данными перенесен из плагина в ядро приложения;
Kibana - появились scripted поля, в которых можно размещать логику для обработки записей;
Logstash переехал на фреймворк Log4j2;
Metricbeat получил кучу новых метрик, в том числе для cgroups, PostgreSQL и HAProxy.
На самом деле, сообщение о релизе огромное, так что не поленитесь и почитайте, там куча всего нового:
http://amp.gs/T2lc
Fred de Villamil написал о своих экспериментах по реиндексации большого production ElasticSearch кластера без особого снижения его производительности.
http://amp.gs/T3wS
Неплохой мануал от ребят из RancherOS, рассказывающий о плюсах и минусах трех наиболее распространенных систем оркестрации контейнеров Kubernetes, Mesos, и Docker Swarm.
http://amp.gs/TJ61
С новостями сегодня как-то грустно (видимо все расстроились из-за DDoS атаки на Dyn), так что вот вам Mirage - веб-морда для удобного построения запросов к ElasticSearch. Написана на Angular2, умеет быть как веб-приложением, так и расширением для Chrome.
http://amp.gs/TuhW
В Stripe написали in-place замену DogStatsD серверу (сборщику метрик от Datadog) и назвали его Veneur.
Основное отличие от продукта Datadog заключается в наличии возможности агрегации глобальных метрик и построении визуализаций на их основе.
http://amp.gs/TA5J
Опубликовано видео с DevOps митапа "DevOps посиделки #1", напоминаем, митап был про Docker, Amazon и OpenSource.
Выступление Сергея Валиева и Ильи Фомина (Align Technology, Inc.): http://amp.gs/TAL1
Выступление Константина Назарова (Tarantool): http://amp.gs/TALY
Постмортем позавчерашней проблемы Bitbucket, когда их сервис не принимал SSH-авторизации порядка более двух часов. Причина оказалась довольно простой - разные значения MTU в разных частях инфраструктуры, как следствие большая фрагментация пакетов. Мониторинг сработал быстро, но вот инженеры провозились довольно долго, пока не нашли корень зол.
http://amp.gs/TNNr
Про первую в Москве конференцию по DevOps мы уже написали, но на этом не остановимся!
Мы начали готовить знаменитый ивент DevOps Days (http://amp.gs/TNRZ) в Москве. Он уже прошел во многих городах по всему миру и теперь настала очередь Москвы. Мы планируем провести мероприятие в феврале и сделать место встречи всего нашего сообщества.
Чтобы сделать это событие более удобным для вас, заполните, пожалуйста, этот опросник: http://amp.gs/TNRm
Интересная страничка с open-source проектами, разрабатываемыми компанией Disney. Большинство проектов так или иначе относятся к графике и анимации, однако есть и утилита для централизованного менеджмента установленного ПО на OS X клиентах - munki.
http://amp.gs/TSxs
Подоспела пачка видео с AnsibleFest 2016, проходившего в Сан-Франциско.
http://amp.gs/TSpt
Julia Evans ударилась в некое капитанство и опубликовала пару статей с прописными, в общем-то истинами:
Что такое Operations (с точки зрения девелопера): http://amp.gs/TS18
Что такое DevOps: http://amp.gs/TS1T
Aaron Brashears из Twitch рассказал об архетиктуре и нюансах использования большой инсталляции PostgreSQL - около 120 серверов, центральный кластер обрабатывает около 300,000 транзакций в секунду, топология включает в себя несколько регионов в AWS.
http://amp.gs/TOFc
RedHat открыл код Ansible Galaxy - репозитория ролей для Ansible.
http://amp.gs/TO3v
Вот вам небольшой cheatsheet по yarn в формате "команда npm - команда yarn".
http://amp.gs/TUt9
На Хабре опубликовали доклад Игоря Сысоева о best practices управления большими конфигурациями nginx.
http://amp.gs/T2Zw
Alberto Varela озадачился сравнением скорости работы npm и Yarn. Yarn во всех случаях оказался быстрее в 2-3 раза.
http://amp.gs/T3HP
В Github написали хитрую утилиту для сравнения разных версий Puppet манифестов. Программа наглядно выводит различия в выполняемых действиях без необходимости запуска Puppet.
http://amp.gs/TK7R
Mano Marks из Docker написал дашборд, наглядно показывающий состояние Swarm-кластера (количество нод, памяти на каждой ноде, запущенных контейнеров и выполняемых в них процессов).
http://amp.gs/TJ52
Продолжим тему Docker под Windows (раньше все наперебой говорили о Serverless, сейчас материалов про это поубавилось, зато все заполонили статьи про Docker+Windows).
В блоге Docker опубликовали запись вебинара "Docker for Windows Server 2016". Материал довольно общий и обзорный, для вхождения в тему.
http://amp.gs/Tsv0
Netflix зарелизили версию 2.0 своей Chaos Monkey - утилиты для тестирования устойчивости инфраструктуры к авариям.
Что нового:
- Добавлена интеграция со Spinnaker (CD платформой Netflix), теперь можно задавать поведение Chaos Monkey прямо через интерфейс Spinnaker;
- Chaos Monkey теперь умеет сообщать о своих действиях через метрики;
- Теперь приложение может только отключать инстансы. Возможность создания через него нагрузки на CPU, отключения дисков и так далее удалена в новой версии.
http://amp.gs/TAaT
GitHub опубликовали предварительную версию Community Guidelines. Запрещают постить порнуху и рабочие экспойты/малварь. :(
Правки и пожелания от комьюнити принимаются до 20 ноября, потом гайдлайны будут финализированы.
http://amp.gs/TNsj
Michael Hausenblas из Mesosphere написал небольшую утилиту cinf, облегчающую просмотр namespaces и cgroups, что может быть полезно при разбирательстве с различными проблемами с контейнерами.
http://amp.gs/TNOv
В блоге RHEL опубликовали полезную статью о Linux Capabilities и о том, как с помощью управления ими можно повысить безопасность вашего Docker контейнера, урезав его в правах.
http://amp.gs/TNVB
Bruno Terkaly из Microsoft выложил здоровенный обзор (143 слайда с дополнительными пояснениями) сервисов, предоставляемых Microsoft Azure.
http://amp.gs/TSB5
Компания Express 42 проводит двухдневный(18—19 ноября) практический курс «DevOps и Continuous Delivery с использованием Docker»
На курсе вы пройдете весь путь от создания первого контейнера до непрерывной поставки ПО в микросервисной архитектуре.
Регистрация уже открыта!
http://amp.gs/TSYC
Команда DevOps Pro Moscow 2016 приглашает вас на первую конференцию по DevOps, которая будет проходить в отеле Бест Вестерн Вега в Москве, 15 ноября 2016 года. На конференции будет много иностранных докладчиков и также завсегдатаи из нашей группы. Если купить билеты сейчас, то можно купить билеты на 30% дешевле. Сайт конференции http://amp.gs/Trn2
Читать полностью…
Amazon и VMware начали предоставлять совместную услугу по размещению VMware Cloud в инфраструктуре AWS, позволяя использовать как технологии VMware (vSphere Hypervisor, Virtual SAN, NSX network virtualization platform), так и AWS.
http://amp.gs/TO2H
На highscalability опубликовали видеозапись, слайды и конспект выступления Matt Ranney, Chief Systems Architect из Uber. Выступление посвящено урокам, полученным в ходе взрывного роста инфраструктуры Uber (по состоянию на апрель 2016 года у них работает 2000 инженеров над примерно тысячью сервисов и 8000 репозиториев, при том, что полтора года назад у них было всего 200 инженеров).
http://amp.gs/TUpI
Kubernetes написали в своем блоге небольшую статью о Helm Charts - "рецептах" по разворачиванию приложений в кластере Kubernetes. Статья кратко покрывает вопросы как создания новых Charts, так и процесс их установки.
http://amp.gs/TU1I