5485
Новостной канал Devops Deflope от инженеров Экспресс 42 и Флант Для связи @dvpsdflpfdbkbot. Коммерческую рекламу не размещаем.
Let’s Encrypt анонсировали полную поддержку IPv6.
http://amp.gs/8Cg1
Вышел Docker 1.12.
Важные новшества по сравнению с предыдущей версией:
Оркестрация. Появились команды swarm для управления кластером, node для управления нодами и service для деплоя контейнеров в кластер;
В Dockerfile добавлены директивы HEALTHCHECK и SHELL, для проверки приложений и задания дефолтной оболочки соответственно;
Серьезные улучшения в сетевой части: MacVlan драйвер перестал быть экспериментальным, добавлен load-balancing, добавлено шифрование к overlay-сетям.
http://amp.gs/8x2p
Нидерландская компания DutchCoders собрала все AWS API в удобную таблицу с возможностью поиска и фильтрации: http://amp.gs/8xmr
Аналогичная таблица есть и для EC2 инстансов: http://amp.gs/8xmO
Ребята из Substrakt выложили в открытый доступ свою утилиту для генерации LetsEncrypt сертификатов для Heroku.
http://amp.gs/8G6m
В блоге Deis (Heroku-подобный open source PaaS на базе Kubernetes) опубликовали разбор работы хранилища образов, volumes, механизма copy-on-write и различных storage drivers. Материал не сильно глубокий, но будет очень полезен тем, кто только начинает разбираться с Docker.
http://amp.gs/8Gn8
Перепроверьте настройки своих Docker Registry. Специалист по безопасности avicoder "хакнул" инфраструктуру Vine (сервис для загрузки коротких видео, куплен Twitter) и получил доступ к docker-образам компании, содержащим, в том числе, и исходный код сервиса.
Ну, хакнул - это конечно громко сказано. Выяснилось, что инженеры Vine попросту не закрыли публичный доступ к своему registry, и тот был свободно доступен по публичному адресу в интернете.
В итоге все кончилось хорошо - registry прикрыли, avicoder получил 10000$ по bug bounty.
http://amp.gs/8GmP
Цикл из двух статей от инженеров Uber про их технологический стек.
Часть первая, про платформу: http://amp.gs/8nPk
Часть вторая, про приложения и маркетплейс: http://amp.gs/8nPe
Вышел Ansible Tower 3 (http://amp.gs/8nfW) - enterprise решение для управления инфраструктурой. Tower предоставляет веб-интерфейс для Ansible, позволяющий просматривать отчеты о деплое, разграничивать доступ к разным частям инфраструктуры и управлять заданиями и нодами прямо из браузера.
Среди новшеств отмечается: более удобная система прав и ролей, встроенный механизм нотификаций в Slack, HipChat, PagerDuty, Twilio, IRC и на почту, интеграция с Red Hat Satellite и Red Hat CloudForms.
http://amp.gs/8nfL
Отличная статья от мейнтейнера www.devopsbookmarks.com про ряд заблуждений, которые могут привести вас к тому самому состоянию over-engineering'а в вашем проекте, которое мы все всегда стараемся избежать.
http://amp.gs/8BUH
По этому поводу неплохо будет вспомнить прошлогоднюю статью от инженеров Etsy, подробно разбирающую процесс постмортемов в их компании: http://amp.gs/8B9V, а также их php-сервис morgue, предназначенный для удобного восстановления последовательности событий аварии: http://amp.gs/8B9U
Читать полностью…
Ребята из 2ГИС опубликовали на Хабре хороший сборник трюков, помогающих облегчить работу с Github: от способа быстрого получения публичного ключа пользователя до небольшого мануала по консольному клиенту Hub.
http://amp.gs/8Bzs
Обучающий портал http://amp.gs/8pQK опубликовал курс по оркестрации в Docker 1.12. http://amp.gs/8pQu
Помимо докера, есть курсы по Kubernetes, Jenkins, Terraform, Mesos и куче другого софта, всего около 40 курсов.
Сами курсы бесплатные, не очень глубокие, но могут пригодиться тем, кто только начинает разбираться во всей этой кухне. Монетизироваться ребята собираются, судя по всему, через платные углубленные воркшопы.
Ладно, вернемся к нашему девопсу. Arun Gupta из Couchbase написал статью про мониторинг Docker контейнеров. В ней описываются как простые средства (docker stats и docker api), так и сложные утилиты, такие как cAdvisor и энтерпрайзный Docker Universal Control Plane.
http://amp.gs/8ppc
Европейская комиссия (исполнительный орган Евросоюза) проведет аудит безопасности вебсервера Apache и менеджера паролей Keepass. Аудит будет проводиться в рамках пилотного проекта EU-FOSSA, и при успехе пилота можно будет ожидать аудита большего числа программных продуктов силами государственных институтов Евросоюза.
http://amp.gs/8pmL
Вышел Prometheus 1.0. Релиз направлен на стабилизацию API и UI, авторы обещают отсутствие кардинальных изменений в API на протяжении всех релизов ветки 1.x этой системы мониторинга.
http://amp.gs/8Zvl
Casey Bisson из Joyent написал полезную статью про хранение данных в рамках stateless инфраструктуры. Из важных моментов стоит отметить рассказ о том, как привести MySQL к stateless.
http://amp.gs/8xFV
Вышел Apache Mesos 1.0. Mesos - это платформа для управления кластером, позволяющая запускать распределенные приложения, абстрагируясь от вычислительных ресурсов отдельных машин, а также динамически управлять их размещением. Система горизонтально масштабируется вплоть до нескольких тысяч узлов. Поддерживается работа с Hadoop, MPI, Hypertable и Spark.
Особенности новой версии:
Новый HTTP API, упрощающий создание фреймворков для работы с Mesos;
Унифицированная система работы с контейнерами, позволяющая запускать Docker/Appc контейнеры без непосредственного обращения к docker engine или rkt;
Механизм изоляции контейнеров (предложенная проектом CoreOS спецификация CNI - Container Network Interface). С ее помощью контейнерам можно выделять адресное пространство и подключать их к разным типам IP-сетей;
Поддержка использования Nvidia GPU в качестве ресурсов для унифицированных Mesos-контейнеров;
Добавлена авторизация и аутентификация для многих методов API;
Добавлена поддержка Windows (пока в статусе бета).
Новость в блоге Apache Foundation: http://amp.gs/8xZ5
Полный Changelog (осторожно, очень много текста): http://amp.gs/8xZQ;a=blob_plain;f=CHANGELOG;hb=1.0.0
Инженеры из Confluent написали пару статей про работу с Kafka Streams (библиотеки для stream processing, способной в ряде случаев заменить Apache Spark, обзорный пост можно прочитать здесь: http://amp.gs/8xIg).
Масштабирование приложений на Kafka Streams: http://amp.gs/8xI4
Безопасность Kafka Streams: http://amp.gs/8xI9
На канале Badoo Development опубликовали видео докладов с прошедшей в июне DevConf 2016
https://www.youtube.com/playlist?list=PL3xVZC4USRNSwvepfo1BGOP5KWx6h9-vp
Вышел в свет Dependency CI - сервис для проверки зависимостей ваших проектов. Dependency CI интегрируется в Github workflow и осуществляет контроль за лицензиями используемых в проекте библиотек. Также он умеет находить неподдерживаемые (deprecated и unmaintained) библиотеки и зависимости с уязвимостями.
http://amp.gs/8Gpo
Компания Galactic Fog анонсировала Gestalt, фреймворк для деплоя serverless приложений в DC/OS кластер. Поддерживаются приложения, написанные на .Net, Javascript, Java, Scala, Ruby и Python.
http://amp.gs/8ngE
Те, у кого нет лишних нескольких тысяч долларов на Ansible Tower, могут попробовать опенсорсную альтернативу: ansible-semaphore (http://amp.gs/8nee).
Несмотря на 1000 звезд на гитхабе, информации об этом продукте в сети крайне мало, удалось найти только вот эту статью: http://amp.gs/8ne7
В Slack-чате сообщества hangops_ru поделились ссылкой на список постмортемов крупных компаний: http://amp.gs/8Bij
Читать полностью…
Проект #DockerSwarm2000, о котором мы писали несколько дней назад (http://amp.gs/8BRZ) закончился успешно. Ребята объединили 2384 ноды в один огромный Swarm-кластер и запустили на нем почти сто тысяч контейнеров. http://amp.gs/8BRm
Читать полностью…
Пост-мортем (разбор причин аварии, действий по ее устранению, а также обсуждение того, что можно улучшить в системе для того, чтобы проблема не повторилась) недавнего получасового отключения Stack Overflow.
Вкратце: неоптимальный регексп вызвал высокую нагрузку на CPU (ReDoS - Regular expression Denial of Service), из-за чего главная страница сайта, на которой и срабатывал этот регексп, оказалась недоступна, а load balancer, проверяющий доступность бэкенда только через доступность главной страницы отключил весь бэкенд целиком.
http://amp.gs/8BVs
Подробнейший туториал по настройке auto-scaling EC2 инстансов с помощью Ansible. В репозитории содержатся примеры кода с детализированным объяснением каждого шага.
http://amp.gs/8p6T
На highscalability.com опубликовали конспект выступления Melissa Binde, директора Storage SRE Google на GCP NEXT. Большой текст о том, как организована работа инженеров Google для достижения максимальной доступности сервисов.
http://amp.gs/8pnn
Университет в Суонси присвоил Алану Коксу почетную степень доктора Computer Science за его вклад в развитие Linux.
http://amp.gs/8pZh
Вдогонку к новости про Prometheus. Ссылка на пару Grafana-дашбордов для мониторинга Docker-контейнеров с помощью стека Prometheus+cAdvisor+Grafana: http://amp.gs/8Zgf
Читать полностью…
Chanwit Kaewkasi, контрибьютор Docker Swarm и специалист по Large-Scale Software Engineering планирует провести масштабный тест нового Swarm'а, запустив 2000 нод по всему миру.
Тест планируется запустить 22 июля, в 18:00 по Москве. Если вы хотите поучаствовать, отпишитесь в PR к этому Github репозиторию: http://amp.gs/8Zyv