5485
Новостной канал Devops Deflope от инженеров Экспресс 42 и Флант Для связи @dvpsdflpfdbkbot. Коммерческую рекламу не размещаем.
📣Через пару минут начнется вебинар от Экспресс 42 и Yandex Cloud! Микрофоны подключены. Спикеры уже готовы активно обсуждать проблемы, вызовы и перспективы в сфере Cloud-Native разработки. Подключайтесь 👉 по ссылке https://start.bizon365.ru/room/107297/cloud-native?utm_source=tg&utm_medium=deflope&utm_campaign=promo
Читать полностью…
Вышел очередной технический радар от ThoughtWorks.
Много новых рекомендаций по построению инфраструктурных платформ и по безопасности. Ссылка на PDF http://e42.link/3TgaoCx
Ниже небольшой разбор отчета.
Техники:
Path-to-production mapping (вариант Value stream mapping) появился на радаре только-только и сразу в квадранте Adopt.
Продолжается использование концептов из Team Topologies. В этот раз говорится про:
Team cognitive load — при проектировании структуры команд ориентируемся на снижение когнитивной нагрузки для команд
Incremental developer platform — строим платформу по кусочкам, слой за слоем, а не пытаемся сразу построить гигантское здание
Активны темы про безопасность:
Обновили описание про Threat modelling (модель угроз)
SLSA и SBOM переехали из Assess в Trial (это соответственно рекомендации по безопасному управлению опенсорсными зависимостями, и формат описания таких зависимостей)
Github push protection — быстрое сканирование кода при пуше и блокировка, если он не проходит проверки (например, содержит секреты в открытом виде). Классически сканирование проводилось уже после того как такой код попадает в репозиторий, а т.е. секреты в открытом виде становятся доступны атакующим в будущем.
Появилась тема «Observability for CI/CD pipelines» — мониторинг пайплайнов команд для того, чтобы помочь им разобраться с возможными проблемами процесса
Принципы SOLID предлагают заменить на характеристики CUPID, которыми должно обладать современные приложения
SLI/SLO as code уже появился на радаре, хотя спецификация OpenSLO появилась всего лишь год назад. Идея в том, чтобы описывать SLI/SLO прямо в коде (например в YAML), и из этого описания инструменты мониторинга будут сами собой строить алерты и графики с ключевыми метриками.
Поднимается тема «облачных монолитов» (мы бы добавили сюда и «инфраструктурные монолиты») — приложений, которые по-модному запущены на облаках, но в которых невозможно изменить небольшой кусок, чтобы не пришлось переделывать все приложение целиком. Естественно, про это говорится в квадранте Hold, т.е. это предостережение о такой опасности.
Платформы:
Backstage наконец дошел до состояния Adopt, т.е. он однозначно рекомендуется к использованию.
Colima в качестве альтернативы для Docker Desktop
Несколько интересных платформ в области Data/ML
На радаре появились VictoriaMetrics в качестве бакенда к Prometheus (но сами Thoughtworks рекомендуют также присмотреться к Cortex и Thanos)
Keptn — платформа для SRE, первая(?) в своем роде. Идея в том, что при движении по пайплайну в сторону продакшна становятся необходимыми совсем другие способы движения по пайплайну — мы это знаем в контексте, например Canary Deployment или Rolling Deploy. При помощи Keptn можно строить сложные оркестрации деплоя, которые будут учитывать, например SLO в качестве Quality Gate, или делать подобные же сложные многоступенчатые раскатки по нескольким окружения. Естественно, с дашбордами и всем что нужно, чтобы этим удобно было пользоваться для SRE
Инструменты:
k6 перешел в Adopt, это инструмент для нагрузочного тестирования
Cruft — инструмент для упрощения обновления шаблонов-генераторов и прочего бойлерплейта (например, helm-чартов, которые обычно копипастятся в каждый сервис, и которые потом больно обновлять), работает на базе Cookiecutter
Hadolint для линтинга докерфайлов
Наконец, на радаре появился Kaniko для сборки контейнеров
Для тестирования OpenAPI/ AsyncAPI контрактов появился Spectral
Styra для отладки политик Open Policy Agent
Пара инструментов для управления затратами на облако: Infracost и Harness Cloud Cost Management
Karpenter как интеллектуальная на замену Cluster Autoscaler
Mizu для отладки сетевой связности Kubernetes
Teller для управления секретами на рабочем компьютере для различных окружений — этот инструмент автоматически вытаскивает и подставляет секреты из большого количества разных бакендов, и за счет его настроек можно однообразно запускать приложения на рабочем компьютере, в CI и на продакшне
Приглашаем на бесплатный вебинар, где со спикерами Александром Титовым, Антоном Черноусовым, Михаилом Епихиным обсудим, как обеспечить скорость и гибкость разработки, запускать приложения там, где это выгодно бизнесу, снизить затраты на поддержку и содержание системы с помощью Managed Kubernetes и облачных провайдеров, в частности, Yandex Cloud.
Главные темы вебинара:
1. для Cloud-Native разработки нужны надежные облачные решения;
2. компании сталкиваются с нехваткой компетенций и технологий для развертывания софта;
3. некоторые вендоры работают по принципу «поставил и забыл». Что дальше происходит у клиента, мало кого заботит.
Встретимся 10 ноября в 20:00 по МСК!
Регистрация по ссылке http://e42.link/3fD00qJ
Datadog на прошлой неделе анонсировали поддержку сбора и анализа логов. Теперь они могут предоставлять инфраструктурный мониторинг, APM (Application Performance Monitoring) и логирование.
https://goo.gl/GGDjh3
В начале года мы публиковали объемную статью от Lyft про современную балансировку и проксирование.
На хабре уже появился перевод, как обычно со смищными картинками))
https://goo.gl/SfUF31
Несколько дней назад 1Password был несколько часов оффлайн из-за пересоздания всей инфраструктуры по причине перехода с CloudFormation на Terraform.
А вчера они опубликовали статью в блоге, описывающую их инфраструктуру, процесс переезда и причины выбора Terraform.
https://goo.gl/RmS3H3
Небольшая статья от Baron Schwartz, основателя VividCortex с определением терминов Monitoring, Analytics, Diagnostics, Observability и Root Cause Analysis.
TL;DR: Monitoring is the process of observing systems and testing whether they function correctly. Analytics is the process of turning data (usually behavioral data) into insights. Observability is the property of a system that supports analytics. Diagnostics is the process of determining what’s wrong with a system, and also relies on observability. Root cause analysis is corporate mumbo jumbo.
https://goo.gl/XwU8jW
И его же более ранняя статья про то, что Monitoring это не Observability.
https://goo.gl/bFwuNx
Интересная статья от Mark Adams из Veeam про то, что запланированные downtime для современного сервиса это плохо.
https://goo.gl/J6YQJx
OpenAI в своем блоге рассказали о проблемах, с которыми они столкнулись при масштабировании кластера Kubernetes до 2,500 нод и их решении.
https://goo.gl/jKtpFX
Обновился гайд по использованию Windows контейнеров в Kubernetes до актуальной версии 1.9.
https://goo.gl/9Q6hNv
Читатели сообщают, что есть более впечатляющая утилита для имитации бурной деятельностиヅ
Видео и описание: https://goo.gl/5185eX
GitHub: https://goo.gl/Znkw1d
Отличный цикл статей от Adrian Hornsby про уроки, которые он вынес за 10 лет использования облака Amazon в различных компаниях.
https://goo.gl/BPZFAH
И снова Google. Вчера они анонсировали open source библиотеку для реализации сбора метрик и трейсинга в приложениях.
Поддерживается отправка данных в Prometheus, SignalFX, Stackdriver и Zipkin.
Сама библиотека реализована для всех популярных языков и даже PHP))
Анонс: https://goo.gl/CrjCUn
Сам проект: https://goo.gl/wjJueX
GitHub: https://goo.gl/Zzwqwj
Container Structure Tests — тестовый фреймворк для Docker образов от Google.
Анонс: https://goo.gl/NgrJwb
GitHub: https://goo.gl/wFAoX9
AutoSpotting — утилита, автоматизирующая использование более дешевых spot инстансов в AutoScaling группах в Amazon.
https://goo.gl/vnKwzS
16 ноября Тинькофф вместе с Ameriabank соберет встречу в Ереване(!), где расскажут финтех-продукты в эпоху mobile-first.
Темы:
— как меняли подходы и архитектуру в мобильном банке и создавали SuperApp;
— как работают с бизнес-требованиями сегодня;
— и какие SRE-подходы применяют в разработке.
После участники обсудят, как работать с требованиями и с чего начинается действительно крутой продукт.
IT’s Tinkoff Fintech Meetup пройдет 16 ноября в Ереване в БЦ «Камар», офис Ameriabank. Зарегистрироваться и узнать о докладах подробнее: http://e42.link/3A2GFGc
Несколько ссылок для тех, кто строит практики:
DevSecOps у себя в компании:
Minimum Viable Secure Product (http://e42.link/3UtFBDc) — минимальный чеклист безопасности для любых интернет-сервисов.
Модель зрелости DevSecOps (http://e42.link/3hdWbZg) — около 20 практик DevSecOps с рекомендуемым порядком применения от базовых к продвинутым.
DevSecOps Playbook (http://e42.link/3hnUXei) — всеохватное описание практик DevSecOps для всего цикла разработки, для компаний любого размера. Указан рекомендуемый приоритет и сложность применения, также показана взаимосвязь с мировыми стандартами безопасности.
На конференции ObservabilityCON Grafana анонсировала два новых инструмента:
Phlare(http://e42.link/3fx2OFy) — БД для непрерывного профайлинга;
Faro (http://e42.link/3sVyO9B) — JS-библиотека для observability frontend-приложений
В блоге «A Cloud Guru» вышло интересное интервью с Kelsey Hightower про Kubernetes и Serverless.
https://goo.gl/KTgEUY
Supercronic — cron от Aptible, предназначенный для использования в контейнерах
https://goo.gl/ZkV6qi
GitHub: https://goo.gl/ANN1ta
GoAccess — прикольная штука для анализа логов веб сервера прямо на хосте с интерфейсом, напоминающим htop. Плюс она предоставляет еще и веб интерфейс.
https://goo.gl/yrSXx1
bat — аналог curl, теперь на Go, вдохновлен httpie.
https://goo.gl/ybmry8
Отличный список из 10 утилит для повышения эффективности работы с Kubernetes.
https://goo.gl/ThtYyK
Sonobuoy — диагностическая утилита от Heptio для проверки состояния Kubernetes кластера.
https://goo.gl/eNr8Rn
Весьма подробная статья от Chris Down про основные заблуждения на тему swap в Linux.
https://goo.gl/u2WgVG
И в тему пятницы можно упомянуть прекрасную утилиту для генерации бурной деятельности в терминале.
genact https://goo.gl/Fouxx5
Cindy Sridharan на этой неделе опубликовала свою выборку лучших докладов в 2017 году.
В списке 19 отличных докладов на темы Monitoring, Observability, Go, Python.
https://goo.gl/jMquik
И продолжая тему Google. Они анонсировали курсы на Coursera под названием «Google IT Support Professional»
Курс предназначен для начального уровня и рассматривает системное администрирование, автоматизацию и даже секурити))
Стартует 24 января.
https://goo.gl/Bn7vjc
Привет. 18 января в 21:00 сообщество DevOps в лице Hangops_ru(https://goo.gl/vSGoPK) соберётся, чтобы сформировать запрос от сообщества на иностранных гостей для российских конференций по Devops. Во-первых, приходите посмотреть на встречу 18го января https://goo.gl/7q2wkY. Во-вторых, оставьте, пожалуйста, своё мнение, кого вы хотели бы видеть на конференциях в следующем году по ссылке https://goo.gl/forms/GH239tT5JCn8N07Q2 . Давайте сделаем наши конференции более полезными и жизненными!
Читать полностью…
Etsy недавно анонсировали переезд с собственной инфраструктуры на GCP.
И в свежей публикации они подробно описывают на своем примере как можно грамотно организовывать процесс анализа требований и выбора наиболее подходящего решения.
https://goo.gl/aFFTAM