1590
Реклама, вакансии и анонсы - НЕ РАЗМЕЩАЮТСЯ. Новостной канал группы @devops_ru. Всё про DevOps, high availability, мониторинг, CI/CD, Docker и инфраструктуру Есть чем поделиться? Пишите: @Civiloid
Организация доступа через ssh может оказаться не такой тривиально задачей, особенно в большой компании. Facebook опубликовал статью о том, как они решают проблему доступов у себя без использования LDAP авторизации.
https://code.facebook.com/posts/365787980419535/scalable-and-secure-access-with-ssh/
Серия блог-постов, рассказывающая о статистике на примере котиков.
http://www.statcats.ru/p/blog-page_29.html
На github'е SoundCloud обнаружилось небольшой gem, призванное помочь обновлять структуры данных больших Ruby on Rails приложениях при обновлении версий. Данный модуль позволяет мигрировать данные без использования alter. Подход чем-то похож на таковой у Facebook и может быть полезен даже в отрыве от Ruby.
https://github.com/soundcloud/lhm
#mysql #ruby #ror #migration #soundcloud
В данной статье рассказыватеся о событиях, влияющих на несколько баз данных. Их сложно распознать и они могут стать серьезной проблемой при построении архитектуры сервиса. Казалось бы работавший многие месяцы код может в один момент привести к проблемам, когда системе не удастся изменить данные во всех необходимых базах. Один из подходов к решению данной проблемы описан в данной статье.
http://www.grahamlea.com/2016/08/distributed-transactions-microservices-icebergs/
#architecture #transactions #consistency
Пару недель назад Amazon анонсировал #aws ALB - Application Load Balancer, балансировщик нагрузки для контейнеров и микросервисов.
Подробный обзор возможностей by Convox по ссылке
#containers #architecture #microservices #aws_alb
https://convox.com/blog/alb/
Bouke van der Bijl в своем блоге привел Proof of concept атаки на локальные базы данных, запущенные на компьютерах разработчиков и доступные по http, например #redis, #memcached или #elasticsearch с использованием вебсайта в интернете и DNS-записи с маленьким TTL
#PoC #hack
http://bouk.co/blog/hacking-developers/
Facebook скрестил ужа с ежом и получил MySQL совместимую базу с движком RocksDB и назвал ее MyRocks. Насколько это хорошо работает? Ответ в блог посте:
https://code.facebook.com/posts/190251048047090/myrocks-a-space-and-write-optimized-mysql-database/
#facebook #rocksdb #mysql #highload #highavailability #hl #ha
#facebook рассказал о том, как он готовит конфигурацию сети.
Система называется #Robotron, она генерирует конфиги для сетевых устройств из темплейтов Django, деплоит, в том числе инкрементально, сравнивает метрики после апдейта с референсными, мониторит и т.д.
По ссылке целый PDF
https://goo.gl/hnzU7Y
Тихо и незаметно, без лишнего шума, Яндекс выложил свой Mongo Sharing server под названием Mongoz. Заявляется, что в отличии от официального, Mongoz хорошо работает в условиях не идеальной сети ценой небольшого снижения гарантий консистентности.
https://github.com/yandex/mongoz
Анонс от автора: https://m.facebook.com/dmitry.prokoptsev/posts/565674550307006
#mongo #highavailability #ha #scalability #sharding
Неофициальный список статей, которые Google рекомендует к прочтению новопришедшим SRE. Он не специфичен для Google, но весомая часть - ссылки на исследования самого гугла. Полезно ознакомится, если вы хотите лучше понять чем занимаются крупные компании, что такое SRE и так далее:
http://larrr.com/spisok-rekomenduemyh-k-prochteniyu-statej-ot-google/
#paypal написал свой контейнеровоз поверх #akka и #JVM и обрабатывает транзакции на восьми виртуалках.
#java #containers #hl #ha
http://highscalability.com/blog/2016/8/15/how-paypal-scaled-to-billions-of-transactions-daily-using-ju.html
O'Reilly выложили в свободный доступ ряд книг по DevOps (Monitoring Distributed Systems, DevOps in practice, Docker in the Cloud и др.) и по Performance (Effective Performance Engineering, Optimizing Cloud Migration, и др).
Скачать можно по ссылке: http://www.oreilly.com/webops-perf/free/
#book #books #devops #oreilly
Если вы хотели бы разобраться с NUMA и современной организацией работы с памятью - обязательно прочитайте эту серию статей. Там в подробностях описывается как история эволюции подсистемы работы с памятью, так и текущее состояние и причины, которые к нему привели. В серии планируется 7 частей, но на текущий момент опубликовано только 4.
http://frankdenneman.nl/2016/07/07/numa-deep-dive-part-1-uma-numa/
Системный подход к масштабированию Ruby on Rails приложения, работающего на Heroku до 2000 запросов в секунду. В принципе подход может быть частично применен и к другим приложениям.
https://zeemee.engineering/scaling-rails-to-125-000-requests-per-minute-on-heroku-b4128a10a769#.ofmbhcg6e
Интересно почему бинарники, собранные Go 1.7 меньше и насколько они меньше? Тогда милости просим в официальный блог за подробностями:
https://blog.golang.org/go1.7-binary-size
Yahoo выложил в OpenSource систему доставки сообщений Pulsar. Она создавалась как горизонтально-масштабируемая альтернатива Kafk'е для близкого к Real-Time применения (99% процентиль задержки доставки сообщения должен быть меньше 5мс).
Внутри самой Yahoo инсталяция Pulsar передает более 100 млрд сообщений в день по более чем 1.4 млн топиков со средней задержкой 5мс.
http://siliconangle.com/blog/2016/09/08/yahoo-open-sources-pulsar-a-low-latency-alternative-to-apache-kafka/
#messagequeue #yahoo #messages #queues #kafka #pulsar
GitHub опубликовал немного подробностей о устройстве своего Distributed git (Spokes). Статья фокусируется на доступности сервиса и средствах восстановления после инцидентов.
http://githubengineering.com/building-resilience-in-spokes/
#github #highavailability #ha #git #dgit #spokes
На днях Facebook поделился опытом эксплуатации Apache Spark на 60+ ТБ сжатых массивах данных. Статья посвящена проблемам с которыми они столкнулись и методам их решения.
https://databricks.com/blog/2016/08/31/apache-spark-scale-a-60-tb-production-use-case.html
#spark #bigdata #facebook
С появлением #AWS #Lambda появились последователи так называемого serverless-подхода. Вместо аренды виртуальных машин, почему бы не абстрагироваться полностью от ОС и не писать приложение для AWS Lambda? Это может в некоторых случаях позволить полностью сосредоточиться на разработке непосредственно кода.
https://gojko.net/2016/08/27/serverless.html
#serverless #aws #lambda
На хабре перевод майской статьи о GitLab Container Registry - реестре образов Docker, интегрированом в GitLab
#GitLab #docker #automation #CI
https://habrahabr.ru/company/softmart/blog/309102/
#netflix рассказал о архитектуре и кейсах использования своей open-source системы тестирования облачных систем хранения Netflix Data Benchmark
#cloud #aws #Benchmarking
http://techblog.netflix.com/2016/09/netflix-data-benchmark-benchmarking.html
Аналог #AWS Lambda (платформы облачных вычислений), но OpenSource and Self-Hosted
Внутри #docker, #nginx, #python
http://www.open-lambda.org/doc.htm
#mailru #Tarantool #highavailability #ha #scalability #nosql #architecture
https://habrahabr.ru/company/mailru/blog/307424/
В современном мире все большую и большую роль играет доступность сервисов. Если раньше хватало обычного fail over, то последние крупные сбои в информационных системах авиакомпаний показали, что этого становится мало. Эта статья о подходе, который Google называет native multihomed architecture, который позволит выдерживать даже полный выход из строя одного из дата центров.
http://highscalability.com/blog/2016/8/23/the-always-on-architecture-moving-beyond-legacy-disaster-rec.html
#architecture #failover #highavailability #ha
DigitalOcean выложила на GitHub код своей системы мониторинга, совместимой с API Prometheus. Она позиционируется как замена, рассчитанная на длительное хранение метрик. Правда пока что она имеет статус эксперементальной.
https://github.com/digitalocean/vulcan
#prometheus #metrics #digitalocean #monitoring
Блогпост по мотивам keynote доклада с GolangUK 2016 применимости принципов SOLID к проектированию приложений на Go. Хоть данные принципы и были сформулированы более 10 лет назад (Agile Software Development, Principles, Patterns and Practices, Robert Martin, 2002), но до сих пор не потерил своей актуальности и помогают писать переиспользуемый, поддерживаемый и более очевидный код. Тому как их можно использовать применительно к Go и посвещана данные статья.
http://dave.cheney.net/2016/08/20/solid-go-design
#go #golang #SOLID
Принято считать, что Pull для сбора данных в мониторинге не масштабируется и слишком затратен по сравнению с Push. У авторов Prometheus иное мнение:
https://prometheus.io/blog/2016/07/23/pull-does-not-scale-or-does-it/
Автор этой статьи проанализировал опыт ряда компаний, включая Netflix, Soundcloud, Spotify и других, добавил свой собственный опыт и оформил как список рекомендаций к постронию микросервисов.
http://www.vinaysahni.com/best-practices-for-building-a-microservice-architecture
Начали выкладывать видео докладов с GopherCon 2016. Первые 7 уже доступны:
https://www.youtube.com/playlist?list=PL2ntRZ1ySWBdliXelGAItjzTMxy2WQh0P
Кажется где то ожидается град. Microsoft выложила в OpenSource свой PowerShell и представила альфа-версию порта под Linux.
https://azure.microsoft.com/en-us/blog/powershell-is-open-sourced-and-is-available-on-linux/