1590
Реклама, вакансии и анонсы - НЕ РАЗМЕЩАЮТСЯ. Новостной канал группы @devops_ru. Всё про DevOps, high availability, мониторинг, CI/CD, Docker и инфраструктуру Есть чем поделиться? Пишите: @Civiloid
Если кто-то не знает что посмотреть на праздниках, буквально недавно выложили много видео докладов с SREcon20 Americas: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5lfLXUjFjS0mP1XzNzNZMhYN
И программа: https://www.usenix.org/conference/srecon20americas/program
#srecon #talks
Пересказ исследования о том, почему использовать файловую систему как backend для распределенного хранилища - не очень хорошая идея (на примере ceph).
В целом после SOSP'19 колличество интересных статей значительно увеличилось.
https://blog.acolyer.org/2019/11/06/ceph-evolution/
#research #ceph #performance
GitHub опубликовал postmortem про недавний (21 октября) инцидент из-за которогой pull request'ы и issues были фактически недоступны более 24-х часов. Очень поучительная история про консесус, mysql и репликацию.
Ссылка: https://blog.github.com/2018-10-30-oct21-post-incident-analysis/
#github #postmortem
Для тех, кто считает что от всевозможных Spectre и Meltdown не нужно защищаться - исследователи из Graz University of Technology опубликовали пару страниц счастья с Proof Of Concept *remote* атакой на уязвимые к Spectre системы. Атака позволяет читать произвольные участки памяти, но к счастью, скорость чтения памяти очень низкая (единицы байт в час).
Подробности: https://misc0110.net/web/files/netspectre.pdf
#spectre #security #brokenbydesign
О том как GitHub строит свои отказоустойчивые кластера MySQL рассказывают в своем последнем блог посте: https://githubengineering.com/mysql-high-availability-at-github/
#github #mysql #ha
В рамках USENIX Symposium on Networked Systems Design and Implementation 2018, проходившей в середине апреля, опубликованы некоторые подробности об устройстве сети в Google Cloud Platform. Может будет интересно просто посмотреть на подход к разработке изолированных высокопроизводительных сетей для облаков.
https://www.usenix.org/node/211244
Остальные доклады (без видео) также можно найти на сайте конференции: https://www.usenix.org/conference/nsdi18/glance
#usenix #network #cloud #andromeda
Тем временем, amazon добавил возможность делать производные от уже имеющихся CloudWatch метрики. Функционал называется CloudWatch Metric Math и позволяет в том числе считать агрегаты от множества метрик.
https://aws.amazon.com/about-aws/whats-new/2018/04/amazon-cloudwatch-adds-metric-math-to-enable-custom-operations-on-metrics/
#aws #cloudwatch
У небезызвестного Brendan Gregg'а очередная статья про низкоуровневый дебаг в Linux'е. В этот раз про новую фичу Kernel 4.15 (которая расширилась в 4.16) - TCP Tracepoints. Они позволяют делать всякие разные интересные штуки - например следить за изменением состояния соединения, получать эвенты в момент ретрансмитов и так далее.
Подробнее по ссылке: http://www.brendangregg.com/blog/2018-03-22/tcp-tracepoints.html
#brendangregg #performance #tcp #linux #tracepoints
Сегодня начинается GrafanaCon EU.
Программа конференции: http://grafanacon.org
Официальная видео трансляция тоже в наличии: https://youtu.be/kHx8no2q3-Y
При этом я постараюсь делать заметки в свой телеграмм канал: @connotes
#grafanacon #grafana #talks #livestream
DataDog померяли влияние заплаток от Spectre и Meltdown на своем Redis кластере (в нем миллионы ядер) и опубликовали по этому поводу небольшую статью с графиками: https://www.datadoghq.com/blog/meltdown-spectre-cpu/
#datadog #meltdown #spectre #performance #impact #security
И аналогично про SRECon17 Europe.
Конференция посвящена SRE и DevOps пракиткам, архитектурсе систем и всему с ними связанному.
Playlist: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5lcIFf9w5z2s4csaS_nIs3_Z
#videos #conferece #video #youtube #srecon17eu #srecon17 #srecon #usenix
Громко и достаточно заметно вышел Prometheus 2.0. Основные новшества:
1. Переписан движок хранения данных, теперь он потребляет на 20-40% меньше CPU, и при этом на 33-50% компактнее. Также заявлена более консистентная скорость выполнения чтения.
2. staleness handling - теперь prometheus следит за исчезновением метрик по которым происходят алерты.
3. Remote Storage API откроет дорогу для создания полноценных long-term хранилищ для Prometheus и возможности создания плагинов для реализации, например, retention схем.
4. Формат конфигурации алертов теперь описывается в YAML.
Более подробно можно прочитать в официальном анонсе:
https://prometheus.io/blog/2017/11/08/announcing-prometheus-2-0/
#prometheus #monitoring #timeseries #tsdb #alerting
Тихо и незаметно Kafka достигла версии 1.0
Подробности и список изменений по ссылке: https://www.confluent.io/blog/apache-kafka-goes-1-0/
#kafka
Опубликованы видео с конференции Strange Loop, проходившей в конце сентября. Конференция посвящена всему вокруг технологий, распределенных систем и безопасности и т.п. Расписание конференций и краткие содержания докладов можно посмотреть тут: https://www.thestrangeloop.com/schedule.html
Плейлист с видео:
https://www.youtube.com/watch?v=0BC_FOIxgy4&list=PLcGKfGEEONaDzd0Hkn2f1talsTu1HLDYu
#videos #strangeloop
Facebook в своем блоге опубликовал статью про миграцию с InnoDB на MyRocks. Даннный пост является текстовой версией их презентации на SRECon 2017 Asia. В посте рассказано про выигрышь от перехода в плане утилизации железа, а также показан сам процесс миграции.
Пост: https://code.facebook.com/posts/1478526992216557/migrating-a-database-from-innodb-to-myrocks/
Доклад с SRECon для тех, кто больше любит видео и презентацию: https://www.usenix.org/conference/srecon17asia/program/presentation/matsunobu
#facebook #mysql #innodb #rocksdb #myrocks
Свежая и достаточно объемная статья от Google о их текущей TSDB "Monarch".
12 страниц текста. 2 страницы "Related work". Много информации о языке запросов, схеме записей, храненнии, модели данных и т.п. Инетересно в первую очередь тем, кто строит с нуля свои системы хранения метрик.
http://www.vldb.org/pvldb/vol13/p3181-adams.pdf
#tsdb #google #monitoring #metrics
Dropbox опубликовал доклад о том, как они меряли пропускную способность Кафки. В статье описывается подход к автоматическому тестированию, к построению модели эксперимента и т.п.
https://blogs.dropbox.com/tech/2019/01/finding-kafkas-throughput-limit-in-dropbox-infrastructure/
#Dropbox #kafka #performance
Uber анонсировал свою time-series базу данных m3db, а также выложил в opensource read/write адаптер для Prometheus. Впрочем сам m3db лежал на гитхабе больше года, но с полным отсутствием документации (сейчас это исправлено).
Кластер m3db в убере содержит миллиарды уникальных серий и пишет десятки миллионов уникальных точек в секунду.
Подробности: https://eng.uber.com/m3/
#m3db #timeseries #tsdb #uber
Slack и Atlassian заключили "партнерское" соглашение. По его условиям Atlassian закроет Hipchat и Stride и предоставит способы миграции в Slack. Также Slack'у достается (конечно за деньги) вся интеллектуальная собственность касающаяся Hipchat'а и Strdie'а. А в самом Slack'е улучшится интеграция с Jira (Hosted и Cloud), Trello, Bitbucket и появится с Confluence.
Подробнее: https://slackhq.com/atlassian-and-slack-partnership
#slack #atlassian #hipchat
В блоге Dropbox'а опубликована статья про текущую архитектуру их хранилища (Magic Pocket). В процессе перехода от стандартных PMR[1] дисков к SMR[2] часть кода была переписана с Go на Rust, что позволило увеличить плотность сохранив потребление CPU и памяти на том же уровне.
Подробности по ссылке: https://blogs.dropbox.com/tech/2018/06/extending-magic-pocket-innovation-with-the-first-petabyte-scale-smr-drive-deployment/
#dropbox #storage #architecture
[1] https://en.wikipedia.org/wiki/Perpendicular_recording
[2] https://en.wikipedia.org/wiki/Shingled_magnetic_recording - например 10-14ТБ HGST
почти реклама
17 мая (четверг) в дата центре селектел (Санкт-Петербург) пройдет митап посвященный мониторингу. Участие бесплатное. Есть онлайн трансляция (требуется предварительная регистрация).
https://eventuer.timepad.ru/event/702213/
#meetup #monitoring #spb
Хорошая статья о применимости разных алгоритмов хэширования в задаче балансировки нагрузки. Полезно будет понимать всем, кто пишет свои распределенные сервисы или балансировщики.
dgryski/consistent-hashing-algorithmic-tradeoffs-ef6b8e2fcae8" rel="nofollow">https://medium.com/@dgryski/consistent-hashing-algorithmic-tradeoffs-ef6b8e2fcae8
#hashing #balancing #distributes #highload
Тихо и незаметно вышла ScyllaDB 2.1. Она позиционируется как drop in замена Cassandra 2.2 с избранными фичами из 3.x
Из главных изменений - поддержка time window compaction strategy. Одна из главных вещей которой не хватало большинству time series баз, использующих Кассандру.
Подробнее: https://www.scylladb.com/2018/02/22/scylla-release-2-1/
#scylladb #cassandra #release
После долгой разработки, выпущена Grafana 5.0.0
Главные изменения релиза:
- намного более гибкие дашборды.
- появление концепции команд и разделения прав доступа
- поддержка группировки дашбордов
- поддержка тэгов в графите и возможность автоматического получения списка доступных функций (поддерживается в graphite-web 1.1.0+ и carbonapi 0.9.2+)
Пакеты будут в ближайшее время. Официальный анонс ожидается завтра на GrafanaCon EU 2018.
Подробнее:
http://docs.grafana.org/guides/whats-new-in-v5/
https://github.com/grafana/grafana/releases/tag/v5.0.0
#grafana #monitoring
Amazon открыл public preview новых типов инстансов - i3.metal. Как можно догадаться из названия это bare metal, 2xE5-2686v4 (сумарно 36 ядер или 72 потока), 512GB Ram, 15.2TB Local NVMe SSD, 25 гбит сеть. Вся остальная инфраструктура, включая Auto Scaling продолжит работать с ними как будто это стандартные виртуалки в облаке.
Подробности: https://aws.amazon.com/blogs/aws/new-amazon-ec2-bare-metal-instances-with-direct-access-to-hardware/
#aws #baremetal #hosting #ec2
Опубликованы видеозаписи докладов с LISA17, проходившей в конце октября в Сан Франциско.
Конференция посвящена масштабированию и эксплуатации распределенных систем и является одно из старейших в своем роде.
Playlist на youtube: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5lfzbd-NnFFBOwZs2He4PBH7
Сайт конференции (с abstract докладов): https://www.usenix.org/conference/lisa17/conference-program
#videos #conferece #video #youtube #lisa17 #lisa #scaling #usenix
GitHub опубликовал чуть более подробную историю разработки их распределенной версии git'а. В целом в их подходе нет ничего революционного, просто удачно скомбинированные стандартные подходы.
Подробности: https://githubengineering.com/stretching-spokes/
#github #spokes #dgit #git #architecture #infrastructure
Статья о том, как GitHub борется с отстающими репликами MySQL. Для решения этой проблемы они создали распределённый масштабируемый сервис, throttle'ящий запросы к базе. Подробнее о подходе читайте в статье: https://githubengineering.com/mitigating-replication-lag-and-reducing-read-load-with-freno/
#github #mysql #throttling
Слайды с нового доклада Brendan Gregg про анализ производительности в Linux.
https://www.slideshare.net/brendangregg/kernel-recipes-2017-performance-analysis-with-bpf
#performance #brendangregg #ebpf #bpf
Перевод на русский язык статьи Алексея Иванова (Dropbox) про оптимизацию веб-сервера. Для тех кому проще все же на великом и могучем. Напомню, что статья полезна в принципе подходом к оптимизации и большая часть советов может быть перенесена на произвольное сетевое (и не только) приложение.
https://habrahabr.ru/company/badoo/blog/338226/
#nginx #performance #tuning #dropbox