1590
Реклама, вакансии и анонсы - НЕ РАЗМЕЩАЮТСЯ. Новостной канал группы @devops_ru. Всё про DevOps, high availability, мониторинг, CI/CD, Docker и инфраструктуру Есть чем поделиться? Пишите: @Civiloid
Опубликованы видео и аудиозаписи докладов с конференции LISA 16 (Large Installation System Administration).
Данная конференция является одной из старейших (проходит регулярно с 1986 года) и довольно крупных (ежегодно на нее приезжают тысячи слушателей и десятки докладчиков), поэтому практически каждый сможет найти там интересный для себя доклад.
Записи можно найти по ссылке:
https://www.usenix.org/conference/lisa16/conference-program
#LISA #videos #conference
Facebook выложил в OpenSource свою in-memory time-series базу данных, основанную на концептах из Gorilla whitepaper.
Заявлена производительность более 1.5 млн точек в секунду.
Из коробки поддерживается интеграция с Grafana.
https://github.com/facebookincubator/beringei
#timeseries #tsdb #gorilla #facebook
В продолжении вчерашней ссылки про сборщик мусора в Go. Небольшое сравнение пауз сборки мусора в популярных языках (Go 1.7 + Head, Java 1.8.0 + G1, Haskell в реализации GHC 8.0.1, Racket 6.6, OCaml 4.03.0).
В статье также дается описание (с примерами) текущей схемы работы сборщика мусора в Go.
https://blog.pusher.com/golangs-real-time-gc-in-theory-and-practice/
#golang #gc #java #benchmark
Полезьная и простая в понимании статья про особенности работы современных сборщиков мусора в Java и Go. К сожалению, что касается Go статья не совсем точная (обсуждение неточностей в комментариях к статье).
octskyward/modern-garbage-collection-911ef4f8bd8e#.bd0lldopm" rel="nofollow">https://medium.com/@octskyward/modern-garbage-collection-911ef4f8bd8e#.bd0lldopm
#golang #gc #java
Стали доступны видео с конференции https://systemswe.love/
Данная конференция посвящена тому, как работают системы изнутри.
https://www.youtube.com/watch?v=TPe6UXMDMGM
#conference #videos #systems #engineering
#github использует классический #mysql master-slave кластер в своих сервисах, как, наверное, и многие из наших читателей. Самое интересное в таких инсталляциях - файловер.
И у гитхаба для этого есть решение - опенсорсный, и, похоже, весьма интеллектуальный инструмент orchestrator.
http://githubengineering.com/orchestrator-github/
Сегодня вышел Elastic Stack 5.0 (ES, Kibana, Logstash, ...)
Изменений очень много, проще пойти по ссылке и прочитать самостоятельно.
https://www.elastic.co/blog/elastic-stack-5-0-0-released
#elasticsearch #kibana
Продолжение цикла статей про параллельную репликацию MySQL от Booking. В новой статье речь идет о Optimistic Parallel Replication из состава MariaDB 10.1.
http://blog.booking.com/evaluating_mysql_parallel_replication_4-more_benchmarks_in_production.html
#booking.com #mysql #performance
Brendan Gregg опубликовал в своем блоге серию постов про анализ задержек различных подсистем ядра при помощи BPF.
#brendangregg #performance #bpf
http://www.brendangregg.com/blog/2016-10-06/linux-bcc-ext4dist-ext4slower.html - ext4
http://www.brendangregg.com/blog/2016-10-04/linux-bcc-mysqld-qslower.html - mysql slow query
http://www.brendangregg.com/blog/2016-10-01/linux-bcc-security-capabilities.html - security capabilities
http://www.brendangregg.com/blog/2016-10-12/linux-bcc-nodejs-usdt.html - nodejshttp://www.brendangregg.com/blog/2016-10-15/linux-bcc-tcptop.html - tcptop
http://www.brendangregg.com/blog/2016-10-08/linux-bcc-runqlat.html - scheduler
Глава из бета-версии книги "Development&Deployment of Multiplayer Online Games" посвященная базам данных. Если быть конкретнее, этот отрывок посвящен ACID транзакциям, уровням изоляции и блокировкам.
http://ithare.com/databases-101-acid-mvcc-vs-locks-transaction-isolation-levels-and-concurrency/
#databases #acid #concurency
Тем временем Dropbox использует, неожиданно, Elasticsearch и Kafka для мониторинга своей сети (в реальном времени!).
Описание этого неожиданного решения находится в их блоге.
https://blogs.dropbox.com/tech/2016/10/netflash-tracking-dropbox-network-traffic-in-real-time-with-elasticsearch/
#dropbox #monitoring #elasticsearch
O'Reilly выложил немного бесплатных книжек по разным языкам программирования (Java, Python, C++, общее по инженирингу):
http://www.oreilly.com/programming/free/
#oreilly #books
Uber делает более миллиона записей в секунду в свои Cassandra-кластера. При этом для отказоустойчивости и простоты масштабирования они используют Mesos. Интересно как и почему? Тогда читайте новую статью в highscalability блоге.
http://highscalability.com/blog/2016/9/28/how-uber-manages-a-million-writes-per-second-using-mesos-and.html
#uber #cassandra #mesos #highavailability #highload #hl #ha
GitHub начал публиковать заметки про свой балансировщик нагрузки. В будущем обещают опубликовать и часть исходного кода.
http://githubengineering.com/introducing-glb/
#github #loadbalancer #lb #ha #hl #highavailability
Когда в вашей инфраструктуре появляется слишком много контейнеров возникает потребность в отдельных балансировщиках нагрузки для DHCP. Facebook выложил свое решение в OpenSource и выпустил статью про то зачем им пришлось сделать еще один балансер и почему чистый anycast не подошел для этой задачи.
https://code.facebook.com/posts/1734309626831603/dhcplb-an-open-source-load-balancer/
Google опубликовал проект Grumpy, транслирующий python в Go. Пока он пока он находится на очень ранней стадии разработки, но уже позволяет транслировать некоторые программы. Также он позволяет использовать модули написанные на Go из питона.
https://opensource.googleblog.com/2017/01/grumpy-go-running-python.html?m=1
#golang #go #python #google
И на закуску совсем сложный Proposal по улучшению механизма работы сборщика мусора в Go.
Proosal содержит много математики и подробностей о том, как разработчики Go собираются уменьшить количество stop-the-world случаев в Go 1.8 и 1.9.
https://github.com/golang/proposal/blob/master/design/17503-eliminate-rescan.md
#golang #gc #proposal #algorithms #hardcore
Vimeo в своем блоге опубликовала статью о том, как они улучшали алгоритм балансировки нагрузки.
Статья в основном про инженерный подход и про то как дойти от чтения академических статей к патчу, принятому в апстриме крупного open-source проетка.
https://medium.com/vimeo-engineering-blog/improving-load-balancing-with-a-new-consistent-hashing-algorithm-9f1bd75709ed
#vimeo #consistenthash #ch #load #balancing #lb #haproxy #algorithms
JetBrains анонсировали IDE для golang под названием gogland
На текущий момент можно только попроситься в закрытое бета-тестирование.
https://www.jetbrains.com/go/
#golang #ide #jetbrains
В новой версии #kubernetes 1.5 появилась поддержка Windows Server Container (легковесные контейнеры), Hyper-V, IIS и ASP.NET
#windows #containers
https://www.mirantis.com/blog/linux-windows-living-together-total-chaos-ok-kubernetes-1-5/
Facebook выложил видео с конференции Networking@Scale, проходившей в Бостоне.
https://code.facebook.com/posts/1709127516080157/networking-scale-boston/
#facebook #networking #network #video #videos
Яндекс опубликовал серию докладов о своей инфраструктуре:
Краткое содержание:
https://youtu.be/9ANuWEZqCUg?t=592 - Рассказ про Яндексовый MapReduce
https://youtu.be/9ANuWEZqCUg?t=4454 - Рассказ про декларативный язык для MapReduce (и не только)
https://youtu.be/9ANuWEZqCUg?t=9401 - Рассказ про ClickHouse (теперь уже OpenSource база данных для различных задач в области Real-Time аналитики)
https://youtu.be/9ANuWEZqCUg?t=13555 - Storage в Яндексе (на примере архитектуры Яндекс.Диска).
#Yandex #ClickHouse #Infrastructure #Storage #MapReduce
AirBnB опубликовал статью о том как они столкнулись и решали проблему C10K в MySQL.
https://medium.com/airbnb-engineering/unlocking-horizontal-scalability-in-our-web-serving-tier-d907449cdbcf
#airbnb #mysql #c10k #performance
Статья про детали работы (мониторинг и тюнинг) сетевого стэка Linux'а. В статье упор на взаимодействие различных частей ядра друг с другом.
http://blog.packagecloud.io/eng/2016/10/11/monitoring-tuning-linux-networking-stack-receiving-data-illustrated/
#linux #network #tuning #monitoring #hardcore
Довольно глубокая статья (пусть и немного старая) описывающая работу механизма кэширования в PostgreSQL.
https://madusudanan.com/blog/understanding-postgres-caching-in-depth/
Оказывается, Twitch активно использует PostgreSQL - более 125 хостов только под него. В своем блоге они опубликовали историю того как они масштабируют postgres на несколько регионов в Амазоне.
https://blog.twitch.tv/how-twitch-uses-postgresql-c34aa9e56f58
#twitch #postgresql #postgres #amazon #aws
Так как я поехал на LinuxCon Europe 2016, то новостей от конкретно меня пока не будет, зато я сделал маленький канал где буду флудить конспектами докладов и фоточками
/channel/linuxconnotes
#linuxcon #notes #talks
На YouTube обнаружились записи Intermediate Go Programming Tutorial от O'Reilly. Не очень понятно опубликованы ли они официально или по ошибке (видео 9 и 13 можно найти на канале, но они не включены в плейлист).
https://www.youtube.com/playlist?list=PLkmJREe6CMdnCsikhw7anHZTBgSKn7CyH
#oreilly #golang #tutorials
Опубликованы записи докладов с конференции Strange Loop 2016. Конференция посвящена в основном разработке и архитектуре высоконагруженных приложений, но также есть доклады на более приземленные темы.
https://www.youtube.com/playlist?list=PLcGKfGEEONaDvuLDFFKRfzbsaBuVVXdYa
#conference #video #development
У btrfs наконец появилась вики страничка с актуальным статусом каждого компонента (по мнению разработчиков):
https://btrfs.wiki.kernel.org/index.php/Status