Prometheus и централизованное хранение данных: Когда это нужно, как это работает и что такое Mimir
После того как в первой части цикла были рассмотрены основы архитектуры Prometheus и ее хранилища, мы продолжаем исследовать связанные с хранением данных проблемы и существующие решения. Мы начнем с истории вымышленного стартапа, который занимается разработкой программного обеспечения, сбором метрик и пытается найти оптимальные способы их хранения и обработки. Мы будем наблюдать за тем, как он развивается и как его система мониторинга будет соответствовать растущим требованиям бизнеса.
https://blog.palark.com/prometheus-centralized-storage-mimir/
#devops #девопс
Подпишись 👉@i_DevOps
Prometheus и его хранилище: Архитектура, проблемы и решения
Эта серия из двух статей посвящена мониторингу. В первой части рассказывается о накоплении множества различных показателей в одном месте, обработке разрешений для различных аспектов этих показателей и хранении больших объемов данных. Во второй части мы сосредоточимся на выборе систем мониторинга, основываясь на кратком примере «путешествия» вымышленной компании в борьбе с постоянным расширением системы мониторинга и ростом инфраструктуры.
https://blog.palark.com/prometheus-architecture-tsdb/
#devops #девопс
Подпишись 👉@i_DevOps
Инструментарий инженера DevOps🧰🎒
Операционная система → Linux (recommended), Windows
Программирование → Go, Python, Groovy, Bash
Container orchestration → Kubernetes, Docker Swarm
Containers → Docker, Podman, Containerd
Source Code Management → Git, Subversion
Cloud → AWS, GCP, Azure, CivoCloud
CI/CD → Jenkins, CircleCI, Bamboo
Хостинг IT-проектов → GitHub, BitBucket, GitLab
IaC (Infrastructure as Code) and IP (Infrastructure Provisioning) → Ansible, Puppet, Chef, Terraform, Pulumi, Stack, Crossplane
Непрерывная обратная связь → GetFeedback, Jira, Slack, Pendo
Обсервация (мониторинг, протоколирование и анализ поведения системы) → Nagios, Grafana , Prometheus, New Relic, ELK Stack Datadog
Планирование → Jira Software, Confluence, Slack
Автоматизированное тестирование → xray, snyk, JUnit, Selenium, Appium
Вы можете выбрать любой из этих инструментов для каждого этапа/категории. Ваш выбор может быть основан на вашем проекте или организации, а может быть полностью личным.
#devops #девопс #Docker
Подпишись 👉@i_DevOps
Как мы управляем контейнерной платформой: история adidas о прошлом, настоящем и будущем
10 мая 2022 года компания adidas начала переводить конфигурацию своей платформы на GitOps. Спустя почти два года в блоге компании опубликовали цикл статей об эволюции контейнерной платформы adidas, которые мы перевели и объединили в один материал. В этих статьях инженер компании Анхель Баррера Санчес рассказал, как платформа adidas переходила на GitOps, а также что было до перехода, как они работают сейчас и какие у них планы. Дальше идет текст автора.
Переход на GitOps — один из самых значительных стратегических шагов, сделанных в рамках контейнерной платформы adidas (на момент написания статьи). Хотя нам есть куда расти, этот шаг стал важным в нашем технологическом прогрессе.
https://habr.com/ru/companies/flant/articles/808801/
#devops #девопс #Docker
Подпишись 👉@i_DevOps
Управление API или API Security? Что это такое?
В сфере кибербезопасности существует постоянная гонка между атакующими и защитниками. Этот процесс можно сравнить с визуальным процессом гонки, где основная цель - это скорость. Начинается все с фазы разведки, где происходит инвентаризация ресурсов. Затем команды приоритизируют задачи и принимают меры, основанные на этих приоритетах. Важно отметить, что скорость играет ключевую роль в этой гонке. Примером может служить серия событий, начавшаяся с утечки набора инструментов в открытый доступ от группы хакеров «The Shadow Brokers». Через месяц после этого появился шифровальщик WannaCry, а вскоре после этого его модификация NotPetya, использующая те же уязвимости с незначительными изменениями. Это произошло благодаря быстрой адаптации уже существующего кода и техник. Сравнивая сегодняшние события с прошлыми, мы видим, что скорость изменений значительно выросла. Если раньше для появления базовой атаки требовался месяц, то сейчас это может занять менее 10 дней. Это объясняется не только изменениями в инструментарии, но и развитием технологий, включая использование искусственного интеллекта. Однако вместе с увеличением скорости изменений возросла и сложность кибербезопасности. Системы становятся связанными и зависимыми друг от друга, что создает новые вызовы для обеспечения их безопасности. Необходимость защиты таких систем становится все более острой, и скорость реагирования является ключевым фактором в обеспечении безопасности в цифровом мире.
https://habr.com/ru/companies/webmonitorx/articles/811753/
#devops #девопс #Docker
Подпишись 👉@i_DevOps
Основы Docker. Большой практический выпуск
0:00:00 Вступление
0:02:22 Что такое Docker?
0:16:29 Простой пример Hello World
0:31:34 Пример WEB приложения
0:35:55 Работаем с портами
0:41:10 Что такое docker volume
0:46:54 Поднимаем временную базу данных
0:55:26 Разворачиваем реальный проект
1:00:35 Что такое docker-compose
1:05:23 Создаем виртуальную машину (подробно)
1:08:25 Ставим Docker и Docker compose на Linux
1:10:17 Delpoy проекта с ипользованием GitHub
1:16:50 Delpoy проекта с ипользованием DockerHub
источник
#devops #девопс #Docker
Подпишись 👉@i_DevOps
Почему ни в коем случае НЕ надо становиться DevOps инженером! Предостережения начинающим и совет что же делать если «НЕ»
Кто я такой, чтобы делиться своими суждениями и утверждениями? Мне почти 47, в сфере IT профессионально работаю около 25 лет, начав самообучение со школы, с папиного i386 с сопроцессором и модемного dial-up на зюхелях (ну... все же помнят.. да? ну да же? :-) Естественно, среди моего опыта и высшее образование, и технические сертификаты, и работа во множестве компаний самого разного масштаба и разных стран. Сейчас я обладаю как негативным, так и позитивным опытом в различных аспектах IT технологий, попробовав себя как в софте, так и в железе.
https://habr.com/ru/articles/811429/
#devops #девопс
Подпишись 👉@i_DevOps
Vault-secrets-operator
Создавайте секреты Kubernetes из Vault для безопасного рабочего процесса на основе GitOps.
https://github.com/ricoberger/vault-secrets-operator
#devops #девопс
Подпишись 👉@i_DevOps
🚩 Товарищи IT-специалисты!
В честь дня международной солидарности трудящихся информируем вас о возможности получить подарки при покупке обучающих курсов Слёрма с 1 по 7 мая 2024 года.
Участники акции:
🎈«DevOps Upgrade»
+ Видеокурс «Aдминистрирование Linuх: Мега»
🎈«Python для инженеров»
+ Видеокурс «Мониторинг в Grafana»
🎈«Kubernetes для разработчиков»
+ Видеокурс «Docker»
🎈«Архитектура приложений»
+ Видеокурс «Soft-skills и управление»
Применяйте промокод MAYSLURM при оплате курсов, забирайте бесплатный курс, осваивайте новые инструменты и двигайте технологический прогресс!
Мир! Труд! Май! Слёрм!
Soft skills. Стоит ли вкладываться в софт скилы DevOps, программистам, тестировщикам?
Говорят Айтишник, особенно DevOps и SRE, должен быть улыбчивый, коммуникабельный и всё в этом роде. Зачем нужны софт скилы?
источник
#devops #девопс
Подпишись 👉@i_DevOps
Обзор K8s LAN Party — сборника задач по поиску уязвимостей в кластере Kubernetes прямо в браузере
Я продолжаю тестировать инструменты, которые помогают научиться защищать кластеры Kubernetes. На этот раз взглянем на продукт от разработчиков из компании Wiz Research — Kubernetes LAN Party, челлендж по выполнению CTF-сценариев. Выход инструмента был приурочен к прошедшей в марте этого года конференции KubeCon EMEA 2024.
https://habr.com/ru/companies/flant/articles/807015/
#devops #девопс
Подпишись 👉@i_DevOps
erid: LjN8Jz2sr
Если вы ищете годный контент по сетям, телекому, дата-центрам и мультимедиа от реальных практиков, то вам 100% стоит заглянуть в канал Jet Network Team.
Здесь команда центра сетевых решений «Инфосистемы Джет» рассказывает про тренды и кейсы в инженерной инфраструктуре и сетевых технологиях.
▪️DevNetOps. Автоматизация процесса эксплуатации сети
▪️Тестирование WhiteBox-решений Asterfusion и Edgecore
▪️6 ИТ-сервисов, которые можно развернуть в pLTE-сети
▪️Зачем бизнесу централизованное управление сетью SD-WAN
Подписывайтесь и помните — у инженера нет пути, есть только сеть 🤘
🔥Курс "Kubernetes для разработчиков", последние дни занять место на курсе!
Писать под K8s проще, чем кажется! Доказываем на практике на курсе по Kubernetes для разработчиков от Слёрм
Твоя компания растет и вы решили перенести сервисы на Kubernetes?
У разработчика вполне закономерно могут возникнуть вопросы о работе оркестратора и об особенностях создания приложений под K8s.
Да в конце концов: что значат все эти поды-ноды-кубелеты, о которых говорят коллеги?
Слёрм ответит на все вопросы в курсе Kubernetes для разработчиков👍
Программа 8 потока по ссылке на сайте
❗️ А чтобы лучше разобраться в контейнерах, дарим всем студентам курс по Docker!
Эксперты курса — действующие devops-инженеры из ведущих российских и мировых компаний:
⚡️ Марсель Ибраев, System Engineer G42 Cloud
⚡️ Павел Селиванов, архитектор Yandex Cloud
Этот курс подготовили опытные разработчики для разработчиков: они составили программу с учётом реальных задач проекта.
🚀 Обучение длится 2 месяца.
+ Стендовая практика
+ Итоговая сертификация — по итогу вы получите диплом об успешном росте в K8s
+ 7 онлайн встреч с экспертами
+ Чат со студентами и спикерами
Подробнее о курсе и программе по ссылке
✔️ Старт 22 апреля, но присоединиться вы можете в первую неделю старта.
Реклама ООО «Слёрм» ИНН 3652901451
Certified Kubernetes Security Specialist — мой опыт сдачи экзамена
- отнеситесь серьезно к качеству интернет-соединения. Из РФ ВПН не нужен
- популярные курсы не охватывают экзамен полностью (есть смысл поискать старые дампы на github)
- назначайте первую попытку хотя бы за месяц до окончания времени сдачи экзамена, таким образом, если завалите первую попытку, будет время подготовится ко второй
- за несколько дней пройдите killer.sh, получите выкладку ответов и после прохождения несколько раз пройдите у себя в домашней лабораторной
- обязательно будет задание на анализ поведения, на выбор дают falco и sysdig. Возьмите sysdig, на экзамене он сэкономит время, потренируйтесь в этом перед сдачей
https://habr.com/ru/articles/721136/
#devops #девопс
Подпишись 👉@i_DevOps
Blue-Green Deployment vs. Canary Deployment
Подходы развертывания Canary и Blue-Green сочетают в себе все эти преимущества с высокой доступностью и быстрым временем установки и отката. Это позволяет команде выполнять поставки еще чаще и не страдать от бессонницы. Давайте рассмотрим их преимущества и различия.
https://hardeeppsinghh725.medium.com/blue-green-deployment-vs-canary-deployment-a7cd62ad608a
#devops #девопс
Подпишись 👉@i_DevOps
Представления архитектуры — что это и как с ними работать?
Навыки работы с архитектурой увеличивают ценность любого IT-специалиста. Самое время погрузиться в тему подробнее — приходите на открытый практический урок от OTUS, где опытный эксперт разберет:
- метод ADR/ADL;
- артефакты архитектуры;
- варианты представления архитектуры;
- несколько интересных кейсов.
🗓 Встречаемся 30 мая в 20:00 мск в преддверии старта курса «Microservice Architecture». Все участники вебинара получат специальную цену на обучение и консультацию от менеджеров OTUS!
Ссылка для регистрации: https://vk.cc/cwNzXHРеклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Kube-Proxy: Что это такое и как это работает
Сетевое взаимодействие - важнейшая часть Kubernetes. Понимание того, как работают различные сетевые компоненты, поможет вам правильно спроектировать и настроить их для вашего приложения.
За сетью Kubernetes скрывается компонент, который работает под капотом. Он преобразует ваши службы в удобные сетевые правила. Этот компонент называется Kube-Proxy.
В этой статье мы покажем, как работает Kube-Proxy. Мы объясним, как происходит процесс создания служб. И покажем несколько примеров правил, которые создает Kube-Proxy.
amroessameldin/kube-proxy-what-is-it-and-how-it-works-6def85d9bc8f" rel="nofollow">https://medium.com/@amroessameldin/kube-proxy-what-is-it-and-how-it-works-6def85d9bc8f
#devops #девопс
Подпишись 👉@i_DevOps
Освойте Kotlin DSL, чтобы выгодно отличаться от конкурентов в разработке
Немногие могут похвастаться этим навыком, хотя владение Kotlin DSL является одним из показателей квалификации разработчика💻
Приходите на бесплатный практический урок «Просто и практично о Kotlin DSL» от OTUS. Спикер Сергей Окатов — кандидат физико-математических наук и руководитель управления разработки в БФТ.ЦР. На вебинаре мы:
- обсудим, что такое Kotlin DSL и когда уместно его применять;
- из каких элементов он состоит;
- на практике напишем несложный пример.
Встречаемся 15 мая в 19:00 мск в преддверии старта курса «Kotlin Backend Developer. Professional». Все участники вебинара получат специальную цену на обучение и персональную консультацию от менеджеров OTUS!
Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://vk.cc/cwCC21Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
😒2 канала для каждого сетевого инженера и безопасника
Серверная Админа - большое количество уроков и статей по устройству компьютерных сетей. Кладезь информации для безопасника
Бункер Хакера - Сборник инструментов, книг, справочников, гайды и ресурсы по информационной безопасности, анонимности и разведки.
🚀 Готовься к переменам в мире IT с нашим практическим курсом по Domain Driven Design!
😰 Устал от запутанной инфраструктуры, вперемешку с бизнес логикой? Мы знаем, как это тяжело. Писать тесты становится неприятно и больно, много приходится мокать, тесты получаются огромными, хрупкими.. Но есть решение! Присоединяйся к нашему курсу, где мы разложим все по полочкам за 10 вебинаров, начиная с 13 мая.
🔝 Успей зарегистрироваться уже сейчас https://microarch.ru/courses/hexagonal-architecture?utm_source=posev&utm_medium=erid:2VtzqwnfCad&utm_campaign=1
💡 Зачем Clean Architecture?
— Простота понимания. Clean Architecture понятна и логична, что упрощает работу с ней для разработчиков.
— Улучшение качества кода. Разделение на слои помогает избежать дублирования кода и ошибок, связанных с этим.
— Тестируемость. Каждый слой можно тестировать отдельно, что упрощает процесс тестирования и сокращает время на его выполнение.
— Разделение ответственности. Каждый слой отвечает за свою часть функциональности, что упрощает работу с кодом.
— Гибкость. Добавление новых функций или изменение существующих не требует серьёзных изменений в других слоях.
🌟 Присоединяйся к нам прямо сейчас и стань экспертом в разработке успешных проектов: https://microarch.ru/courses/hexagonal-architecture?utm_source=posev&utm_medium=erid:2VtzqwnfCad&utm_campaign=1
Реклама. ИП Ветчинкин К.Е. ИНН: 773376451099 Erid: 2VtzqwnfCad
🚩 Товарищи сисадмины и администраторы!
Станьте частью новой эпохи! Осваивайте инструменты автоматизации, вносите свой вклад в развитие IT-индустрии, ведите мир к технологическому благополучию!
Присоединяйтесь к курсу по Ansible от Слёрма, и вы сможете:
🎈систематизировать знания по Ansible и научимся подходу IaC;
🎈научиться писать плейбуки и роли;
🎈задеплоить Flask-приложение;
🎈настроить IaC в Gitlab и сделать еще много чего полезного.
Начало нового потока — 20 мая, но уже сейчас на повестке дня дело о бесплатном доступе ко всем материалам! Целых 24 часа вы можете смотреть лекции от настоящих профессионалов. У вас есть время присоединиться к мировой революции принять решение, чтобы продолжить обучение на курсе.
Подробности вы можете узнать на странице курса 📌
Мир! Труд! Май! Слёрм!
Постройте облегченную внутреннюю платформу для разработчиков с помощью Argo CD и Kubernetes Labels
Эта статья в блоге демонстрирует, как создать облегченную внутреннюю платформу для разработчиков, не полагаясь на Backstage, но при этом предоставляя разработчикам возможность самообслуживания. Используя GitOps с Argo CD и применяя Kubernetes labels, этот метод предлагает упрощенное и эффективное решение для управления и развертывания вашей инфраструктуры.
https://itnext.io/build-a-lightweight-internal-developer-platform-with-argo-cd-and-kubernetes-labels-4c0e52c6c0f4
#devops #девопс
Подпишись 👉@i_DevOps
🔍 AIOps против DevOps
Может ли AIOps полностью заменить DevOps? 🔄
1/ 💡 Культура имеет значение:
DevOps - это не только инструменты, это командная работа и совместное совершенствование. AIOps помогает решать некоторые задачи, но он не может исправить динамику команды.
Пример: В DevOps разработчики и ИТ-специалисты работают в тесном контакте, чтобы быстрее решать проблемы.
2/ 💻 От идеи к реальности:
DevOps занимается всем, начиная с планирования и заканчивая выпуском программного обеспечения. AIOps помогает на некоторых этапах, но не охватывает всего, что делает DevOps.
Пример: В DevOps все работают вместе, чтобы создавать и выпускать программное обеспечение без сбоев.
3/ 🧠 Люди все еще главные:
В AIOps используются умные алгоритмы, но настоящими экспертами являются люди. DevOps нуждается в человеческих мозгах для принятия важных решений.
Пример: В DevOps опытные члены команды принимают жесткие решения, когда ситуация становится сложной.
4/ 🔄 Быть гибким:
DevOps любит пробовать новое и быстро меняться. AIOps не всегда может идти в ногу со временем без вмешательства людей.
Пример: В DevOps команды легко переключаются, когда появляются новые технологии или идеи.
5/⚙️ Инструмент против методологии:
AIOps - это набор инструментов для оптимизации ИТ-операций, в то время как DevOps - это методология для культурных и организационных изменений.
Пример: DevOps способствует разделению ответственности между dev и ops, что выходит за рамки того, что могут предложить инструменты AIOps.
6/ 🌟 Непрерывное совершенствование:
DevOps способствует непрерывному обучению и совершенствованию. Инструменты AIOps учатся на данных, но DevOps поощряет инновации, основанные на человеческом факторе.
Пример: Команды DevOps постоянно совершенствуют процессы на основе обратной связи, внедряя инновации, выходящие за рамки возможностей AIOps.
7/🚀 Подведение итогов: AIOps - это помощник для DevOps, а не замена. DevOps - это полный пакет, объединяющий команды для создания лучшего программного обеспечения.
Пример: DevOps - это как рецепт успеха командной работы, одним из ингредиентов которого является AIOps.
#devops #девопс
Подпишись 👉@i_DevOps
Как разработчикам, администраторам и DevOps повысить свою квалификацию?
Освоить управление базой данных PostgreSQL под руководством топовых экспертов из ведущих компаний на углубленном онлайн-курсе «PostgreSQL Advanced» от OTUS.
Рынок ощущает острый дефицит специалистов, которые глубоко понимают PostgreSQL и могут помочь в миграции, проектировании и эффективном управлении базами данных. Станьте таким экспертом и обеспечьте себе большие карьерные перспективы!
Кроме того вас ждут:
- живые лекции и много практики;
- сильные проекты для портфолио;
- профессиональное комьюнити.
Пройдите вступительное тестирование на 15 минут прямо сейчас и ознакомьтесь с форматом обучения, чтобы принять решение: https://otus.pw/Q4Ek/?erid=LjN8KA6Zf
Gitea & Act Runner: First touch
Хотелось бы восполнить скромную пустоту в литературе по Gitea. С версии 1.19 в Gitea появился свой CI/CD и раннер Act Runner, являющийся ничем иным как форком всем знакомого nextos/act-runner.
Собственно говоря, с Gitea я был знаком достаточно давно, и использовал его в своих любительских целях более года, а вот к Gitea CI/CD руки мои дошли только сейчас, и сразу же меня спохватил зуд перенести свой самописный пайплайн по развертке сайта на базе MkDocs на него.
Кроме того, интересно будет пронаблюдать: упрется ли в потолок наконец-то мой VPS с 2 гигабайтами ОЗУ, или же нет? Насколько вообще Gitea вместе с одним инстансом раннера будет прожороливым?
https://habr.com/ru/articles/770448/
#devops #девопс
Подпишись 👉@i_DevOps
Helm - обмен данными между родительским и дочерним чартом
В helm мы можем обмениваться данными между дочерним и родительским чартами. А также мы можем манипулировать значениями дочернего чарта из родительского. Различные способы достижения этой цели рассматриваются в этой статье.
https://levelup.gitconnected.com/helm-data-sharing-between-parent-and-child-chart-c4487a452d4e
#devops #девопс
Подпишись 👉@i_DevOps
Мониторинг затрат на Kubernetes с помощью OpenCost и VictoriaMetrics
Контроль над эксплуатационными расходами играет ключевую роль в развертывании и управлении Kubernetes. Хотя Kubernetes обеспечивает мощь и контроль над развертыванием, она также требует тщательного понимания и управления затратами. OpenCost, специально разработанный для мониторинга затрат Kubernetes, в сочетании с VictoriaMetrics, эффективной базой данных временных рядов, предлагает комплексное решение этой задачи.
Эта статья представляет собой пошаговое руководство по настройке OpenCost и его интеграции с VictoriaMetrics для мониторинга затрат Kubernetes.
https://victoriametrics.com/blog/monitoring-kubernetes-costs-with-opencost-and-victoriametrics/index.html
#devops #девопс
Подпишись 👉@i_DevOps
⚡️ Появление технологической базы ПО отечественных вендоров и рост приложений, использующих алгоритмы на основе ИИ, — одни из главных трендов 2023 года. А что еще?
Мы опросили 800+ ИТ-специалистов, включая топ-менеджеров компаний, чтобы понять, как за год трансформировался отечественный рынок DevOps. Упаковали все это в отчет, который сейчас можно бесплатно скачать по ссылке.
📊 Из отчета вы узнаете:
- как российские компании преодолевают технологические и кадровые вызовы;
- планы и прогнозы развития рынка DevOps в ближайшем будущем;
- актуальные вопросы безопасной разработки (DevSecOps);
- в каком состоянии кадровый рынок DevOps.
Наши партнеры: МТС, IBS, Яндекс, Лаборатория Касперского, а также НИУ ВШЭ, ИСП РАН и ЭКОПСИ Консалтинг.
Забирайте ежегодный отчет по ссылке.
Реклама. Информация о рекламодателе
Сканер на наличие уязвимостей в образах контейнеров, файловых системах и репозиториях Git, а также для проблем с конфигурацией
Trivy обнаруживает уязвимости пакетов ОС (Alpine, RHEL, CentOS и т. д.) и языковых пакетов (Bundler, Composer, npm, yarn и т. д.). Кроме того, Trivy сканирует файлы Infrastructure as Code (IaC), такие как Terraform, Dockerfile и Kubernetes, чтобы обнаружить потенциальные проблемы конфигурации
https://github.com/aquasecurity/trivy
#devops #девопс
Подпишись 👉@i_DevOps
