6536
Канал о DevOps во всех проявлениях: K8s, CI/CD, AppSec, AI/ML, Cloud, Linux Поможем с DevOps: https://core247.kz/ По рекламе @UlKonovalova
⌛ Инвентаризация хранилищ
Diskover — это бесплатная платформа для аналитики файловых систем и управления данными с 1,5k звезд на GitHub. Она проводит инвентаризацию хранилищ (локальных и облачных), помогает выявлять избыточные данные и оптимизировать использование ресурсов. А потом все это визуализирует.
➖ Сканирование и индексирование
Собирает подробную информацию о файлах и каталогах. Поддерживает разные типы файловых систем, сетевые и облачные хранилища.
➖ Интеграция с Elasticsearch
Хранит и обрабатывает большие объёмы метаданных. Можно наглядно анализировать структуру файловой системы, фильтровать по типам файлов и искать потенциальные дубли.
➖ Анализ и отчётность
Предоставляет детальные отчёты: сколько дискового пространства занимают определённые типы файлов, какие файлы не менялись долгое время и т.д.
➖ Гибкость настройки
Можно настроить различные политики сбора и анализа данных. Поддерживает скрипты и плагины для расширения функционала.
Применение
Diskover используют для оптимизации ресурсов на хранение и анализа данных, которыми не пользуются. Полезен при миграции данных в облако или на локальном консолидационном (упрощает понимание структуры и объёма хранилища).
👀 Запуск контейнера с помощью runc
Чтобы лучше понять, что происходит на уровне системы при запуске контейнеров, можно запустить контейнер с помощью runc, без использования Docker.
Это базовый компонент, который напрямую взаимодействует с ядром Linux, используя функции контейнеризации, вроде namespaces и cgroups.
👉 В мануале пошагово объясняют, как совершить этот запуск.
Будет интересно не только с точки зрения практической пользы, но и с точки зрения исследования, что там у машины под капотом.
@DevOpsKaz 😛
🔥 CI/CD и наблюдаемость: возможности с OpenTelemetry
OpenTelemetry открывает новую эру наблюдаемости для CI/CD, позволяя:
➖ Собирать данные со всех этапов пайплайна.
➖ Устранять слепые зоны в ранних фазах разработки.
➖ Ускорять процесс поиска и устранения ошибок.
Смещение фокуса «влево» с OpenTelemetry не только повышает надежность CI/CD процессов, но и увеличивает общую продуктивность разработчиков. Это — шаг в сторону более прозрачной, быстрой и устойчивой разработки ПО.
👉 Читайте в новой статье
@DevOpsKaz 😛
«Мы — рабы своих привычек. Поменяй свои привычки и твоя жизнь изменится» — так как-то сказал Роберт Кийосаки.
Ну вот ребята в Стратоплане и решили поделиться 10 привычками сотрудников, которые растут.
Потому что в течение 15 лет работы с более чем 24 000 инженеров, руководителей, СхО они постоянно замечают одну простую вещь: существуют простые действия, которые в разы ускоряют карьеру и повышают удовольствие от процесса.
На «марафоне привычек» вас ждут:
— 10 тем
— 10 статей и эфиров
— 10 методов ускорения роста, которые можно примерить на себя и, если зайдет, применять в профессиональной жизни
Дата — 13-24 января
🔥 Новые проекты CNCF: отказоустойчивое хранилище и анализ временных рядов
⚪️Score — ориентированная на разработчика и независимая от платформы спецификация рабочей нагрузки. Обеспечивает согласованную конфигурацию между локальными и удаленными средами. Запускает одну и ту же рабочую нагрузку на разных технологических стеках.
⚪️Shipwright — расширяемая среда для создания образов контейнеров в Kubernetes. Поддерживает Kaniko, Cloud Native Buildpacks, Buildah и другие.
⚪️Stacker — инструмент для создания образов OCI с помощью декларативного формата YAML.
⚪️youki — низкоуровневая среда выполнения контейнеров Linux, управляет ими аналогично runc и crun. Можно использовать для создания, запуска и выполнения контейнеров либо воспользоваться Docker, чтобы получить удобный интерфейс.
@DevOpsKaz 😛
☄️ Новости от Core 24/7 и Tech Orda
Наши студенты уже на середине пути и продолжают уверенно двигаться вперёд с курсом DevOps Upgrade!
Один из них присоединился к команде Core 24/7 и уже работает с нами — да, и такое бывает.
💡 Tech Orda предлагает не просто обучение, а реальный шанс стать частью профессионального IT-сообщества.
Следите за новостями: скоро стартует новый поток Tech Orda 2025
🔥 Упаковка и развертывание Python-проектов в среде без интернета
Врываемся в новый год с полезными инструментами!
Pex — инструмент для упаковки проектов Python, разработанный специально для развертывания в разных средах и сценариях, где нет доступа к общедоступному интернету.
Инструмент упаковывает проекты и все зависимости, включая интерпретатор, в исполняемый файл. Разработчики смогут запускать приложения без установки среды выполнения.
Поддерживает Linux и macOS.
Пользуйтесь и делитесь с коллегами 🫡
@DevOpsKaz 😛
☄️ Итоги 2024 года
Поздравляем всех с наступающим и желаем отлично отдохнуть :) За этот год мы успели немало:
В KazDevOps:
➖ Результаты на картинке 👆
➖ Провели 4 конкурса, разыграли призы на сумму более 5 млн тенге
➖ Помогли 17 специалистам получить сертификаты от CNCF
В CORE 24/7:
➖ Провели DevOpsDays Almaty 2024, где собрали более 700 посетителей офлайн и 2500+ зрителей онлайн, сами поучаствовали в 5 конференциях
➖ Обновили сайт, расширили спектр услуг и закрыли ~4365 клиентских задач
➖ Заняли 2 место в программе Global Outsourcer
➖ Вышли на международный рынок и подписали 4 клиентов из ОАЭ, Армении, Нидерландов и США
➖ Переехали в новый крутой офис
➖ Выдали 17 грантов на обучение в рамках программы TechOrda
➖ Внедрили платформу OpsMan с использованием ИИ, для автоматизации обслуживания наших клиентов
➖ Стали партнерами VK Cloud и Cloudflare
➖ Разработали модуль авторизации через ЭЦП, выложили в open source — получили охват 100 000+ и огромный отклик от комьюнити
➖ Провели 2 обучающих вебинара по Serverless в Yandex Cloud
➖ Запустили новые услуги: AI Engineering, Аудит ГТС, Аудит PCI DSS 4.0, Аудит CI/CD, Аудит Kubernetes, Поддержку сайтов на Битрикс
➖ Опубликовали топовые кейсы наших клиентов
Без вас всего этого бы не было. Всех обняли! ❤️
🔥 Анонсируем DevOpsDays Tashkent 2025
Вчера пришло одобрение от главных организаторов devopsdays.org и Daniel phrawzty Maher на проведение DevOpsDays Tashkent.
Организаторы ивента — Proxima, наша компания CORE 24/7 и PS Cloud Services.
Прошедший DevOpsDays Almaty 2024 дал нам возможность взглянуть шире, и теперь выходим на новый рынок. За 3 года организации конференции мы набрались опыта и сможем помочь коллегам из соседней страны.
Точные даты пока неизвестны, следите за новостями 🫡
И будем рады видеть вас в Ташкенте!
@DevOpsKaz 😛
🔥 DevOps Roadmap 2025, часть №2
➖ Вместо устаревшего Jenkins изучайте GitHub Actions и GitLab CI, Travis CI, CircleCI и Drone
➖ Необходимо разбираться в логировании с помощью ELK-стека, Loki, Graylog и Splunk
➖ В работе с артефактами востребованы Nexus, JFrog Artifactory и облачные хранилища
➖ Для секретов и ключей изучите инструменты Sealed Secrets, Vault и SOPs
➖ Для продвинутого уровня освойте сетевые паттерны и сервис-меш технологии (Istio, Linkerd, Consul и Envoy)
➖ Помимо глубокого понимания Linux стоит учесть и Windows с macOS для более разностороннего опыта (есть компании, в которых это актуально)
➖ Инструменты проверки кода, как Crucible и Gerrit, будут более тесно интегрироваться с конвейерами CI/CD
➖ Pulumi — восходящая звезда в сфере IaC, будет пользоваться все большим спросом
➖ Бессерверные фреймворки Serverless Framework, AWS SAM и Azure Functions, упростят разработку и развертывание бессерверных приложений
➖ Datadog, New Relic и Dynatrace будут предлагать аналитику и обнаруживать аномалии на основе ИИ
➖ Moogsoft, BigPanda и Dynatrace AIOps будут использовать ИИ и МО для анализа огромных объемов данных, прогнозирования проблем и автоматизации действий по их устранению
Шагайте в новый год с четким планом развития и делитесь им с коллегами 🫡
@DevOpsKaz 😛
☄️ Бесплатный курс по облачным технологиям от VK Cloud
Обещают научить использовать инструменты кибербезопасности, управлять ИТ-инфраструктурой, а также разрабатывать стратегии миграции в облако.
Курс для продвинутых пользователей
🔥 Путь от эникейщика до DevOps'a
Круто, что для многих в новой профессии есть четкие Roadmaps. Есть и книги #devopsbooks, и курсы. Но куда ценнее — реальный опыт других новичков.
В статье на Хабре парень рассказывает, как прошел путь от эникейщика до DevOps'a и что конкретно для этого делал.
Вот некоторые его советы:
➖ Изучить основные направления в ИТ, чтобы понять, какое вам больше подходит
➖ Найти свой подход к обучению: кому-то больше подойдет метод учебы на собственных ошибках, другим — через знания от коллег
➖ Не спешите перекидывать задачи на старших коллег — а приносите им возможные варианты решения
Статью стоит прочитать тем, кому нужно вдохновение, поддержка и понимание, чего ожидать от профессии в целом.
Если хотите поделиться историей своего пути — всегда можете предложить ее нам. Мы поможем с редактурой. Главное условие — опыт должен быть полезен другим.
Readme Generator for Helm — инструмент для автоматического создания файла README.md для Helm Charts. Отлично упрощает документацию для разработчиков и пользователей 👌🏻
Особенности:
➖ Инструмент анализирует values.yaml и другие файлы, и автоматически создает структурированный и понятный README.md.
➖ Генератор создает README с заголовками, описаниями и таблицами, объясняющими параметры, используемые в Helm-чарте.
➖ Поддерживаются таблицы с описанием всех переменных, их типов, значений по умолчанию и назначений.
➖ Легко интегрируется в CI/CD-процессы.
➖ Запускается одной командой и требует минимальной настройки.
@DevOpsKaz 😛
👀 Кибербезопасность становится ключевой инвестицией для бизнеса
В 2023 году Национальная служба реагирования на компьютерные инциденты KZ-CERT зафиксировала двукратный рост числа инцидентов среди казахстанских компаний — 34,5 тысяч.
В «Лаборатории Касперского» отмечают, что почти каждая третья казахстанская организация (31%) становилась жертвой кибератак. С ростом объёма данных требуется всё больше инструментов для их хранения и обработки, увеличивается и потребность в информационной безопасности.
☄️ BaaS, необанки и финтех даже там, где его не ждали: о чем говорили на Rocket Conf 2024?
Второй ивент Rocket Tech собрал более 200 ведущих представителей банковского сектора, МФО, финтехов и государственных финрегуляторов.
Что было интересного:
➖ Halyk Bank анонсировал запуск собственной BaaS-платформы для бизнеса. Это мобильная библиотека готовых банковских сервисов под iOS и Android на базе инфраструктуры Halyk Bank. В нее входит онбординг, переводы, платежи, токенизация карт, рассрочки, депозиты, кредиты. Она позволяет выйти на рынок за две недели.
➖ «Платежки» вместо банкинга. «Платежки» настолько захватили рынок Узбекистана, что банкам, строившим инфраструктуру из отделений, а не удобные мобильные интерфейсы, приходится его отвоевывать»
➖ Первый в мире маркетплейс финтех-сервисов. Расширить покрытие банковских продуктов и услуг смог первый в мире маркетплейс финтех-сервисов «Финуслуги». Сейчас там представлено 25 крупнейших финорганизаций, и пользователи могут сравнить их предложения и получить услуги.
➖ Питчинг fintech-стартапов. Первое место — Ezfactor с AI-системой риск-мониторинга для банков и МФО по проверке b2b-клиентов в торговом секторе. Второе— b2b-платформа Partners pay для моментальных выплат сотрудникам, ведения документооборота, автоматизации бухгалтерии и налоговой отчетности. Третье место — система по авансовым выплатам Prosper Pay.
#партнерский_пост
☄️ Инфраструктура на облачных сервисах
Добавили на сайт нашей компании Core 24/7 новые услуги — все они связаны с инфраструктурой в облаке. Это прям одна из любимых сфер.
Мы выполняем полный спектр работ: от миграции (в облако или из другого облака) до масштабировании и фуллтайм поддержки.
➖ AWS
➖ Yandex Cloud
➖ VK Cloud
➖ Azure
➖ Google Cloud Platform
📑 Услуги подойдут как небольшим стартапам, так и корпорациям. Экспертность есть во всех сферах — это доказывают кейсы. А еще Core 24/7 — сертифицированный партнер упомянутых сервисов в Казахстане.
☄️ Тренажер траблшутинга для Linux
Представляем продуманный тренажер, который поможет проверить ваши навыки решения системных проблем. Задачи поделены на 3 уровня сложности и похожи на то, как тестируют DevOps-специалистов при найме в крупные компании.
На каждую задачу от 5 до 30 минут. Всего — 55 штук (есть те, которые доступны лишь по подписке).
👉 Запустить тренажер
Пользуйтесь и делитесь с коллегами 🫡
Также вышло обновление SRE Learning Platform — платформы для изучения #kubernetes и #aws #eks и подготовки к сертифицированным экзаменам. Добавили новые тесты и лабораторные работы.
🔥 Бесплатные онлайн-курсы от NVIDIA
1️⃣ Генеративный ИИ
• Как работает Генеративный ИИ
• Примеры применения Генеративного ИИ
• Вызовы и новые перспективы
2️⃣ Введение в ИИ для дата-центров
• Основы искусственного интеллекта, машинного обучения и глубокого обучения
• Как работают тренировка и вывод моделей глубокого обучения
• Различия архитектур GPU и CPU и их роль в ИИ
3️⃣ Ускорение Data Science без изменений кода
• Преимущества унифицированных рабочих процессов для CPU и GPU
• Ускорение обработки данных и ML-задач с помощью GPU
4️⃣ Начало работы с ИИ на Jetson Nano
• Как собирать и аннотировать данные изображений
• Как обучать нейронные сети на своих данных
• Как запускать вывод (inference) моделей
5️⃣ Расширение возможностей LLM с помощью RAG
• Обзор технологии Retrieval-Augmented Generation
• Как улучшить Генеративный ИИ с помощью передовых методов
• Работа с векторными базами данных, моделями эмбеддингов и LLM
6️⃣ Создание RAG-агентов с помощью LLM
• Как настроить окружение для работы с агентами LLM
• Интерфейсы вывода LLM
• Микросервисы
Пользуйтесь и делитесь с коллегами 🫡
@DevOpsKaz 😛
🔥 Эволюция SRE в Google
В статье коллеги рассказали, как эволюционировали практики SRE в Google, чтобы справляться с растущей сложностью систем и необходимостью повышения их надежности.
Как было раньше. Изначально SRE-инженеры использовали цели уровня обслуживания (SLO), бюджеты ошибок, стратегии изоляции, тщательные разборы инцидентов (постмортемы) и прогрессивные развертывания, чтобы поддерживать надежность систем.
Что произошло. Сложность систем кратно растет, поэтому риски сбоев увеличиваются. Это и утечки данных, и нарушения конфиденциальности. Традиционные подходы перестали работать — их просто не хватает.
Что теперь. Чтобы справляться с новыми вызовами, Google принял модель STAMP (System-Theoretic Accident Model and Processes), разработанную в MIT.
STAMP смещает фокус с предотвращения отдельных отказов компонентов на понимание и управление сложными взаимодействиями в системе.
Эта модель подразумевает анализ причинных связей на основе системной теории (CAST) для расследования инцидентов, и системно-теоретический процессный анализ (STPA) для выявления потенциальных угроз.
🔥 Новые проекты CNCF: отказоустойчивое хранилище и анализ временных рядов
CNCF не ленились в прошлом году, а курировали разработку ряда мощных решений. Проекты в категориях Runtime и App Definition & Development предлагают свежие фичи для разработки и управления облачными приложениями.
⚪️OpenEBS — служба хранения для приложений Kubernetes. Управляет блочным хранилищем и файловыми системами, позволяет создать быстрое и отказоустойчивое хранилище с опциями для одного и множества узлов.
⚪️openGemini — облачная распределённая база данных временных рядов. Предназначена для хранения и анализа больших объемов телеметрических данных. По сравнению с другими openGemini более гибкая, быстрая и масштабируемая.
⚪️OVN-Kubernetes — надёжный сетевой плагин для кластеров Kubernetes с OVN и Open vSwitch. Разработан для решения проблем, связанных с сетевой инфраструктурой. Плагин отслеживает API Kubernetes и действует на сгенерированные события кластера.
⚪️Radius — это облачная платформа приложений, которая позволяет разработчикам и инженерам поддержки определять, развёртывать и совместно работать в публичных облаках и частной инфраструктуре.
@DevOpsKaz 😛
🔥 DevOps Roadmap 2025, часть №3 (1 и 2, если пропустили)
Эта часть больше пригодится новичкам.
👉 Видео ⚪️ PDF (в сообществе хвалят)
Уровень 1: Предварительные требования к DevOps
Уровень 2: Основы DevOps
Уровень 3: Ядро DevOps
Уровень 4: Продвинутый уровень DevOps
🎆 С наступающим Новым Годом, друзья!
Еще чуть-чуть, и мы в 2025-ом. А там и новые проекты, и новые победы, и новый бесценный опыт.
Мы благодарим вас за то, что читаете, поддерживаете и помогаете нам развивать сообщество DevOps. В этом году мы совершили большой скачок и надеемся, что помогли и Вам.
Желаем каждому профессионального роста, легкости в работе и много денег. Желаем автоматизировать и ускорить все, что только возможно. Желаем адекватных коллег рядом и чтобы голова всегда соображала как надо :)
Всех обняли!
@DevOpsKaz 😛
☄️ Отчет за 2024 от наших партнеров Linux Foundation
➖ Около 1300 проектов в сообществе (на 200 больше 2023 года). Больше всего — по облачным технологиям, контейнеризации и виртуализации
➖ Сгенерировано более 1,8 млрд строчек кода
➖ Общий доход за год вырос до $292 млн, а расходы — до $299,7 млн
➖ Расходы на поддержание инфраструктуры Linux Foundation составили $22,69 млн
➖ Срок поддержки LTS версии ядра сокращён с 5 до 2 лет
➖ Затраты на программы обучения и сертификации составили $23,1 млн
➖ Затраты на разработку ядра Linux снова уменьшились ($6,8 млн против $7,8 млн в прошлом году)
👉 Почитать подробнее
@DevOpsKaz 😛
🔥 ИИ и машинное обучение для AppSec
Если посмотреть на LLM и AI с точки зрения оценки рисков в работе приложений, то польза от автоматизации очевидна.
В статье автор предлагает «скормить» моделям ИИ техническую спецификацию изменений, а взамен получить готовый отчет по AppSec. Важный момент — это не полная замена специалиста безопасности, а лишь усиление его компетенций.
Автор автоматизировал:
➖ Классификацию рисков
➖ Rapid Risk Assessment
➖ Security Review
Пример, как это все работает, есть в видео.
@DevOpsKaz 😛
🔥 DevOps Roadmap 2025, часть №1
По данным hh.ru профессия DevOps-инженер вошла в топ 3 высокооплачиваемых в 2024 году. При этом сфера DevOps становится всё более стратегической, внимание концентрируется на следующем:
Продолжение — завтра в следующем посту 🫡
☄️ Новости и релизы инструментов DevOps
1️⃣ Первая альфа Proxmox Datacenter Manager
Новый инструмент для упрощения управления дата-центрами и большими инфраструктурами. Ключевые особенности:
— Централизованное управление несколькими узлами Proxmox VE и Proxmox Backup Server из единого интерфейса
— Заточен для работы с большими кластерами и поддерживает несколько дата-центров
— Есть возможности автоматизации процессов, таких как обновление узлов, настройка сетевых параметров и управление хранилищем
— Интуитивно понятный веб-интерфейс, который позволяет легко отслеживать состояние системы и выполнять основные задачи
— Интеграция с существующими решениями Proxmox
2️⃣ GitLab 17.7 с 230+ улучшениями
— Роль Planner: упрощенный доступ к Agile-инструментам планирования
— Allowlist для интеграций на уровне инстанса
— Автоматическое решение уязвимостей: новая политика для быстрого реагирования на риски
— Ротация токенов доступа в UI
— Полный контроль за тем, как используются ресурсы в разных проектах
3️⃣ Релиз системного менеджера systemd 257
— Снизили риск случайного удаления данных
— Учётные данные обрабатываются в формате base64
— Добавили новые функции DeferReactivation и RestartMode=debug
— Необходимо адаптировать существующие конфигурации с учетом нового поведения
@DevOpsKaz 😛
☄️ Как достичь нулевого простоя при rolling deployment в Kubernetes
Благодаря Kubernetes внесение изменений в приложения стало более бесшовным. Но как сделать так, чтобы эти изменения не оказывали негативного влияния на пользователей? Например, речь о разрывах соединений.
Помогаем разобраться в поведении pod-ов при rolling deployment и методы достижения настоящего нулевого простоя, чтобы клиентские соединения оставались стабильными даже при обновлении приложения.
👉 Читайте в новой статье
@DevOpsKaz 😛
Ищут спикеров на Kolesa MLOps Meetup, который состоится 16 января в Алматы 🔥
👉 Можно выбрать одну из тем
Особенно оценят доклады, основанные на реальных кейсах и практическом опыте по решению конкретных проблем и вызовов. Также будут очень рады видеть доклады на казахском языке.
📅 Заявки принимают до 20 декабря
👉 Подать заявку
#партнерский_пост
☄️ Новости и релизы инструментов DevOps
1️⃣ Kubernetes v1.32: Penelope
Cодержит 44 улучшения, из которых 13 — Stable, 12 Beta и 19 в Alpha. Ключевые особенности:
— Memory Manager достиг статуса GA: модуль управления памятью теперь в стабильной версии с более эффективным распределением памяти между подами и улучшением производительности рабочих нагрузок.
— QueueingHint (бета-версия): новый механизм для оптимизации планирования подов с подсказками о приоритетах очередей.
— Поддержка OpenTelemetry Tracing (бета-версия): упрощает отслеживание и мониторинг распределенных систем.
— Улучшения в управлении жизненным циклом подов на Windows-нодах: возможность корректного завершения работы подов при выключении Windows-нод, что повышает надежность и согласованность приложений в гетерогенных кластерах.
2️⃣ Kubermatic KubeOne 1.9.0
Новая версия решения для автоматизации операций с Kubernetes-кластерами в различных средах:
— Технический превью KubeOne UI.
— Первая реализация провайдера KubeVirt.
— Новая команда kubeone kubeconfig generate.
— Поддержка Kubernetes 1.31 и Ubuntu 24.04.
— Интеграция с Cilium v1.16.
@DevOpsKaz 😛
🔥 Кейс Biometric Vision: миграция решения для распознавания лиц в Yandex Cloud
Стартап Biometric Vision обратился к нам с задачей миграции инфраструктуры своего сервиса в облако. Мы выделили команду: тимлид и инженеры провели первичный анализ, по результатам которого стали внедрять план работ.
В итоге Biometric Vision получил готовую инфраструктуру по современным требованиям DevOps и безопасности, которая станет основой для дальнейшего масштабирования их решений.
👉 В новом кейсе рассказываем, чем и как мы помогли
#кейс #devops
@DevOpsKaz 😛