Elastic Stack recipes

23 Mar 2023 07:30

What are the best Elasticsearch GUI clients?

Перечень GUI-клиентов для Elasticsearch

Elastic Stack recipes

20 Mar 2023 07:00

karkoubelwali/test-logstash-pipelines-filters-before-implementation-3015f9be15ec">Test Logstash Pipelines/Filters before Implementation

Эта статья намекает, что logstash можно запустить с ключом -f и протестировать конфигурацию перед запуском.

Elastic Stack recipes

14 Mar 2023 07:00

​Что нового в OpenSearch 2.6

28 февраля вышла новая минорная версия OpenSearch. Давайте посмотрим какие обновления она получила.

⚡️ В OpenSearch 2.6.0 появилась функциональность, упрощающая администрирование кластера. Это обновление позволяет создавать, просматривать и управлять потоками данных непосредственно из пользовательского интерфейса. Также появилась возможность выполнять операции ручного переноса индексов или потоков данных, а также принудительного слияния индексов или потоков из пользовательского интерфейса.

⚡️При создании детекций угроз в OpenSearch 2.6.0 теперь можно использовать несколько индексов или шаблонов индексов для построения детекции, а не только один индекс. Пять новых интеграций доступны для обнаружения угроз, теперь их общее количество достигло 13. Новые интеграции включают в себя Google Workspace, GitHub Actions, логи Microsoft 365, события Okta и логи Microsoft Azure. Кроме того, многие типы детекций теперь включают готовые панели, предназначенные для визуализации логов, которые они отслеживают.

⚡️Версия 2.6.0 включает новую панель здоровья ML-моделей в качестве экспериментальной функции, позволяющей просматривать местоположение и состояние ML-моделей в кластере.

⚡️Появились карты в OpenSearch Dashboards. Ранее карты можно было создавать и отображать только в плагине Maps; теперь вы можете получить доступ к картам для визуализации и анализа, не выходя из Dashboards.

⚡️OpenSearch 2.6.0 поддерживает OpenSearch Reporting CLI. Новый CLI предоставляет готовый способ программно генерировать и загружать отчеты непосредственно из OpenSearch Dashboards. Можно использовать Reporting CLI для создания отчетов в формате PDF, PNG или CSV и распространения их в виде файла в системах передачи сообщений.

⚡️OpenSearch использует встроенный механизм для определения ресурсоемких поисковых запросов и сбрасывает их, когда нагрузка на ноде превышает лимит ресурсов. В новом релизе OpenSearch запросы теперь сбрасываются на уровне ноды-координатора и, таким образом, обеспечивается более эффективная защита от скачков нагрузки, возникающая из-за небольшого количества ресурсоемких запросов.

Подробнее об обновления можно узнать в блоге OpenSearch.

Elastic Stack recipes

12 Mar 2023 07:00

Рассказали в нашем блоге о роли координирующей ноды в кластере Elasticsearch. Прочитайте эту статью, если задумываетесь нужна ли она вам.

Elastic Stack recipes

06 Mar 2023 13:08

​Elastic SIEM fleet server implementation

Fleet Server, который отвечает за управление Elastic-агентами на хостах, является одним из основных элементов Elastic SIEM. В этой статье рассказано о том как устроен и какими возможностями обладает Fleet Server для Elastic SIEM.

Elastic Stack recipes

28 Feb 2023 12:35

Overview of Syslog Parsing with Fluentd

Syslog - это широко используемый метод сбора и хранения данных. Это стандарт, который поддерживается многими приложениями и платформами. В этой статье рассмотрены основы разбора syslog с помощью Fluentd.

Elastic Stack recipes

26 Feb 2023 08:00

​Capacity planning an Elasticsearch Cluster — 8.6.1. Несколько картинок для расчёта сайзинга кластера. И понимания как это делать. Смотреть.

Elastic Stack recipes

24 Feb 2023 10:30

1-3 марта проведем 3-дневный вводный курс по работе с Elastic Stack.

Мы добавили в курс разделы с конвертированием SQL в DSL, нагрузочное тестирование кластера Elastic при помощи утилиты Rally и SIEM.

После прохождения курса вы будете уметь разворачивать защищенный кластер, настраивать обработку различных данных, создавать визуализации в Kibana, рассчитывать сайзинг, обнаруживать уязвимости системы и многое другое.

Курс — это как ракета-носитель, которая за 3 дня выведет вас на заданную орбиту. Вы сможете сразу приступить к работе вместо долгого изучения документации по каждому из компонентов Elastic Stack.

Программа курса и заявка на участие по ссылке. Вопросы можно задать @galssoftware.

Elastic Stack recipes

23 Feb 2023 08:00

​Родители и дети. Связываем документы в Elasticsearch. Статья об использовании непопулярного архитектурного решения — join field type. Может вам пригодиться, если считаете, что обновлять весь документ из-за изменения пары полей — ту мач. Важно учитывать, что родительские и дочерние документы должны находиться в одном шарде, что может отразиться в дальнейшем на масштабировании. Читать.

Elastic Stack recipes

21 Feb 2023 08:00

Vector: руководство по уходу за граблями. Если уже используете или собираетесь использовать в качестве шиппера Vector вместе с OpenSearch/Elasticsearch, нужно обязательно прочитать эту статью на Хабре.

Elastic Stack recipes

19 Feb 2023 08:32

Одно из ключевых предназначений Elastic — использование в качестве SIEM системы. В связи с этим возникает необходимость настройки детекций, которые бы оповещали о подозрительной активности. По этой ссылке вы найдете список сетевых портов, которые могут быть использованы при атаке при помощи троянского зловреда. Список можно использовать для ваших детекций.

Elastic Stack recipes

07 Feb 2023 06:13

Effortlessly monitor your Elasticsearch logs and receive real-time alerts on your phone with Elastalert 2 and Telegram

В этой статье рассмотрено, как настроить и использовать Elastalert 2 для получения предупреждений о важных событиях из Elasticsearch.

Elastic Stack recipes

06 Jan 2023 09:00

Fluent Bit 2.0 and OpenSearch

В октябре уже прошлого 2022 года на KubeCon North America был представлен Fluent Bit 2.0 с большим количеством новых возможностей на борту. Ключевым нововведением этой версии является поддержка динамического индекса для записи в OpenSearch. Например, если вы читаете данные из логов Kubernetes, вы можете следовать стратегии индексации, в которой каждый индекс именован по пространству имен Kubernetes. Благодаря поддержке динамического индекса с помощью Record Accessor теперь можно настроить индекс для извлечения значений из потока входящих сообщений.

Подробнее ->

Elastic Stack recipes

11 Dec 2022 12:59

​Оптимизация производительности кластера Elasticsearch

В этом вольном переводе оригинальной статьи, опубликованной ebay, вы узнаете несколько подходов по оптимизации производительности поиска и индексирования документов Elasticsearch.

Elastic Stack recipes

18 Oct 2022 08:00

Too many fields! 3 ways to prevent mapping explosion in Elasticsearch

Несколько советов о том, как предотвратить излишнее создание полей в документах Elasticsearch.

Elastic Stack recipes

22 Mar 2023 07:30

How to Upgrade Elasticsearch from Version 7 to Version 8

Если очень нужно, то вот пошаговая инструкция по обновлению.

Elastic Stack recipes

19 Mar 2023 10:25

Данные Elasticsearch-сервера оператора связи «Авантелеком», включая логи общения с клиентами, оказались открыты всем

В комментариях компания пишет, что это был взлом, однако, часто бывает, что кластер Elasticsearch начинает быть открытым всему интернету просто по недосмотру. У нас уже был пост про безопасность Elasticsearch в docker-контейнера. Обратите пристальное внимание на особенность работы Docker с iptables.

Elastic Stack recipes

13 Mar 2023 07:00

Задачи миграции индексов между кластерами достаточно часто встают перед администраторами Elasticsearch. t-velmachos/how-to-migrate-indices-from-elasticsearch-wth-minio-438854d027b5">В этой статье на Медиуме разобрана миграция кластера при помощи утилит elasticsearch-dump, Minio и хранилища S3.

Elastic Stack recipes

11 Mar 2023 10:12

​Если вы используете Elastic в качестве SIEM-системы, обратите внимание на процессор translate_sid для Winlogbeat. Процессор извлекает имя учетной записи, связанной с SID, первый домен, в котором найден SID и тип учетной записи.

Каждой учетной записи в домене присваивается уникальный идентификатор SID при первом создании. Внутренние процессы в Windows обращаются к SID учетной записи, а не к имени пользователя или группы, и именно эти значения появляются в журналах Windows.

Описание процессора translate_sid в документации

Elastic Stack recipes

02 Mar 2023 13:49

KushanJanith/run-elastic-stack-on-kubernetes-29e295cd6531">Run Elastic Stack on Kubernetes

Это руководство по развертыванию стека Elastic на Kubernetes. В этом руководстве используется оператор ECK для создания всех связанных с Elastic ресурсов на Kubernetes.

Elastic Stack recipes

27 Feb 2023 08:00

​Исследование нагрузки на ELK stack и тюнинг Logstash. В этой статье автор расскажет про то, как столкнувшись с многократно увеличившейся нагрузкой на ELK stack сначала было диагностировано узкое место, а после произведён его тюнинг. Хоть и в заголовке статьи уже есть спойлер что произведен только тюнинг Logstash, но тем не менее. Читать.

Elastic Stack recipes

25 Feb 2023 08:00

Wazuh-Rules. Репозиторий на Гитхабе с правилами для Wazuh, которые можно взять и использовать в Elasticsearch. Ознакомиться.

Elastic Stack recipes

24 Feb 2023 08:00

Elasticsearch in Action: Loading PDFs into Elasticsearch

Допустим, есть бизнес-задача — загрузить PDF-файлы в Elasticsearch, чтобы пользователи могли проводить по ним поиск. Elasticsearch позволяет индексировать PDF-файлы с помощью специального процессора, называемого процессором attachment.

Процессор attachment, как и любой другой процессор ingest, используется в ingest-пайпланах для загрузки вложений - таких как PDF-файлы, документы Word, электронные письма и так далее. Он использует библиотеку Tika (https://tika.apache.org) от Apache для извлечения данных из файла. Ожидается, что исходные данные будут преобразованы в формат base64 перед загрузкой в конвейер. В статье вы узнате как реализовать процесс от и до. Читать.

Elastic Stack recipes

22 Feb 2023 08:00

​Airflow Log Integration with Fluent Bit + ELK Stack (Kubernetes). Вы можете спросить: а зачем мне это? Ключевое — можно удалить персистентность логов из подсистем airflow и обеспечить безопасное хранение критически важных логов ну и плюшки в виде аналитики/визуализаций в Kibane никто не отменял. dulshanr12/airflow-log-integration-with-fluent-bit-elk-stack-kubernetes-f2afa3a6ff00">Читать.

Elastic Stack recipes

20 Feb 2023 08:00

​Единственный нативный и бесплатный способ отправки оповещений из Elasticsearch — использование Kibana Alerts. Но у Kibana Alerts в лицензии Basic есть существенный минус — возможность отправки (если это можно назвать отправкой) алертов в индекс или текстовый лог, чтобы потом оттуда их чем-то выгребать. Наверное, это можно делать через Zabbix.

Если же нет желания использовать описанную выше конструкцию, на помощь может прийти ElastAlert — бесплатная оповещалка с открытым исходным кодом. trivedevops/creating-custom-alerts-with-elk-and-elastalert-integration-5e44984ca8d8">В этой статье описан небольшой воркшоп по его использованию.

Elastic Stack recipes

14 Feb 2023 14:40

​Кластер ElasticSearch на 1Ptb+

Статья о том, как устроен кластер с реально большим количеством данных.

Elastic Stack recipes

31 Jan 2023 12:45

Курс выходного дня по Elastic Stack 8/OpenSearch

Мы проводим 3-дневные семинары-инструктажи по Elastic Stack и OpenSearch, которые обычно случаются в рабочие дни. Появилась идея разбить эти три дня на три недели, например, по субботам. Если вам было бы интересно пройти обучение в таком формате, напишите @galssoftware или оставьте заявку через форму обратной связи на странице соответствующего курса.

И ещё небольшой анонс. 22-24 марта мы проведем курс по OpenSearch, регистрация на него уже открыта.

Программа курса по Elastic 8

Программа курса по OpenSearch

Elastic Stack recipes

05 Jan 2023 09:00

OpenSearch Playground

Посмотреть OpenSearch в подробностях -> playground.opensearch.org

Elastic Stack recipes

02 Dec 2022 18:28

​Обновление кластера Elasticsearch

Как мы обновили старый кластер Elasticsearch на 3 ПБ без простоев. Часть 1 — Введение

Как мы обновили старый кластер Elasticsearch на 3 ПБ без простоев. Часть 2 — Два последовательных кластера

Elastic Stack recipes

12 Oct 2022 10:00

В этом посте 3 статьи Аделя Сачкова, который в своё время интересно писал о своём опыте работы с Elastic. Этим статьям уже 4+ года, но актуальность они по большей части не потеряли.

Сохранить данные и веру в человечество: большая миграция кластера ElasticSearch

Мониторинг Elasticsearch без боли и страданий

Девять граблей Elasticsearch, на которые я наступил