elasticstack_ru | Unsorted

Telegram-канал elasticstack_ru - Elastic Stack recipes

-

Полезности по Elastic Stack. Для тех, кто работает с ElasticSearch, Kibana, Logstash или Beats. Тут вы увидите статьи, видео, анонсы мероприятий, новости. Платные консультации, администрирование, поддержка, обучение и лицензии Elastic — @galssoftware

Subscribe to a channel

Elastic Stack recipes

Opensearch, Logstash и dynamic mapping

В этой статье рассказано о том, как в Домклик настроен маппинг в индексах Opensearch и какие «фишки» они используют, чтобы минимизировать работы по настройке маппинга.

Читать полностью…

Elastic Stack recipes

Тренинги 🔍ElasticSearch и 🔍OpenSearch c нуля до администратора в декабре — отличный способ прокачать скиллы под конец года

Приходите на наши авторские курсы по ElasticSearch или OpenSearch и развивайте внутреннюю экспертизу по этим решениям. Если вашей команде требуется экспертиза по поддержке этих систем и нет времени на их изучение, наши трёхдневные интенсивы дадут максимум знаний и опыта по установке, настройке и администрированию ElasticSearch/OpenSearch. Вложитесь в обучение один раз и не тратьте время сотрудников на многодневное изучение документации.

За время курса вы:

🔎 разберетесь в принципах работы ElasticSearch/OpenSearch
🔎 установите и настроите кластер
🔎 настроите сбор и обработку неструктурированных данных
🔎 получите опыт работы с политикам жизненного цикла индексов
🔎 научитесь проработке архитектуры будущего кластера в зависимости от нагрузки
🔎 поймете как оптимизировать хранение данных
🔎 узнаете много интересного, о чём не написано в документации

Ближайшие курсы в декабре:

▶️ Программа OpenSearch 16-18 декабря

▶️ Программа ElasticSearch 23-25 декабря

Заявку можно оставить через форму обратной связи на соответствующей странице либо написать @galssoftware.

Читать полностью…

Elastic Stack recipes

Переезд с Elasticsearch на OpenSearch: рассказываем про нюансы и архитектуру нашей системы логирования

В этой статье на Хабре рассказано почему в cloud.ru решили выполнить миграцию, какие ключевые отличия между системами они нашли и подробно описана архитектура обработки логов.

Читать полностью…

Elastic Stack recipes

Get started with OpenSearch 2.18

Вышел OpenSearch 2.18

Заметки к выпуску

Песочница

Читать полностью…

Elastic Stack recipes

Две полезных статьи Хабре по поиску в Elastic

Алгоритмы ранжирования в Elasticsearch: настройка и кастомизация scoring модели

Многоязычный поиск в Elasticsearch: от Hello до Donaudampfschifffahrtsgesellschaftskapitän

Читать полностью…

Elastic Stack recipes

23-25 сентября проведем курс по OpenSearch🔎

Приглашаем присоединиться к 3-дневному онлайн-интенсиву по OpenSearch. Программа курса.

Чем полезен курс:

🚀 за 3 дня вы получите структурированную информацию, которую при самостоятельном изучении нужно собирать по документации и по разным статьям в интернете.

🚀 вашему руководителю не придется привлекать субподряд для внедрения или поддержки OpenSearch, вы сможете работать с ним самостоятельно.

🚀 в курсе множество практических заданий, после выполнения которых вы получите бесценный опыт работы с OpenSearch, OpenSearch Dashboards, DataPrepper, Fluentbit, Logstash и другими компонентами.

Запрос на участие в курсе вы можете отправить в телеграм @galssoftware, на почту welcome@gals.software, либо через форму обратной связи на странице с программой курса.

Читать полностью…

Elastic Stack recipes

Вышел OpenSearch 2.15

Что нового:

🚀 появились batch-enabled processors, которые умеют работать многопоточно. Пока таковыми стали только text_embedding и sparse_encoding

🚀 появилась параллельная обработка при гибридном поиске (лексический (BM25) + семантическим векторный поиск)

🚀 улучшилась производительность поиска благодаря поддержке JDK21 и SIMD (Single Instruction, Multiple Data)

🚀 появился новый тип поля wildcard для более эффективного поиска полей, которые не имеют естественной структуры токенов

🚀 появились вычисляемые поля. Значение такого поля рассчитывается во время запроса, поэтому вы можете добавлять или управлять уже проиндексированными полями, выполняя сценарии в документе в реалтайме, вместо необходимости индексировать или хранить поля отдельно.

🚀 и многое другое.

Загрузить новую версию

Заметки к выпуску

Playground

Читать полностью…

Elastic Stack recipes

Elastic 8.14 с ES|QL уже доступен для скачивания

Ключевое: ES|QL в GA (Что такое ES|QL)

Заметки к выпуску

Читать полностью…

Elastic Stack recipes

В OpenSearch есть интересный функционал — поиск по снапшотам (searchable snapshots). С ним вы можете искать по индексам, которые хранятся в виде снапшотов в удаленных репозиториях без необходимости предварительного восстановления индекса в кластер. Справедливости ради, скажем, что в ElasticSearch тоже есть такой функционал, но он доступен только с подписки уровня Enterprise.

Чтобы обеспечить доступ к таким снапшотам, одной из ролей кластера нужно присвоить роль search:

node.name: snapshots-node
node.roles: [ search ]


После этого подключить снапшот к кластеру в виде индекса:

POST /_snapshot/my-repository/my-snapshot/_restore
{
"storage_type": "remote_snapshot",
"indices": "my-index"
}


Подробнее в документации. Пользуетесь searchable snapshots?

Читать полностью…

Elastic Stack recipes

Вышел Fluent Bit v3, о чем было объявлено на KubeCon EU. По ссылке описание релиза и видео с конференции.

Поставьте в комментариях 🔥 кто его использует.

Ключевые нововведения:
🚀 Новые фильтры для метрик Windows и MacOS.
🚀 Новый синтаксический анализатор на основе SQL для поиска и преобразования логов в потоке перед их маршрутизацией в хранилище.
🚀 Поддержка HTTP/2.

Читать полностью…

Elastic Stack recipes

1-3 апреля проведем курс по OpenSearch🔎

Приглашаем присоединиться к 3-дневному онлайн-интенсиву по OpenSearch. Программа курса.

Чем полезен курс:

🚀 за 3 дня вы получите структурированную информацию, которую при самостоятельном изучении нужно собирать по документации и по разным статьям в интернете.

🚀 вашему руководителю не придется привлекать субподряд для внедрения или поддержки OpenSearch, вы сможете работать с ним самостоятельно.

🚀 в курсе множество практических заданий, после выполнения которых вы получите бесценный опыт работы с OpenSearch, OpenSearch Dashboards, DataPrepper, Fluentbit, Logstash и другими компонентами.

Запрос на участие в курсе вы можете отправить в телеграм @galssoftware, на почту welcome@gals.software, либо через форму обратной связи на странице с программой курса.

Читать полностью…

Elastic Stack recipes

Используете ли вы Elastic для мониторинга? В этой статье разобран пример мониторинга тестового приложения Elastiflix — поисковика по фильмотеке. К приложению цепляется Open Telemetry и передает данные в Elastic.

Из чего состоит приложение:
🔎javascript-frontend: фронтэнд на React.
🔎node-server: бэкэнд.
🔎dotnet-login: сервис login, который возвращает рандомное имя пользователя.

Читать полностью…

Elastic Stack recipes

Вышел OpenSearch 2.12 и его ключевые обновления:

Встроенная интеграция с Apache Spark

Не спорим, очень полезно для решения разных аналитических задач.

Улучшения производительности

- Конкурентный поиск по сегментам перешел в GA. Подробнее.
- Агрегированные гистограммы по датам можно фильтровать по временным интервалам
- Новый тип поля match_only_text, который похож на текстовое поле, но не поддерживает скоринг и более эффективен по части хранения данных.

Новый эндпоинт для отслеживания тяжелых запросов

GET /_insights/top_queries — показывает длительные запросы

И ряд других улучшений в области ML. Подробнее можно узнать в блоге OpenSearch.

Заметки к релизу
Песочница с OpenSearch 2.12

Читать полностью…

Elastic Stack recipes

Полезный инструмент мониторинга для пользователей Elasticsearch — DBeast. Никто не спорит, что есть Zabbix, Prometheus, TICK Stack и много чего ещё. А есть DBeast: открытый и бесплатный.

Какой мониторинг на борту:
🔍Elastic stack monitor
🔍Elasticsearch host overview
🔍Logstash overview
🔍Logstash instance monitor
🔍Logstash pipeline analytics
🔍Elasticsearch ingest pipelines overview
🔍Elasticsearch ingest pipeline analytics
🔍Elasticsearch index level monitor
🔍Elasticsearch index patterns monitor
🔍Elasticsearch shard level monitor
🔍Machine Learning Jobs monitoring

Читать полностью…

Elastic Stack recipes

Примерно пару недель назад Elastic объявил о выходе нового релиза для всего стэка — 8.12. Ключевое:

Elasticsearch. Apache Lucene 9.9 под капотом Elasticsearch, новые возможности машинного обучения, коннекторы в GA и другое

Observability.
SLO в GA, Observability AI Assistant в GA, Mobile APM на базе OpenTelemetry в GA и другое

Статья в блоге Elastic

Читать полностью…

Elastic Stack recipes

Сравнение Битрикс-Sphinx vs Elasticsearch для поисковых задач

Статья хоть и написана в основном во славу Elasticsearch, но позволяет проанализировать некоторые интересные особенности работы Битрикс на базе встроенного Sphinx.

Читать полностью…

Elastic Stack recipes

BM25, или Best Match 25 — это широко используемый алгоритм полнотекстового поиска, который по умолчанию применяется в Lucene/Elasticsearch. В последнее время в рамках «гибридного поиска» часто начали комбинировать полнотекстовый поиск и поиск по схожести векторов. В этой статье разобрано как устроен тот самый полнотекстовый поиск в Elasticsearch/Opensearch.

Как все устроено

Читать полностью…

Elastic Stack recipes

Gain deeper insights with OpenSearch Query Insights

Инструмент OpenSearch Query Insights предназначен для того, чтобы дать представление об эффективности поисковых запросов, помогая выявлять узкие места и оптимизировать производительность. Query Insights собирает и анализирует данные о производительности каждого запроса. В этой статье в блоге OpenSearch разбирают работу этого инструмента.

Читать полностью…

Elastic Stack recipes

Некоторое время назад вышел OpenSearch 2.17 (пост в блоге OpenSearch от 17 сентября)

Заметки к выпуску

Загрузка


OpenSearch Playground

Читать полностью…

Elastic Stack recipes

Статья из блога Домклик на Хабре про преимущества фильтра Dissect над Grok при обработке данных в Logstash.

Dissect — хорошая альтернатива Grok. Он в разы производительнее за счёт того, что фильтрация происходит не на основе регулярных выражений. Особенно хорошо фильтр подходит для повторяющихся данных, но даже если они различаются, можно написать большую, страшную конфигурацию, которая будет выполнять обработку.

Grok — сильно гибче, удобнее, проще, но, к сожалению, за эти плюсы приходится расплачиваться огромными вычислительными ресурсами. Безусловно, при маленькой нагрузке (или если вы очень богаты), можно и нужно пользоваться Grok.

Читать полностью…

Elastic Stack recipes

Вышел OpenSearch 2.16

Улучшения по части поиска, машинного обучения, аналитике безопасности и производительности.

Заметки к выпуску

Загрузка


OpenSearch Playground

Читать полностью…

Elastic Stack recipes

17-19 июня проведем курс по OpenSearch🔎

Приглашаем присоединиться к 3-дневному онлайн-интенсиву по OpenSearch. Программа курса.

Чем полезен курс:

🚀 за 3 дня вы получите структурированную информацию, которую при самостоятельном изучении нужно собирать по документации и по разным статьям в интернете.

🚀 вашему руководителю не придется привлекать субподряд для внедрения или поддержки OpenSearch, вы сможете работать с ним самостоятельно.

🚀 в курсе множество практических заданий, после выполнения которых вы получите бесценный опыт работы с OpenSearch, OpenSearch Dashboards, DataPrepper, Fluentbit, Logstash и другими компонентами.

Запрос на участие в курсе вы можете отправить в телеграм @galssoftware, на почту welcome@gals.software, либо через форму обратной связи на странице с программой курса.

Читать полностью…

Elastic Stack recipes

Новый OpenSearch 2.14 уже доступен для скачивания

Что нового:

- улучшена производительность гибридного поиска
- улучшена производительность запросов по гистограммам с мульти-диапазонами
- появилась поддержка многоуровнего кэша (экспериментальная функция)
- расширена поддержка множественных источников для OpenSearch Dashboards в разрезе использования плагинов
- повышена гибкость межкластерного взаимодействия по части настроек безопасности
- дополнительные улучшения по части машинного обучения

Скачать
Заметки к выпуску
Документация

Читать полностью…

Elastic Stack recipes

Вышел OpenSearch 2.13

Помимо пачки улучшений, связанных с машинным обучением, в этой версии в GA перешел функционал поиска по внешнему Apache Spark. Еще появился контроль за нагрузкой поиска и индексации, который позволяет ограничивать количество запросов в кластер. Также добавился функционал кросс-кластерного алертинга (можно настраивать оповещения на основе данных из разных кластеров.

Скачать
Заметки к выпуску
Документация

Читать полностью…

Elastic Stack recipes

Используете ли вы Elastic для мониторинга? Если да, то, возможно знаете, сто стэк очень плотно дружит с OpenTelemetry, а в Kibana можно настраивать представления для наблюдения за трейсами. В этой статье из блога они рассказывают как Elastic дружит с OpenTelemetry.

Читать полностью…

Elastic Stack recipes

Знали ли вы, что с версии 2.4 OpenSearch Dashboards начал поддерживать несколько источников данных. То есть вы можете подключить OpenSearch Dashboards к нескольким кластерам одновременно и работать с ними из одной консоли. Ссылка на раздел документации.

Читать полностью…

Elastic Stack recipes

Весенняя волна 3-дневных интенсивов по OpenSearch и Elastic Stack

Программа открывается при нажатии на соответствующий курс ниже.

🔎 OpenSearch — 4-6 марта (уже на следующей неделе)
🔎 Elastic Stack — 25-27 марта

Интенсив — это как ракета-носитель, которая за 3 дня выведет вас на заданную орбиту. Вы сможете сразу приступить к работе вместо долгого изучения документации по каждому из компонентов OpenSearch или Elastic Stack. А если вы руководитель, сможете сэкономить на привлечении консалтинга со стороны.

Вопросы можно задать @galssoftware либо по почте welcome@gals.software.

Читать полностью…

Elastic Stack recipes

Запуск официальных тренингов по Zabbix на русском языке

Галс Софтвэр (Казахстан) получил статус Zabbix Certified Trainer, а это означает возможность проведения сертифицированных тренингов с возможностью получения официальных сертификатов вендора. Все тренинги и сертификации будут проводиться на русском языке. Предлагаем ознакомиться с расписанием ближайших публичных тренингов:

Zabbix Certified Specialist (ZCS) 11-15 марта 2024 года (оффлайн + онлайн)

Zabbix Certified Professional (ZCP) 8-10 апреля 2024 года (оффлайн + онлайн)

Также возможно проведение закрытых тренингов по запросу.

Задать вопросы и получить дополнительную информацию вы можете у @galssoftware, по запросу на welcome@galssoftware.com или на сайте galssoftware.com.

Читать полностью…

Elastic Stack recipes

grokdebugger.com

Онлайн-эмулятор grok-паттерна для Logstash. Нет сомнений, что многие о нём знают, но тем, кто слышит впервые, этот инструмент сэкономит часы на отладку grok-паттернов.

Читать полностью…

Elastic Stack recipes

Совет на каждый день

Этой статье
уже два года, но она не потеряла актуальность. Коллеги из Мегафон рассказывают как они тонко умеют настраивать Filebeat. Это действительно высокое искусство, потому что иначе есть риск потери сообщений.

Читать полностью…
Subscribe to a channel