820
Избранные материалы о тестировании производительности. Чат и источник тем: @qa_load
Привет любители производительности!
Подумал что напишу, как банить, отписываться, удалять, закрывать, ... для производительности, конечно. И вы, возможно, отпишитесь от этого канала, а может быть и нет 😄
Я использую youtube, telegram, linkedin и много разных программ и вкладок браузера. И за неделю накапливается много всего лишнего, а потом еще youtube и linkedin начинают рекомендовать много всего лишнего
Поэтому выбираю один вечер и просматриваю всю ленту рекомендаций и если это рекомендовано зря, то прошу не рекомендовать это больше. Но это не срабатывает 🤦♂️
Что можно сделать дополнительно
Для YouTube можно
*️⃣ открыть страницу истории и просто удалить оттуда лишние записи, но оставить похожие на интересные. И тогда в рекомендациях будет появляться что-то похожее. Это страница https://www.youtube.com/feed/history
*️⃣ одновременно с этим подписываться или добавлять в playlist то, что понравилось
*️⃣ и просить не рекомендовать видео по какой-то теме или с какого-то канала
Для Linkedin можно
*️⃣ открыть страницу профиля (кликнуть на свой аватар) / ⚙️ Settings (внизу) / 🔔 Notifications (внизу) / там будет 13 разделов по которым приходят подписки - можно отписаться от большинства из них
*️⃣ одновременно с этим подписываться или добавлять в 🚩 Saved то, что понравилось из рекомендаций или оставлять реакции с комментариями
*️⃣ и просить не рекомендовать лишние записи и авторов
В Telegram ленты, как таковой, нет. Тут настроил разные каталоги
*️⃣ Отключил уведомление почти у всего, настраивается в каждом чате/канале/контакте отдельно
*️⃣ А что-то поместил в Архив, чтобы поиском найти можно было, но не было видно
Для MacOS можно настроить две кнопки из раздела Apps / Other / Shortcuts
*️⃣ Stop Distructions и добавить там правила 🌜 Turn : Do not Disturb : On + ❎ Quit : App : Telegram + ❎ Quit : App : Slack + ...
*️⃣ Start Pomodoro - тоже полезная
*️⃣ Закрепить кнопки Stop Distructions и Start Pomodoro в панели задач
Использую их в паре, нажимаю обе, стартует таймер на 25 минут, а через 25 минут можно открыть снова Slack и Telegram и проверить нет ли там каких-то нужных сообщений, прочитать их. Потом снова нажать обе кнопки, снова 25 минут работы
Если коротко, то иногда вдумчиво читаю ленту, что-то с ней делаю, и так лента становится интересной и про нагрузку
Если так случилось, что в текущей версии вашего любимого сайта для презентаций отпало кеширование статики и картинок в частности, то можете попробовать Mozilla, где есть баг игнорирования Expires и Cache-Control для картинок, этот баг становится фичей-ускорителем. Или можете попробовать свой прокси-сервер для активации кеширования. Или можете рассказать историю кому-то из команды разработки системы. Для этого возможно надо будет подать доклад на конференцию 🤗
Про artillery не рассказал еще. Чтобы измерить на сколько отличается скорость работы сайта для пользователей из разных стран можно использовать данные Chrome User Experience report, который удобно визуализировать на карте через treo.sh
🔗 https://treo.sh/sitespeed/miro.com?mapMetric=fcp
но Google собирает данные по домену в целом, не по страницам
И в какой-то момент мы решили собирать данные по конкретным доскам (пустая, не пустая), по тестовым доскам. И инструмент artillery.io тут подошел хорошо. Было с ним тоже не все так просто, опишу потом.
Привет, любители производительности!
В 2024-м году оплатил лицензию Proxyman.io, это была благодарность за проведение одного теста. После оплаты, и после этого теста не пользовался инструментом, но тест был хороший, поэтому отблагодарить разработчиков стоило
Это будет история про miro.com, proxyman.io, artillery.io, Google Chrome, Mozilla Firefox, картинки, кеширование и производительность
В 2024-м году гуляя по Еревану послушал выпуск подкаста PurePerformance: Persona Driven Engineering – The magic of knowing your end users with Barbara Ogris
🔗 https://www.spreaker.com/episode/persona-driven-engineering-the-magic-of-knowing-your-end-users-with-barbara-ogris--50890444
Не смогу пересказать подкаст кратко, но выхватил для себя, что можно попробовать применить это в тестировании производительности, а именно
🟣 поговорить с конкретным пользователем
🟣 понять конкретную проблему производительности
🟣 решить эту проблему и сообщить пользователю, что все готово
И в тоже время был куратором доклада на конференцию heisenbug.ru, готовили с Раисой Липатовой доклад про техники тест-дизайна. И в разговоре с ней узнал, что она проводит курсы обучения, для проведения курсов использует miro.com как основную платформу для слайдов, что она платный пользователь, что слайдов у нее много, на слайдах много картинок, что она открывает их из Израиля, и что все загружается очень медленно. Но дефект она не заводила
Этот доклад Раиса подготовила —Техники тест-дизайна на примере гипотетической системы выдачи Covid QR кодов
🔗 https://www.youtube.com/watch?v=bRGs5ma-8EY
А я взял себе задачу
🟣 исследовать скорость работы пользователей не из Европы
🟣 ускорить скорость открытия досок с большим количеством слайдов
🟣 ускорить скорость открытия досок с большим количеством картинок
✅ а когда все получится, рассказать Раисе, что вот теперь работает быстро
Исследования выявили, что основной браузер клиентов — Google Chrome. И что на досках с большим количеством ресурсов достаточно долго ожидается загрузка ресурсов. В 2024-м году была версия системы, которая подгружала все ресурсы доски сразу, даже если они не были в фокусе, получалось долго. В 2025-м году используется новая версия, где загружаются только ресурсы, видимые сейчас.
Но также, для ресурсов не использовались заголовки кеширования. Таким образом, при перезагрузке страницы, браузер мог посылать запросы на загрузку ресурсов снова, и снова надо было долго ждать.
⚫️ запросы на ресурсы в miro были запросами на адрес https://miro.com/api/v1/user-pictures с параметрами
⚫️ а заголовки ответа о которых пишу это Cache-Control и Expires
Также исследования выявили, что браузер 📱 Mozilla Firefox отправляет примерно в 2,5 раза меньше запросов api/v1/user-pictures, чем браузер 📱 Google Chrome. Как оказалось, браузер 📱 Mozilla Firefox игнорирует отсутствие заголовков Cache-Control и Expires для ответов с типом image. 📱 Mozilla всегда кеширует картинки, даже если сервер сказал, что кешировать их не надо, что Expires = времени ответа.
⚫️ интересный момент, что 📱 Mozilla всегда кеширует картинки при любых заголовках про кеширование, а 📱 Google Chrome работает согласно заголовкам
И визуальные тесты показали, что действительно — доски с большим количеством картинок загружались в 📱 Mozilla Firefox при перезагрузке страницы гораздо быстрее. То есть, можно было написать пользователю — попробуй использовать Mozilla, и сначала открывать доску со слайдами, ждать пока все прогрузится, а потом обновлять страницу. Но этого было мало, надо было сказать разработчикам поменять заголовки
Hello performance lovers!
Добавим в CI тесты производительности
⭐️ Запуск тестов на каждую сборку
Про такой опыт можно прочитать в книге Профессиональный бенчмарк, которую написал Андрей Акиньшин.
🔗 https://habr.com/ru/companies/piter/articles/598175/
В этом подходе речь идет о бенчмарках, не об e2e тестах. Бенчмарки быстрее и стабильнее e2e тестов, их можно запускать часто, на каждую сборку
Пример такого фреймворка для JVM - JMH
🔗 https://github.com/openjdk/jmh
Скорость выполнения тестов важна, и чем быстрее тем лучше. Чем меньше в тестах зависимостей, тем меньший объект тестируется, и тем быстрее получаются тесты
⭐️ Тесты на низкоуровневые события
Многие системы используют языки программирования, выполняемые в виртуальной машине, например, JVM. Где есть внутренний механизм записи событий, таких как аллокация нового участка памяти или отправка сетевого пакета или какие-то кастомные. Такой проект как
🔗 https://github.com/moditect/jfrunit
позволяет проверять что во время теста какие-то события были, также можно сделать проверки на количество событий. Например
assertThat(jfrEvents).
contains(JfrEventTypes.GARBAGE_COLLECTION);
@ExpectSelect(1)
Hello performance lovers!
🇩🇪 Wie geht es dir heute?
Планирую сходить на митап в Берлине
🔗 https://bit.ly/4hh8xcv
и рассказать про
⭐️ Grafana dashboards as code
⭐️ Стильные и быстрые генерируемые доски
На примете вот такие инструменты:
jsonnet -> grafonnet -> jsonnet-libs (signal) -> Grafana Foundation SDK
🔗 https://jsonnet.org/
🔗 https://grafana.github.io/grafonnet/index.html
🔗 https://github.com/grafana/grafonnet-lib
🔗 https://github.com/grafana/jsonnet-libs/tree/master/common-lib/common/signal
🔗 https://grafana.github.io/grafana-foundation-sdk/
Если вы планируете попробовать генерацию, то обратите внимание на них.
Освоил первые два и очень доволен. Думаю об идеях проекта signal, и как его применить.
И может быть к апрелю перепишу мониторинг youtrack на Grafana Foundation SDK
Приходите в конце марта - начале апреля на встречу Grafana & Friends Berlin.
🔗 https://www.meetup.com/de-de/grafana-and-friends-berlin/
Задавайте вопросы тут или разделе чата @qa_load про мониторинг
PS. Это сообщение элемент Conference Driven Development-а, это когда хочется сделать что-то полезное для людей, которые приходят на митапы и конференции. То можно начать с того, что рассказать об этом, получить первые отклики и обратную связь, а потом сделать.
Буду рад вашим откликам 🤗
@qaload
Перед этим день потратил на планирование и уточнения у 📱 — как это обычно делается, можно ли что-то сделать. Если задавать по 5-7 уточняющих вопросов про что-то новое, то получается осмыслить рекомендации
💬 https://chatgpt.com/share/67af1746-48c8-8000-a3dd-54c6634a6e72 — тут вот спрашивал, что можно сделать с access.log-ом сервера nginx, получилось, что работы на месяц, но стало понятнее, что можно будет сделать
При описании задач понравился подход — сначала описать в документе, а уже потом добавить задачи.
Документом может быть markdown/wiki/любой другой документ — это как план. А задачи — то, что решено сделать.
Использую markdown-документы, и понравилось использовать HTML-теги внутри
## Title
<details>
<summary>Sub title</summary>
Content
</details>
Hello performance lovers!
Hello Grafana Lovers!
счетчики производительности с серверов тоже дадим в формате csv
И если после этого предполагается активная работа с Pandas, и метрик много, то это один сценарий.
Если с Excel, Google Tables, чтобы графики построить, а метрик мало, это второй сценарий.
Если с Excel, Google Tables, чтобы таблички отсортировать просто, то третий.
По каждому пункту можно или потратить N времени на обсуждение и потом M времени на реализацию. Или 0 времени на обсуждение, а потом 10xM на реализацию. И так и так получается не мало.
Стоимость работ я тут опущу, как ведутся переговоры по стоимости на фрилансе, мне просто неведомо. N времени на обсуждение уйдет не просто так, чтобы и стоимость согласовать
Аудитория была доброжелательная. Я волновался, так как мало готовился. А меня подбадривали - ты что как Гарольд, расслабься, это квартирник. Среди присутствующих не было нагрузочников или они не дали о себе знать при знакомстве, поэтому выбрал желтые стикеры для рассказа, они больше про общие истории
Тестирование, когда на рабочем месте нет интернета, тонкости работы с вложениями почты и флешками.
Работа на субподряде, сочинение отчетов и сделки с совестью
Работа в одиночку и важность поддержки
Нужны ли нагрузочные тесты вообще, и если ли они у кого-то
Что ждет команда от нагрузочника, когда все тормозит, а чего точно не ждет
Что имеет в виду пользователь, когда пишет, что у него что-то тормозит, и как важно уточнить все детали, позвонить, написать, прийти или приехать в гости
Рассказал про необычное тестирование очень асинхронного процесса банковских переводов со счета на счет в другом банке, важность трассировки запросов в таких системах
И что не получал выигрыша, если отдавал приоритет работе и проекту, а не здоровью, семье и делам дома
И послушал истории аудитории, про работу на заводах, согласование 800-т страничных распечаток кода программ и что происходит, когда система держит 50 rps, а должна держать 1000:
Если забыть о проблеме, то ее не существует (с)
Аудитории понравилось, мне тоже. Такой вот был доклад, без единой строчки кода на JMeter, k6, Java, но про нагрузку
Доклад про Performance as a service в Самокат можно послушать 29 сентября в рамках очередного Samokat_tech meetup. Приходите - буду рад всех видеть. /channel/samokat_tech/115
Читать полностью…
Как настроить поступление данных из jmeter в influxdb?
Тест запускается из jenkins в нескольких экземплярах
1) TAG_AGENT
Если агенты запускаются, как отдельные агенты, без мастер-слейв,
то важно разделить данные с помощью тегов.
Добавить тег с именем агента в результаты, чтобы они не перемешивались.
https://jmeter.apache.org/usermanual/component_reference.html#Backend_Listener
TAG_WhatEverYouWant
You can add as many custom tags as you want. For each of them, create a new line and prefix its name by "TAG_"
Например
TAG_AGENT
Значение - можно такое ${__machineName}https://jmeter.apache.org/usermanual/functions.html#__machineName
2) TAG_BUILD_ID
И нужен идентификатор запуска из jenkins, чтобы не перемешивать все запуски между собой
https://www.jenkins.io/doc/book/pipeline/jenkinsfile/#using-environment-variables
BUILD_ID
The current build ID, identical to BUILD_NUMBER for builds created in Jenkins versions 1.597+
Например такой тег, тоже добавляется новой строкой в BackendListener:
TAG_BUILD_ID
Значение
${__P(BUILD_ID)}
BUILD_ID прокидывается из переменных окружения в тест JMeter, как property.jmeter.properties
Суть такая - сохранять метрики каждую секунду теста не стоит, будет много метрик.QUEUE_SIZE = 5000 (по умолчанию) - такое значение нас устраивает его хватаетbackend_metrics_window_mode=timedА вот тест делает (с одного агента) уже 200 запросов в сек и мы настраиваем отправку раз в 60 сек.
backend_influxdb.send_interval=60 # было 5
backend_metrics_large_window=5000 # это устраивает нас > 3000
QUEUE_SIZE = 12000 (увеличиваем)4) Сумма по BUILD_ID = сумма сумм по AGENT
backend_metrics_window_mode=timed
backend_influxdb.send_interval=60 # было 5
backend_metrics_large_window=12000 # было 5000
Вот и видео подъехало про #k6 и #gatling https://www.youtube.com/watch?v=YtZbHhG6EXs
Преза и полезные ссылки:https://www.notion.so/DUMP-EKB-2022-4fe0fe70c35c44238687659f81e893ea
Материалы доклада
Профилирование #JVM в #Kubernetes
Запись:
https://youtu.be/JzOlHADAnpA
(на качестве 480p картинка не очень хорошая, на остальных настройках хорошая)
Слайды:
https://polarnik.github.io/JVM-profiling-in-Kubernetes/
Для красивого просмотра слайдов нужно скачать и установить шрифт Roboto:
https://fonts.google.com/specimen/Roboto
Описание доклада
В тему доклада было обсуждение в подкасте Битовая каска (29 апр. 2021 г):
Профилирование приложений: https://youtu.be/hUW7-pTOlaI
Коллеги, предлагаю наш вариант модуля, упрощающего работу со "СЦЕНАРИЯМИ" тестов Jmeter.
Чем он хорош:
При запуске теста достаточно указать параметры ступеней вашего теста в процентах профиля:
- Начни с нагрузки в 100%, потом шагай ступеньками по 10%
А параметры, нужные для подачи нагрузки по ВСЕМ операциям, входящим в сценарий, будут рассчитаны автоматически.
Так как в сценарии обычно много тред-групп (работающих с разной интенсивностью), настройки каждой тред-группы могут отличаться.
С нашим модулем изменять настройки КАЖДОЙ тредгруппы больше не потребуется.
Подробное описание по ссылке:
https://github.com/ganeles/JmeterSmartScenario
Всем привет! Есть новости для тех, кто раздумывает посетить конференцию по нагрузке в Москве, 16 сентября этого года.
Начну с хорошей. Для участников сообщества скидка на билеты будет 50%. Надо быть физическим лицом, и ввести промокод
50% от 12 000 = 6 000 рублей за offline билет
Таких промокодов пока 10 только, поэтому если
▫️16 сентября будет свободное время
▫️и будет возможность быть в Москве
▫️и есть 6000 рублей на билет
то пройдите опрос ниже.
В понедельник раздадим промокоды среди тех, что выбрал вариант "Мне будет нужен промокод на скидку"
+1 к дипломатии, +10 к потенциальным участникам
ссылка на голосование:
/channel/qa_load/55797
Ссылка на саму конфу:
https://perfconf.ru/
А вот так выглядел скрипт кеширования в UI
Читать полностью…
Я нашел место в коде, где заголовки должны ставиться, нашел аннотацию на метод, которая включит кеширование, начал общение. Также узнал, что кеширование было когда-то сознательно отключено из-за возможного security сценария, при котором CDN-сервер кешировал на своей стороне ресурс-картинку, а потом неавторизованный пользователь мог перебором начинать обращаться к картинкам и скачивать их, ведь на CDN-сервере нет авторизации.
⚫️ Тут имею в виду такую архитектуру 📱 => CDN без проверки прав доступа => серверы с проверкой прав доступа
И поэтому в каждой картинке добавлен уникальный секретный ключ, одноразовый в рамках сессии, и кеширование выключено
Интересный момент, почему кеширование может быть выключено даже при наличии секретного одноразового ключа в адресе картинки, который злоумышленник уже точно не сможет подобрать? Потому что у CDN есть лимит того, что он будет хранить на своих серверах в кеше, если ему надо хранить 1000 уникальных ресурсов, то это стоит 1000 условных монет, а если при каждом открытии доски добавляется уникальный access token, то надо хранить уже 1 миллион миллионов ресурсов, и это стоит кратно больше
Хорошо, что CDN-сервер может не кешировать на своей стороне ресурсы вообще, если указать заголовок, что кешировать надо только на клиенте, но не на промежуточных серверах. Для этого кеш должен быть private
https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Headers/Cache-Control
Private cache
Cache that exists in the client. It is also called local cache or browser cache. It can store and reuse personalized content for a single user.
private
The private response directive indicates that the response can be stored only in a private cache (e.g. local caches in browsers).
Cache-Control: private
Cache-Control: private, то эта директива может сэкономить на счетах за CDN/api/v1/user-pictureshttps://miro.com/api/v1/user-pictures?*GET// Update or Add new headers
// response.headers["Content-Type"] = "application/json";
response.headers["Cache-Control"] = "private, max-age=31536000";
response.headers["Expires"] = "Wed, 01 May 2024 16:15:02 GMT";
--disk-cache-size=524000000 (по умолчанию 320 МБайт)
⭐️ Тесты по запросу
Одна из популярных стратегий, это выполнение тестов по запросу. Реализация варируется от очень автоматизированной (в рамках ограничений)
💡 Анатолий Пласковский — Jirabased генератор трафика в автоматической системе сервисов стрельб в проде
🔗 https://youtu.be/lVUGf40RYfk?si=47vQWgUEc5hJam4o
Тут рассказывается про запись трафика с продуктива и его воспроизведении, взгляд со стороны пользователей системы
💡 Дмитрий Кузнецов — Подготовка тестовых данных для нагрузочного тестирования протокола gRPC
🔗 https://youtu.be/DKR6o6nEVLY?si=btAv4YPcJz2cbfaX
Тут рассказывается про запись трафика с продуктива и его воспроизведении для микросервисов, взгляд со стороны разработчика системы тестирования производительности
💡 Иван Приходько — Нагрузочное тестирование для котиков. Scenario- vs Hit-Based-подходы
🔗 https://youtu.be/Cn-52dCBm_M?si=Ttp73WWgKMl6P4Gu
💡 Иван Приходько — Как проводить 19 000 нагрузочных тестов в месяц и не умереть под нагрузкой
🔗 https://youtu.be/Ij7DjFKAfUo?si=sfAh8GziqSSURX4a
Тут рассказывается про генерацию профиля нагрузки на основе трафика продуктив
💡 Виктория Дежкина — GoReplay в обеспечении качества высоконагруженных систем
🔗 https://youtu.be/ADUNuVtX3cs?si=Nm-viDIHDysgspBD
🔗 https://goreplay.org/
🔗 https://github.com/buger/goreplay
Тут рассказывается про запись трафика с продуктива и его воспроизведении в другой реализации
До подходов с большим вовлечением специалистов по тестированию производительности, где специлисты могут реализовать любой сценарий, но автоматизируется запуск, построение отчетов, сравнение результатов, поддержка какого-то протокола или способа корреляции
💡 Александр Иванов — Yandex Load Testing: что облачные инструменты дают нагрузочному тестировщику
🔗 https://youtu.be/3u6_FDhKk5s?si=Nk7Z50-VnqY1Hs2z
Тут автоматизирован запуск и хранение результатов
💡 Максим Ажгирей — SyTester. Когда нагружать удобно
🔗 https://youtu.be/Wu4XKenv0MU?si=t63GKdvHC8y6yJNT
Автоматизирована корреляция при работе с брокерами сообщений
💡 Иван Смирнов — Зомби-апокалипсис в Телемосте: нагрузочное тестирование видеоконференцсвязи
🔗 https://youtu.be/BVfao3wi54k?si=T1NZJ2lpndAgtU2x
Автоматизирована работа с протоколом видео связи
Вариантов реализации много. Сейчас думаю над вариантом реализации для youtrack (сервис управления проектами), где уже есть тесты производительности и есть свои ограничения и возможности. Хочется эффективных и быстрых тестов. Если есть желание обсудить, то удобно это сделать в чате @qa_load в разделе Общий чат про НТ /channel/qa_load/96294
@qaload
Hello prometheus lovers!
В новой версии prometheus/jmx_exporter можно сохранять текстовые поля как labels.
Называется такая функциональность attributesAsLabels.
Например, есть у нас MBean в котором есть текстовые поля Build и Version. Так как у них тип String и так как это Attributes в MBean, а не часть имени, их ранее нельзя было удобно обработать через jmx-exporter
Но в разрабатываемой сейчас версии jmx-exporter появился механизм сохранения полей как меток
Например, можно написать так как описано в issue
🔗 https://github.com/prometheus/jmx_exporter/issues/1147
includeObjectNames: ["jetbrains.youtrack:type=Maintenance,name=Global"]
metricCustomizers:
- mbeanFilter:
domain: jetbrains.youtrack
properties:
type: Maintenance
name: Global
attributesAsLabels:
- Build
- Version
extraMetrics:
- name: isActive
value: true
FROM maven:3.9.9-eclipse-temurin-21-jammy
# поставить git
RUN apt-get update && apt-get install -y git
# склонировать репу
RUN git clone https://github.com/prometheus/jmx_exporter.git /tmp/jmx_exporter
# собрать
WORKDIR /tmp/jmx_exporter
RUN mvn -DskipTests=true package
# подготовить каталог
RUN mkdir /opt/app/
# сохранить результат сборки
RUN cp /tmp/jmx_exporter/jmx_prometheus_javaagent/target/jmx_prometheus_javaagent-*-post.jar /opt/app/jmx_prometheus_javaagent.jar
# ——————
FROM jetbrains/youtrack:2025.1.62967
USER root
# подготовить каталог
RUN mkdir /opt/app/
# скопировать файл из стадии № 0
COPY --from=0 /opt/app/jmx_prometheus_javaagent.jar /opt/app/jmx_prometheus_javaagent.jar
RUN chown -R jetbrains:jetbrains /opt/app/
USER jetbrains
Hello performance lovers!
Давайте делать небольшие доски Grafana с выровненными друг к другу панелями
1️⃣ На снимке выше заснял одну мелочь — три панели друг под другом, у панелей разные размерности (целые числа 0-1, проценты и дробные числа), поэтому разная базовая ширина оси, но они выровнены по ширине
Сделано это через задание
⭐️ Axis / Width = 65 для каждой панели — это ширина левой оси
⭐️ Axis / Width = 1 для правой оси, если она есть (почти 0)
Так получается добиться почти идеального визуального наложения каждой панели друг на друга
2️⃣ Иногда бывает так, как на втором снимке экрана — у осей разная ширина, иногда есть правые оси, и панели раcходятся по времени визуально. Белые вертикальные линии показывают как соотносятся одинаковые моменты времени на разных панелях, если у панелей с одинаковым размеров не выровнены оси по ширине
На коротких интервалах ничего страшного не происходит, расрождение в секунды. А на больших мастабах в 5 пикселях может быть один день — и визуально выгдяит что что-то не то, а это отображаются разные дни друг под другом.
3️⃣ На всякий случай сделал и фото номер три, где у панелей разная ширина — совсем сложно увидеть зависимости метрик
И мозг напрягается, читать становится сложнее
Пока что OpenTelemetry с автоматическими корреляцими метрик с метриками, логов с трейсами, трейсов с профилированием. Или системы AI — не пришли в каждый проект по производительности. И люди смотрят на метрики глазами, думают о них, находят зависимости
Этот процесс можно упрошять таким вот простым шагом
⭐️ задать панелям одинаковую ширину и высоту
⭐️ задать осям одинаковую ширину (тут 65 слева и 1 справа)
✔️ Так голова меньше напрягается, когда на каждой доске одинаковые размеры панелей. Не нужно наводить курсор на график, чтобы понять, где эта же точка на другой панели — могз достроит вертикальную линию — не нужно будет специально двигать курсор
❓ Минусы тоже есть — широкие одинаковые панели занимают много места. Доска теряет компактность. И выравнивание может быть трудоемким. Уже не хочется помещать на доску сто метрик, хочется поместить небольшую группу метрик, чтобы сравнивать их друг с другом. И получается несколько досок, вместо одной предыдущей компактной
⭐️ И если есть задача сделать в таком виде не одну доску, а несколько, то проекты генерации досок из кода, как jsonnet помогут сгенерировать доски в одном стиле
@qaload
Hello performance lovers!
Поделюсь некоторыми мыслями про задачи. Опишу в обратном порядке — как ставлю галочки на задачах, как задачи появились, ... потом через год посмотрю на это и подумаю, что тут было не так
Нашел для себя неплохое сочетание таких вкладок браузера:
📱 abaointokyo" rel="nofollow">https://www.youtube.com/@abaointokyo — чтобы была фоновая музыка
🍅 https://pomofocus.io/app — чтобы учитывать, примерно, что сделано
📱 это можно заменить на другую фоновую музыку, например, QuietQuest" rel="nofollow">https://www.youtube.com/@QuietQuest
🍅 это можно заменить на блоклот, если где-то еще есть отметки по 25 минут
🖥 если у вас есть второй монитор и не придумали, для чего его использовать — можно что-то из списка выше поместить туда, например 🍅
🗓 если совещаний много, то можно попробовать до их начала поработать так или в календаре выделить два слота — будет на час
Работаю так две недели только, подход нравится ❤️
📊 поменьше инцидентов всем, а помидорок побольше и повкуснее
Оживлю немного канал заметкой о том, как можно сымитировать подачу нагрузки с разных IP-адресов для JMeter и не только. Тут речь про HTTP
Далее копия сообщения /channel/qa_load/96296/125780
А есть ли в системе балансировщик нагрузки или proxy, который и принимает подключения от клиентов? Nginx, haproxy, ...
Если балансировщик/прокси есть, то за ним один backend-сервер или несколько?
Если несколько серверов на стороне сервера приложений, то балансировщик как выполняет балансировку - по ip-address (реальному адресу или заголовку X-Forwarded-For и/или X-Real-IP), по sticky session (cookie), просто рандомом (round robin)
Если выполняет по ip-address (или по X-Forwarded-For заголовку от клиента с адресом), то есть ли ограничения на подключения от балансировщика до одного сервера приложений? Они меньше чем 5000 подключений?
Если ограничения меньше 5000 подключений, то будет возможность просто их увеличить, не навредив серверу?
Было 50 подключений к серверу, а все остальные ждали в очереди в течение 60 секунд, а теперь будет 5000.Или увеличить таймаут, что может навредить самому тесту (тест будет не тестировать, а ждать)
Было 50 подключений к серверу, а все остальные ждали в очереди в течение 60 секунд, а теперь будут ждать 600 секунд.
set_real_ip_fromсервера nginx добавляется ip-адрес нагрузочной станции с Apache.JMeter и nginx начинает думать, что Apache.JMeter это не клиент, а тоже балансировщик, вышестоящий балансировщик, через который приходят запросы реальных клиентов
set_real_ip_from 192.168.0.100;
set_real_ip_from 192.168.0.0/24;
set_real_ip_from ::1;
set_real_ip_from 127.0.0.1;
option forwardfor
Request::setTrustedProxies(array('192.168.0.100', '192.168.0.0/24', '::1', '127.0.0.1'));
play.http.forwarded.trustedProxies=["192.168.0.100", "192.168.0.0/24", "::1", "127.0.0.1"]
server.tomcat.remote-ip-header=x-forwarded-for
server.tomcat.protocol-header=x-forwarded-proto
server.tomcat.internalProxies="192\.168\.0\.100"
By default, 10/8, 192.168/16, 169.254/16, 127/8, 100.64/10, 172.16/12, and ::1 are allowed.У параметра internalProxies приоритет выше, чем у trustedProxies:
X-Forwarded-For
X-Real-IP
44.77.111.${__jexl3( ${__threadNum} % 200 )}
Читать полностью…
https://freelance.habr.com/tasks/514195
Необходимо протестировать веб-портал интернет-магазина.
Нагрузочное тестирование сценария заказа для 10 000 пользователей. Нужен опыт проведения такого тестирования.
Будет нужно распределение нагрузки, разные точки нагрузки (сервера).
Сценарий будет предоставлен, нужно будет записать скрипт, параметризировать, заполнить шаблон отчета который дадим. Тестовые данные мы подготовим, счетчики производительности с серверов тоже дадим в формате csv
———
Зашел как-то разговор, можно ли заниматься нагрузкой, не на основной работе? Мне было сложно оценить, я бы сам не смог спланировать такой график. Половина времени в нагрузке занимает общение. Это очень общительная работа, потому что она нетиповая, нешаблонная. А делать нетиповую работу на условном фрилансе очень сложно
Нашел для примера задачу на тестирование производительности (такая была только одна). На ее примере попробую представить, возможно ли ее сделать.
Необходимо протестировать веб-портал интернет-магазина.
С одной стороны, веб-портал это контентная часть проекта. И в качестве результатов тестирования может понадобится анализ с помощью webpagetest.org, pagespeed, ... И рекомендации, касательно кеширования, оптимизации на стороне верстки или касательно размеров изображений. Без работы с которыми можно и не начинать нагрузку на API-часть. Но может иметься в виду тестирование и API и отдачи статики и самой статики, всего.
Нагрузочное тестирование сценария заказа для 10 000 пользователей.
Если речь про скорость выполнения 10 000 итераций сценария заказа, то задача одна.
Если в сценарии подразумевается и вход, поиск, просмотр каждого товара, работа с корзиной, выход, задача другая. Более сложные сценарии, более сложны в отладке, это как с атомарностью тестов. В плохих случаях, до самого заказа можно не дойти из-за нестабильности предыдущих шагов.
Если тут имеется в виду 10 000 одновременных подключений, и разные другие технические а не бизнесовые характеристики, то задача третья. После такой задачи будет, возможно, обсуждение в чате qa_load, что инструмент {название} не тянет нагрузку, что делать, помогите. И будут ответы, что тут имелось в виду, не 10к подключений, а 10к итераций. 10к итераций за время, которое нужно установить или за определенное время.
Нужен опыт проведения такого тестирования.
Значит, как первый проект такое взять не получится. Это задача для человека с опытом, портфолио.
Будет нужно распределение нагрузки, разные точки нагрузки (сервера).
Если тут емеется в виду, что нагрузка будет подаваться из разных точек, то сделать такой тест будет дорого; если речь про сотни адресов.
Если имеется в виду, что будут нагружены все серверы магазина, а не только какой-то один IP-адрес, то надо будет разобраться с тем, как устроена балансировка нагрузки.
Сценарий будет предоставлен, нужно будет записать скрипт, параметризировать
Это, понятная часть работы. Но она зависит от того, что имеется в виду под
Нагрузочное тестирование сценария заказа для 10 000 пользователей.
и
Тестовые данные мы подготовим
Если имеется в виду, что будут даны 10 000 токенов пользователей, а также будет дана выгрузка названий и идентификаторов товаров, чтобы было проще делать эмуляцию наполнения корзины, то у задачи сложность на меньшее количество времени.
Если будут не токены, а логины и пароли в количестве 10 000 штук, то сложность выше.
Если будут даны, не идентификаторы и названия товаров, а только названия, то еще выше.
Вариантов много
заполнить шаблон отчета который дадим
Лично для меня этот этап всегда долгий. В простом случае - система нагрузку держит, вот ссылки на детали. Но если система нагрузку не держит, то анализ почему, результаты 5-ти, 10-ти итераций, фиксация сделанных оптимизаций, фиксация результатов оптимизаций.
Всем привет! После активации функции подчатов в чатике по нагрузке, данный канал был автоматически отвязан от него. И тепепрь он сам по себе. Подумал, что можно его оживить. В канале все еще есть 8 администраторов, 8 людей, которые могут писать что-то интересное
Был в субботу 27 мая на IT-квартирнике в Ереване, вышел на замену человеку, который заболел перед мероприятием. Здоровья этому человеку
Квартирник это такой формат, где может быть несколько ведущих и не очень большая аудитория. Ведущий более подходящее слово, чем спикер. Так как все общаются, аудитория активно участвует и развивает дискуссию на заданную тему.
У меня был день на подготовку, поэтому выбрал тему "Стихийное тестирование производительности", сделал в miro.com один слайд в формате квартирника, сайт unsplash.com помог с подборкой фонов, добавил на слайд заметок с историями под разную аудиторию. Добавил пару ссылок и QR-кодов на форму обратной связи да слайды через qrcoder.ru и пошел
Ссылка на слайд вот тут
тут по моему докладу статью на хабр вкрутили, там как раз про фантастическую сущность PerfOps. буду рад комментариям)
https://habr.com/ru/company/oleg-bunin/blog/682746/
Вот Google Chrome имеет встроенные метрики. Часто приложения мобильные кроссплатформенны за счёт того, что они работают в виджете Google Chrome. И все метрики могут уже у вас быть
https://developer.android.com/guide/webapps/managing-webview
Если у вас Unity то метрики производительности тоже будут
Проверьте это - какая технология в основе лежит
Что я дальше делал. Поискал бы общеиспользуемые метрики для конкретной технологии
Названия метрик можно взять в
Руководствах:
https://firebase.google.com/docs/perf-mon/screen-traces?platform=ios
https://developer.android.com/topic/performance/measuring-performance
Google Lighthouse
https://developer.chrome.com/docs/lighthouse/overview/
Page Speed:
https://web.dev/measure/
В информации о форматах файлов:
https://en.wikipedia.org/wiki/JPEG_2000
https://en.wikipedia.org/wiki/WebP
https://en.wikipedia.org/wiki/Category:Portable_Network_Graphics
Например, у вас PNG это изображение не отображается пока оно полностью не загрузится. Ваши пользователи видят, что отображение долгое. Может быть это загрузка долгая. А она долгая потому что nginx который отдает фотографии не настроен - нет заголовков для кеширования
это можно проверить в fiddler, charlesProxy, proxyman
Или он настроен, но CDN для региона Малайзия используется из Ирландии - и причина где-то там
Или Fiddler, Charles покажут что изображение просто огромное - 5 МБайт фото на iPhone 30 c гигакамерой. Тогда придумайте как делать Preview этого фото и как его скачивать - разделите. Или просто пожмите все, как сделали в vk с потерями возможно.
Если все не так. То вам можно профилировать
https://developer.android.com/topic/performance/benchmarking/macrobenchmark-overview
и замерять отрисовку по косвенным признакам - длительности работы Render-потоков. Может будет не точно, но тоже ок
https://developer.android.com/reference/kotlin/androidx/benchmark/macro/FrameTimingMetric
по frameCpuTimeMs
Программа конференции по тестированию Heisenbug готова!
За три дня вы сможете посмотреть 23 доклада и поучаствовать в 6 воркшопах.
В программе есть доклад о нагрузочном тестировании.
Виктор Ганелес, Кирилл Юрков — «Антипаттерны тестирования производительности»
В тестировании производительности есть свои особенности, которые можно назвать паттернами. Паттерны могут быть очень специфичными для прикладной задачи, а еще их можно перечислять вечно. Именно поэтому авторы расскажут о том, какие бывают антипаттерны и где они таковыми являются, а где нет.
Посмотреть всю программу, и купить билет можно на сайте.
Вы еще успеваете купить Personal Standard билет со скидкой по промокоду qaload2021JRGpc
@gim6626 написал на Хабре большую статью (почти методичку) о личном опыте и опыте Miro в развитии направления нагрузочного тестирования - https://habr.com/ru/company/miro/blog/573338/. Основное внимание уделено именно общей методологии НТ, а не техническим деталям отдельных инструментов. Статья будет полезна в первую очередь новичкам, так как там пошагово расписаны все этапы от формулировки требований до составления отчёта с приведением конкретных примеров из практики компании, в том числе по автоматизации. Опытным инженерам статья тоже может быть интересна как пример того, как устроено НТ в другой компании.
Читать полностью…
Доброе утро! Сегодня и завтра 8-9 июля пройдет PG Day'21 Russia. Участие бесплатное. Начало в 10:00 МСК, трансляцию можно посмотреть на YouTube. Для общения со спикерами и другими участниками подключайтесь к Slack каналу конференции.
Читать полностью…
Материалы доклада
Профилирование #JVM в #Kubernetes
https://heisenbug-piter.ru/2021/spb/talks/7xxou7lmwvn6xnfrx4atnd/
Слайды доступны на странице доклада.
Или так: https://polarnik.github.io/JVM-profiling-in-Kubernetes/
В тему доклада было обсуждение в подкасте Битовая каска (29 апр. 2021 г):
Профилирование приложений: https://youtu.be/hUW7-pTOlaI