qanote | Unsorted

Telegram-канал qanote - Заметки тестировщика | QA Notes

5415

admin @kreevii 💖 Senior QA at Wildberries Mentor at https://tech.wildberries.ru/ 4 years if experience in IT quizzes: @qadictionary

Subscribe to a channel

Заметки тестировщика | QA Notes

📱 Проверь себя: готов ли ты к уровню Middle Mobile QA?

Если ты думаешь, что уже не junior, давай проверим честно)
Без теории. Только то, что реально нужно в работе.

👉🏻 Отметь для себя, сколько пунктов ты действительно делаешь, а не “знаешь, что надо”.

🧠 1. Сеть (не только Wi-Fi)

Ты проверяешь:

☐ переключение Wi-Fi, LTE
☐ потерю сети во время запроса
☐ медленный интернет (throttling)
☐ поведение retry
☐ что видит пользователь при таймауте

Если нет, ты тестируешь “лабораторию”, а не реальный мир.


🔁 2. Фон и жизненный цикл

Ты проверяешь:

☐ сворачивание приложения во время действия
☐ возврат через время
☐ что происходит после удаления приложения системой
☐ восстановление состояния
☐ повторные запросы после возврата
Если нет, ты не тестируешь половину мобильного поведения.


🔔 3. Push-уведомления

Ты проверяешь:

☐ приходит ли push
☐ приходит ли вовремя
☐ открывает ли правильный экран
☐ что будет, если открыть приложение не из push
☐ поведение при отключённых уведомлениях
Если ты проверяешь только “пришёл / не пришёл” — этого недостаточно.


💾 4. Данные и состояние

Ты думаешь про:

☐ идемпотентность действий (повторные клики)
☐ дублирование запросов
☐ потерю данных
☐ синхронизацию между экранами
☐ что будет при оффлайне
Это уже уровень системного мышления 🙂‍↔️


📲 5. Устройства и ОС

Ты учитываешь:

☐ разные версии Android/iOS
☐ слабые устройства
☐ разные размеры экранов
☐ поведение на старых версиях
☐ ограничения ОС
Один девайс это не тестирование..


⚡️ 6. Скорость и UX


Ты проверяешь:

☐ время загрузки экранов
☐ задержки при действиях
☐ блокируется ли UI
☐ есть ли feedback пользователю
☐ можно ли понять, что происходит
Работает - не значит удобно


📊 Результат

🟥 0–10 пунктов

ты ещё junior (и это нормально)

🟨 11–20 пунктов
уверенный junior, почти middle

🟩 21–30 пунктов
middle Mobile QA

🟪 30+
ты уже думаешь как senior

Делитесь своими результатами в комментариях! ☺️
И не забудьте поставить реакцию за старание! ❤️


📓 Заметки тестировщика

Читать полностью…

Заметки тестировщика | QA Notes

💸 Топ самых дорогих багов в мобильных приложениях

Те, которые не падают… но стоят бизнесу миллионы

Самые опасные баги - не те, из-за которых приложение крашится.
А те, из-за которых пользователь просто уходит.


🧨 1. Двойная оплата

Сценарий:
- пользователь нажал “Оплатить”
- сеть зависла
- он нажал ещё раз
И…

💥 деньги списались дважды

Почему это происходит:

1) нет идемпотентности
2) нет блокировки повторных действий
3) нет состояния “запрос в процессе”

Почему это дорогой баг:
💁🏻 прямые финансовые потери
🙅🏼‍♀️ возвраты
👥 поддержка
😕 потеря доверия

Один такой баг может стоить больше, чем сотни крашей.

🧨 2. Потерянный заказ (действие)

Пользователь:
- оформил заказ
- увидел “успешно”
- закрыл приложение
А заказ… не сохранился.

Причины:
1) асинхронщина (очереди, API)
2) UI показал успех раньше времени
3) плохая обработка ошибок

Цена:
🫣 потерянные деньги
👺 негатив
😷 “приложение обмануло меня”

🧨 3. Баги при плохом интернете

Пользователь живёт не в идеальном Wi-Fi.

Он:
- теряет сеть
- переключается между LTE и Wi-Fi
- ловит слабый сигнал

Что происходит:
1) запрос завис
2) UI завис
3) пользователь не понимает, что происходит

Самое страшное:
пользователь думает, что приложение “тупит”. И просто удаляет его.

🧨 4. Потеря состояния приложения

Сценарий:
- пользователь заполняет форму
- сворачивает приложение
- возвращается
И всё пусто.

Причины:
1) приложение выгрузилось из памяти
2) нет сохранения состояния
3) неправильная работа lifecycle

Цена:
⏱️ потеря времени пользователя
🙊 раздражение
👀 drop воронки

🧨 5. Проблемы с push-уведомлениями

Кажется мелочью. На деле огромные деньги.

Варианты багов:
- уведомление не пришло
- пришло дважды
- пришло поздно
- открывает не тот экран

Пример:
- акция на 1 час
- push приходит через 20 минут

💸 половина пользователей уже не вернётся

🧨 6. Баги только на “редких” устройствах

QA протестировал:
- iPhone
- топ Android

А у пользователя:
- старый Xiaomi
- Android 9
- слабая память

Что происходит:
1) приложение тормозит
2) падает
3) не открывается

Цена: потеря целого сегмента пользователей

🧨 7. Медленная работа без ошибок
Самый недооценённый баг.

Приложение не падает и не показывает ошибки. Но экран грузится 3–5 секунд, действия выполняются медленно.

Итог: пользователь уходит, но ты не видишь ни одного бага.

🎯 Что объединяет все эти баги:

👌🏼 нет явных ошибок
👌🏼 нет падений
👌🏼 сложно воспроизводятся
👌🏼 проявляются в реальных условиях

И они бьют не по системе, а больше по деньгам и доверию..

🧠 Как думает сильный Mobile QA

Он проверяет не: “работает ли экран”, а "что будет при плохой сети", "что будет при повторном действии", "что будет в фоне", "что будет на слабом устройстве"

📓 Заметки тестировщика

Читать полностью…

Заметки тестировщика | QA Notes

🧠 Почему сильные QA меньше пишут тест-кейсов, но делают больше

“Где тест-кейсы?”
Вопрос, который часто задают… не тем людям.

🧠 Иллюзия контроля через тест-кейсы

В начале карьеры кажется:
чем больше тест-кейсов - тем выше качество.

200 кейсов - хорошо
500 кейсов - отлично
1000 кейсов - идеально?

Но с опытом приходит понимание: количество тест-кейсов почти не связано с качеством продукта.

Можно иметь:
- идеальное покрытие
- структурированные сценарии
- красивые чек-листы

И при этом пропускать критичные баги.

🔍 Что меняется у сильного QA

Сильный тестировщик перестаёт мыслить: “Что бы ещё проверить?”. Он начинает думать: “Где это сломается?”. Это принципиально другой уровень.

⚙️ Почему кейсов становится меньше

1. Он перестаёт документировать очевидное

Нет смысла писать кейс:
“Нажать кнопку - проверить, что открылся экран”
Это не тестирование - это фиксация очевидного.

2. Он мыслит сценариями, а не шагами

Вместо 20 кейсов:
- успешный вход
- вход с ошибкой
- вход с пустым полем

Он видит один поток + вариации.

3. Он тестирует на лету (exploratory)

Сильный QA:
- комбинирует сценарии
- меняет порядок действий
- проверяет нестандартные состояния

И за 30 минут находит больше, чем набор кейсов за день.

4. Он понимает риски

Он не проверяет всё подряд.
Он проверяет то, что может сломать бизнес.

🧩 Что он делает вместо написания кейсов

Вот где происходит магия:

- задаёт неудобные вопросы до разработки
- находит логические дыры в требованиях
- замечает несостыковки между сервисами
- проверяет поведение системы во времени
- ловит баги, которые нельзя “записать в кейс”

И самое главное - он предотвращает ошибки, а не просто фиксирует их.

💬 Из реальной практики

Один из самых сильных QA, с которыми я работала, почти не писал тест-кейсы. Но команда боялась его вопросов.
Потому что он мог спросить: “А что будет, если пользователь сделает это… во время этого… пока система в таком состоянии?”. И после этого становилось понятно, что половина логики вообще не продумана.

⚠️ Важно: это не значит, что кейсы не нужны

Кейсы нужны:
для регрессии
для онбординга
для сложной логики
для автоматизации


Но: кейсы это инструмент, а не показатель уровня QA.

📓 Заметки тестировщика

Читать полностью…

Заметки тестировщика | QA Notes

📈 Реальный кейс нагрузочного тестирования

Как система выдерживает 3000 пользователей… и всё равно ломается

Представим проект сервиса оформления заказов.

Архитектура выглядит так:

Frontend
↓
API Gateway
↓
Order Service
↓
Kafka
↓
Payment Service
↓
PostgreSQL

По требованиям система должна выдерживать:

3000 одновременных пользователей в пиковые часы распродаж.

🧪Подготовка нагрузочного теста
Сценарий максимально близкий к реальности.

Типичный пользователь:

1️⃣ открывает каталог
2️⃣ добавляет товар в корзину
3️⃣ оформляет заказ
4️⃣ оплачивает

Think time между действиями: 3–5 секунд
Инструмент: k6
Профиль нагрузки:

0 → 500 пользователей (2 минуты)
500 → 2000 пользователей (5 минут)
2000 → 3000 пользователей (5 минут)

Метрики:

p95 latency
error rate
throughput
CPU
Kafka lag
DB connections

📊 Первые результаты

До 2000 пользователей всё выглядело идеально.

Метрики:
p95 latency: 180ms
errors: 0%
CPU: 40%

Команда была уверена: “Система выдержит 3000 легко.”
Но дальше началось интересное.

🚨 На 2500 пользователей началась деградация

Система не падала, но метрики начали ползти.
p95 latency: 400ms
Kafka lag: растёт
DB connections: растут

При этом:
- ошибок почти нет
- CPU не перегружен
- Система формально работает.

Но что-то явно идёт не так.

🔎 Начали копать глубже

Посмотрели метрики Kafka.
И увидели:
producer rate: 1500 msg/sec
consumer rate: 1200 msg/sec

Каждую секунду система накапливала 300 сообщений.

Это значит:
lag растёт
очередь растёт
задержки растут

Но API продолжает отвечать 200 OK.

🧨 Через 15 минут начинается лавина

Kafka lag:
0 - 10k - 40k - 120k сообщений

Теперь происходит следующее:
1️⃣ Payment Service начинает отставать
2️⃣ пользователи ждут подтверждение оплаты
3️⃣ система делает retry
4️⃣ нагрузка увеличивается ещё сильнее

Начинается feedback loop.

💥 Итог через 20 минут теста

Метрики:

p95 latency: 6 секунд
error rate: 12%
Kafka lag: 200k сообщений

Но что интересно - система не упала. Она просто стала очень медленной.

🧠 Где была реальная проблема

После расследования оказалось:
Payment Service был bottleneck.
Он обрабатывал: 1200 сообщений/сек

А система генерировала:
1500 сообщений/сек.
Разница:
+300 сообщений/сек
Это маленькое расхождение и убивало систему.

🛠 Как исправили

Решения:
1️⃣ Увеличили количество consumer
Kafka consumers:
3 → 6

2️⃣ Добавили batching платежей
Вместо:
1 message → 1 DB transaction

Сделали:
10 messages → 1 transaction

3️⃣ Ограничили retries
Retry storm сильно усиливал нагрузку.

📊 Результат после фикса

Повторили тест.
Метрики:
3000 пользователей
p95 latency: 320ms
Kafka lag: стабилен
errors: 0.2%

Система выдержала нагрузку.

🎯 Самый важный вывод

Без нагрузочного теста этот баг проявился бы:

только на распродаже
только под реальной нагрузкой
только через 15–20 минут


То есть: в продакшене
⚡️

💡 Главный урок для QA

Нагрузка показывает не только выдержит ли система

Она показывает:
как система деградирует со временем

И самые опасные проблемы - это те, которые:
- не падают сразу
- не дают ошибок
- но медленно убивают систему.

📓 Заметки тестировщика

Читать полностью…

Заметки тестировщика | QA Notes

4 вида нагрузочного тестирования (которые постоянно путают)

1️⃣ Load testing

Проверяем работу системы при ожидаемой нагрузке.

Например:
1000 пользователей онлайн
200 запросов в секунду
Цель - убедиться, что система выдерживает нормальный рабочий режим.

2️⃣ Stress testing

Постепенно увеличиваем нагрузку, пока система не начнёт ломаться.

Задача - понять:
- где предел системы
- как она падает

3️⃣ Spike testing

Резкий скачок нагрузки.

Например:
10 rps - 2000 rps за секунду

Это проверяет:
- авто-масштабирование
- очереди
- устойчивость к всплескам

4️⃣ Soak testing (endurance)

Длительная нагрузка.

Например:
1000 пользователей в течение 12–24 часов.

Так ловятся:
- memory leaks
- накопление соединений
- проблемы с кешем

📓 Заметки тестировщика

Читать полностью…

Заметки тестировщика | QA Notes

С 23 февраля! ❤️

Мужчины, хочется пожелать вам не только силы и уверенности, но и простого человеческого счастья. Пусть рядом всегда будут люди, которые верят в вас, поддерживают и вдохновляют. Пусть в сердце будет спокойствие, в доме - уют, а в жизни - ощущение, что всё идёт правильно.

Пусть любые трудности обходят стороной, а мечты находят дорогу к исполнению ✨

Читать полностью…

Заметки тестировщика | QA Notes

🧠 Почему опытные тестировщики перестают верить "всё работает"

И почему это не профессиональная деформация, а навык

Есть момент, который почти каждый QA переживает лет через 5–7 в профессии.
Когда фраза:

"Всё работает" перестаёт звучать успокаивающе.
Наоборот - она начинает напрягать.


🔍 Что происходит с мышлением тестировщика со временем

В начале карьеры:

фича запускается - радуемся;
багов нет - значит, всё хорошо;
тесты зелёные - можно выдыхать.


С опытом мозг перестраивается.

Ты начинаешь слышать не слова, а паузы между ними:

“всё работает… при каких условиях?”
“у кого работает?”
“как долго?”
“что будет завтра?”


Это не цинизм.
Это развитие.

⚠️ Почему "всё работает" - опасная фраза

Потому что она обычно означает одно из четырёх:

👉🏻 Проверили happy path
Всё остальное неизвестно.

👉🏻 Проверили сейчас
Во времени поведение может измениться.

👉🏻 Проверили без нагрузки
А под реальными объёмами всё может “поплыть”.

👉🏻 Проверили без отказов
А система живёт в мире с рестартами, таймаутами и потерями.

QA со стажем слышит в этой фразе не уверенность, а слепую зону.

🧠 Что меняется в голове опытного QA

Он перестаёт задавать вопрос: "Работает ли?"
И начинает задавать другие:
- Где это сломается первым?
- Как система деградирует?
- Что произойдёт при частичном отказе?
- Кто об этом узнает и когда?


Это уже не тестирование фич.
Это тестирование устойчивости.

💬Из реальной практики

Самые тяжёлые инциденты, которые я видела, начинались не с ошибок и падений.
Они начинались со слов: "Мы всё проверили, у нас всё работает".

А потом:
- сообщения в очередях зависали,
- данные расходились,
- пользователи теряли деньги


И никто не мог быстро объяснить почему)

💪 Почему этот скепсис - признак зрелости

Опытный тестировщик:
не верит в “навсегда”;
не доверяет разовым проверкам;
понимает, что реальность всегда сложнее тестового сценария.


Он не пессимист.
Он просто знает цену словам ❤️

📓 Заметки тестировщика

Читать полностью…

Заметки тестировщика | QA Notes

🔧 Инструменты QA внутри контейнеров

Зайти в consumer и посмотреть логи

docker logs consumer

Отправить тестовое сообщение вручную

RabbitMQ:

- через UI,
- или curl (если HTTP-адаптер),
- или простым producer-скриптом внутри контейнера.

Kafka:

docker exec -it kafka bash
kafka-console-producer --topic events --bootstrap-server kafka:9092

⚠️ Частые ошибки QA при тестировании очередей

❌ Тестировать только UI
❌ Не проверять, дошло ли сообщение
❌ Не проверять поведение при падении consumer
❌ Не проверять повторную обработку
❌ Не смотреть DLQ
❌ Не фиксировать версию брокера

🎯 Как мыслит зрелый тестировщик с очередями

Он тестирует не “функцию”, а жизнь сообщения:

- Родилось ли сообщение?
- Попало ли в нужную очередь/топик?
- Кто его прочитал?
- Сколько раз?
- Что будет, если consumer упадёт?
- Что будет, если сообщение “плохое”?

И именно Docker даёт возможность прожить этот путь руками.

📓 Заметки тестировщика

Читать полностью…

Заметки тестировщика | QA Notes

🐳 Docker + Kafka / RabbitMQ глазами тестировщика

Где живут самые коварные баги асинхронных систем

Если ты тестировал систему с очередями, ты знаешь:
самые неприятные баги не падают сразу.
Они тихо накапливаются в очередях, теряются, дублируются или застревают.

И именно тут Docker становится для QA инструментом рентгена.

🧠 Почему очереди кошмар для тестирования

Kafka и RabbitMQ ломают привычную модель:
запрос - ответ - результат

Вместо этого:
- сообщение может прийти позже
- может прийти дважды
- может не прийти вообще
- может обработаться не тем сервисом
- может застрять навсегда, но UI об этом не знает


Без локального стенда с очередями QA тестирует поверхность, а не систему.

🧱 Минимальный docker-compose для QA
RabbitMQ (проще для старта)

services:
api:
image: mycorp/api:1.6
environment:
- QUEUE_HOST=rabbit
depends_on:
- rabbit

rabbit:
image: rabbitmq:3-management
ports:
- "15672:15672" # UI
- "5672:5672"

Ты получаешь:
реальный брокер
UI RabbitMQ
возможность смотреть очереди глазами, а не угадывать


Kafka (реалистичнее, но сложнее)

services:
zookeeper:
image: confluentinc/cp-zookeeper
environment:
ZOOKEEPER_CLIENT_PORT: 2181

kafka:
image: confluentinc/cp-kafka
depends_on:
- zookeeper
ports:
- "9092:9092"
environment:
KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092
KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1


Да, это не просто, но это почти прод - а значит, и баги будут честные.

🐛Баги, которые QA реально ловит через очереди

1️⃣ Потеря сообщений

Сценарий:

API успешно отвечает 200 OK,
но сообщение не появляется в очереди.

QA-проверка:

открыть UI RabbitMQ,
проверить:
exchange,
routing key,
очередь,
количество сообщений.

Частая причина: неправильный routing key или конфиг env.

2️⃣ Дублирование сообщений

Сценарий:

одно действие пользователя - два события в системе,
бизнес-логика срабатывает дважды.

QA через Docker:
отправляет запрос,
смотрит, сколько сообщений реально улетело,
рестартует consumer-контейнер: docker restart consumer

Если после рестарта сообщение обрабатывается снова - idempotency не соблюдена.

3️⃣ “Зависшие” сообщения

Сценарий:
очередь растёт,
UI работает,
пользователи жалуются на задержки.

QA-диагностика:
consumer контейнер запущен?
падает ли он при обработке?
есть ли retries / dead-letter queue?

RabbitMQ:

смотри DLQ,
смотри unacked messages.

Kafka:
смотри consumer lag.

4️⃣ Нарушение порядка сообщений (особенно в Kafka)

Сценарий:

события приходят не в том порядке,
состояние системы ломается.

QA может:

проверить key сообщений,
отправить серию событий с одним ключом,
проверить, что они попали в одну партицию.
Если ключ пустой - порядок не гарантирован.

5️⃣ Баги при падении сервиса

Сценарий:

consumer падает в середине обработки,
часть логики выполнена, часть — нет.

QA-трюк:

docker stop consumer
в момент обработки сообщения.

После старта:

сообщение пропало? ❌
обработалось повторно? ❌
ушло в DLQ? ✅


Вот здесь и проявляется зрелость системы.

📓 Заметки тестировщика

Читать полностью…

Заметки тестировщика | QA Notes

С Новым годом, коллеги и единомышленники ✨🐴

Этот год был про рост, сомнения, первые «не понимаю», сотые «ага, вот оно», баги не только в коде, но и в жизни. Мы учились, ошибались, перепроверяли, находили причины и шли дальше - шаг за шагом.

Спасибо всем, кто читает канал, задаёт вопросы, делится опытом, поддерживает и не сдаётся. Даже когда кажется, что ничего не получается - это тоже часть пути.

Пусть в новом году будет больше ясности, уверенности в себе и моментов, когда ты смотришь на задачу и думаешь: «я знаю, как с этим справиться». Меньше флейк-тестов в жизни и больше стабильных релизов 🙏

Обнимаю каждого! 🫂❤️

Читать полностью…

Заметки тестировщика | QA Notes

🤨 Базовые объекты Docker, но без воды: что реально нужно знать QA

Можно годами работать с Docker и так и не понять, чем image отличается от container, а volume от bind mount - и всё равно жить.
Но опытному тестировщику это мешает нормально расследовать баги.

🧱 1. Image (образ)

Это как шаблон: “слепок файловой системы + инструкция, как запускать”.
Образ - неизменяемый. Ты его не "испортишь".

Примеры:

python:3.11
postgres:15
mycorp/auth-service:1.4.2


QA-ценность: важно знать, с каким образом ты работаешь - версия сервиса часто = версия бага.

📦 2. Container (контейнер)

Это запущенный экземпляр образа.
Можно представить как “процесс + файловая система + сетевые настройки”.

Ты можешь:
запустить несколько контейнеров из одного образа;
убить контейнер, а образ останется.

Полезные команды:

docker ps # запущенные
docker ps -a # все, включая остановленные
docker rm <id> # удалить контейнер


QA-ошибка: думать, что “я удалил контейнер, значит всё чисто”. Нет. Могут остаться тома и кеш слоев.

💾 3. Volumes (тома)

Это место, где живут данные, переживающие смерть контейнера: БД, загрузки файлов, кэш.

Если ты:

docker-compose down

а данные всё ещё на месте - значит, они сидят в volume.

docker volume ls # список томов
docker volume rm <name> # удалить том (осторожно!)


QA-ценность: когда баг “пропадает после полного удаления томов” - проблема может быть в грязных данных, а не в коде.

🌐 4. Network (сеть)

Контейнеры общаются друг с другом по именам сервисов внутри одной сети.

В docker-compose.yml ты пишешь:

services:
api:
image: mycorp/api:1.2
db:
image: postgres:15


И внутри контейнера api ты обращаешься к БД по хосту db, а не localhost.
Классический баг: “локально к БД ходит, в контейнере нет” - неверный host.

Понимая 4 вещи (image, container, volume, network), ты уже не просто “жмёшь docker-compose up”, а понимаешь, где может спрятаться баг:
в корявом образе, застарелых томах, неправильном хосте или сетке.

📓 Заметки тестировщика

Читать полностью…

Заметки тестировщика | QA Notes

🧠 Психотипы тестировщиков: кто ты в команде качества?

🔍 1. Детектив

Любимый вопрос: "А что если…?"
У него папка с кейсами, которые никто бы не придумал.
Он мгновенно чувствует аномалии, замечает мелочи, видит подозрительные цепочки.
Этот тестировщик не верит совпадениям в поведении системы.
Если он замолкает, значит, нашёл что-то серьёзное.

Слабая сторона: может утонуть в деталях и забыть про приоритеты.


🔍 2. Аналитик


Горизонтально мыслит, видит систему целиком.
Любит схемы, процессы, причинно-следственные связи.
Если где-то поведение продукта нелогично, он почувствует это за километр.
Не тестирует наугад, строит гипотезы.

Слабая сторона: иногда слишком умный для простых задач, скучает и замедляется.

🔍 3. Разрушитель

Этот человек физически не может пройти мимо кнопки, на которую “лучше не нажимать”.
Он тестирует как пользователь в плохом настроении.
Система падает? Значит, он просто нажал "ещё раз".
Ручное тестирование для него как игра: выживет сервис или нет.

Слабая сторона: если его не ограничивать - тесты превращаются в хаос.

🔍 4. Интуит

Он не всегда может объяснить почему, но чувствует, что “там что-то не так”.
Иногда его догадки оказываются точнее, чем тест-кейсы.
Он видит паттерны поведения системы, как игрок видит паттерны в игре.
Интуиция = опыт + наблюдательность, просто скрытая формула.

Слабая сторона: трудно аргументировать свои выводы для команды.


🔍 5. Скептик

Его фраза: "Покажите тесты, которые доказывают, что это не сломается завтра."
Он не верит красивым словам, уверенным тоннам и “всё работает у меня”.
Проверяет API, логи, мониторинг, окружение.
Уважает факты, а не оптимизм.

Слабая сторона: легко переходит в цинизм, если долго не отдыхает.

🔍 6. Психотерапевт команды


Слушает всех, знает, кто устал, кто загорелся, кто выгорел.
Понимает мотивацию людей так же хорошо, как и состояние продукта.
Сглаживает конфликты между Dev и PM.
Пытается донести риски так, чтобы никто не чувствовал себя виноватым.
Команда держится спокойнее просто потому, что он там есть.

Слабая сторона: берёт слишком много эмоционально, быстро выгорает.


🔍 7. Архитектор качества

Это уже не просто тестировщик.
Он думает про процессы, про риск-менеджмент, про наблюдаемость в проде.
Умеет связать бизнес-логику, тест-дизайн, разработку и релиз.
Говорит мало, но в точку.
Если он сказал, что “такой процесс нас убьёт” - прислушайтесь.

Слабая сторона: иногда кажется отстранённым - он просто живёт в системном мышлении.


🔍 8. “Спасатель”

Тот самый человек, который всегда вступает в бой, когда что-то горит.
Чинит окружение, вытаскивает релизы, пишет пайпы, настраивает тесты ночью.
Его обожают, но иногда именно он поддерживает нездоровые процессы.
Потому что без него бы всё сломалось - а с ним всё “как-то работает”.

Слабая сторона: склонен к героизму - путь к выгоранию.

Каждый тестировщик смесь нескольких психотипов.
Хорошая команда ценна тем, что они уравновешивают друг друга:
аналитик даёт структуру, разрушитель - надёжность, интуит - глубину, детектив - нестандартное видение, архитектор - системность.

И главное: команда сильнее, когда каждый понимает свой стиль и использует его осознанно.

📓 Заметки тестировщика

Читать полностью…

Заметки тестировщика | QA Notes

Друзья, поздравляю всех с пятницей! Желаю хорошо отдохнуть, восстановиться и не думать о работе на этих выходных ☺️

Читать полностью…

Заметки тестировщика | QA Notes

Вкатиться в QA уже невозможно?

1000 откликов на одну вакансию, конкуренция бешеная, а требования все выше...

🚀 Но есть хорошая новость: выделиться всё ещё можно, если знать, какие навыки сейчас реально нужны

Старший тестировщик с 4 годами опыта походил по собесам чтобы узнать, что нужно для QA в 2025 году

В danimento/oWQ0e8av3Me">статье он собрал данные по всем актуальным вакансиям и ответил на следующие вопросы:

🔸 Всегда ли было просто вкатиться в QA
🔸 Какой актуальный стек осени 2025
🔸 Что спрашивают на собесах прямо сейчас


Все основано на личном опыте автора и реальных кейсах

Статья в закрепе канала "БЕЗ БАГОВ"

📎 В конце статьи бонус: пдф-гайд с 30 вопросами и ответами, чтобы быть готовым к любому собесу

👉 danimento/oWQ0e8av3Me">ЧИТАТЬ

Читать полностью…

Заметки тестировщика | QA Notes

🤓 Precision vs Recall: борьба за баланс

"Модель ловит почти всех мошенников!" - говорит разработчик.
QA уточняет: "А сколько честных клиентов она заблокировала?"
Молчание в ответ - значит, пора говорить о Precision и Recall.


⚖️ Что это такое

Precision - насколько можно доверять положительным предсказаниям.

Из всех, кого модель назвала мошенниками, сколько действительно ими оказались?

Recall - насколько модель внимательна к целевому классу.

Из всех настоящих мошенников, сколько она нашла?

📉Конфликт интересов

Повысишь Recall - поймаешь больше мошенников, но вырастет число ложных тревог.
Улучшаешь Precision - снижаешь количество ложных тревог, но рискуешь пропустить часть нарушителей (пример на фото)

Модель A - осторожная, почти не ошибается, но ловит мало.
Модель B - агрессивная, ловит почти всех, но делает больше ложных срабатываний.

💡Для QA и аналитиков

1) Выбирайте приоритет.

Антифрод, медицина - важнее Recall (не пропустить).
Модерация, реклама - важнее Precision (не обвинить зря).

2) Следите за F1-score. Он помогает сбалансировать метрики.

3) Тестируйте на сценариях. Проверяйте, где именно модель делает ошибки - не только "сколько".

📓 Заметки тестировщика

Читать полностью…

Заметки тестировщика | QA Notes

Ребята, в Wildberries стартует новый поток курса QA, где мы с моими коллегами лидами улучшили программу!
Также теперь мы выдаем сертификат об обучении ❤️

Успейте зарегистрироваться! Все подробности по ссылке 🫂
Лучших трудоустраиваем в команду!

https://tech.wildberries.ru/qa-engineer

Читать полностью…

Заметки тестировщика | QA Notes

📱 Мобильное тестирование: где на самом деле ломаются приложения

“У меня всё работает”
- говорит разработчик, держа в руках свой iPhone 15 Pro.


И в этот момент где-то на Android 9 с плохим интернетом приложение уже падает.

🧠 Главная проблема мобильного тестирования

В вебе ты тестируешь приложение.
В мобилке ты тестируешь:

- устройство
- ОС
- сеть
- батарею
- память
- уведомления
- фоновые процессы

И только потом само приложение.

🔍 Где живут настоящие баги

1️⃣ Сеть (самый недооценённый фактор)

Пользователь не сидит на идеальном Wi-Fi.

Он:
- едет в метро
- переключается между LTE и Wi-Fi
- теряет сеть
- ловит слабый сигнал

И в этот момент:

- запрос зависает
- дублируется
- отваливается silently
👉 Вопрос к вам:
“Что делает приложение, когда сеть пропала на 2 секунды?”

2️⃣ Фон и жизненный цикл приложения

Пользователь:

- свернул приложение
- открыл другое
- вернулся через 5 минут

А ты получаешь:

- потерянное состояние
- сломанный экран
- устаревшие данные

👉 Классический баг: API уже ответил, а UI не обновился после возврата

3️⃣ Память и слабые устройства
Не все сидят на флагманах.

На слабых устройствах:
- приложение выгружается из памяти
- экран пересоздаётся
- данные теряются
👉 Вопрос к вам: “Что произойдёт, если ОС убьёт приложение в фоне?”

4️⃣ Версии ОС

Android 9 ≠ Android 14
iOS 15 ≠ iOS 17


Различия:
- permissions
- background tasks
- push-уведомления
- поведение WebView
Один и тот же код может работать по-разному.

5️⃣ Уведомления (push)
Самая коварная зона.

Проблемы:
- приходит с задержкой
- приходит дважды
- приходит, когда не должен
- открывает не тот экран
А ещё пользователь может открыть приложение не из него.

⚠️ Самая большая иллюзия QA в мобилке
“Я протестировал на своём устройстве”
Это почти ничего не значит.

Потому что мобильное приложение это комбинация условий, а не один сценарий.

🎯Как мыслит сильный мобильный QA

Он не тестирует “экран”. Он тестирует: смену сети, смену состояния приложения, смену устройства, деградацию среды.

Он задаёт вопросы:
- что будет, если пользователь свернёт приложение в середине операции?
- что будет при плохом интернете?
- что будет при возврате через время?

💬 Из практики

Самые неприятные баги в мобилке: не падают, не дают ошибок и не воспроизводятся стабильно. Они появляются толькона слабом устройстве/при плохой сети/через 5 минут после действия (или бездействия).

Тестировщик, который умеет весь этот хаос моделировать, ловит баги, которые никто другой даже не увидит)

📓 Заметки тестировщика

Читать полностью…

Заметки тестировщика | QA Notes

Ооочень классный материал, рекомендую 💓

https://habr.com/ru/articles/1007736/

📓 Заметки тестировщика

Читать полностью…

Заметки тестировщика | QA Notes

💐 С 8 марта!

Иногда кажется, что этот праздник только про цветы и открытки.
Но на самом деле он про гораздо большее.

Про женщин, которые умеют держать баланс между мягкостью и силой.
Которые принимают сложные решения, ведут команды, запускают проекты, находят самые хитрые баги и делают системы лучше.

Про тех, кто не боится брать ответственность, учиться новому и идти вперёд - даже когда путь непростой.

Пусть этой весной будет больше:
✨вдохновения для новых идей
✨энергии для больших целей
✨уверенности в своих силах

Пусть рядом будут люди, которые поддерживают, ценят и верят в вас.
А каждый новый день приносит возможности, которые делают жизнь ещё интереснее.

И пусть в жизни, как в хорошем релизе, всё работает стабильно, без критических багов и с отличным настроением.

С праздником! ❤️

Читать полностью…

Заметки тестировщика | QA Notes

Слишком часто в последнее время сталкиваюсь с темой нагрузочного тестирования. Давайте разберем эту тему детальнее ✨

В первую очередь, это не про “сломать сервер”.

Когда люди слышат “нагрузочное тестирование”, они часто представляют одно:
- ты запускаешь тысячи запросов и смотришь, когда всё падает.

Но это самое примитивное понимание нагрузки.

Настоящая цель нагрузочного тестирования - ответить на три вопроса:

1️⃣ Сколько пользователей система выдерживает?
2️⃣ Как она деградирует?
3️⃣ Где появляется узкое место?

Важно помнить:
система почти никогда не падает сразу.
Она медленно деградирует.
Сначала:

- растёт latency
- появляются таймауты
- увеличиваются очереди
- начинает отваливаться кеш
- база начинает блокироваться

И только потом происходит падение.

Хороший нагрузочный тест не ищет точку падения.
Он находит момент, когда система начинает вести себя неправильно.

И это намного ценнее.

📓 Заметки тестировщика

Читать полностью…

Заметки тестировщика | QA Notes

https://roadmap.sh/qa

Роудмеп для QA в 2026 году 🙂

📓 Заметки тестировщика

Читать полностью…

Заметки тестировщика | QA Notes

🚨 Прод-инциденты с Kafka/RabbitMQ

Типичные сценарии инцидентов и почти каждый из них можно было поймать на тестировании

🧨 Инцидент 1. «Сообщения есть, но они не обрабатываются»

Что видел бизнес:


- заказы создаются;
- UI работает;
- деньги не списываются;
- пользователи ждут.

Что происходило на самом деле:

- consumer падал на одном типе сообщения;
- сообщение не уходило в DLQ;
- очередь забивалась;
- все следующие сообщения стояли за “плохим”.


Почему это не поймали раньше:

- QA не проверял сценарий:
“что будет, если consumer упадёт на одном сообщении?”

Как QA мог поймать:

1) отправить битый payload;
2) проверить:
- consumer жив?
- очередь двигается?
- сообщение уходит в DLQ?

Вывод: одно плохое сообщение может остановить весь бизнес-поток.

🧨 Инцидент 2. Дубликаты, которые никто не заметил сразу

Симптомы:


- пользователям иногда списывались деньги дважды;
- не воспроизводилось стабильно;
- “раз в несколько дней”.

Реальная причина:

- consumer рестартовал;
- offset не коммитился вовремя;
- сообщение обрабатывалось повторно;
- idempotency не было.


Почему это ушло в прод:

QA тестировал только: “сообщение дошло”, но не: “сообщение дошло второй раз”.

📌Как QA мог поймать:

- искусственно рестартить consumer;
- проверить повторную обработку;
- отправить одно и то же сообщение дважды.

Вывод: повторная доставка - не исключение, а норма.

🧨 Инцидент 3. Потерянные события без единого лога

Что видел бизнес:

- часть действий пользователей “пропадала”;
- невозможно понять, где.

Реальная причина:

- неправильный routing key;
- сообщения уходили в никуда;
- producer считал, что всё ок.


Почему QA не заметил:

- проверяли только UI;
- не смотрели очереди;
- не проверяли exchange → queue binding.

Как QA мог поймать:

1) открыть RabbitMQ UI;
2) проверить:
- количество сообщений;
- биндинги;
- routing key;
3) сравнить ожидание vs факт.

Вывод: асинхронные потери - самые дорогие.

🧨 Инцидент 4. Нарушенный порядок событий (Kafka)

Симптомы:

- система периодически переходила в “странные” состояния;
- не воспроизводилось на маленьких объёмах.

Реальная причина:

- сообщения шли без ключа;
- попадали в разные партиции;
- порядок не гарантировался.

Почему QA не заметил:

- тесты были линейными;
- не было нагрузки;
- не проверяли порядок.


Как QA мог поймать:

- проверить наличие key;
- отправить серию связанных событий;
- сравнить порядок обработки.

Вывод: порядок сообщений - архитектурный контракт, а не “надежда”.

🧨 Инцидент 5. Очередь, которая медленно убивала систему

Симптомы:

- всё работало;
- пользователи не жаловались;
- бизнес-метрики падали.

Реальная причина:

- consumer обрабатывал медленнее, чем producer писал;
- lag рос;
- задержки доходили до часов.


Почему QA не заметил:

- не смотрели метрики;
- не тестировали под нагрузкой;
- ориентировались только на UI.

Как QA мог поймать:

- проверить lag/unacked messages;
- нагрузить producer;
- замедлить consumer искусственно.


Вывод: “работает” ≠ “успевает”.

🧠 Что объединяет все эти инциденты

UI не сигнализировал о проблеме.
API отвечал 200 OK.
Логи были “чистые”.
Бизнес терял деньги.

И только очереди знали правду.

🎯 Мышление QA уровня Senior/Lead

Такой тестировщик:

- тестирует поведение системы во времени;
- закладывает сбои как норму;
- проверяет деградацию, а не только падения;
- думает не “сломается ли”, а “как сломается”.

Kafka и RabbitMQ не просто техническая деталь.
Это нервная система продукта.

И тестировщик, который умеет работать с очередями через Docker:


🔍 раньше видит риски,
🔍 задаёт неудобные вопросы,
🔍 предотвращает инциденты,

и реально влияет на бизнес, а не только на баг-репорты.

📓 Заметки тестировщика

Читать полностью…

Заметки тестировщика | QA Notes

Ставь 👍🏼 если не успеваешь встать с кровати

Читать полностью…

Заметки тестировщика | QA Notes

Друзья, привет!
Я стримлю игры и YouTube - живое общение, реакции и уютная атмосфера 👾🎮

На стримах:
- играем и отдыхаем
- смотрим и обсуждаем видеоролики
- общаемся в чате
- смеёмся, спорим и просто хорошо проводим время)

Если хочется лампового стрима и компании - подписывайся
👉 https://taplink.cc/onairvictoria

https://www.twitch.tv/onairvictoria

Очень буду рада поддержке ❤️🙏

Читать полностью…

Заметки тестировщика | QA Notes

Делюсь полезными ресурсами по докеру 😊 Сохраняйте!

🤠 Что такое Docker?

🐱 Изучаем Docker, часть 1: основы

🥟 Основы Docker для тестировщиков. Docker for QA

🤥 Docker для тестировщика: команды, приёмы и практическая шпаргалка

😦 Как протестировать приложение с помощью Postman и контейнеров Docker

👁️ 50 вопросов на собеседовании по Docker

📓 Заметки тестировщика

Читать полностью…

Заметки тестировщика | QA Notes

🧩 Почему половина вашей работы остаётся незамеченной - и как это влияет на самооценку

Есть один психологический феномен, которым живёт почти каждый тестировщик.
Его редко обсуждают, но он формирует выгорание, самоощущение и отношения с командой.

Это эффект невидимого труда.

🔍 Что это такое?

Это когда лучшая часть вашей работы - та, которую никто не видит.

Потому что:

если вы всё предугадали - ничего не упало;
если предупредили риски - пожара не случилось;
если задали правильный вопрос - баг не родился;
если протестировали тщательно - инцидента в проде не будет.

Но что видит команда?
Только то, что всё работает.

А кто сделал так, что всё работает?
Это остаётся за кадром.

⚠️ И вот где ловушка психики

Когда твой труд заметен только тогда, когда что-то сломано, начинает казаться, что ты ничего важного не сделал.

И мозг подкидывает мысли:
"Мне надо найти баг, чтобы доказать, что я полезен"
"Если всё чисто - значит, я работал недостаточно"
"Почему никто не замечает, что я держу систему стабильной?"

Это когнитивное искажение, но очень сильное.

🎯 Как это влияет на тестировщика

Падает чувство ценности.
Появляется тревога "я что-то не вижу"
Возникает привычка переусердствовать, чтобы доказать нужность.
Легко выгореть, потому что отдачи мало, а ответственности - много.
Начинается незаметная внутренняя гонка: найти ещё, ещё, ещё…

💡 Как с этим работать (и не потерять себя)

1. Помнить: отсутствие багов - это результат, а не его отсутствие.
Ты создал стабильность - даже если она незаметна визуально.

2. Фиксировать невидимые действия.
Пресечённые риски, вопросы, уточнения, улучшения.
Это можно и нужно показывать команде.

3. Менять фокус с “найти баг” на “предотвратить проблему”.
Это другой уровень мышления - и другой уровень ценности.

4. Обсуждать вклад QA на демо и встречах.

Не хвастовство, а прозрачность)

💬 Из опыта

Самые тихие спринты - когда у меня было меньше всего багов - были лучшими спринтами.

Потому что именно в них я сделала главное:
поймала несостыковки ещё на уровне обсуждений,
вычистила логические дырки в требованиях,
подсказала правильные решения до кода,
не допустила аномалий в данных.

Но это не видит никто.
И это нормально.


Видишь это ты.

📓 Заметки тестировщика

Читать полностью…

Заметки тестировщика | QA Notes

🧮 Психология тестировщика: когда баги перестают быть валютой

"Я нашёл 48 багов в спринте!"
"У нас самый внимательный QA!"
А потом наступает тишина.
Потому что за цифрами - нет смысла.

😑Мы выросли в культуре “чем больше, тем лучше”

Первые годы в тестировании почти у всех проходят одинаково:
ищешь ошибки, ловишь дефекты, чувствуешь адреналин от каждого “нашёл!”.

Баги становятся твоей валютой, твоим KPI, твоим доказательством нужности.
Ты меряешь опыт количеством найденных ошибок, а не количеством предотвращённых проблем.

🧩 Почему это опасная метрика

1) Создаёт иллюзию контроля.
Кажется, что если мы нашли много багов, мы всё видим.
Но часто это просто следствие плохих требований или слабой коммуникации)

2) Поощряет разрушение, а не сотрудничество.
Баг превращается в “трофей”, а не в сигнал к улучшению.
QA начинают соревноваться с Dev, а не работать вместе.

3) Формирует неправильное мышление.
Фокус смещается на поиск ошибок, а не на понимание системы.
Тестирование становится охотой, а не исследованием.

Но однажды приходит осознание:
количество багов не равно качество продукта.

💡Что стоит мерить вместо

🙂 Количество предотвращённых дефектов
Сколько ошибок не дошло до пользователя благодаря вовремя заданным вопросам.

🙂 Влияние на принятие решений
Сколько раз твои наблюдения помогли изменить приоритет или уточнить требования.

🙂 Уровень доверия к твоим выводам
Когда к тебе приходят не “найди баг”, а “помоги понять, надёжно ли это работает”.

🙂 Стабильность релизов
Чем реже находят критичные дефекты после деплоя, тем выше твой вклад, даже если багов в отчётах стало меньше.

💬 Из личного опыта
Сначала страшно, ведь число найденных багов падает.
Но потом приходит уважение)
Разработчики начинают спрашивать мнение, аналитики зовут на ранние обсуждения.
Ты перестаёшь быть “ловцом багов”, а становишься партнёром по качеству 😎💫

📓 Заметки тестировщика

Читать полностью…

Заметки тестировщика | QA Notes

⚖️ Психология тестировщика: искусство сказать "достаточно протестировано"

"Я ещё не уверен"
"Нужно проверить все кейсы"
"А вдруг где-то спрятан дефект?"

Если тебе это знакомо - значит, ты знаешь, как трудно для тестировщика произнести одну из самых зрелых фраз:

“Достаточно протестировано.”

💭 Почему это так тяжело

Тестировщик живёт в мире неопределённости.
Ты знаешь, что баги всегда есть. Всегда можно глубже, шире, аккуратнее.
Тебя учили искать несовершенства, и теперь твой мозг автоматически ищет “что ещё не проверено”.

Проблема в том, что тестирование бесконечно, а время нет. И чем опытнее ты становишься, тем больше осознаёшь: настоящая зрелость в QA не в том, чтобы протестировать всё,
а в том, чтобы понять, где граница “достаточно”.

🔍Что на самом деле значит достаточно протестировано

Это не “идеально”
И не “всё покрыто”


Это состояние, когда:

ты понимаешь риски, а не просто сценарии;
критичные пути пройдены и подтверждены
продукт предсказуем, пусть и не безупречен
цена дальнейших проверок выше, чем потенциальная польза

И да, всегда остаётся шанс, что что-то упущено.
Но это уже вопрос не QA, а управления рисками./

⚙️ Как научиться определять “достаточно”

Фокусируйся на ценности, а не на полноте.
Задай себе вопрос: “Что изменится для пользователя, если я протестирую ещё?”
Если ответ “почти ничего”, значит, уже близко к точке “достаточно”.


Используй risk-based подход.
Не все баги равны.
Ошибка в отчёте не то же, что сбой оплаты.
Научись отпускать второстепенное.

Проговаривай уровень уверенности.
Вместо “всё протестировано” говори:

“Критические сценарии покрыты.
Уверенность высокая. Остаточные риски минимальны.”
Это зрелая, прозрачная коммуникация.


Проверяй себя на тревожность, а не на факты.
Иногда желание “ещё проверить” не про качество, а про страх.
Страх ответственности, страха пропустить, страха осуждения.

Когда-то я считала, что хороший QA это тот, кто “никогда не расслабляется”.
Пока не поняла, что такой QA никогда не выдыхает) Ты не можешь быть вечным щитом от всех ошибок мира.

Настоящий профессионал не тот, кто проверяет всё.
А тот, кто знает, что проверять уже не нужно 👌🏽

📓 Заметки тестировщика

Читать полностью…

Заметки тестировщика | QA Notes

🧠 Психология тестировщика: как не выгореть, сохраняя критическое мышление

Иногда мне кажется, что тестировщик - это не про софт и не про баги.
Это про умение сомневаться, держать дистанцию с уверенностью и видеть хаос там, где другие видят порядок.


И вот в этом главный парадокс профессии.

🔍Мы живём в постоянном “нет”

Ты открываешь билд, и твоя работа - искать, что не так.
Ты видишь дефекты, уязвимости, ошибки, странные сценарии, неочевидные состояния.
Ты натренирован замечать плохое.

А теперь представь: ты так делаешь каждый день, годами.
Ты оттачиваешь навык сомнения, скепсиса, критического мышления.
И однажды замечаешь, что начинаешь смотреть на жизнь так же - искать, где “сломано”.

⚠️ Это ловушка

Тестировщик выгорает не от рутины, а от постоянного цикла критики.
Ты сомневаешься, ищешь несовершенства, но редко видишь завершение или созидание.
Разработчик может сказать “я сделал фичу”.
А тестировщик чаще говорит “я нашёл проблему”.

Это создаёт внутренний дисбаланс.
Ты вроде помогаешь, но ощущаешь, что всегда “против”.

🧩 Как с этим справиться

1. Меняй точку фокуса: с “поиска ошибок” на “понимание систем”.
Когда ты начинаешь видеть не баги, а закономерности - это переключает мышление с разрушительного на аналитическое.
Ты уже не просто ловишь ошибки, ты понимаешь, как система живёт.

2. Не сливайся с ролью.

Ты не “вечно недовольный человек”, ты аналитик рисков.
Разделяй: “Я сомневаюсь в системе” и “Я сомневаюсь в людях”.

3. Учись видеть позитивное.

После тестирования фичи не только отчёт о багах, но и заметка о том, что сработало хорошо.
Это укрепляет уважение к труду других и сохраняет баланс.

4. Береги ментальную энергию.

Критическое мышление требует фокуса.
Не трать его на соцсети, новости, постоянные обсуждения кто прав)
Тестировщик с уставшим мозгом - это просто шумный комментатор.

💬 Из личного опыта

На пятом году тестирования я поняла, что самая важная привычка - уметь отпускать.
Даже если баг остался, если релиз вышел с компромиссом, если кто-то не услышал твои аргументы.

Ты сделал всё, что мог.
Ты дал системе шанс быть лучше.
А дальше это не про контроль, а про доверие.

🤓 Хорошее тестирование начинается с недоверия,
но хорошая карьера тестировщика - с умения снова доверять 😌

📓 Заметки тестировщика

Читать полностью…

Заметки тестировщика | QA Notes

📊 Обманчивая метрика: почему Accuracy ≠ качество модели

Когда слышишь от ML-инженера:

"Модель даёт 95% Accuracy!"


кажется, что всё идеально. Но стоит копнуть глубже и радость улетучивается.

⚠️ В чём подвох

Accuracy (доля правильных ответов) считается по формуле (на скрине)
Она показывает процент правильно классифицированных примеров.

Проблема: если данные сильно несбалансированы, метрика легко вводит в заблуждение.

Пример:
Датасет антифрода: 98% честные транзакции, 2% мошеннические.


Модель всегда предсказывает "честная транзакция".
Accuracy = 98%.
На деле модель бесполезна: ни один мошенник не пойман.


🔍Какие метрики смотреть вместо

- Precision: насколько можно доверять "положительным" предсказаниям модели.
- Recall: доля найденных "истинных положительных" среди всех реальных.
- F1-score: баланс между Precision и Recall.
- ROC-AUC / PR-AUC: оценивают ранжирование вероятностей, а не только бинарные предсказания.

Для регрессии:

- RMSE (Root Mean Squared Error) - штрафует за крупные ошибки.
- MAE (Mean Absolute Error) - средняя абсолютная ошибка, проще интерпретировать.

🏦 Реальная история

Одна антифрод-система демонстрировала 99% Accuracy на тестовых данных.
На пилотном запуске в банке выяснилось: почти все мошенники проходили незамеченными.
Причина проста - модель научилась предсказывать большинство класса (честные операции), а не реальную цель бизнеса.

💡Для QA и аналитиков

Не доверяйте одной метрике. Accuracy полезна, но только при сбалансированных данных.

Смотрите на задачу. Для антифрода важнее Recall (поймать максимум мошенников), а для фильтра спама - Precision (не тревожить пользователей по пустякам).

Тестируйте в бизнес-контексте. Метрика должна отражать то, что важно продукту.

📓 Заметки тестировщика

Читать полностью…
Subscribe to a channel