Нестабильный тест (flaky test) — это тест, который иногда проходит, а иногда падает без каких-либо изменений в коде. При уровне нестабильности в 10% разработчики перестают доверять набору тестов. При 20% — перестают его запускать.
Я доводил наборы тестов с 10% нестабильности до менее 1%. Вот системный подход.
Шаг 1: Измерьте уровень нестабильности
Нельзя исправить то, что не измеряешь. Отслеживайте нестабильность с течением времени:
\
