不安定テスト(flaky test)とは、コード変更がないにもかかわらず、合格したり不合格したりするテストのことです。不安定率が10%になると、開発者はテストスイートを信用しなくなります。20%になると、テストを実行しなくなります。
私はテストスイートの不安定率を10%から1%未満に改善してきました。以下がその体系的なアプローチです。
ステップ1:不安定率を測定する
測定しなければ改善はできません。時間経過に伴う不安定さを追跡しましょう:
\
テストスイートの不安定率を10%から1%未満に改善した方法 — リトライロジック、テストの分離、決定論的データ、そしてテストを信頼性高くするパターン。
Part ofTesting & QA->不安定テスト(flaky test)とは、コード変更がないにもかかわらず、合格したり不合格したりするテストのことです。不安定率が10%になると、開発者はテストスイートを信用しなくなります。20%になると、テストを実行しなくなります。
私はテストスイートの不安定率を10%から1%未満に改善してきました。以下がその体系的なアプローチです。
測定しなければ改善はできません。時間経過に伴う不安定さを追跡しましょう:
\
Reader route
article -> proof -> offer
cluster
Testing & QA
intent
Testing
route
next step
What to do with this
If this topic maps to a real business problem, keep reading the cluster, study the academy path, or route the work into a scoped engagement.
