test-triage

テストのトリアージ

クイックスタート

このスキルを使って、まず意味のある最小限のテスト範囲を実行し、失敗を正確に分類して、すべてのテスト失敗を製品のバグとして扱わないようにします。

ワークフロー

1. テストハーネスを特定します。

   • Xcode ベースのプロジェクトでは xcodebuild test を使用します。
   • SwiftPM パッケージでは swift test を使用します。

2. 範囲を絞り込みます。

   • ユーザーがターゲット、プロダクト、またはテストフィルターを指定した場合は、それを使用します。
   • 指定がない場合は、テストスイート全体よりも、失敗している可能性が高い最小のターゲットを優先します。

3. 結果を分類します。

   • ビルド失敗
   • アサーション失敗
   • クラッシュまたはシグナル
   • 非同期処理のタイミングまたはフレーク
   • 環境またはフィクスチャのセットアップの問題
   • エンタイトルメントまたはホストアプリの不足による問題

4. 適切に再実行します。

   • 特定のケースが失敗した場合は、対象を絞って再実行します。
   • 新しい情報がないまま、テストスイート全体を何度も再実行して時間を浪費しないようにします。

5. 明確に要約します。

   • 実行したコマンド
   • 失敗したテスト
   • 失敗の種類
   • 次に行うべき最適な検証手順または修正方針

ガードレール

• コンパイルの失敗とテスト実行の失敗を区別します。
• テストが iOS 専用またはシミュレーター専用の動作を想定しているように見える場合は、その点を明記します。
• フレークの可能性が高い場合は、確信があるかのように述べず、その可能性を示します。

出力要件

以下を提示します。

• 使用したコマンド
• 失敗した最小の範囲
• 主な失敗カテゴリ
• 想定される原因の簡潔な説明
• 次に行う再実行または修正の手順