harness-audit について
harness-audit は、テストスイートと支援基盤を点検するスキルです。プロジェクトのテスト規約、フレークにつながるパターン、不変条件の網羅性を確認し、コードと対処法を示す監査レポートを作成します。
主な機能
- 01テスト規約と基盤の確認
- 02テストスメルとフレーク要因の検出
- 03不変条件の網羅性評価
- 04規模に応じた監査タスクの分担
- 05二重引用付き監査レポートの作成
活用シーン
- 01テストスイートの信頼性リスクの確認
- 02不変条件の網羅性不足の発見
- 03テスト修正計画の策定
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/ / github.com/ venhdev/ zenforge --skill harness-auditインストール後、Claude Code で/harness-auditを入力して読み込まれたか確認します。
同梱ファイルreferences/invariant-dimensions.mdreferences/test-smells.md
詳細
harness-audit — テストスイートとハーネス品質の検査ツール
ドメイン評価基準
1. 監査階層
段階的なアーキテクチャ層を通じて、対象のテストスイートを検査します。
- ハーネスの基点と基盤レイヤー:
.agents/harness-anchor.mdにある正式なプロジェクトハーネスの基点を検査し、Governing Testing SSOTsのルートに従って、プロジェクトのテスト標準を読みます。- 存在しない場合:旧式のテストガイド(
test/AGENTS.md、tests/AGENTS.md)を確認します。見つかった場合は、一時的なSSOTとして使用し、正規の.agents/harness-anchor.mdを確立するため/zenf-initの実行を推奨します。見つからない場合は、基点をUNGROUNDEDとし、/zenf-initに誘導します。 - 登録済みのハーメチックなプリミティブ(決定論的クロック、ストレージサンドボックス、フィクスチャ/ファクトリー、トランスポート/ネットワークモック、ライフサイクル/クリーンアップ)がディスク上に存在することを確認します。
- コードの臭いと不安定性の落とし穴:
references/test-smells.mdに詳述されているアンチパターンと不安定性の落とし穴に照らして、テストを評価します。
- 不変条件の次元における盲点:
references/invariant-dimensions.mdに詳述されている不変条件の次元に照らして、テストカバレッジを監査します。
2. 参照情報に基づく必須の調査
監査を実施する前に、エージェントは以下を読み、内容を把握する必要があります。
- 具体的なコードの臭いの定義と対処法については
references/test-smells.md。 - 不変条件テストの観点については
references/invariant-dimensions.md。
3. レビュー判定と引用ルール
PASS:ハーネスの基点が有効で、ハーメチックな基盤が検証済みであり、不安定性のコードの臭いがなく、不変条件の次元がバランスよくカバーされています。WARN:インフラストラクチャは存在するものの、保守上の負債が確認されます(セットアップの重複、アサーションメッセージの不足)。CRITICAL:ハーネスの基点がない、基盤が不足している(仮想クロック/一時ストレージがない)、または不安定性のコードの臭いが検出されます(クロックリーク、スリープ)。- 二重引用ルール:すべての欠陥について、問題のあるコードの位置(
file:///path/to/test#L<N>)と、違反した不変条件または対処法の両方を引用する必要があります。
正規の出力仕様
# Harness Audit Report: <Target Scope>
## 1. Executive Verdict
- **Verdict**: <PASS | WARN | CRITICAL>
- **Target Inspected**: <Directory or Test Files>
- **Harness Anchor (SSOT)**: <Cited anchor pointer or 'UNGROUNDED (Missing .agents/harness-anchor.md)'>
- **Flakiness Risk**: <LOW | MEDIUM | HIGH>
- **Summary**: <Single-sentence technical judgment>
## 2. Infrastructure & Anchor Gaps
*(If clean: 'Harness anchor verified; foundational hermetic primitives active.')*
- **[<Anchor / Primitive>] <Gap Title>**: <Deficit description>
- Impact: <Why this causes flakiness or maintenance debt>
- Recommendation: <Architecture fix or seed anchor pointer>
## 3. Findings & Invariant Blind Spots
- **[<Smell / Dimension>] <Title>**: <Defect description>
- Offending Code: [<file>#L<N>](file:///path/to/test#L<N>)
- Remediation: <Exact architectural correction required>
ルーティング
- セットアップが必要なハーネスの基点不足 → (
/zenf-init経由)。 - アーキテクチャ上のトレードオフの検討が必要な、基盤となるハーメチックなプリミティブの不足 → (
/clarify経由)。 - 修正計画の策定に進める状態のギャップや不変条件の盲点 → (
/changeset経由)。 - 承認された変更セットにより、局所的なテストの修正と、その受け入れ基準/検証が許可されます → (
/forge経由)。
実行プロトコル
- 情報の把握とスコープの確認:
- 存在する場合は
.agents/harness-anchor.mdを検査します。 references/test-smells.mdとreferences/invariant-dimensions.mdを読みます。
- 存在する場合は
- 規模に応じた監査の振り分け:
- ターン内実行(テストファイルが10件未満、または局所的なスイート):監査階層に照らし、ターン内でテストスイートを直接検査します。
- サブエージェントへの分散(広範なマルチパッケージのテストスイート):基点と参照パスを渡し、分割されたディレクトリまたは呼び出し側が指定した予算に応じて、
researchサブエージェントを動的に並行起動します(生のテストトレースは.agents/scratch/harness-<slice>-dossier.mdに移します)。
- 統合とターン終了ゲート(集約):
- 検出事項を重複排除し、オフロードしたドシエへの参照を含めて正規の出力仕様にまとめます。
- 完成したレポートを会話に提示し、直ちにターンを終了します。
コメント
Markdown 対応