evals-validate

evals-validate

このスキルでできること

EDD の原則に基づいて実装済みの評価システムを包括的に検証し、統計分析、パフォーマンス検証、品質保証を通じて本番環境への導入準備が整っていることを確認します。

出力：

1. 統計的検証 - TPR/TNR 分析、精度指標、信頼区間
2. パフォーマンス検証 - 評価ピラミッドの各ティアについて SLA への準拠を確認
3. 品質保証 - ゴールドセットの整合性、サンプルのバランス、網羅性の分析
4. ホールドアウトデータセットの検証 - 予約済みテストセットでの偏りのない精度評価
5. 自動引き継ぎ - クローズドループの軌跡分析のために /evals-analyze に引き継ぎます

適用される主な EDD の原則：

• 原則 IV：評価ピラミッド - 各ティアのパフォーマンス SLA を検証します（ティア 1 は 30 秒未満、ティア 2 は 5 分未満）
• 原則 II：二値の合否判定 - 統計的な準拠状況を検証します
• 原則 IX：テストデータをコードとして扱う - ホールドアウトデータセットの整合性を検証します
• 原則 III：エラー分析 - パターンの安定性を検証します

使用する場面

• /evals-implement の実行後：評価スイートを実行し、品質を測定します
• CI/CD パイプラインのゲート：リリース前に評価を実行し、リグレッションがないことを確認します
• 定期監査：ホールドアウトデータで評価器の精度を検証し、モデルのドリフトを確認します

使用しない場面

• 評価器が生成されていない場合：まず /evals-implement を実行して採点ファイルを作成します
• 失敗トレースを分析する場合：実行結果から深い洞察を抽出するには /evals-analyze を使用します

プロセス

ユーザー入力

$ARGUMENTS

• --holdout-only — ホールドアウトデータセットのみで検証します（偏りのない検証）
• --performance-only — 統計分析を省略し、SLA 準拠の確認に集中します
• --metrics METRICS — 検証する特定の指標（tpr、tnr、accuracy、performance）

実行手順

フェーズ 1：評価を実行する

基盤となるフレームワークの CLI を直接実行します：

• PromptFoo：npx promptfoo eval --config evals/promptfoo/config.js
• DeepEval：pytest evals/deepeval/ -v または python evals/deepeval/config.py

フェーズ 2：統計的検証を計算する

• evals/results/ の生成済み結果 JSON を解析します。
• 真陽性率（TPR）と真陰性率（TNR）を計算します。
• 95％信頼区間を含む全体精度を計算します。
• リッカート尺度や数値スコアが結果に混入していないことを確認します。

フェーズ 3：SLA 準拠を確認する

• ティア 1 とティア 2 の実行時間を測定します。
• ティア 1 が 30 秒未満で完了することを確認します。
• ティア 2 が 5 分未満で完了することを確認します。
• 余裕度を分析します（SLA の予算消費量）。

フェーズ 4：検証レポートを作成する

• 検証結果を evals/results/validation_report.md に書き込みます。
• 合格数と不合格数、TPR/TNR の表、SLA の所要時間、ホールドアウトセットの結果を含めます。

フェーズ 5：自動引き継ぎ

/evals-analyze を実行してループを閉じます。

検証

• 評価が正常に実行され、結果 JSON が evals/results/ に書き込まれている
• evals/results/validation_report.md が作成され、TPR/TNR と SLA 指標が記載されている
• 統計指標が信頼区間とともに計算されている
• 余裕度と SLA 準拠が確認されている
• 引き継ぎサマリーに結果と検証レポートのパスが記載されている