model-evaluator-validator

モデル評価と検証

概要

このスキルは、エージェントに品質保証および統計的検証のスペシャリストとしての専門能力を提供します。エージェントは、学習済みモデルの予測結果を詳しく分析して性能を批評し、モデルの優位性に関する主張（高い精度など）が、数学的に有意な統計的証拠によって裏付けられていることを確認します。

依存関係

• data-scientist-analyst

クイックスタート

使用例： 「model-evaluator-validator スキルを使って predictions.csv の予測結果を評価し、McNemar 検定を使って Model A と Model B の性能の統計的有意性を検定してください。」

ワークフロー

1. 初期化とデータの読み込み

• data-scientist-analyst の処理から出力された生の output ファイルを受け取ります。通常は、真の値（Ground Truth / y_true）と予測値（Prediction / y_pred）の列が含まれています。
• 主な評価指標の種類を把握します。分類（正解率、F1、ROC-AUC）、回帰（RMSE、MAE、R-Squared）、時系列予測／フォーキャスティングのいずれでしょうか？

2. ベースラインの確認（二重チェック）

• Python の script を作成し、標準的な評価指標（RMSE や Accuracy など）を再計算して、モデル学習エージェントによるバイアスや改ざんがないことを確認します。
• 利用可能な場合は、モデルの性能を baseline モデル（Naive モデルや多数派予測など）と比較します。

3. 統計的有意性検定の実施（必須）

データの種類に応じて、Python（scipy.stats またはその他のライブラリ）を使い、適切な統計検定スクリプトを選択して実行します。

• 回帰／誤差の比較の場合： 2 つのモデル間の Absolute Error 系列に対して、対応のある t 検定（正規分布の場合）または Wilcoxon の符号付順位検定（ノンパラメトリック）を使用します。
• 分類の場合： 2 つのモデル間の正解率の差の比率が有意かを検定するため、McNemar 検定を使用します。
• ROC-AUC の比較の場合： 2 つの ROC 曲線に有意差があるかを評価するため、DeLong 検定を使用します。
• 時系列（フォーキャスティング）の場合： 2 つのフォーキャスティング手法間の予測精度の差を評価するため、Diebold-Mariano 検定を使用します。

4. 残差分析とモデルの仮定（回帰／計量経済学の場合）

• Shapiro-Wilk 検定を使って残差（residuals）の正規性を検定します。
• Breusch-Pagan 検定または視覚的なプロットを使って、等分散性を検定します。
• Durbin-Watson 検定を使って、自己相関を検定します。

5. 出力形式（予測検証レポート）

• 検定の p-value の要約表を含むレポートファイル（例：validation_report.md）を作成します。
• 学術的かつ明確な文章で検定結果を解釈します（例：「p-value = 0.012 < 0.05 である McNemar 検定の結果に基づき、Model A は Model B を有意に上回っています。」）。
• 学術論文の主張を弱める可能性のある異常や仮定の不成立（高い不均一分散など）があれば説明します。
• この検証結果は非常に重要であり、統合段階（フェーズ 4）で執筆エージェントに必ず提出してください。

よくある間違いと重要なルール

• 統計検定を行わずに性能を報告する： 有効な統計的有意性検定（p-value など）を伴わず、評価指標の平均値の差（例：正解率 91% 対 90%）だけを根拠に、あるモデルが優れていると主張すること。
• 誤った統計検定を使用する： データが正規分布していないにもかかわらず、データ変換やノンパラメトリック検定（Wilcoxon など）への切り替えを行わず、t 検定などのパラメトリック検定を使用すること。
• モデルの仮定を無視する： 回帰分析で古典的な仮定（残差の正規性、等分散性、自己相関）を検定せず、バイアスのある結論を導くリスクを招くこと。
• 再検証（二重チェック）を行わない： モデル学習エージェントが報告した性能指標をそのまま受け入れ、Python の script を使った独立した再計算を行わないこと。