model-evaluator-validator

模型评估与验证

概述

此技能赋予 Agent 质量保证与统计验证专家的专门能力。Agent 负责剖析已训练模型的预测结果、评估其性能，并确保模型优势声明（如高准确率）有数学上显著的统计证据作为支撑。

依赖项

• data-scientist-analyst

快速开始

使用示例： "使用 model-evaluator-validator 技能评估 predictions.csv 中的预测结果，并使用 McNemar 检验测试 Model A 与 Model B 的性能差异是否具有统计显著性。"

工作流

1. 初始化与数据读取

• 接收来自 data-scientist-analyst 流程的原始 output 文件，通常包含真实值（Ground Truth / y_true）和预测值（Prediction / y_pred）列。
• 了解主要指标的类型：这是分类（准确率、F1、ROC-AUC）、回归（RMSE、MAE、R-Squared），还是时间序列预测？

2. 基线检查（双重检查）

• 编写 Python script，重新计算标准指标（如 RMSE 或 Accuracy），以确保模型训练 Agent 没有造成偏差或操纵结果。
• 如果有可用的 baseline 模型（如 Naive 模型或多数类猜测），将模型性能与其进行比较。

3. 执行统计显著性检验（必需）

根据数据类型，使用 Python（通过 scipy.stats 或其他库）选择并运行合适的统计检验脚本：

• **用于回归 / 误差比较：**对两个模型的 Absolute Error 序列使用 Paired T-Test（若数据呈正态分布）或 Wilcoxon Signed-Rank Test（非参数检验）。
• **用于分类：**使用 McNemar 检验两个模型的准确率差异比例是否具有显著性。
• **用于 ROC-AUC 比较：**使用 DeLong's Test，评估两条 ROC 曲线之间的差异是否具有显著性。
• **用于时间序列（预测）：**使用 Diebold-Mariano Test，评估两种 forecasting 方法的预测准确率差异。

4. 残差分析与模型假设（仅适用于回归 / 计量经济学）

• 使用 Shapiro-Wilk Test 检验残差（residuals）的正态性。
• 使用 Breusch-Pagan Test 或可视化图检验同方差性。
• 使用 Durbin-Watson Test 检验自相关。

5. 输出格式（预测验证报告）

• 创建报告文件（例如：validation_report.md），其中包含汇总检验 p-value 的表格。
• 使用明确的学术表述解读检验结果（例如：“根据 McNemar 检验，p-value = 0.012 < 0.05，因此 Model A 显著优于 Model B。”）。
• 说明是否存在可能削弱学术主张的异常或假设检验失败情况（例如严重异方差）。
• 此验证结果非常重要，必须在综合阶段（阶段 4）提交给写作 Agent。

常见错误与关键规则

• 仅报告性能而不进行统计检验：仅根据平均指标值的差异（例如准确率为 91% 与 90%）就声称某个模型更优，却没有进行有效的统计显著性检验（如计算 p-value）。
• 错误使用统计检验：对非正态分布的数据使用参数检验（如 T-Test），却没有进行数据变换或改用非参数检验（如 Wilcoxon）。
• 忽视模型假设：对回归分析不检验经典假设（残差正态性、同方差性、自相关），从而可能得出有偏结论。
• 未重新验证（双重检查）：直接接受模型训练 Agent 报告的性能指标，而不使用 Python script 独立重新计算。