Model Evaluator

模型评估器

模型评估器技能可帮助你从多个维度严谨地评估和比较机器学习模型的性能。它会指导你选择合适的指标、设计评估方案、避免常见的统计陷阱，并依据数据做出模型选择决策。

恰当的模型评估不止于准确率分数。这项技能涵盖全方位评估，包括预测性能、计算效率、鲁棒性、公平性、校准度以及生产就绪情况。它帮助你回答的不只是“哪个模型最好？”，还有“哪个模型最适合我的特定用例和约束条件？”

无论你是在比较大模型、分类器还是自定义模型，这项技能都能确保你的评估方法可靠、结论可信。

核心工作流

工作流 1：设计评估方案

1. 定义评估目标：
   • 主要目标（准确率、速度、成本等）
   • 次要约束
   • 要测试的失效模式
   • 要模拟的真实场景
2. 选择合适的指标：

   任务类型	主要指标	次要指标
   分类	准确率、F1、AUC-ROC	精确率、召回率、混淆矩阵
   回归	RMSE、MAE、R-squared	残差分析、预测区间
   排序	NDCG、MRR、MAP	Precision@k、Recall@k
   生成	BLEU、ROUGE、BERTScore	人工评估、忠实度
   大模型	特定任务的准确率	延迟、成本、一致性

3. 设计测试集：
   • 留出的测试数据
   • 边缘案例集合
   • 对抗样本
   • 分布偏移测试
4. 规划统计方法：
   • 用于显著性检验的样本量
   • 置信区间
   • 多重比较校正

工作流 2：执行对比评估

1. 准备评估基础设施：

   class ModelEvaluator:
       def __init__(self, test_data, metrics):
           self.test_data = test_data
           self.metrics = metrics
           self.results = {}
   
       def evaluate(self, model, model_name):
           predictions = model.predict(self.test_data.inputs)
           scores = {}
           for metric in self.metrics:
               scores[metric.name] = metric.compute(
                   predictions,
                   self.test_data.labels
               )
           self.results[model_name] = scores
           return scores
   
       def compare(self):
           return statistical_comparison(self.results)
   

2. 运行评估，确保各模型之间保持一致
3. 计算置信区间
4. 检验统计显著性
5. 生成对比报告

工作流 3：大模型专项评估

1. 定义评估维度：
   • 任务准确率（事实、推理、编码）
   • 响应质量（连贯性、相关性、风格）
   • 安全性与对齐
   • 效率（令牌数、延迟、成本）
2. 创建评估数据集：
   • 有代表性的提示词
   • 标准答案（适用时）
   • 人类偏好数据
3. 实施大模型评估：
   • 自动化指标（精确匹配、语义相似度）
   • 大模型评审评估
   • 人工评估方案
4. 分析各维度的结果
5. 权衡利弊后给出建议

快速参考

操作	命令/触发语
设计评估	“我该如何评估[模型类型]”
选择指标	“[任务类型]该用哪些指标”
比较模型	“比较这些模型：[列表]”
大模型评估	“评估大模型性能”
统计检验	“这种差异是否显著”
偏差评估	“检查模型是否存在偏差”

最佳实践

• 使用多种指标：单一指标无法反映全貌

  • 同时包含汇总指标和细粒度指标
  • 报告置信区间，而不仅是点估计
  • 展示不同子群体的表现

• 使用真实场景数据进行测试：评估数据应与生产环境相符

  • 与真实输入具有相同的分布
  • 包含边缘情况和难例
  • 使用模型未见过的数据进行测试

• 考虑方差：模型和数据都具有随机性

  • 对基于训练的评估运行多个随机种子
  • 使用 Bootstrap 计算置信区间
  • 使用恰当的统计检验进行比较

• 考虑所有成本：性能不只是准确率

  • 推理延迟和吞吐量
  • 内存和计算资源需求
  • 托管模型的 API 成本
  • 维护和更新的工作量

• 测试稳健性：模型如何应对不利情况？

  • 输入扰动和噪声
  • 分布偏移
  • 对抗样本
  • 缺失或格式错误的输入

• 公平地进行评估：确保模型之间的比较公平

  • 所有模型使用相同的测试数据
  • 预处理保持一致
  • 超参数调优投入相当
  • 记录所有优势和劣势

高级技术

多维评估

从多个维度对模型进行评分：

def multi_dim_evaluate(model, test_data):
    return {
        "accuracy": compute_accuracy(model, test_data),
        "latency_p50": measure_latency(model, test_data, percentile=50),
        "latency_p99": measure_latency(model, test_data, percentile=99),
        "memory_mb": measure_memory(model),
        "cost_per_1k": compute_cost(model, n=1000),
        "robustness": adversarial_accuracy(model, test_data),
        "fairness": demographic_parity(model, test_data)
    }

LLM-as-Judge 协议

使用 LLM 评估 LLM 的输出：

Prompt template:
"Rate the following response on a scale of 1-5 for:
- Accuracy: Is the information correct?
- Helpfulness: Does it address the user's need?
- Clarity: Is it easy to understand?

Question: {question}
Response: {response}
Ground truth (if available): {ground_truth}

Provide scores and brief justification."

A/B 测试框架

用于生产环境评估：

class ABTest:
    def __init__(self, model_a, model_b, traffic_split=0.5):
        self.models = {"A": model_a, "B": model_b}
        self.split = traffic_split
        self.results = {"A": [], "B": []}

    def serve(self, request):
        variant = "A" if random.random() < self.split else "B"
        response = self.models[variant].predict(request)
        return response, variant

    def record_outcome(self, variant, success):
        self.results[variant].append(success)

    def compute_significance(self):
        return statistical_test(self.results["A"], self.results["B"])

校准分析

确保预测概率具有实际意义：

- Expected Calibration Error (ECE)
- Reliability diagrams
- Brier score decomposition
- Temperature scaling for recalibration

应避免的常见陷阱

• 通过反复评估而对测试集过拟合
• 忽略模型比较中的统计显著性
• 针对任务使用不恰当的指标（例如，对类别不平衡的数据使用准确率）
• 使用与训练数据过于相似的数据进行评估
• 在模型选择时忽略计算成本
• 未测试模型对分布偏移的稳健性
• 在 A/B 测试中混淆相关性与因果关系
• 未在统计检验中考虑多重比较