mcpField
M
model-eval-error-analysis

model-eval-error-analysis

github.com/jurgendn测试与质量1164 次安装6 周前更新
代码仓库

关于 model-eval-error-analysis

用于深入分析模型评测结果的工作流技能，面向 ML 研究人员和实践者。它涵盖指标核验、分组表现分析与失败归类，避免只依赖单一总指标。

主要功能

  1. 01核验指标实现与数据划分
  2. 02按相关因素切分表现
  3. 03人工检查并聚类失败案例
  4. 04区分随机噪声、系统性失败与评测器错误
  5. 05对照基线并提出后续行动

适用场景

  1. 01调查模型表现较弱的评测切片
  2. 02检查总体提升是否掩盖局部退步
  3. 03整理论文或部署声明所需的评测结果

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/jurgendn/agent-skills --skill model-eval-error-analysis

安装后在 Claude Code 中输入/model-eval-error-analysis确认已加载。

详细介绍

模型评估错误分析

不要只关注一个核心指标。

信息收集

收集：

  • 任务、数据集、数据划分、指标和基线；
  • 模型输出或失败示例（如有）；
  • 含随机种子／不确定性的汇总数据；
  • 评估需要支持的部署决策或论文主张；
  • 已知的高风险切片。

工作流程

  1. 验证指标实现和数据划分。
  2. 报告核心结果及其来源。
  3. 按相关因素切分性能，例如：
    • 难度
    • 长度／规模
    • 类别不平衡
    • 领域偏移
    • 提示词系列
    • 鲁棒性设置
  4. 手动检查失败案例并进行聚类。
  5. 区分：
    • 随机噪声
    • 系统性失败模式
    • 评估器错误
  6. 在相同切片上与最强基线进行比较。
  7. 最后给出具体的后续行动。

规则

  • 绝不要掩盖不利的差异。
  • 如果置信区间或多个随机种子很重要，请明确说明。
  • 平均值更高的模型，在重要切片上的表现仍可能更差。

输出格式

返回：

  • 已检查的指标
  • 切片分析
  • 失败分类
  • 疑似原因
  • 建议的修复方案或后续实验

评论

支持 Markdown