mcpField
M
model-evaluation-benchmark

model-evaluation-benchmark

github.com/rysweet测试与质量76159 次安装21 周前更新
代码仓库

关于 model-evaluation-benchmark

使用 Benchmark Suite V3 执行可复现端到端模型评测的 Agent 技能，比较效率、代码质量、工作流遵循情况及产物，并生成报告和清理资源。

主要功能

  1. 01运行 Benchmark Suite V3 任务
  2. 02衡量耗时、轮次、成本和工具调用
  3. 03借助 reviewer Agent 评估代码质量
  4. 04检查工作流遵循情况和生成产物
  5. 05生成报告并清理评测资源

适用场景

  1. 01比较不同 AI 模型的表现
  2. 02衡量 Agent 对工作流的遵循情况
  3. 03生成可复现的基准测试报告

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/rysweet/amplihack --skill model-evaluation-benchmark

安装后在 Claude Code 中输入/model-evaluation-benchmark确认已加载。

详细介绍

模型评估基准测试技能

用途：按照 Benchmark Suite V3 参考实现，自动复现全面的模型评估基准测试。

自动激活条件：用户请求在 Agent 工作流中进行模型基准测试、对比评估或性能测试时。

技能说明

此技能负责端到端模型评估基准测试，测量：

  • 效率：耗时、轮次、成本、工具调用次数
  • 质量：通过审查者 Agent 评估代码质量
  • 工作流遵循情况：子 Agent 调用、使用的技能、工作流步骤合规性
  • 产物：GitHub Issue、PR、生成的文档

此技能按照 V3 参考实现，自动执行从运行到清理的整个基准测试工作流。

使用时机

✅ 适用于：

  • 对比 AI 模型（Opus 与 Sonnet 等）
  • 测量工作流遵循情况
  • 生成全面的基准测试报告
  • 需要可复现的基准测试

❌ 不适用于：

  • 简单的代码审查（使用 reviewer）
  • 性能分析（使用 optimizer）
  • 架构决策（使用 architect）

执行说明

调用此技能时，请按以下步骤操作：

阶段 1：设置
  1. 阅读 tests/benchmarks/benchmark_suite_v3/BENCHMARK_TASKS.md
  2. 确定要进行基准测试的模型（默认：Opus 4.5、Sonnet 4.5）
  3. 使用 TodoWrite 创建包含所有阶段的列表
阶段 2：执行基准测试

针对每个任务 × 模型：

cd tests/benchmarks/benchmark_suite_v3
python run_benchmarks.py --model {opus|sonnet} --tasks 1,2,3,4
阶段 3：分析结果
  1. 阅读所有结果文件：~/.amplihack/.claude/runtime/benchmarks/suite_v3/*/result.json
  2. 并行调用 Task 工具并设置 subagent_type="reviewer"，以便：
    • 分析跟踪日志中的工具、Agent 和技能使用情况
    • 对代码质量进行评分（1-5 分）
  3. 综合分析结果
阶段 4：生成报告
  1. 按照 BENCHMARK_REPORT_V3.md 的结构创建 Markdown 报告
  2. 创建包含报告的 GitHub Issue
  3. 将产物归档到 GitHub Release
  4. 使用 Release 链接更新 Issue
阶段 5：清理（必须）
  1. 关闭所有基准测试 PR：gh pr close {numbers}
  2. 关闭所有基准测试 Issue：gh issue close {numbers}
  3. 移除工作树：git worktree remove worktrees/bench-*
  4. 验证清理已完成

详细的清理说明请参阅 tests/benchmarks/benchmark_suite_v3/CLEANUP_PROCESS.md。

使用示例

User: "Run model evaluation benchmark"Assistant: I'll run the complete benchmark suite following the v3 reference implementation.

[Executes phases 1-5 above]

Final Report: See GitHub Issue #XXXX
Artifacts: https://github.com/.../releases/tag/benchmark-suite-v3-artifacts

参考资料

  • 参考报告：tests/benchmarks/benchmark_suite_v3/BENCHMARK_REPORT_V3.md
  • 任务定义：tests/benchmarks/benchmark_suite_v3/BENCHMARK_TASKS.md
  • 清理指南：tests/benchmarks/benchmark_suite_v3/CLEANUP_PROCESS.md
  • 运行脚本：tests/benchmarks/benchmark_suite_v3/run_benchmarks.py

最后更新：2025-11-26 参考实现：Benchmark Suite V3 GitHub Issue 示例：#1698

评论

支持 Markdown