mcpField
C
cost-benchmark

cost-benchmark

github.com/ruvnet测试与质量80.0k679 次安装今天更新
代码仓库

关于 cost-benchmark

cost-benchmark 使用基准语料运行 cost-booster 脚本，并保存单案例及汇总结果，适用于发布检查、语料更新和模型成本评估。

主要功能

  1. 01运行 booster 和可选 LLM 基线
  2. 02报告胜率和升级率
  3. 03保存带时间戳的基准结果
  4. 04支持覆盖模型和端点
  5. 05可比较 Anthropic 基线

适用场景

  1. 01发布前检查基准结果
  2. 02验证新增的基准案例
  3. 03核实上游行为声明
  4. 04比较不同任务集的模型成本

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/ruvnet/ruflo --skill cost-benchmark

安装后在 Claude Code 中输入/cost-benchmark确认已加载。

详细介绍

成本基准测试

针对结构化 + 对抗性语料库运行 scripts/bench.mjs，并将每个案例及汇总结果写入 docs/benchmarks/runs/。这是验证门槛，为 cost-booster-edit / cost-booster-route 中所有可衡量的声明提供依据。

何时使用

  • 发布版本前 — 验证 booster 胜率没有下降。
  • 扩充 bench/booster-corpus.json 后 — 确认新案例路由正确。
  • 审核“声称来自上游”的标签时 — 基准测试结果支持后，将其改为“已验证”。
  • 遇到成本问题时（“对于这些任务，Sonnet 4.6 是否比 Opus 4.7 更便宜？”）— 使用 BENCH_ANTHROPIC=1 重新运行。

步骤

  1. 从 v3/ 运行基准测试（在此目录中 agent-booster 可以正常解析）：

    ( cd v3 && node ../plugins/ruflo-cost-tracker/scripts/bench.mjs )                  # booster only — free, ~85 ms
( cd v3 && BENCH_LLM_BASELINE=1 node ../plugins/ruflo-cost-tracker/scripts/bench.mjs ) # + Gemini 2.0 Flash (cheap)
( cd v3 && BENCH_LLM_BASELINE=1 BENCH_ANTHROPIC=1 \
     node ../plugins/ruflo-cost-tracker/scripts/bench.mjs )                          # + Sonnet 4.6 + Opus 4.7

  2. 检查 stdout 输出的 Markdown 汇总。门槛指标是 winRate（Tier 1 案例）。对抗性案例使用 escalationRate 单独跟踪。

  3. 持久化输出位于：

    • docs/benchmarks/runs/latest.json — 指向最近一次运行的指针
    • docs/benchmarks/runs/<ISO-timestamp>.json — 历史记录

  4. 在后续技能中读取结果（例如，cost-report 步骤 2 会读取 latest.json 获取实时的各层级支出数据）。

冒烟测试门槛

  • Tier 1 案例的 winRate ≥ 0.80（冒烟测试步骤 23）。如需降低阈值，请编辑 scripts/smoke.sh。
  • escalationRate 会报告，但不设门槛 — 对抗性案例用于诊断。

环境变量覆盖项

环境变量默认值用途
BENCH_LLM_BASELINE未设置设置为 =1 时运行 OpenAI 兼容基线
BENCH_LLM_MODELmodels/gemini-2.0-flash覆盖 OpenAI 兼容模型
BENCH_LLM_BASE_URLGemini OpenAI shim覆盖端点
BENCH_ANTHROPIC未设置设置为 =1 时运行 Anthropic 基线（Sonnet 4.6 + Opus 4.7）
BENCH_ANTHROPIC_MODELSclaude-sonnet-4-6,claude-opus-4-7以逗号分隔的 Claude ID
BENCH_OUT带时间戳的文件覆盖输出路径
BENCH_QUIET=1未设置不输出 Markdown 汇总

API 密钥会自动从 gcloud secrets 获取（GOOGLE_AI_API_KEY、ANTHROPIC_API_KEY）；使用 BENCH_LLM_API_KEY / BENCH_ANTHROPIC_API_KEY 覆盖。

交叉引用

ADR-0002 §“决策 1” / §“风险最高的假设” · cost-booster-edit/SKILL.md（验证表会使用此技能的输出）· cost-report/SKILL.md 步骤 2（读取 runs/latest.json）。

评论

支持 Markdown