关于 cost-trend
cost-trend 用于分析已保存的基准测试运行记录，追踪胜率和延迟随时间的变化，面向维护 agent-booster 基准的团队。它提供首末运行对比和逐次记录，并标记胜率下降或平均延迟显著上升。
主要功能
- 01读取已保存的基准运行记录
- 02比较首末运行指标
- 03生成逐次运行趋势
- 04标记胜率或延迟回归
- 05支持 JSON 输出和记录数限制
适用场景
- 01发布前检查性能漂移
- 02扩充语料后比较历史表现
- 03升级 agent-booster 后检查延迟变化
- 04查看逐次运行及基线延迟
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/cost-trend确认已加载。
详细介绍
成本趋势
烟雾测试门禁是二元的（winRate ≥ 0.80 → 通过/失败）。随时间记录的语料库基准测试会形成一条曲线，而曲线能发现门禁遗漏的回归（胜率从 100% 缓慢降至 85%，烟雾测试仍会判定“通过”，但实际已经退化）。
此技能会读取 docs/benchmarks/runs/*.json 中所有已保存的运行记录，报告首末数据的变化及逐次运行序列，并标记胜率或延迟方面的回归。
使用时机
- 发布前——检查速度提升是否有所退化。
- 扩展语料库后——确认较早的运行记录在其对应的语料库上仍能达到相同的胜率。
- 升级
agent-booster后——查看延迟或策略的变化。
步骤
-
从项目根目录运行趋势脚本：
node plugins/ruflo-cost-tracker/scripts/trend.mjs可选环境变量：
TREND_FORMAT=json— 输出 JSON，而不是 MarkdownTREND_LIMIT=10— 仅考虑最近的 N 次运行
-
检查变化摘要——比较首末运行的胜率、平均延迟、p99、升级率和相对于 Gemini 的速度提升。
-
检查逐次运行序列——每次运行占一行；如果运行时启用了
BENCH_ANTHROPIC=1，还会包含 Sonnet 4.6 和 Opus 4.7 的基准延迟。 -
回归标记——出现以下情况时，脚本会输出
> ⚠ Regression提示：- 首末运行之间的胜率下降
- 平均延迟较首次运行上升 ≥ 1.5 倍
交叉引用
cost-benchmark— 生成此技能所使用的运行 JSON 文件bench/booster-corpus.json— 每次运行都会记录语料库版本，因此跨语料库版本的趋势仍可解读docs/benchmarks/runs/latest.json— 最新一次运行；烟雾测试的第 23 步会根据此文件中的winRate ≥ 0.80进行门禁判断
评论
支持 Markdown