mcpField
P
principle-explain-the-number

principle-explain-the-number

github.com/ericlitman测试与质量53213 次安装1 周前更新
代码仓库

关于 principle-explain-the-number

用于评估性能和评测结果的技能,通过定位瓶颈、排除其他解释并记录证据,帮助团队避免夸大基准测试或试验所能说明的结论。

主要功能

  1. 01定位限制结果的资源
  2. 02用证据排除其他解释
  3. 03记录运行次数、波动范围和瓶颈
  4. 04将检查方法用于基准测试和评测

适用场景

  1. 01调查性能为何未能进一步提升
  2. 02确认基准测试是否完成了实际工作
  3. 03比较不同试验和模型的评测结果

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/ericlitman/open-pstack --skill principle-explain-the-number

安装后在 Claude Code 中输入/principle-explain-the-number确认已加载。

详细介绍

解释这个数字

  • 问一句“为什么不能翻倍?” 指出限制结果的资源或代码路径,例如核心、锁、磁盘、网络或负载生成器本身。通过分析工具或运行期间采集的系统计数器找出限制因素,再将其对应到源码。仅凭阅读代码做出的猜测不算限制因素。如果你说不清为什么结果不能翻倍,就说明你不知道自己测量的是什么。
  • 列出这个数字可能还在测量什么,并用证据逐一排除。 常见嫌疑因素包括错误、跳过或缓存的工作、从未运行的代码、未调优的一侧(仍使用默认设置)、噪声,以及端到端来看小到无关紧要的部分。
  • 将证据与数字放在一起。 在备注或关联的产物中记录运行次数、波动范围和限制因素。

对于性能数字,使用 benchmark-checklist 技能运行完整流程。对于评估结果,也要对各次试验提出同样的问题:每次运行是否都完成了任务,差距在不同试验和模型中是否都成立,以及场景是否重要。

如果某个数字背后的证据没有运行次数、波动范围或明确指出的限制因素,或者节省的时间大于变更部分本身所耗费的时间,那么你就跳过了这一步。

这与 证明它有效 不同,后者用于检查输出是否真实。

评论

支持 Markdown