关于 principle-explain-the-number
用于审查性能数字和评测结果的测试技能,要求用证据说明瓶颈、排除其他解释并检查可重复性,帮助团队判断数字是否可信。
主要功能
- 01找出测量瓶颈
- 02排除其他可能解释
- 03记录运行次数与波动
- 04检查评测试验结果
适用场景
- 01审查前后性能对比
- 02判断评测差距是否稳定
- 03记录结果背后的证据
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ michael-denyer/ pstack-claude --skill principle-explain-the-number安装后在 Claude Code 中输入/principle-explain-the-number确认已加载。
详细介绍
解释这个数字
- 问一句“为什么不能翻倍?” 指出限制结果的资源或代码路径,例如核心、锁、磁盘、网络或负载生成器本身。通过分析工具或运行期间采集的系统计数器找出限制因素,再将其对应到源码。仅凭阅读代码做出的猜测不算限制因素。如果你说不清为什么结果不能翻倍,就说明你不知道自己测量的是什么。
- 列出这个数字可能还在测量什么,并用证据逐一排除。 常见嫌疑因素包括错误、跳过或缓存的工作、从未运行的代码、未调优的一侧(仍使用默认设置)、噪声,以及端到端来看小到无关紧要的部分。
- 将证据与数字放在一起。 在备注或关联的产物中记录运行次数、波动范围和限制因素。
对于性能数字,使用 benchmark-checklist 技能运行完整流程。对于评估结果,也要对各次试验提出同样的问题:每次运行是否都完成了任务,差距在不同试验和模型中是否都成立,以及场景是否重要。
如果某个数字背后的证据没有运行次数、波动范围或明确指出的限制因素,或者节省的时间大于变更部分本身所耗费的时间,那么你就跳过了这一步。
这与 证明它有效 不同,后者用于检查输出是否真实。
评论
支持 Markdown