关于 principle-explain-the-number
用于判断性能或评测结果是否有证据支撑的测试 Skill。它要求找出限制结果的资源、排除其他解释,并记录运行次数、结果波动和瓶颈。
主要功能
- 01识别测量结果的资源瓶颈
- 02排除其他可能解释
- 03记录运行次数和结果波动
- 04检查性能测试与评测结果
适用场景
- 01验证性能基准测试结果
- 02检查评测差距是否跨试验成立
- 03记录报告数值背后的证据
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ backnotprop/ pstack --skill principle-explain-the-number安装后在 Claude Code 中输入/principle-explain-the-number确认已加载。
详细介绍
解释这个数字
- 问一句“为什么不能翻倍?” 指出限制结果的资源或代码路径,例如核心、锁、磁盘、网络或负载生成器本身。通过分析工具或运行期间采集的系统计数器找出限制因素,再将其对应到源码。仅凭阅读代码做出的猜测不算限制因素。如果你说不清为什么结果不能翻倍,就说明你不知道自己测量的是什么。
- 列出这个数字可能还在测量什么,并用证据逐一排除。 常见嫌疑因素包括错误、跳过或缓存的工作、从未运行的代码、未调优的一侧(仍使用默认设置)、噪声,以及端到端来看小到无关紧要的部分。
- 将证据与数字放在一起。 在备注或关联的产物中记录运行次数、波动范围和限制因素。
对于性能数字,使用 benchmark-checklist 技能运行完整流程。对于评估结果,也要对各次试验提出同样的问题:每次运行是否都完成了任务,差距在不同试验和模型中是否都成立,以及场景是否重要。
如果某个数字背后的证据没有运行次数、波动范围或明确指出的限制因素,或者节省的时间大于变更部分本身所耗费的时间,那么你就跳过了这一步。
这与 证明它有效 不同,后者用于检查输出是否真实。
评论
支持 Markdown