关于 confidence-scoring
confidence-scoring 是用于评估 PRP 和工作单执行准备度的技能,适合编写者、审阅者及负责委派任务的团队。它按上下文、实现清晰度、注意事项和验证覆盖度评分,并提供不同类型文档的计算方式。
主要功能
- 01评估上下文完整度
- 02评估实现清晰度
- 03检查注意事项记录
- 04评估验证覆盖度
- 05按 PRP 或工作单计算总分
适用场景
- 01执行前审查 PRP 草稿
- 02判断工作单能否委派给子 Agent
- 03找出需求文档中待补充的内容
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ laurigates/ claude-plugins --skill confidence-scoring安装后在 Claude Code 中输入/confidence-scoring确认已加载。
详细介绍
PRP 和工作指令的置信度评分
此技能可系统地评估 PRP(产品需求提示词)和工作指令,判断其是否已准备好执行或委派。
何时使用此技能
| 在以下情况下使用此技能…… | 在以下情况下改用 blueprint-prp-create…… |
|---|---|
| 在执行或委派前为 PRP/工作指令草稿评分 | 根据研究和上下文编写 PRP 本身 |
| 判断工作指令是否已准备好交给子 Agent,还是需要完善 | 编写工作指令内容(使用 blueprint-work-order) |
| 审查现有 PRP/工作指令的上下文完整性和验证关卡 | 生成 PRP 所依据的 PRD(使用 blueprint-derive-prd) |
评分维度
1. 上下文完整性(1-10)
评估是否明确提供了所有必要的上下文。
| 分数 | 标准 |
|---|---|
| 10 | 明确列出所有文件路径及行号,包含所有代码片段,注明库版本,并记录集成点 |
| 8-9 | 提供了大部分上下文,只有少量可从代码库推断出的缺漏 |
| 6-7 | 包含关键信息,但仍需进行一些探查 |
| 4-5 | 缺少大量上下文,需要进一步探索 |
| 1-3 | 上下文极少,需要大量探索 |
检查清单:
- 文件路径为绝对路径,或明确说明相对于项目根目录
- 代码片段包含实际行号(例如,
src/auth.py:45-60) - 已注明库版本
- 已记录集成点
- 提供代码库中相关模式的示例
2. 实现清晰度(1-10)
评估实现方案是否清晰。
| 分数 | 标准 |
|---|---|
| 10 | 伪代码涵盖所有情况,步骤清晰,并考虑了边缘情况 |
| 8-9 | 主要流程清晰,涵盖了大多数边缘情况 |
| 6-7 | 实现方案清晰,但部分细节仍需探索 |
| 4-5 | 仅描述了高层方案,存在重大歧义 |
| 1-3 | 需求含糊,方案不明确 |
检查清单:
- 明确列出任务拆解
- 为复杂逻辑提供伪代码
- 指定实现顺序
- 识别边缘情况
- 记录错误处理方案
3. 陷阱记录情况(1-10)
评估是否记录了已知陷阱及其缓解措施。
| 分数 | 标准 |
|---|---|
| 10 | 记录了所有已知陷阱,且每项都有缓解措施,并涵盖特定于库的问题 |
| 8-9 | 涵盖了主要陷阱,缓解措施清晰 |
| 6-7 | 记录了一些陷阱,可能还会发现更多 |
| 4-5 | 提及的陷阱较少,覆盖不完整 |
| 1-3 | 未记录任何陷阱 |
检查清单:
- 记录特定于库的陷阱
- 注明特定于版本的行为
- 识别常见错误
- 为每个陷阱提供缓解措施
- 处理竞态条件/并发问题
4. 验证覆盖度(1-10)
评估是否提供了可执行的验证命令。
| 分数 | 标准 |
|---|---|
| 10 | 所有质量关卡都有可执行命令,并说明预期结果 |
| 8-9 | 提供了主要验证命令,并说明了大多数预期结果 |
| 6-7 | 提供了一些验证命令,但覆盖仍有缺漏 |
| 4-5 | 验证命令极少 |
| 1-3 | 没有可执行的验证方法 |
检查清单:
- 提供可执行的 lint 命令
- 提供类型检查命令(如适用)
- 提供包含特定测试文件的单元测试命令
- 提供集成测试命令(如适用)
- 提供包含阈值的覆盖率检查命令
- 提供安全扫描命令(如适用)
- 所有命令均说明预期结果
5. 测试覆盖率(1-10)- 仅限 Work-Orders
评估是否明确指定了测试用例。
| 分数 | 标准 |
|---|---|
| 10 | 指定了所有测试用例,包含断言并覆盖边界情况 |
| 8-9 | 指定了主要测试用例,包含大多数断言 |
| 6-7 | 包含关键测试用例,但存在一些遗漏 |
| 4-5 | 测试用例较少,细节有限 |
| 1-3 | 未指定测试用例 |
检查清单:
- 每个测试用例都有代码模板
- 明确列出断言
- 测试了正常流程
- 测试了错误情况
- 测试了边界情况
计算总分
对于 PRP
Overall = (Context + Implementation + Gotchas + Validation) / 4
对于 Work-Orders
Overall = (Context + Gotchas + TestCoverage + Validation) / 4
分数阈值
| 分数 | 准备情况 | 建议 |
|---|---|---|
| 9-10 | 优秀 | 可交由自主子 Agent 执行 |
| 7-8 | 良好 | 可开始执行,可能需要进行一些探索 |
| 5-6 | 一般 | 执行前需要完善 |
| 3-4 | 较差 | 存在明显缺漏,建议进入研究阶段 |
| 1-2 | 不合格 | 通过充分研究后重新开始 |
响应模板
高置信度(7+)
## Confidence Score: X.X/10
| Dimension | Score | Notes |
|-----------|-------|-------|
| Context Completeness | X/10 | [specific observation] |
| Implementation Clarity | X/10 | [specific observation] |
| Gotchas Documented | X/10 | [specific observation] |
| Validation Coverage | X/10 | [specific observation] |
| **Overall** | **X.X/10** | |
**Assessment:** Ready for execution
**Strengths:**
- [Key strength 1]
- [Key strength 2]
**Recommendations (optional):**
- [Minor improvement 1]
低置信度(<7)
## Confidence Score: X.X/10
| Dimension | Score | Notes |
|-----------|-------|-------|
| Context Completeness | X/10 | [specific gap] |
| Implementation Clarity | X/10 | [specific gap] |
| Gotchas Documented | X/10 | [specific gap] |
| Validation Coverage | X/10 | [specific gap] |
| **Overall** | **X.X/10** | |
**Assessment:** Needs refinement before execution
**Gaps to Address:**
- [ ] [Gap 1 with suggested action]
- [ ] [Gap 2 with suggested action]
- [ ] [Gap 3 with suggested action]
**Next Steps:**
1. [Specific research action]
2. [Specific documentation action]
3. [Specific validation action]
示例
示例 1:准备充分的 PRP
## Confidence Score: 8.5/10
| Dimension | Score | Notes |
|-----------|-------|-------|
| Context Completeness | 9/10 | All files explicit, code snippets with line refs |
| Implementation Clarity | 8/10 | Pseudocode covers main path, one edge case unclear |
| Gotchas Documented | 8/10 | Redis connection pool, JWT format issues covered |
| Validation Coverage | 9/10 | All gates have commands, outcomes specified |
| **Overall** | **8.5/10** | |
**Assessment:** Ready for execution
**Strengths:**
- Comprehensive codebase intelligence with actual code snippets
- Validation gates are copy-pasteable
- Known library gotchas well-documented
**Recommendations:**
- Consider documenting concurrent token refresh edge case
示例 2:需要完善
## Confidence Score: 5.0/10
| Dimension | Score | Notes |
|-----------|-------|-------|
| Context Completeness | 4/10 | File paths vague ("somewhere in auth/") |
| Implementation Clarity | 6/10 | High-level approach clear, no pseudocode |
| Gotchas Documented | 3/10 | No library-specific gotchas |
| Validation Coverage | 7/10 | Test command present, missing lint/type check |
| **Overall** | **5.0/10** | |
**Assessment:** Needs refinement before execution
**Gaps to Address:**
- [ ] Add explicit file paths (use `grep` to find them)
- [ ] Add pseudocode for token generation logic
- [ ] Research jsonwebtoken gotchas (check GitHub issues)
- [ ] Add linting and type checking commands
**Next Steps:**
1. Run `/prp:curate-docs jsonwebtoken` to create ai_docs entry
2. Use Explore agent to find exact file locations
3. Add validation gate commands from project's package.json
与 Blueprint 开发的集成
在以下情况下会自动应用此技能:
/prp:create生成新的 PRP/blueprint:work-order生成 work-order- 审查现有 PRP 的执行准备情况
置信度分数决定:
- 9+:继续委派给子 Agent
- 7-8:继续直接执行
- < 7:完善后再执行
提高分数的技巧
上下文完整性
- 使用
grep查找准确的文件位置 - 在代码片段中包含实际行号
- 参考 ai_docs 条目了解库的使用模式
实现清晰度
- 在描述方案前先编写伪代码
- 明确列出边界情况
- 定义错误处理策略
记录注意事项
- 搜索 GitHub issues,了解库的注意事项
- 查看 Stack Overflow,了解常见问题
- 记录团队从过往项目中积累的经验
验证覆盖率
- 从项目配置文件(package.json、pyproject.toml)复制命令
- 在测试命令中包含具体文件路径
- 指定每个检查点的预期结果
评论
支持 Markdown