mcpField
C
confidence-scoring

confidence-scoring

github.com/laurigatesAgent 工作流5963 次安装1 天前更新
代码仓库

关于 confidence-scoring

confidence-scoring 是用于评估 PRP 和工作单执行准备度的技能,适合编写者、审阅者及负责委派任务的团队。它按上下文、实现清晰度、注意事项和验证覆盖度评分,并提供不同类型文档的计算方式。

主要功能

  1. 01评估上下文完整度
  2. 02评估实现清晰度
  3. 03检查注意事项记录
  4. 04评估验证覆盖度
  5. 05按 PRP 或工作单计算总分

适用场景

  1. 01执行前审查 PRP 草稿
  2. 02判断工作单能否委派给子 Agent
  3. 03找出需求文档中待补充的内容

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/laurigates/claude-plugins --skill confidence-scoring

安装后在 Claude Code 中输入/confidence-scoring确认已加载。

详细介绍

PRP 和工作指令的置信度评分

此技能可系统地评估 PRP(产品需求提示词)和工作指令,判断其是否已准备好执行或委派。

何时使用此技能

在以下情况下使用此技能……在以下情况下改用 blueprint-prp-create……
在执行或委派前为 PRP/工作指令草稿评分根据研究和上下文编写 PRP 本身
判断工作指令是否已准备好交给子 Agent,还是需要完善编写工作指令内容(使用 blueprint-work-order)
审查现有 PRP/工作指令的上下文完整性和验证关卡生成 PRP 所依据的 PRD(使用 blueprint-derive-prd)

评分维度

1. 上下文完整性(1-10)

评估是否明确提供了所有必要的上下文。

分数标准
10明确列出所有文件路径及行号,包含所有代码片段,注明库版本,并记录集成点
8-9提供了大部分上下文,只有少量可从代码库推断出的缺漏
6-7包含关键信息,但仍需进行一些探查
4-5缺少大量上下文,需要进一步探索
1-3上下文极少,需要大量探索

检查清单:

  • 文件路径为绝对路径,或明确说明相对于项目根目录
  • 代码片段包含实际行号(例如,src/auth.py:45-60)
  • 已注明库版本
  • 已记录集成点
  • 提供代码库中相关模式的示例
2. 实现清晰度(1-10)

评估实现方案是否清晰。

分数标准
10伪代码涵盖所有情况,步骤清晰,并考虑了边缘情况
8-9主要流程清晰,涵盖了大多数边缘情况
6-7实现方案清晰,但部分细节仍需探索
4-5仅描述了高层方案,存在重大歧义
1-3需求含糊,方案不明确

检查清单:

  • 明确列出任务拆解
  • 为复杂逻辑提供伪代码
  • 指定实现顺序
  • 识别边缘情况
  • 记录错误处理方案
3. 陷阱记录情况(1-10)

评估是否记录了已知陷阱及其缓解措施。

分数标准
10记录了所有已知陷阱,且每项都有缓解措施,并涵盖特定于库的问题
8-9涵盖了主要陷阱,缓解措施清晰
6-7记录了一些陷阱,可能还会发现更多
4-5提及的陷阱较少,覆盖不完整
1-3未记录任何陷阱

检查清单:

  • 记录特定于库的陷阱
  • 注明特定于版本的行为
  • 识别常见错误
  • 为每个陷阱提供缓解措施
  • 处理竞态条件/并发问题
4. 验证覆盖度(1-10)

评估是否提供了可执行的验证命令。

分数标准
10所有质量关卡都有可执行命令,并说明预期结果
8-9提供了主要验证命令,并说明了大多数预期结果
6-7提供了一些验证命令,但覆盖仍有缺漏
4-5验证命令极少
1-3没有可执行的验证方法

检查清单:

  • 提供可执行的 lint 命令
  • 提供类型检查命令(如适用)
  • 提供包含特定测试文件的单元测试命令
  • 提供集成测试命令(如适用)
  • 提供包含阈值的覆盖率检查命令
  • 提供安全扫描命令(如适用)
  • 所有命令均说明预期结果
5. 测试覆盖率(1-10)- 仅限 Work-Orders

评估是否明确指定了测试用例。

分数标准
10指定了所有测试用例,包含断言并覆盖边界情况
8-9指定了主要测试用例,包含大多数断言
6-7包含关键测试用例,但存在一些遗漏
4-5测试用例较少,细节有限
1-3未指定测试用例

检查清单:

  • 每个测试用例都有代码模板
  • 明确列出断言
  • 测试了正常流程
  • 测试了错误情况
  • 测试了边界情况

计算总分

对于 PRP
Overall = (Context + Implementation + Gotchas + Validation) / 4
对于 Work-Orders
Overall = (Context + Gotchas + TestCoverage + Validation) / 4

分数阈值

分数准备情况建议
9-10优秀可交由自主子 Agent 执行
7-8良好可开始执行,可能需要进行一些探索
5-6一般执行前需要完善
3-4较差存在明显缺漏,建议进入研究阶段
1-2不合格通过充分研究后重新开始

响应模板

高置信度(7+)
## Confidence Score: X.X/10

| Dimension | Score | Notes |
|-----------|-------|-------|
| Context Completeness | X/10 | [specific observation] |
| Implementation Clarity | X/10 | [specific observation] |
| Gotchas Documented | X/10 | [specific observation] |
| Validation Coverage | X/10 | [specific observation] |
| **Overall** | **X.X/10** | |

**Assessment:** Ready for execution

**Strengths:**
- [Key strength 1]
- [Key strength 2]

**Recommendations (optional):**
- [Minor improvement 1]
低置信度(<7)
## Confidence Score: X.X/10

| Dimension | Score | Notes |
|-----------|-------|-------|
| Context Completeness | X/10 | [specific gap] |
| Implementation Clarity | X/10 | [specific gap] |
| Gotchas Documented | X/10 | [specific gap] |
| Validation Coverage | X/10 | [specific gap] |
| **Overall** | **X.X/10** | |

**Assessment:** Needs refinement before execution

**Gaps to Address:**
- [ ] [Gap 1 with suggested action]
- [ ] [Gap 2 with suggested action]
- [ ] [Gap 3 with suggested action]

**Next Steps:**
1. [Specific research action]
2. [Specific documentation action]
3. [Specific validation action]

示例

示例 1:准备充分的 PRP
## Confidence Score: 8.5/10

| Dimension | Score | Notes |
|-----------|-------|-------|
| Context Completeness | 9/10 | All files explicit, code snippets with line refs |
| Implementation Clarity | 8/10 | Pseudocode covers main path, one edge case unclear |
| Gotchas Documented | 8/10 | Redis connection pool, JWT format issues covered |
| Validation Coverage | 9/10 | All gates have commands, outcomes specified |
| **Overall** | **8.5/10** | |

**Assessment:** Ready for execution

**Strengths:**
- Comprehensive codebase intelligence with actual code snippets
- Validation gates are copy-pasteable
- Known library gotchas well-documented

**Recommendations:**
- Consider documenting concurrent token refresh edge case
示例 2:需要完善
## Confidence Score: 5.0/10

| Dimension | Score | Notes |
|-----------|-------|-------|
| Context Completeness | 4/10 | File paths vague ("somewhere in auth/") |
| Implementation Clarity | 6/10 | High-level approach clear, no pseudocode |
| Gotchas Documented | 3/10 | No library-specific gotchas |
| Validation Coverage | 7/10 | Test command present, missing lint/type check |
| **Overall** | **5.0/10** | |

**Assessment:** Needs refinement before execution

**Gaps to Address:**
- [ ] Add explicit file paths (use `grep` to find them)
- [ ] Add pseudocode for token generation logic
- [ ] Research jsonwebtoken gotchas (check GitHub issues)
- [ ] Add linting and type checking commands

**Next Steps:**
1. Run `/prp:curate-docs jsonwebtoken` to create ai_docs entry
2. Use Explore agent to find exact file locations
3. Add validation gate commands from project's package.json

与 Blueprint 开发的集成

在以下情况下会自动应用此技能:

  • /prp:create 生成新的 PRP
  • /blueprint:work-order 生成 work-order
  • 审查现有 PRP 的执行准备情况

置信度分数决定:

  • 9+:继续委派给子 Agent
  • 7-8:继续直接执行
  • < 7:完善后再执行

提高分数的技巧

上下文完整性
  • 使用 grep 查找准确的文件位置
  • 在代码片段中包含实际行号
  • 参考 ai_docs 条目了解库的使用模式
实现清晰度
  • 在描述方案前先编写伪代码
  • 明确列出边界情况
  • 定义错误处理策略
记录注意事项
  • 搜索 GitHub issues,了解库的注意事项
  • 查看 Stack Overflow,了解常见问题
  • 记录团队从过往项目中积累的经验
验证覆盖率
  • 从项目配置文件(package.json、pyproject.toml)复制命令
  • 在测试命令中包含具体文件路径
  • 指定每个检查点的预期结果

评论

支持 Markdown