confidence-scoring

PRP と作業指示書の信頼度スコアリング

このスキルでは、PRP（製品要件プロンプト）と作業指示書を体系的に評価し、実行または委任に向けた準備状況を判定します。

このスキルを使用する場面

次の場合はこのスキルを使用します…	次の場合は代わりに blueprint-prp-create を使用します…
実行または委任の前に、PRP／作業指示書のドラフトを採点する	調査とコンテキストに基づいて PRP 自体を作成する
作業指示書をサブエージェントに渡せる状態か、改善が必要かを判断する	作業指示書の内容を作成する（blueprint-work-order を使用）
コンテキストの完全性と検証ゲートについて、既存の PRP／作業指示書をレビューする	PRP の派生元となる PRD を作成する（blueprint-derive-prd を使用）

採点項目

1. コンテキストの完全性（1～10）

必要なコンテキストがすべて明示されているかを評価します。

スコア	基準
10	すべてのファイルパスに行番号が明記され、コードスニペットがすべて含まれ、ライブラリのバージョンが指定され、統合ポイントが記載されている
8-9	ほとんどのコンテキストが示されており、コードベースから推測できる小さな不足がある
6-7	重要なコンテキストは示されているが、調査が必要な箇所がある
4-5	重要なコンテキストが不足しており、調査が必要になる
1-3	コンテキストがほとんどなく、大規模な調査が必要

チェックリスト：

• ファイルパスが絶対パスであるか、プロジェクトルートからの相対パスであることが明確
• コードスニペットに実際の行番号が含まれている（例：src/auth.py:45-60）
• ライブラリのバージョンが指定されている
• 統合ポイントが記載されている
• コードベースのパターンが例とともに示されている

2. 実装の明確さ（1～10）

実装方法がどの程度明確かを評価します。

スコア	基準
10	疑似コードですべてのケースが網羅され、手順が明確で、エッジケースにも対応している
8-9	主な処理の流れが明確で、ほとんどのエッジケースが網羅されている
6-7	実装方法は明確だが、詳細の一部について調査が必要
4-5	概要レベルにとどまり、大きな曖昧さがある
1-3	要件が曖昧で、実装方法が不明確

チェックリスト：

• タスクの分解が明確
• 複雑なロジックについて疑似コードが提示されている
• 実装の順序が指定されている
• エッジケースが特定されている
• エラー処理の方法が記載されている

3. 注意点の記載（1～10）

既知の落とし穴とその対策が記載されているかを評価します。

スコア	基準
10	既知の落とし穴がすべて記載され、それぞれに対策があり、ライブラリ固有の問題も網羅されている
8-9	主な注意点が網羅され、対策も明確
6-7	いくつかの注意点が記載されているが、さらに見つかる可能性がある
4-5	注意点の記載が少なく、網羅性が不十分
1-3	注意点が記載されていない

チェックリスト：

• ライブラリ固有の注意点が記載されている
• バージョン固有の動作が記されている
• よくある間違いが特定されている
• 各注意点に対策がある
• 競合状態／並行処理の問題に対処している

4. 検証範囲（1～10）

実行可能な検証コマンドが用意されているかを評価します。

スコア	基準
10	すべての品質ゲートに実行可能なコマンドがあり、期待される結果も指定されている
8-9	主な検証コマンドがあり、ほとんどの期待結果が指定されている
6-7	検証コマンドはいくつかあるが、網羅性に不足がある
4-5	検証コマンドが最低限しかない
1-3	実行可能な検証がない

チェックリスト：

• Lint コマンドが提示され、実行可能
• 型チェックコマンドが提示されている（該当する場合）
• 対象のテストファイルを指定した単体テストコマンドがある
• 統合テストコマンドがある（該当する場合）
• しきい値を指定したカバレッジ確認コマンドがある
• セキュリティスキャンコマンドがある（該当する場合）
• すべてのコマンドに期待される結果が記載されている

5. テストカバレッジ（1～10）- Work-Orders のみ

テストケースが指定されているかを評価します。

スコア	基準
10	すべてのテストケースがアサーションとともに指定され、エッジケースも網羅されている
8-9	主なテストケースが指定され、ほとんどのアサーションが含まれている
6-7	重要なテストケースが含まれているが、一部不足がある
4-5	テストケースが少なく、詳細も最低限である
1-3	テストケースが指定されていない

チェックリスト：

• 各テストケースにコードテンプレートがある
• アサーションが明示されている
• 正常系がテストされている
• エラーケースがテストされている
• エッジケースがテストされている

総合スコアの計算

PRP の場合

Overall = (Context + Implementation + Gotchas + Validation) / 4

Work-Orders の場合

Overall = (Context + Gotchas + TestCoverage + Validation) / 4

スコアのしきい値

スコア	準備状況	推奨事項
9-10	非常に良好	自律的なサブエージェント実行の準備ができています
7-8	良好	一部調査を行ったうえで実行できます
5-6	まずまず	実行前に改善が必要です
3-4	不十分	大きな不足があり、調査フェーズを推奨します
1-2	不適切	適切な調査を行ってやり直してください

回答テンプレート

信頼度が高い場合（7+）

## Confidence Score: X.X/10

| Dimension | Score | Notes |
|-----------|-------|-------|
| Context Completeness | X/10 | [specific observation] |
| Implementation Clarity | X/10 | [specific observation] |
| Gotchas Documented | X/10 | [specific observation] |
| Validation Coverage | X/10 | [specific observation] |
| **Overall** | **X.X/10** | |

**Assessment:** Ready for execution

**Strengths:**
- [Key strength 1]
- [Key strength 2]

**Recommendations (optional):**
- [Minor improvement 1]

信頼度が低い場合（<7）

## Confidence Score: X.X/10

| Dimension | Score | Notes |
|-----------|-------|-------|
| Context Completeness | X/10 | [specific gap] |
| Implementation Clarity | X/10 | [specific gap] |
| Gotchas Documented | X/10 | [specific gap] |
| Validation Coverage | X/10 | [specific gap] |
| **Overall** | **X.X/10** | |

**Assessment:** Needs refinement before execution

**Gaps to Address:**
- [ ] [Gap 1 with suggested action]
- [ ] [Gap 2 with suggested action]
- [ ] [Gap 3 with suggested action]

**Next Steps:**
1. [Specific research action]
2. [Specific documentation action]
3. [Specific validation action]

例

例 1：十分に準備された PRP

## Confidence Score: 8.5/10

| Dimension | Score | Notes |
|-----------|-------|-------|
| Context Completeness | 9/10 | All files explicit, code snippets with line refs |
| Implementation Clarity | 8/10 | Pseudocode covers main path, one edge case unclear |
| Gotchas Documented | 8/10 | Redis connection pool, JWT format issues covered |
| Validation Coverage | 9/10 | All gates have commands, outcomes specified |
| **Overall** | **8.5/10** | |

**Assessment:** Ready for execution

**Strengths:**
- Comprehensive codebase intelligence with actual code snippets
- Validation gates are copy-pasteable
- Known library gotchas well-documented

**Recommendations:**
- Consider documenting concurrent token refresh edge case

例 2：改善が必要

## Confidence Score: 5.0/10

| Dimension | Score | Notes |
|-----------|-------|-------|
| Context Completeness | 4/10 | File paths vague ("somewhere in auth/") |
| Implementation Clarity | 6/10 | High-level approach clear, no pseudocode |
| Gotchas Documented | 3/10 | No library-specific gotchas |
| Validation Coverage | 7/10 | Test command present, missing lint/type check |
| **Overall** | **5.0/10** | |

**Assessment:** Needs refinement before execution

**Gaps to Address:**
- [ ] Add explicit file paths (use `grep` to find them)
- [ ] Add pseudocode for token generation logic
- [ ] Research jsonwebtoken gotchas (check GitHub issues)
- [ ] Add linting and type checking commands

**Next Steps:**
1. Run `/prp:curate-docs jsonwebtoken` to create ai_docs entry
2. Use Explore agent to find exact file locations
3. Add validation gate commands from project's package.json

Blueprint 開発との統合

このスキルは、次の場合に自動的に適用されます：

• /prp:create が新しい PRP を生成するとき
• /blueprint:work-order が work-order を生成するとき
• 実行準備状況を確認するために既存の PRP をレビューするとき

信頼度スコアによって、次のように判断されます：

• 9+：サブエージェントへの委任を進める
• 7-8：直接実行を進める
• < 7：実行前に改善する

スコアを高めるためのヒント

コンテキストの網羅性

• grep を使って正確なファイルの場所を探す
• コードスニペットに実際の行番号を含める
• ライブラリのパターンについて ai_docs のエントリーを参照する

実装の明確さ

• アプローチを説明する前に擬似コードを書く
• エッジケースを明示的に列挙する
• エラー処理の方針を定める

落とし穴の記録

• GitHub の issue を検索して、ライブラリ固有の落とし穴を探す
• Stack Overflow でよくある問題を確認する
• 過去のプロジェクトにおけるチームの経験を記録する

検証範囲

• プロジェクトの設定（package.json、pyproject.toml）からコマンドをコピーする
• テストコマンドに具体的なファイルパスを含める
• 各ゲートで期待される結果を指定する