response-rater

応答評価スキル

応答評価者 - 品質基準に照らして応答や計画を評価します。スコア、フィードバック、改善案を提示します。 - 基準に照らした応答の評価 - 計画の品質の検証 - 改善に向けたフィードバックの提示 - 品質レポートの作成

ステップ 1：評価基準を定義する

コンテンツの種類に応じた適切な評価基準を使用します。

計画の場合：

項目	配点	説明
完全性	20%	必要なセクションがすべて含まれている
実現可能性	20%	計画が現実的で達成可能である
リスク軽減	20%	リスクが特定され、軽減策が示されている
エージェントの配置	20%	適切なエージェントが割り当てられている
統合性	20%	既存のシステムとの整合性がある

応答の場合：

項目	配点	説明
正確性	25%	技術的に正確である
完全性	25%	すべての要件に対応している
明瞭さ	25%	理解しやすい
実行可能性	25%	明確な次のステップを示している

ステップ 2：各項目を評価する

各項目を 1～10 で採点します。

## Dimension Scores

### Completeness: 8/10

- Has objectives, steps, and timeline
- Missing risk assessment section

### Feasibility: 7/10

- Most steps are achievable
- Step 3 timeline is aggressive

### Risk Mitigation: 5/10

- Only 1 risk identified
- No mitigation strategies

### Agent Coverage: 9/10

- All steps have assigned agents
- Good agent-task matching

### Integration: 8/10

- Uses existing APIs
- Minor compatibility concerns

ステップ 3：総合スコアを計算する

加重スコアの平均を計算します。

Overall = (8×0.2) + (7×0.2) + (5×0.2) + (9×0.2) + (8×0.2) = 7.4/10

ステップ 4：推奨事項を作成する

実行可能な改善案を提示します。

## Recommendations

### High Priority

1. Add risk assessment section with 3-5 risks
2. Include mitigation strategies for each risk

### Medium Priority

3. Extend Step 3 timeline by 2 days
4. Add fallback plan for external API dependency

### Low Priority

5. Add success metrics for each step

ステップ 5：合格／不合格を判定する

最低スコアのしきい値を適用します。

タスクの種類	最低スコア
標準	7/10
エンタープライズ	8/10
クリティカル	9/10

## Decision

**Score**: 7.4/10
**Threshold**: 7/10 (Standard)
**Result**: PASS ✅

Plan approved with recommendations for improvement.

</execution_process>

<best_practices>

1. 一貫した評価基準：比較可能なコンテンツには同じ項目を使用します
2. 明確なしきい値：合格／不合格の基準を事前に定義します
3. 実行可能なフィードバック：具体的な改善案を提示します
4. 問題に優先順位を付ける：影響度の高い順に推奨事項を並べます
5. 根拠を記録する：スコアの判断理由を説明します

</best_practices>

**計画評価の依頼**：

Rate this plan for user authentication implementation

応答：

## Plan Rating: User Authentication

### Scores

- Completeness: 8/10 - Good structure, missing tests section
- Feasibility: 9/10 - Realistic timeline and approach
- Risk Mitigation: 6/10 - Only 1 risk identified
- Agent Coverage: 9/10 - Good agent assignments
- Integration: 8/10 - Compatible with existing auth

### Overall: 8.0/10 ✅ PASS

### Top Recommendations

1. Add risk section with security and dependency risks
2. Include test plan for each authentication flow
3. Add rollback procedure for failed deployment

</usage_example>

絶対原則

1. 必ず、比較可能なコンテンツの評価には同じ項目を使用してください。項目に一貫性がなければスコアの意味が失われ、セッション間で有効な比較ができなくなります。
2. 決して、各項目のスコアの根拠を記録せずに合格／不合格の判定を出さないでください。根拠のないスコアは、検証や異議申し立て、改善ができません。
3. 必ず、定義された最低しきい値（標準は 7/10、エンタープライズは 8/10、クリティカルは 9/10）を適用してください。場当たり的なしきい値を使うと、承認基準に一貫性がなくなり、評価システムへの信頼が損なわれます。
4. 決して、曖昧な推奨事項を提示しないでください。各推奨事項では、対象となる項目を明示し、必要な具体的変更を示してください。
5. 必ず、影響度に基づいて推奨事項に優先順位を付けてください。スコアを大きく改善する優先度の高い項目と、影響の小さい提案を明確に区別してください。

アンチパターン

アンチパターン	失敗する理由	正しいアプローチ
比較可能なコンテンツに異なる評価基準の項目を使用する	セッション間でスコアを比較できず、評価としての価値が失われます	常に同じ評価基準を使用します（計画には計画用、回答には回答用の評価基準を使用）
個々の項目のスコアに根拠を示さない	根拠のないスコアはレビュー、検証、対応ができません	各項目のスコアについて具体的な証拠を記録します（何があり、何が不足していたか）
セッションごとにしきい値を恣意的に設定する	しきい値に一貫性がないと合否判定が無効になり、チームは承認への信頼を失います	定義済みのしきい値を常に適用します：標準は7/10、エンタープライズは8/10、重要案件は9/10
曖昧な推奨事項を提示する（「品質を向上させる」「詳細を追加する」）	曖昧なフィードバックには対応できず、レビューを行っても変化が生じません	推奨事項ごとに、該当する項目、スコアの差、および必要な具体的変更を示します
推奨事項を優先順位なしで列挙する	フィードバックを同等に扱うと、評価者は影響の小さい項目から先に対応してしまいます	影響度順に並べます：合否のしきい値に影響する高、中、低の順にします

メモリープロトコル（必須）

開始前：

cat .claude/context/memory/learnings.md

完了後：

• 新しいパターン -> .claude/context/memory/learnings.md
• 問題の発見 -> .claude/context/memory/issues.md
• 決定事項 -> .claude/context/memory/decisions.md

中断を想定してください：コンテキストがリセットされる場合があります。メモリーに記録されていなければ、起きていないのと同じです。