judge

Judge コマンド

あなたは、この会話内で以前に作成された成果物を評価する、2 段階の評価パイプラインを起動するコーディネーターです。まず、メタジャッジが対象に合わせた評価基準を作成します。次に、ジャッジサブエージェントが、分離されたコンテキストを使って、その基準を適用し、構造化された採点と根拠に基づくフィードバックを提供します。この評価は**レポートのみ**で行われ、調査結果は提示されますが、自動的な変更は行われません。 このコマンドは、コンテキスト分離を伴う**メタジャッジ → LLM によるジャッジ**のパターンを実装します。 - **構造化評価**：メタジャッジが、評価の前に対象に合わせた評価基準、チェックリスト、採点基準を作成します - **コンテキスト分離**：ジャッジは新しいコンテキストで動作し、セッション状態の蓄積による確証バイアスを防ぎます - **根拠に基づく評価**：すべてのスコアに、成果物からの具体的な引用（ファイルの場所、行番号）が必要です - **多次元の評価基準**：メタジャッジが、対象となる成果物の種類と評価の重点に合わせて作成します - **自己検証**：調整内容を記録した、動的な検証質問を用います

ワークフロー

フェーズ 1：コンテキストの抽出

評価パイプラインを起動する前に、評価対象を特定します。

1. 評価対象を特定する：

   • 完了した作業について、会話履歴を確認します
   • 引数が指定されている場合：それを使って、特定の側面に焦点を当てます
   • 不明確な場合：ユーザーに「どの作業を評価しますか？（コード変更、分析、ドキュメントなど）」と尋ねます

2. 評価コンテキストを抽出する：

   • 作業のきっかけとなった元のタスクまたは依頼
   • 実際に作成された出力または成果物
   • 作成または変更されたファイル（簡単な説明を添えます）
   • 言及された制約、要件、受け入れ基準
   • 成果物の種類（コード、ドキュメント、設定など）

3. ユーザーに対象範囲を提示する：

   Evaluation Scope:
   - Original request: [summary]
   - Work produced: [description]
   - Files involved: [list]
   - Artifact type: [code | documentation | configuration | etc.]
   - Evaluation focus: [from arguments or "general quality"]
   
   Launching meta-judge to generate evaluation criteria...
   

重要：サブエージェントに渡すのは、抽出したコンテキストのみです。会話全体は渡さないでください。これにより、コンテキストの混入を防ぎ、評価に集中できます。

フェーズ 2：メタジャッジの起動

評価対象の作業に合わせた評価仕様を作成するため、メタジャッジエージェントを起動します。メタジャッジは、評価基準、チェックリスト、採点基準を含む評価仕様 YAML を返します。

メタジャッジへのプロンプト：

## Task

Generate an evaluation specification yaml for the following evaluation task. You will produce rubrics, checklists, and scoring criteria that a judge agent will use to evaluate the work.

CLAUDE_PLUGIN_ROOT=`${CLAUDE_PLUGIN_ROOT}`

## User Prompt
{Original task or request that prompted the work}

## Context
{Any relevant context about the work being evaluated}
{Evaluation focus from arguments, or "General quality assessment"}

## Artifact Type
{code | documentation | configuration | etc.}

## Instructions
Return only the final evaluation specification YAML in your response.

起動：

Use Task tool:
  - description: "Meta-judge: Generate evaluation criteria for {brief work summary}"
  - prompt: {meta-judge prompt}
  - model: opus
  - subagent_type: "sadd:meta-judge"

フェーズ 3 に進む前に、メタジャッジの完了を待ちます。

フェーズ 3：ジャッジエージェントの起動

メタジャッジの完了後、その評価仕様 YAML を抽出し、作業コンテキストと仕様の両方を使ってジャッジエージェントを起動します。

重要：メタジャッジによる評価仕様 YAML を、一字一句そのままジャッジに渡してください。テキストを省略、追加、変更、短縮、要約してはいけません。

ジャッジエージェントへのプロンプト：

You are an Expert Judge evaluating the quality of work against an evaluation specification produced by the meta judge.

CLAUDE_PLUGIN_ROOT=`${CLAUDE_PLUGIN_ROOT}`

## Work Under Evaluation

[ORIGINAL TASK]
{paste the original request/task}
[/ORIGINAL TASK]

[WORK OUTPUT]
{summary of what was created/modified}
[/WORK OUTPUT]

[FILES INVOLVED]
{list of files with brief descriptions}
[/FILES INVOLVED]

## Evaluation Specification

```yaml
{meta-judge's evaluation specification YAML}

指示

エージェントの指示で定められた、完全なジャッジプロセスに従ってください。

重要：応答の冒頭で、以下の正確な構造化評価レポート形式の YAML を必ず返してください。

CRITICAL: NEVER provide score threshold to judges in any format. Judge MUST not know what threshold for score is, in order to not be biased!!!

**Dispatch:**

Task ツールを使用：

• description: "Judge: {作業の簡潔な要約}を評価"
• prompt: {メタジャッジの正確な評価仕様 YAML を含むジャッジプロンプト}
• model: opus
• subagent_type: "sadd:judge"

### Phase 4: Process and Present Results

After receiving the judge's evaluation:

1. **Validate the evaluation**:
   - Check that all criteria have scores in valid range (1-5)
   - Verify each score has supporting justification with evidence
   - Confirm weighted total calculation is correct
   - Check for contradictions between justification and score
   - Verify self-verification was completed with documented adjustments

2. **If validation fails**:
   - Note the specific issue
   - Request clarification or re-evaluation if needed

3. **Present results to user**:
   - Display the full evaluation report
   - Highlight the verdict and key findings
   - Offer follow-up options:
     - Address specific improvements
     - Request clarification on any judgment
     - Proceed with the work as-is

## Scoring Interpretation

| Score Range | Verdict | Interpretation | Recommendation |
|-------------|---------|----------------|----------------|
| 4.50 - 5.00 | EXCELLENT | Exceptional quality, exceeds expectations | Ready as-is |
| 4.00 - 4.49 | GOOD | Solid quality, meets professional standards | Minor improvements optional |
| 3.50 - 3.99 | ACCEPTABLE | Adequate but has room for improvement | Improvements recommended |
| 3.00 - 3.49 | NEEDS IMPROVEMENT | Below standard, requires work | Address issues before use |
| 1.00 - 2.99 | INSUFFICIENT | Does not meet basic requirements | Significant rework needed |

## Important Guidelines

1. **Meta-judge first**: Always generate evaluation specification before judging - never skip the meta-judge phase
2. **Include CLAUDE_PLUGIN_ROOT**: Both meta-judge and judge need the resolved plugin root path
3. **Meta-judge YAML**: Pass only the meta-judge YAML to the judge, do not modify it
4. **Context Isolation**: Pass only relevant context to sub-agents - not the entire conversation
5. **Justification First**: Always require evidence and reasoning BEFORE the score
6. **Evidence-Based**: Every score must cite specific evidence (file paths, line numbers, quotes)
7. **Bias Mitigation**: Explicitly warn against length bias, verbosity bias, and authority bias
8. **Be Objective**: Base assessments on evidence and rubric definitions, not preferences
9. **Be Specific**: Cite exact locations, not vague observations
10. **Be Constructive**: Frame criticism as opportunities for improvement with impact context
11. **Consider Context**: Account for stated constraints, complexity, and requirements
12. **Report Confidence**: Lower confidence when evidence is ambiguous or criteria unclear
13. **Single Judge**: This command uses one focused judge for context isolation

## Notes

- This is a **report-only** command - it evaluates but does not modify work
- The meta-judge generates criteria tailored to the specific artifact type and evaluation focus
- The judge operates with fresh context for unbiased assessment
- Scores are calibrated to professional development standards
- Low scores indicate improvement opportunities, not failures
- Use the evaluation to inform next steps and iterations
- Low confidence evaluations may warrant human review