multi-model-meta-analysis

マルチモデル統合

複数の AI モデルの出力を、実際のコードベースと照合して主張を検証し、包括的な評価にまとめます。

基本原則

モデルは幻覚を起こしたり、互いに矛盾したりします。真実の根拠となるのはソースコードです。最終評価に含める重要な主張は、すべて事前に検証する必要があります。

プロセス

1. 主張を抽出する

各モデルの出力を解析し、個々の主張を抽出します。

• コードに関する事実の断定（「関数 X は Y を行う」「Z にはエラー処理がない」など）
• 推奨事項（「検証を追加すべき」「このパターンをリファクタリングする」など）
• 特定された問題（「N 行目にバグがある」「セキュリティ上の脆弱性」など）

各主張に、その出典となるモデルのタグを付けます。

2. 重複を整理する

意味的に同等の主張をグループ化します。

• 「入力検証がない」＝「サニタイズされていない」＝「ユーザー入力がチェックされていない」
• 「async/await を使うべき」＝「Promise に変換する」＝「非同期にする」

標準的な表現を作成し、どのモデルがそれぞれの主張を挙げたかを記録します。

3. ソースに照らして検証する

事実に関する主張や特定された問題は、すべて次のように検証します。

CLAIM: "The auth middleware doesn't check token expiry"
VERIFY: Read the auth middleware file
FINDING: [Confirmed | Refuted | Partially true | Cannot verify]
EVIDENCE: [Quote relevant code or explain why claim is wrong]

Grep、Glob、Read ツールを使用して関連するコードを見つけ、内容を調べます。検証せずにモデルの主張を信頼してはいけません。

4. 矛盾を解決する

モデル同士の主張が食い違う場合：

1. 具体的な相違点を特定する
2. 実際のコードを調べる
3. どのモデルが（もしあれば）正しいか判断する
4. 根拠を示して、解決内容を記録する

CONFLICT: Model A says "uses SHA-256", Model B says "uses MD5"
INVESTIGATION: Read crypto.js lines 45-60
RESOLUTION: Model B is correct - line 52 shows MD5 usage
EVIDENCE: `const hash = crypto.createHash('md5')`

5. 評価を統合する

次の内容を含む最終文書を作成します。

• （モデルの意見ではなく）検証済みの事実を述べる
• 重要な主張の根拠を示す
• 検証できなかった点を記載する
• 検証が不要な有益な洞察（設計に関する提案など）を残す

出力形式

# Synthesized Assessment: [Topic]

## Summary
[2-3 sentences describing the verified findings]

## Verified Findings

### Confirmed Issues
| Issue | Severity | Evidence | Models |
|-------|----------|----------|--------|
| [Issue] | High/Med/Low | [file:line or quote] | Claude, GPT |

### Refuted Claims
| Claim | Source | Reality |
|-------|--------|---------|
| [What model said] | GPT-4 | [What code actually shows] |

### Unverifiable Claims
| Claim | Source | Why Unverifiable |
|-------|--------|------------------|
| [Claim] | Claude | [Requires runtime testing / external system / etc.] |

## Consensus Recommendations
[Items where 2+ models agree AND verification supports the suggestion]

## Unique Insights Worth Considering
[Valuable suggestions from single models that weren't contradicted]

## Conflicts Resolved
| Topic | Model A | Model B | Verdict | Evidence |
|-------|---------|---------|---------|----------|
| [Topic] | [Position] | [Position] | [Which is correct] | [Code reference] |

## Action Items

### Critical (Verified, High Impact)
- [ ] [Item] — Evidence: [file:line]

### Important (Verified, Medium Impact)
- [ ] [Item] — Evidence: [file:line]

### Suggested (Unverified but Reasonable)
- [ ] [Item] — Source: [Models]

検証ガイドライン

必ず検証する：

• バグ報告とセキュリティ上の問題
• コードが何をするか、または何をしないかに関する主張
• 機能が欠けているという断定
• パフォーマンスや計算量に関する主張

出典を明記したうえで参考にする：

• スタイルや読みやすさに関する提案
• アーキテクチャ上の推奨事項
• ベストプラクティスに関する提案

検証不能として記載する：

• テストがない場合の実行時の挙動に関する主張
• プロファイリングがない場合のパフォーマンスベンチマーク
• 外部 API の挙動
• ユーザー体験に関する主張

アンチパターン

• コードを確認せず、モデルの出力を盲目的に統合する
• モデル間の合意を証拠として扱う（すべてのモデルが間違う可能性があります）
• 誤りだと判明した主張を省く（何が間違っていたかを記録することには価値があります）
• 主張が「正しそうに聞こえる」という理由で検証を省く