graphrag-evaluation

目次

• ワークフロー
• 評価の観点
• 指標の選択ガイド
• 出力テンプレート

GraphRAG の評価

ワークフロー

このチェックリストをコピーし、各ステップに沿って進めてください。

• ステップ 1. 評価範囲を特定する
• ステップ 2. 指標を選択する
• ステップ 3. テストプロトコルを設計する
• ステップ 4. 推論能力をテストする
• ステップ 5. ハルシネーション率を測定する
• ステップ 6. ベースラインと比較する
• ステップ 7. 評価レポートを作成する

ステップ 1. 評価範囲を特定する

GraphRAG システムのどの側面を、なぜ評価する必要があるのかを定義します。パイプライン全体を評価するのか、特定のコンポーネント（KG の構築、検索、生成）を評価するのかを判断します。ユースケースの背景（分野、クエリの複雑さ、期待される推論の深さ）を明確にします。

評価の観点に関するフレームワークの全容については、methodology.md を参照してください。

ステップ 2. 指標を選択する

評価範囲に適した指標を選択します。すべての評価で、すべての指標が必要になるわけではありません。システムの成熟度や、明らかにしたい点に合わせて指標を選びます。

詳細な指標の定義については、以下の指標の選択ガイドと methodology.md を参照してください。

ステップ 3. テストプロトコルを設計する

評価の観点を網羅するテストセットを作成します。単一ホップの事実確認クエリ、マルチホップ推論クエリ、制約充足クエリ、時間的推論クエリ、比較クエリ、否定クエリ（システムが回答すべきでない質問）を含めます。

ベースライン比較の方法と統計的有意性の検定については、methodology.md を参照してください。

ステップ 4. 推論能力をテストする

システムが複数ステップの推論をどの程度適切に処理できるかを評価します。各推論ステップが、検索された KG のエビデンスに基づいていることを確認します。誤った中間ステップが誤った結論につながる、エラーの伝播がないかを確認します。

チェーンの検証、パターンマッチング、仮説の検証、因果推論の評価については、reasoning-patterns.md を参照してください。

ステップ 5. ハルシネーション率を測定する

内在的ハルシネーション（検索されたエビデンスと矛盾する内容）と、外在的ハルシネーション（検索されたソースのいずれにも裏付けられていない主張）の両方を定量化します。KG グラウンディング率、つまり生成された主張のうち、ナレッジグラフのエンティティと関係にたどれるものの割合を測定します。

ハルシネーションの検出方法と比較プロトコルについては、methodology.md を参照してください。

ステップ 6. ベースラインと比較する

同一のテストセットをベースラインシステム（ベクトル RAG のみ、LLM のみ（検索なし）、代替のグラフ構成）に対して実行します。制御されたアブレーション研究を行い、各コンポーネントの寄与を切り分けます。

ベースライン比較とアブレーション研究の設計については、methodology.md を参照してください。

ステップ 7. 評価レポートを作成する

以下の構造化された出力テンプレートに、調査結果をまとめます。指標の値、ベースラインとの比較、特定した弱点、優先順位を付けた推奨事項を含めます。

採点ルーブリック（合格最低点：3.0）については、rubric_evaluation.json を参照してください。

評価項目

項目	測定内容	主な指標	優先度
KG の品質	ナレッジグラフの完全性と正確性	エンティティの網羅率、関係の完全性、スキーマの一貫性	高
検索品質	グラフベースの検索の有効性	コンテキスト再現率（C-Rec）、コンテキスト適合率、マルチホップの網羅率	高
回答の正確性	生成された回答の正確性と完全性	事実の正確性、回答の完全性、引用の正確性	重大
ハルシネーション率	根拠のない、または矛盾する主張の頻度	内在的ハルシネーション率、外在的ハルシネーション率、KG の根拠率	重大
推論の深さ	複数ステップの推論を正しく行う能力	マルチホップの正確性、段階的検証スコア、エラー伝播率	中〜高

指標の選択ガイド

評価の目標に基づいて指標を選択してください。

簡易ヘルスチェック（最小限の労力）：

• 厳選したテストセット（20-50 件の質問）での回答の正確性
• KG の根拠率（20 件の回答をサンプリング）
• ベースラインとの比較（純粋なベクトル RAG）

標準評価（推奨）：

• 標準化されたテストセットを使用し、5 つすべての項目を評価
• コンテキスト再現率とコンテキスト適合率
• マルチホップ推論テスト
• ハルシネーション率の測定
• 2 つ以上のベースラインとの比較

包括的ベンチマーク（本番環境への準備）：

• すべての項目を対象とする全指標スイート
• 信頼区間を用いた統計的有意性検定
• 統制されたアブレーション研究
• プロセス重視の推論評価（段階ごとの正確性）
• 再現性を確保する自動評価パイプライン

出力テンプレート

# GraphRAG Evaluation Report

## 1. System Under Evaluation
- System name and version:
- Domain:
- KG size (entities/relations):
- Evaluation date:

## 2. Evaluation Scope
- Dimensions evaluated:
- Test set size and composition:
- Baseline systems:

## 3. KG Quality Results
- Entity coverage: ____%
- Relation completeness: ____%
- Schema consistency score: ____
- Notable gaps:

## 4. Retrieval Quality Results
- Context recall (C-Rec): ____
- Context precision: ____
- Multi-hop coverage: ____%
- Latency (p50/p95/p99): ____

## 5. Answer Correctness Results
- Factual accuracy: ____%
- Answer completeness: ____%
- Citation accuracy: ____%

## 6. Hallucination Analysis
- Intrinsic hallucination rate: ____%
- Extrinsic hallucination rate: ____%
- KG grounding rate: ____%
- Comparison with/without graph augmentation:

## 7. Reasoning Depth Results
- Single-hop accuracy: ____%
- Multi-hop accuracy: ____%
- Stepwise reasoning correctness: ____%
- Error propagation incidents: ____

## 8. Baseline Comparison
| Metric | GraphRAG | Pure Vector RAG | LLM Only |
|--------|----------|-----------------|----------|
| Answer correctness | | | |
| Hallucination rate | | | |
| Multi-hop accuracy | | | |

## 9. Statistical Significance
- Test used:
- Confidence level:
- Significant improvements:
- Non-significant differences:

## 10. Identified Weaknesses
1.
2.
3.

## 11. Recommendations
| Priority | Recommendation | Expected Impact | Effort |
|----------|---------------|-----------------|--------|
| | | | |

## 12. Rubric Score
- Metric Coverage: __ / 5
- Measurement Rigor: __ / 5
- Baseline Comparison: __ / 5
- Reasoning Depth: __ / 5
- Actionable Recommendations: __ / 5
- **Weighted Total: __ / 5.0** (minimum passing: 3.0)