graphrag-evaluation

目录

• 工作流
• 评估维度
• 指标选择指南
• 输出模板

GraphRAG 评估

工作流

复制此检查清单，并逐项完成：

• 步骤 1. 确定评估范围
• 步骤 2. 选择指标
• 步骤 3. 设计测试方案
• 步骤 4. 测试推理能力
• 步骤 5. 测量幻觉率
• 步骤 6. 与基线进行比较
• 步骤 7. 生成评估报告

步骤 1. 确定评估范围

明确需要评估 GraphRAG 系统的哪些方面，以及评估原因。确定要评估的是完整流程，还是特定组件（知识图谱构建、检索、生成）。明确使用场景：领域、查询复杂度、预期推理深度。

完整的评估维度框架请参阅 methodology.md。

步骤 2. 选择指标

选择适合评估范围的指标。并非每次评估都需要使用所有指标。根据系统的成熟度以及需要解答的问题选择指标。

详细的指标定义请参阅下方的指标选择指南和 methodology.md。

步骤 3. 设计测试方案

构建覆盖各个评估维度的测试集。纳入单跳事实查询、多跳推理查询、约束满足查询、时间推理查询、比较查询和否定查询（系统不应回答的问题）。

基线比较方法和统计显著性检验请参阅 methodology.md。

步骤 4. 测试推理能力

评估系统处理多步推理的能力。验证每个推理步骤是否有检索到的知识图谱证据作为依据。检查是否存在错误传播，即错误的中间步骤导致错误结论。

链验证、模式匹配、假设验证和因果推理评估请参阅 reasoning-patterns.md。

步骤 5. 测量幻觉率

量化内部幻觉（与检索到的证据相矛盾）和外部幻觉（检索到的任何来源都不支持相关论断）。测量知识图谱依据率：生成的论断中，有多少百分比可以追溯到知识图谱中的实体和关系。

幻觉检测方法和比较方案请参阅 methodology.md。

步骤 6. 与基线进行比较

使用相同的测试集测试基线系统：纯向量 RAG、仅使用大模型（不进行检索）以及其他图配置。通过受控消融研究分离各组件的贡献。

基线比较和消融研究设计请参阅 methodology.md。

步骤 7. 生成评估报告

将结果整理到下方的结构化输出模板中。包括指标值、基线比较、发现的弱点和按优先级排序的建议。

评分标准请参阅 rubric_evaluation.json（最低及格分：3.0）。

评估维度

维度	衡量内容	关键指标	优先级
知识图谱质量	知识图谱的完整性和准确性	实体覆盖率、关系完整性、架构一致性	高
检索质量	基于图谱的检索效果	上下文召回率（C-Rec）、上下文精确率、多跳覆盖率	高
答案正确性	生成答案的准确性和完整性	事实准确性、答案完整性、引用准确性	关键
幻觉率	无依据或相互矛盾的断言出现频率	内在幻觉率、外在幻觉率、知识图谱依据率	关键
推理深度	正确执行多步推理的能力	多跳准确率、逐步验证得分、错误传播率	中高

指标选择指南

根据评估目标选择指标：

快速健康检查（工作量最少）：

• 在精心整理的测试集（20-50 个问题）上评估答案正确性
• 知识图谱依据率（抽样检查 20 条回答）
• 与单一基线进行比较（纯向量 RAG）

标准评估（推荐）：

• 使用标准化测试集评估全部五个维度
• 上下文召回率和上下文精确率
• 多跳推理测试
• 幻觉率测量
• 与两个或更多基线进行比较

全面基准测试（生产就绪）：

• 覆盖所有维度的完整指标套件
• 使用置信区间进行统计显著性检验
• 受控消融研究
• 面向过程的推理评估（逐步正确性）
• 可复现的自动化评估流水线

输出模板

# GraphRAG Evaluation Report

## 1. System Under Evaluation
- System name and version:
- Domain:
- KG size (entities/relations):
- Evaluation date:

## 2. Evaluation Scope
- Dimensions evaluated:
- Test set size and composition:
- Baseline systems:

## 3. KG Quality Results
- Entity coverage: ____%
- Relation completeness: ____%
- Schema consistency score: ____
- Notable gaps:

## 4. Retrieval Quality Results
- Context recall (C-Rec): ____
- Context precision: ____
- Multi-hop coverage: ____%
- Latency (p50/p95/p99): ____

## 5. Answer Correctness Results
- Factual accuracy: ____%
- Answer completeness: ____%
- Citation accuracy: ____%

## 6. Hallucination Analysis
- Intrinsic hallucination rate: ____%
- Extrinsic hallucination rate: ____%
- KG grounding rate: ____%
- Comparison with/without graph augmentation:

## 7. Reasoning Depth Results
- Single-hop accuracy: ____%
- Multi-hop accuracy: ____%
- Stepwise reasoning correctness: ____%
- Error propagation incidents: ____

## 8. Baseline Comparison
| Metric | GraphRAG | Pure Vector RAG | LLM Only |
|--------|----------|-----------------|----------|
| Answer correctness | | | |
| Hallucination rate | | | |
| Multi-hop accuracy | | | |

## 9. Statistical Significance
- Test used:
- Confidence level:
- Significant improvements:
- Non-significant differences:

## 10. Identified Weaknesses
1.
2.
3.

## 11. Recommendations
| Priority | Recommendation | Expected Impact | Effort |
|----------|---------------|-----------------|--------|
| | | | |

## 12. Rubric Score
- Metric Coverage: __ / 5
- Measurement Rigor: __ / 5
- Baseline Comparison: __ / 5
- Reasoning Depth: __ / 5
- Actionable Recommendations: __ / 5
- **Weighted Total: __ / 5.0** (minimum passing: 3.0)