literature-review

文献综述

此技能使 AI Agent 能够遵循既定的学术方法开展严谨、结构化的文献综述。Agent 会制定包含目标关键词的检索策略，应用明确的纳入和排除标准筛选结果，从选定的论文中提取关键数据，并将研究发现综合为主题式叙述，同时附上汇总表和参考文献列表。该工作流借鉴了系统综述实践（包括 PRISMA 式报告），适用于学术研究、技术领域分析和循证决策。

工作流

1. 确定研究问题和范围： 与用户合作，使用 PICO（人群、干预、对照、结局）或适合该领域的其他框架，制定精确的研究问题。明确综述范围：时间范围、语言、来源类型（期刊文章、会议论文、预印本）以及任何领域限制。

2. 制定检索策略： 结合主要关键词、同义词和布尔运算符，生成一组检索查询。确定要检索的数据库和来源（例如 Google Scholar、Semantic Scholar、arXiv、PubMed、ACM Digital Library、IEEE Xplore）。完整记录检索策略，以确保可复现。

3. 筛选结果： 将预先制定的纳入和排除标准应用于检索结果。纳入标准通常涵盖主题相关性、发表日期范围、研究类型和语言。排除标准用于过滤重复项、未经同行评审的观点文章、撤稿论文和偏离主题的结果。记录各阶段的论文数量，以便绘制 PRISMA 式流程图。

4. 提取关键数据： 对每篇纳入的论文，提取结构化信息：标题、作者、年份、发表渠道、研究问题、方法、主要发现、局限性以及与综述问题的相关性。以统一格式（表格或结构化笔记）存储这些数据，以便跨论文比较。

5. 综合主题和研究发现： 将提取的数据归纳为不同论文中呈现的主题或类别。找出文献中的共识、争议和空白。撰写叙述性综合，将各项研究发现串联成连贯的论述，并提供汇总对照表作为支撑。

6. 撰写综述文档： 撰写最终的文献综述，包含以下部分：引言和研究问题、方法（检索策略、标准、PRISMA 流程）、主题综合、空白与未来方向讨论，以及采用标准引用格式编写的完整参考文献列表。

用法

向 Agent 提供研究主题或问题。也可以指定所需范围（时间范围、来源类型）、纳入论文数量或特定的综合格式。

Conduct a literature review on LLM evaluation benchmarks published between 2022-2025.

Focus: What benchmarks exist, what do they measure, and what gaps remain
in evaluating reasoning, safety, and real-world task completion?

示例

示例 1：关于大模型评估基准的文献综述

用户请求：

综述 2022—2025 年大模型评估基准相关文献，重点关注推理、安全性和任务完成情况。

搜索策略：

数据库	查询
Semantic Scholar	"large language model evaluation benchmark" AND (reasoning OR safety OR "task completion")
arXiv	"LLM benchmark" AND ("2023" OR "2024" OR "2025")
ACM DL	"language model assessment" AND "benchmark suite"
Google Scholar	"LLM evaluation" survey OR "systematic review" 2023..2025

纳入/排除标准：

标准	类型	规则
2022—2025 年发表	纳入	必须在日期范围内
经同行评审或重要预印本	纳入	在顶级会议或期刊接收，或在 arXiv 上获得 10 次以上引用
提出或综述基准	纳入	必须讨论具体的评估框架
博文/观点文章	排除	不纳入非学术来源
非英语文献	排除	仅限英语文献
重复/已被取代的版本	排除	仅保留最新版本

PRISMA 风格流程：

Records identified through search: 847
After duplicate removal:           612
After title/abstract screening:    148
After full-text assessment:         42
Final papers included:              42

综合表（节选）：

基准	年份	关注领域	关键指标	局限性
MMLU	2023	知识与推理	57 项任务的准确率	静态；不涉及多步推理
HumanEval+	2023	代码生成	pass@k	范围狭窄（Python 函数）
AgentBench	2023	真实世界任务完成	8 个环境中的成功率	运行成本高；依赖特定环境
TrustLLM	2024	安全性与可信度	包括公平性在内的 6 个维度	基于自我报告；需要人工验证
GPQA	2024	研究生水平推理	专家编写问题的准确率	数据集规模小；领域特定
SWE-bench	2024	软件工程任务	真实 GitHub 问题的解决率	需要执行基础设施

综合发现（节选）：

文献显示，评估方式正从静态知识测试（MMLU）明显转向动态的 Agent 式评估（AgentBench、SWE-bench），用于衡量大模型在真实环境中采取行动的能力。然而，一个重要的缺口依然存在：没有任何单一基准套件能够全面评估推理、安全性和任务完成情况。大多数基准只针对一个维度进行优化，导致评估格局支离破碎：模型可能在推理基准上表现出色，却在安全性指标上表现不佳。

---

示例 2：采用 PRISMA 风格流程的系统综述方案

用户请求：

为研究检索增强生成（RAG）在减少大模型幻觉方面的有效性，制定一份系统综述方案。

研究问题（PICO 格式）：

• 研究对象： 大模型（GPT-4 级及以上）
• 干预措施： 检索增强生成（RAG）
• 对照措施： 非 RAG 基线（标准提示词）
• 结果： 幻觉率降低（通过事实准确性指标衡量）

搜索策略：

("retrieval-augmented generation" OR "RAG") AND
("hallucination" OR "factual accuracy" OR "faithfulness") AND
("large language model" OR "LLM" OR "GPT" OR "Claude")

数据库：Semantic Scholar、arXiv、ACM Digital Library、Google Scholar 日期范围：2023 年 1 月至 2025 年 12 月

筛选方案：

Phase 1 — Title/Abstract Screening:
  Include if: Empirically measures hallucination with and without RAG
  Exclude if: Theoretical only, no quantitative results, not LLM-focused

Phase 2 — Full-Text Review:
  Include if: Reports specific hallucination metrics (FActScore, ROUGE-L
              against ground truth, human evaluation scores)
  Exclude if: RAG used for non-factual tasks (creative writing, code gen)

数据提取模板：

字段	描述
论文 ID	唯一标识符
测试的模型	评估了哪些大模型
RAG 架构	检索方法、分块大小、top-k
基线	对比的非 RAG 设置
幻觉指标	FActScore、人工评估、准确率等
结果	幻觉率变化百分比
领域	通用知识、医疗、法律等

预期的 PRISMA 图示：

Identification:  ~1,200 records from 4 databases
Screening:       ~400 after title/abstract review
Eligibility:     ~80 after full-text assessment
Included:        ~35 meeting all criteria

最佳实践

• 记录每项决策，以确保可复现性。 记录搜索查询、数据库日期以及准确的纳入／排除标准，以便其他研究者能够复现这项综述。
• 使用结构化数据提取。 使用统一的提取模板，确保从每篇论文中采集相同字段，从而实现跨研究比较。
• 区分证据的数量与质量。 由 20 篇博客文章支持的主题，不如由 3 项严谨的随机对照试验（RCT）支持的主题有说服力。综合时应据此赋予不同权重。
• 报告未发现的内容。 文献中的空白与研究发现同样重要。明确指出研究不足的领域、缺失的人群或未经检验的条件。
• 围绕主题综合，而非逐篇介绍。 如果文献综述只是论文摘要的罗列，其价值不如围绕主题组织、串联研究发现的综述。
• 定稿前更新搜索结果。 如果撰写综述需要数周时间，请在提交前重新运行搜索，以纳入新发表的研究。

边缘情况

• 文献不足： 如果相关论文少于 5 篇，请说明这一点，并将输出调整为“范围综述”或“研究空白分析”，而非全面的文献综述。
• 预印本占比较高的领域： 在 AI/ML 等快速发展的领域，许多相关研究可能发布在 arXiv 上，且未经同行评审。可纳入预印本，但应标明其评审状态，并说明这是证据基础的一项局限。
• 研究结果相互矛盾： 如果研究得出了相反结论，请比较其研究方法、样本量和条件。应如实呈现这种分歧，而非武断地偏向某一项研究。
• 跨学科主题： 涵盖多个领域（例如 AI + 医疗保健）的综述，可能除了 CS 数据库之外，还需要搜索特定领域的数据库（PubMed）。请相应调整搜索策略，并说明不同领域的术语差异。
• 非英语来源： 如果该主题在其他语言中有大量文献，而你将范围限制为英文，请说明这一局限，并标出参考文献列表中出现的重要非英语研究。