literature-triangulation

文献三角验证

绘制一份审慎、以来源为依据的主题图谱。输出应像一位严谨的研究者花了一天阅读论文后写出的内容，而不是维基百科摘要。

这项技能要解决的核心问题

文献综合中有两种主要的失败模式，而且两者都比直接说“我不确定”更糟：

1. 虚构共识。 Claude 会用听起来合理的训练数据先验填补覆盖空白，给出自信的综合结论，而任何真正看过论文的人都不会认同。这是最危险的失败模式，因为它听起来很权威。
2. 浅尝辄止。 只读摘要和标题，不追溯引用链；漏掉真正提出某方法、却被其他人引用的论文；把博客文章的说法当成权威论断；或只看最先出现的三条搜索结果。

这两种问题的解药是三角验证：只有当相互独立的来源（最好作者、机构和动机各不相同）彼此认同，并且结论在原作者无法控制的基准测试上仍然成立时，才能对该结论有信心。

工作流程

1. 搜索前先明确范围

像“图神经网络”这样的主题，相关文献太多，无法有效绘制图谱。开始搜索前，先明确以下几点：

• 重点关注什么具体主张、方法或子问题？
• 需要考察哪个时间范围？（所有时间／近 3 年／近 12 个月）
• 用户要用这些内容做什么？（撰写相关工作／选择基线／理解论文／基于某方法开展工作）

用途会影响所有环节：撰写相关工作需要广度；选择基线需要深入比较各方法的表现；基于某方法开展工作，则需要核实该方法的实际假设和失效模式。

2. 搜索一手来源，而非评论

一手来源大致按优先级排序如下：

• 原始研究论文（arXiv、会议论文集）
• 官方代码仓库和 README 文件
• 基准测试排行榜和数据集论文
• 技术报告和扩展摘要
• 调查与综述论文（适合用作地图，而非证据）

降低以下内容的优先级：博客文章、Twitter 讨论串、YouTube 演讲、评论汇总平台。这些内容有助于了解情况，但绝不能替代原始主张。如果博客说“论文 X 证明了 Y”，就去看论文 X。

搜索策略。 进行多次查询，而不是只查一次——不同的搜索词会呈现文献的不同部分。针对某个方法：搜索方法名称、它要解决的问题、用于评估它的基准测试，以及被引用最多的作者姓名。针对某项主张：直接搜索该主张，并搜索可能的反证（“X 在什么情况下失效”“X 的局限性”“X 的复现”）。记下哪些查询没有返回有用结果——这种缺失本身也是一种信息。

当用户是刚进入一个新领域，而非核查某项具体主张时，请使用 references/research-immersion-strategy.md。该文件涵盖探索式与系统性综述的区别、如何跳出学科圈子、综述／推荐系统／大模型的陷阱，以及快速发展领域中广度与深度的把握。

追溯引用链。 引用链中最重要的论文往往不是最新的。如果五篇论文都将某个关键结果归于论文 A，就去看论文 A，直接核实该结果。引用传话——论文 E 对论文 A 的描述与论文 A 的实际表述略有不同——极其常见。

3. 有目的地阅读，而非通读全文

对于每篇重要论文，根据你的目标按以下顺序优先阅读各章节：

• 了解一种方法：摘要 → 引言（理解论文的主张）→ 第 3/4 节（具体方法）→ 实验（基线、数据集和指标）→ 局限性/结论
• 了解一项结果：摘要 → 特定表格/图 → 实验设置 → 脚注和附录（其中往往藏有注意事项）
• 打下基础：引言 → 相关工作 → 证明/推导（理论论文）→ 结论

对于你打算在自己的工作中据以立论的任何主张，都不要只依赖摘要。摘要是宣传材料；方法章节和实验表格才是证据。

4. 三角验证——将分歧视为信号

三角验证意味着主动寻找独立来源之间不一致之处，而不只是看它们在哪些方面一致。对于每项重要主张：

• 该主张在原作者未构建的基准上是否仍然成立？查看竞争团队发表的论文。
• 该结果是否经过复现？文献中是否存在负面结果或复现失败？
• 批评者反对这种方法时引用了什么？追踪这些引用。
• 如果两篇论文声称彼此胜出，是什么造成了差异？（训练/测试集划分不同？超参数预算不同？任务定义不同？其中一篇论文没有对基线进行适当调优？）

真正的共识意味着彼此独立、对答案没有共同利益的研究者得出了相同结论。一种方法被广泛采用，并不等于它经过了广泛验证。

5. 区分阅读所得与推断所得

输出中的每项事实性主张都应能追溯到具体来源。明确保持以下区分：

• 来源中观察到的内容：“论文 X 报告了在基准 Y 上取得 84.2 的 F1（表 3）。”
• 从来源推断的内容：“这表明该提升很大程度上取决于数据集，因为该方法在 Z 上表现较差。”
• 尚无定论的问题：“我们找到的论文中，没有一篇在条件匹配的情况下直接比较 X 和 Y。”

当该领域实际存在分歧或尚未回答问题时，绝不要把第三类内容简化成笼统的“该领域认为”。

6. 区分共识与炒作

快速发展的领域（大模型、强化学习、扩散模型）会产生许多经不起独立复现检验的结果主张。以下迹象表明某项结果更可能可靠：

• 由没有共同署名、也没有共同产业背景的团队复现
• 在原作者未创建的基准上仍然成立
• 性能差距足够大，即使在现实的超参数变化范围内也依然存在
• 方法足够简单，解释本身就是其机制（而不是“因为 Transformer 所以有效”）
• 已经出现 12 个月以上，期间没有成功的挑战结果

以下迹象表明某项结果可能只是炒作：

• 只在同一篇论文中提出的基准上测试
• 基线没有经过有竞争力的调优（这种情况很常见；检查基线结果是否与其原始论文报告的数字相符）
• 结果出现在排行榜上，但没有经过同行评审的比较
• 所有正面引用都来自原作者所在的实验室
• 主张涉及涌现/规模效应，却没有机制解释

对于数学和理论结果，炒作与共识的区分方式有所不同：定理经过证明就是经过证明（检查证明，而不是发表 venue）。更应关注的是，人们将该定理用于实际应用时，其条件是否得到满足。

7. 明确标注时效性风险

不同子领域的研究发展速度差异很大。大致而言：

• 快（结果可能在数周至数月内被取代）：大模型预训练、RLHF/对齐技术、多模态模型、扩散模型、检索增强生成
• 中等（数月至 1–2 年）：GNN、效率方法（量化、蒸馏）、特定基准竞赛
• 慢（数年至数十年）：大多数数学理论、基础算法结果、ImageNet 等成熟的实证基准

涉及快速发展的领域时，请在输出中明确说明，并注明搜索日期。如果快速发展的子领域中的关键结果已超过 12 个月，请指出它可能已被取代，并说明应搜索什么内容来核实。

输出形式

根据用户需求调整，但以下部分适用于大多数情况：

• 范围与定位 — 说明这份研究图谱回答的具体问题，以及有意排除的内容
• 研究概况 — 主要方法、它们之间的关系，以及提出这些方法的论文（附引用）
• 最有力的证据 — 支持最充分的主张，注明其来源和复现情况
• 实质性分歧 — 说明该领域实际存在的冲突，而不是给出虚假的综合结论
• 已知弱点与盲区 — 失败模式、研究不足的场景、缺失的消融实验、已知存在刷榜问题的基准
• 开放问题 — 文献尚未解决的问题，表述应具体到可供研究
• 推荐的后续阅读 — 3–7 篇论文，每篇附上一句话说明推荐理由；优先选择奠基性论文（许多后续研究依赖这些论文）或包含最可靠实证证据的论文
• 来源 — 每项不显而易见的主张都应注明：论文标题、作者、年份、发表场所（或 arXiv ID）和 URL。代码请直接链接至代码仓库。

对于相关工作部分：将研究概况与最有力的证据压缩为 2–4 个段落，按主题类别组织，并说明用户自己的工作与每个类别的关系。不要罗列所有论文；引用最具代表性的论文即可。

对于选择基线：深入讨论最有力的证据和已知弱点。重点是理解最诚实、合理的比较方式，包括为什么某些“标准”基线并不可靠。

对于数学文献：研究概况应梳理定理与猜想的脉络，而不只是罗列论文标题。指出哪些结果是有条件的（假设 X，则 Y）、哪些结果是紧确的（上下界相匹配），以及当前知识的边界究竟在哪里。

来源相互矛盾时的处理方式

两篇论文在“同一个”基准上报告不同数字是常态，而非例外。综合之前：

1. 检查它们使用的划分、预处理和评估协议是否相同。
2. 检查其中一篇论文的基线是否经过恰当调优——与基线自身论文报告的数字进行比较。
3. 检查一篇论文的结果是否取代了另一篇（作者相同，但使用了更多数据或更好的实现）。
4. 如果以上方法都无法解释差异，请明确报告冲突：“论文 A 报告 X；论文 B 则在其所称条件匹配的情况下报告 Y。两篇论文均未解释这一差异。”

虚假的综合结论（“结果不一”）比直接报告冲突更糟，因为它掩盖了用户可能需要解决的具体问题。

对输出保持认知诚实

输出应准确反映你的置信程度：

• 有多个独立来源支持的论断：直接陈述
• 尚未得到复现的单篇论文中的论断：标明这一点
• 根据推断而非阅读得出的论断：说明“这表明”或“有一种解读是”
• 无法找到原始来源的领域：明确说明——“我们未能在文献中找到对 X 和 Y 的直接比较”就是有用的信息
• 搜索覆盖可能不完整的领域（例如非英语文献、研讨会论文、技术报告）：注明这一局限

除非能够指出至少 3 个独立来源支持，否则绝不要使用“该领域认为”或“普遍接受的观点是”。