claim-source-verification

引文来源核验

概述

引文可以完全真实、格式完全正确，但依然有误，因为它所指向的论文并没有表达句子声称的内容。这正是本技能要抓出的主要问题，也是最常见的问题。

校准数据来自一篇真实的综述稿件。七位研究 Agent 提出了 139 个来源，用于解答 44 个尚待解决的事实问题。随后，一位独立的质疑者重新核查了每一个来源，并驳回了 55 个。

驳回类别	数量
does_not_support_claim	29
metadata_wrong	12
wrong_site_or_population	6
not_primary_but_required_to_be	5
paywalled_unverifiable	3

没有一个是捏造的。 每个被驳回的来源都是真实存在、可以查到且拥有真实 DOI 的论文。存在性检查会让全部 139 个来源通过。元数据检查会发现 12 个问题。占驳回总数一半以上的最大类别，则两种检查都无法发现：一篇真实论文被用来支撑它并未得出的结论。

因此，操作规则是：来源存在并不代表它支持该论断，参考文献目录审查无误也完全不能证明任何事情。

何时使用

在以下情况使用本技能：

• Agent、协作者或文献检索工具提出了参考文献，但尚未有人以对抗性方式核查
• 稿件提出了可追溯到引文来源的定量论断（限制、阈值、错误率、标准条款、基准数值）
• 正在批量处理尚未解决的事实或来源标记
• 正在为综述或调查报告寻找来源，其中大多数论断涉及他人的测量结果，而非作者自己的结果

以下情况不要使用本技能：

• 重复的 BibTeX 键、DOI 语法、缺失字段、占位条目。这些由 citation-verifier 处理，它应在本技能之前运行，而不是取代本技能。
• 从头发现文献。这由 academic-researcher 处理，使用 --set all 安装。本技能负责核查这类检索的产出。
• 判断某个论断是否有趣。这由 manuscript-optimizer 处理。

三者的分工是：citation-verifier 负责规范性检查，本技能负责核验论断是否得到来源支持，reference-audit-guide（可选集合，--set all）则负责机器核验引文指向的作品是否存在，再进一步判断它是否支持相应句子。

双角色协议

核验必须采用对抗方式，并且必须分开进行。提出来源的研究者随后再核查自己的来源时，往往会确认该来源，因为他们已经相信它。应设置两个角色：

提议者。 针对一项论断寻找支持来源。每个来源都应返回：标识符、元数据，以及来源中承载该论断的句子，逐字引用。

质疑者。 根据论断和所提议的来源，尝试驳斥两者之间的对应关系。应在一个全新的上下文中执行，不让质疑者看到提议者的推理。

以下三条规则可确保质疑者发挥作用：

1. 默认结论是驳回。 不确定时应否定来源，而不是支持来源。若质疑者必须先被说服才会驳回，就会确认几乎所有来源。
2. 没有逐字引用的支持句，就不予确认。 如果质疑者无法引用承载该论断的原文，无论来源看起来多么可信，都应驳回两者的对应关系。这条规则单独就促成了大多数 29 个 does_not_support_claim 类别的驳回。
3. 核验投入应多于研究。 质疑者会阅读来源原文，而提议者通常只读摘要。应为核验阶段分配更高而非更低的推理预算。

如果一项论断可能以不止一种方式出错，应让不同质疑者从不同角度审查，而不是让三位质疑者重复执行相同检查：来源是否确实表达了这一点，研究对象是否正确，来源是否为一手记录。多样性可以发现冗余无法发现的失效模式。

references/adversarial-protocol.md 提供提示词模板和结构化输出模式。

四种结果，绝非两种

仅用“已确认”或“已驳回”还不够，因为这会把两种不同情况塞进同一类，抹去最重要的区别。

• CONFIRMED（已确认）。 来源支持该主张，元数据正确，且已引用支持该主张的原文句子。该主张可以连同此引文写入手稿。
• PARTIAL（部分确认）。 研究结果成立，但至少要先替换一个拟议来源。请勿应用。请勿移除标记。 将 PARTIAL 写成已完成，会导致缺乏依据的句子进入草稿，而审计记录却显示该句已通过验证。
• REJECTED（已驳回）。 拟议来源均无法支持该主张。要么将主张缩小到现存来源能够支持的范围，要么删除该句。
• BLOCKED（受阻）。 答案确实存在，但被付费墙挡住、包含在专有供应商数据中，或需要由作者作出决定。这是一种真实状态，必须如实报告，而不能让它看起来像尚未完成的工作。

在上面的运行中，共研究了 44 个标记。8 个被直接处理完毕，2 个被缩小到现存来源能够支持的范围，还有 25 个结果为 PARTIAL。这一类的数量远超其他类别。请做好准备：验证之后的大部分工作是替换个别来源，而不是重写主张。

已知陷阱

以下各项都是上述运行中真实出现的驳回案例。它们会在不同项目中反复出现，因此请按名称逐一检查。

把推导值冒充测量值。 一项提议将 31 dB(A) 的等效输入噪声报告为数据表中的数值。数据表只给出了 63 dB(A) 的信噪比；31 是用 94 减去 63 算出来的，是提议者进行算术运算后却当作读数呈现的结果。请逐一核查每个数字：它是直接印在来源中，还是从来源计算得出？如果是计算得出的数字，就必须展示计算过程。

一个条目承载多篇作品。 一个 BibTeX 条目被用来承载三篇不同的作品：一部 1984 年的专著与一篇 1990 年期刊更新文献的卷号和页码混在了一起。每篇作品都真实存在，但这条参考文献是错误的。请检查条目的每个字段是否都来自同一份文献。

比原错误更糟的更正。 一项拟议的作者列表“修正”悄悄删掉了一篇二十多位作者论文中的第三位和第五位作者。原本不完整的条目反而比替换后的条目错得少。请像怀疑原始条目一样核验更正；更正往往披着“已经核验过”的权威外衣。

没有一手来源支撑的教科书说法。 一对频率范围被引用了几十年，并出现在所有二手来源中，却没有任何一手研究报告过这些边界值。当所有引文都追溯到另一条引文时，这项主张就只是传闻。要么找到测量数据，要么将该范围作为惯例报告，并明确说明这一点。

引用了没人看过的替代来源。 一份拟议的替代文本引用了某篇论文中的特定图表，但该论文全文有付费墙，且从未被获取。提议本身无法核验。无法打开的来源不能算作已确认的来源；应将其归类为 BLOCKED，而不是 CONFIRMED。

把一个团队的选择说成整个领域的做法。 某个预处理决定由单个团队作出，却被写成了标准做法。请检查表述范围的词：来源说的是“我们”，还是“通常”？

地点不对，群体不对。 6 项驳回涉及在错误身体部位、错误队列或不同采集条件下测量正确指标的来源。元数据正确，主张通常也正确，但两者的对应关系错误。请务必核查测量对象是谁，以及测量了什么。

references/rejection-taxonomy.md 说明了各类别之间的判定界限。

当核验推翻了稿件

这是足以证明整个工作的价值的情况，因此需要单独制定一套流程：因为这不是来源检索的结果，而是科学结论。

在上面的那轮核验中，一位标注者询问某项标准是否为信号通道规定了物理量纲。草稿是在任何人读过该标准之前写的，其中称该通道是固定刻度上的未校准整数计数，参考量由制造商决定。标准第 7.7 条给出的结论恰恰相反：单位是牛顿，记录的整数需除以记录中携带的缩放值，才能还原。研究人员和质疑者都从出版商预览版中逐字摘录了这句话。

发生这种情况时，按以下流程处理：

1. 不要悄悄应用这一发现。 没有记录的结论变更，与立场漂移无法区分。
2. 也不要悄悄丢弃这一发现。 出于谨慎而把不合意的发现排除在外，只是用更体面的方式犯了同样的错误。
3. 记录下全部四项内容：草稿原本怎么说、来源怎么说、逐字引用的条款，以及周边论证是否仍然成立。
4. 说明论证是变得更有力还是更无力。 在这个案例中，论点变得更精准了：交换格式中确实规定了单位，但采集设备和语料库都不会提供该单位，因此这一节可以比之前更准确地阐明观点。在记录中指定单位，并不等于对换能过程进行归一化。
5. 单独列出标题，提请作者注意。 结论层面的修改由作者决定。
6. 唯一不必等待的例外：如果不立即应用，就意味着明知故犯地保留与所引用来源相矛盾的句子，则应立即应用。之后仍须标记出来。明确说明该修改是已应用而非列入待办队列，并解释原因。

同时，删除没有来源支撑的内容。同一位标注者还提供了一个量表数值，但它无法归因于任何来源。这个数值被删除了，没有用其他内容替代。

报告

将结果写成可长期留存的日志，而不是聊天消息。下一轮核验需要能够查阅它。

Resolution log，每项经过核查的主张占一行：标注者或位置、处理结果，以及一句说明已确认内容的话。注明提供该内容的来源。

PARTIAL 部分，列出仍然阻碍每项工作的因素。具体说明需要替换哪个来源，以及原因。

将驳回项作为警告留存，供后续参考。 这一部分大家最容易跳过，但它最有价值。记录被驳回的来源及原因，避免下一轮研究再次提出这些来源。上面有四项驳回内容被写入稿件的分流文件，正是为了防止它们再次出现。

数量统计。 提议数、驳回数，以及按类别统计的驳回数。这些数字是对核验轮次实际完成多少工作的唯一如实总结。

常设规则

1. 绝不要凭记忆填写引用信息。 无论是索引键、年份还是卷号都不行。凭记忆填写的标识符就是伪造的。
2. 如果某个数值找不到来源支撑，就给句子加上标记，或者删除句子。 不存在第三种选择，不能让句子不带标记地保留下来。
3. 负面主张必须说明范围。 “不存在此类评估”应改为“所列的 均未报告此类评估”：范围应写在句子中，而“经核查”这类审计措辞不应写在其中。
4. 未经核实的版本年份应当省略，而不是猜测。 未标年份的标准属于正常且正确的条目。为了让审计通过而猜一个年份，就是给伪造内容打上绿色勾号。
5. 报告驳回数量，而不只是确认数量。 如果一轮核验确认了一切，那它什么也没核实。