mcpField
C
citation-audit

citation-audit

github.com/mathews-tom文档处理33741 次安装3 天前更新
代码仓库

关于 citation-audit

citation-audit 是用于 LaTeX 论文的引文核查技能,适合需要检查参考文献与正文引文的研究者。它会检索并阅读被引作品,以核对元数据、论述准确性和遗漏引用。

主要功能

  1. 01提取引文及论述上下文
  2. 02核对文献元数据
  3. 03比对论文与正文主张
  4. 04扫描可能缺失的引用
  5. 05生成逐条审计报告

适用场景

  1. 01检查 arXiv 文献编号与作者信息
  2. 02确认论文是否支持稿件中的论述
  3. 03发现虚构或错误引用
  4. 04按需修正文献条目与链接

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/mathews-tom/armory --skill citation-audit

安装后在 Claude Code 中输入/citation-audit确认已加载。

附带文件evals/cases.yaml

详细介绍

引用审计技能

目的

根据实际来源核验稿件中的每一处引用。大模型会虚构引用、捏造 arXiv ID、错误归属研究发现,还会混淆作者。本技能通过获取并阅读每篇被引用的作品来发现所有这些问题。

为什么需要这项技能

大模型在引用方面有三种明显的不可靠表现:

  1. 幽灵论文 — 论文并不存在。标题、作者或发表场合都是捏造的。
  2. 元数据错误 — 论文确实存在,但参考文献条目中的 arXiv ID、作者、年份或发表场合有误。
  3. 论断颠倒 — 论文确实存在,参考文献信息也正确,但稿件曲解了论文的内容。

结构审计(交叉引用检查、编译测试)无法发现这三类问题。要发现这些问题,必须阅读实际引用的作品。

输入

  • 稿件 .tex 文件
  • .bib 文件
  • Web 访问权限(用于从 arXiv、会议网站和 URL 获取论文)

执行

阶段 1:提取引用上下文

对于稿件中的每个 \citep{}、\citet{}、\cite{}:

  1. 记录参考文献键
  2. 记录周围的句子或段落(即论断上下文)
  3. 对论断类型进行分类:
    • FACTUAL: “X 等人发现了 Y” / “X 等人测量了 Y”
    • METHODOLOGICAL: “我们遵循 X” / “我们使用 X 的基准”
    • POSITIONAL: “与 X 不同,我们……” / “X 并未测量……”
    • PARENTHETICAL: “(X,2024)”——没有具体论断,仅作引用
  4. 对于 FACTUAL 和 POSITIONAL 论断,提取稿件对被引用作品作出的具体断言
阶段 2:核验参考文献条目的元数据

根据实际来源核验每条参考文献:

对于 arXiv 论文(含 eprint 字段):

  1. 获取 https://arxiv.org/abs/{eprint_id}
  2. 比较标题、作者和年份
  3. 如果获取到的论文标题或作者与参考文献条目中的不同,则判定为错误 ID或幽灵论文

对于会议/期刊论文(含 booktitle 或 journal 字段):

  1. 在网上按标题和作者搜索论文
  2. 核验发表场合、年份和作者列表
  3. 如果无法在所述发表场合找到该论文,则标记为无法核验或幽灵论文

对于 Web 资源(howpublished 中含 URL):

  1. 获取 URL
  2. 核验链接是否有效,以及内容是否与所描述的资源相符
  3. 如果 URL 已失效,或跳转至无关内容,则标记为失效链接

检查每条参考文献:

  • 论文是否存在(可通过 arXiv、DOI、URL 或 Web 搜索找到)
  • 标题是否匹配(完全匹配或近似匹配)
  • 作者是否匹配(至少第一作者正确)
  • 年份是否匹配
  • 发表场合是否匹配(如适用)
  • 条目类型是否合适(会议论文用 @inproceedings、期刊论文用 @article、预印本/博客用 @misc)
阶段 3:核验论断准确性

对于每项 FACTUAL 或 POSITIONAL 论断:

  1. 阅读引用的论文(至少阅读摘要和相关章节)
  2. 对照稿件中的论断与论文实际内容
  3. 分类:
    • ACCURATE — 论断如实反映了被引用作品
    • INACCURATE — 论断曲解了被引用作品
    • INVERTED — 论断与论文的研究发现相反
    • OVERCLAIMED — 论断比论文所支持的结论更强
    • UNDERCLAIMED — 被引用作品支持比文中所述更强的结论
    • UNVERIFIABLE — 无法访问论文进行核验

对于 INACCURATE 和 INVERTED 的发现,请提供:

  • 稿件中的论断
  • 被引用论文的实际内容
  • 被引用论文中与该论断相矛盾的具体章节/页码
  • 建议的修正
阶段 4:检查缺失的引用

扫描稿件,查找:

  1. 未引用来源但应当引用的论断(缺少出处的实证性论断)
  2. 提及名称但没有引用的工具、基准或数据集
  3. 被描述为“标准”或“众所周知”但有规范引用的研究方法

输出格式

逐条引用报告
### [bib_key] — [VERDICT]

**Bib entry:** [title] by [authors] ([year])
**Actual paper:** [actual title] by [actual authors] ([actual year])
**Metadata match:** title [✓/✗] | authors [✓/✗] | year [✓/✗] | venue [✓/✗]

**Claim in manuscript (line N):** "[exact text]"
**What the paper actually says:** "[summary of actual finding]"
**Claim accuracy:** [ACCURATE / INACCURATE / INVERTED / OVERCLAIMED / UNDERCLAIMED]

**Fix required:** [description of what needs to change, or "None"]
汇总表
| Bib Key | Exists | Metadata | Claim | Verdict |
|---------|--------|----------|-------|---------|
| key1    | ✓      | ✓        | ✓     | PASS    |
| key2    | ✓      | ✗        | ✗     | FAIL    |
| key3    | ✗      | —        | —     | GHOST   |
判定类别
  • PASS — 论文存在,元数据正确,论述准确
  • METADATA — 论文存在,但参考文献条目有误(ID、作者或年份错误)
  • CLAIM — 论文存在,元数据正确,但稿件对其描述不准确
  • GHOST — 所述论文并不存在
  • DEAD — URL/链接已失效
  • UNVERIFIABLE — 无法访问论文进行核验

严重程度

  • CRITICAL:虚构论文、颠倒论述
  • HIGH:arXiv ID 错误、作者错误、论述不准确
  • MEDIUM:年份错误、发表场所错误、过度声称
  • LOW:缺少引用、参考文献条目不完整、论述不足

重要说明

  • 切勿相信自己对论文的了解。务必获取并核实。训练数据中包含虚构的引用。核实的唯一方法是阅读实际来源。
  • 对于 arXiv 论文,务必获取摘要页面,确认论文确实存在且内容相符。
  • 对于会议论文,请搜索 DBLP、ACM DL 或会议网站。
  • WebFetch 和 WebSearch 是你的主要工具。不要因为某条引用“看起来没问题”就跳过核验。
  • 博客文章和文档 URL 会发生变化。务必检查 URL 是否仍然有效,以及是否指向所述内容。
  • 当参考文献条目同时包含 eprint(arXiv ID)和 booktitle(发表场所)时,务必分别核实。

第 5 阶段:修复(调用参数包含“fix”或“on”时)

当用户使用包含“fix”或“on”的参数调用时,先执行上述第 1–4 阶段,然后修复所有非 PASS 引用。

可自动修复的内容(无需用户确认)

以下是只有一个正确答案的机械性更正:

METADATA 错误(论文存在,但参考文献条目有误):

  • arXiv ID 错误 → 将 eprint 替换为正确的 ID
  • 作者错误 → 替换为论文实际作者
  • 年份错误 → 替换为论文实际年份
  • 标题错误 → 替换为论文实际标题
  • 发表场所错误 → 替换为论文实际发表场所
  • 条目类型错误 → 根据情况将 @misc/@inproceedings 改为适当类型

失效链接:

  • URL 会重定向 → 将 howpublished URL 更新为最终目标地址
  • URL 返回 404,但在其他 URL 找到了资源 → 更新 URL
  • URL 返回 404 且资源已不可用 → 标记为 HUMAN-REQUIRED

作者信息的小幅更正:

  • 作者姓名拼写错误 → 更正拼写
  • 作者列表缺少作者 → 补充缺少的作者
  • 有个人姓名时却只列出集体作者名称 → 替换为个人姓名(若该团体以集体名称自我标识,则将集体名称保留为备注)
需要 HUMAN-REQUIRED 决策的内容

列出以下问题并等待用户决定:

GHOST 论文:

  • 论文根本不存在 → 提供以下选项: (a) 替换为一篇能表达相同观点的真实论文 (b) 移除引用并调整正文 (c) 用户知道该论文存在,并提供正确的参考文献

颠倒或不准确的论述:

  • 稿件声称某篇论文表达了 X,但论文实际表达的是 Y → 提供:
    • 稿件中的说法
    • 论文的实际内容
    • 一条能准确表述论文内容的正文改写建议
    • 论文是否仍支持稿件论点(以及如何支持)
    • 让用户决定最终措辞

未找到替代项的失效 URL:

  • 博客文章/资源已删除,且没有存档或替代资源
修复流程
  1. 对 .bib 文件应用所有自动修复
  2. 清楚列出每个需要 HUMAN-REQUIRED 处理的项目及其选项
  3. 用户作出决定后,将正文更改应用到 .tex 文件
  4. 核实:重新阅读 .bib 和 .tex,确认所有修复均已应用
  5. 更新审计报告:将每项发现标记为 [FIXED]、[RESOLVED] 或 [DEFERRED]
安全规则
  • 绝不杜撰替代引用。如果需要替换一篇虚构论文,请搜索能够支持该论点的真实论文。向用户提供候选论文及其摘要,让用户选择。
  • 绝不更改稿件的论点。如果需要修正一处颠倒的论述,请将改写作为建议提出,而不是直接修改。
  • 未经用户确认,绝不删除引用,即使它引用的是一篇虚构论文。用户可能知道一些你不知道的信息。
  • 修正 URL 时,务必验证新 URL 能够打开,并且包含预期内容,然后再填写。

将报告保存为

[name]-citation-audit.md,并保存在稿件目录中。

评论

支持 Markdown