关于 citation-audit
citation-audit 是用于 LaTeX 论文的引文核查技能,适合需要检查参考文献与正文引文的研究者。它会检索并阅读被引作品,以核对元数据、论述准确性和遗漏引用。
主要功能
- 01提取引文及论述上下文
- 02核对文献元数据
- 03比对论文与正文主张
- 04扫描可能缺失的引用
- 05生成逐条审计报告
适用场景
- 01检查 arXiv 文献编号与作者信息
- 02确认论文是否支持稿件中的论述
- 03发现虚构或错误引用
- 04按需修正文献条目与链接
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ mathews-tom/ armory --skill citation-audit安装后在 Claude Code 中输入/citation-audit确认已加载。
附带文件evals/cases.yaml
详细介绍
引用审计技能
目的
根据实际来源核验稿件中的每一处引用。大模型会虚构引用、捏造 arXiv ID、错误归属研究发现,还会混淆作者。本技能通过获取并阅读每篇被引用的作品来发现所有这些问题。
为什么需要这项技能
大模型在引用方面有三种明显的不可靠表现:
- 幽灵论文 — 论文并不存在。标题、作者或发表场合都是捏造的。
- 元数据错误 — 论文确实存在,但参考文献条目中的 arXiv ID、作者、年份或发表场合有误。
- 论断颠倒 — 论文确实存在,参考文献信息也正确,但稿件曲解了论文的内容。
结构审计(交叉引用检查、编译测试)无法发现这三类问题。要发现这些问题,必须阅读实际引用的作品。
输入
- 稿件
.tex文件 .bib文件- Web 访问权限(用于从 arXiv、会议网站和 URL 获取论文)
执行
阶段 1:提取引用上下文
对于稿件中的每个 \citep{}、\citet{}、\cite{}:
- 记录参考文献键
- 记录周围的句子或段落(即论断上下文)
- 对论断类型进行分类:
- FACTUAL: “X 等人发现了 Y” / “X 等人测量了 Y”
- METHODOLOGICAL: “我们遵循 X” / “我们使用 X 的基准”
- POSITIONAL: “与 X 不同,我们……” / “X 并未测量……”
- PARENTHETICAL: “(X,2024)”——没有具体论断,仅作引用
- 对于 FACTUAL 和 POSITIONAL 论断,提取稿件对被引用作品作出的具体断言
阶段 2:核验参考文献条目的元数据
根据实际来源核验每条参考文献:
对于 arXiv 论文(含 eprint 字段):
- 获取
https://arxiv.org/abs/{eprint_id} - 比较标题、作者和年份
- 如果获取到的论文标题或作者与参考文献条目中的不同,则判定为错误 ID或幽灵论文
对于会议/期刊论文(含 booktitle 或 journal 字段):
- 在网上按标题和作者搜索论文
- 核验发表场合、年份和作者列表
- 如果无法在所述发表场合找到该论文,则标记为无法核验或幽灵论文
对于 Web 资源(howpublished 中含 URL):
- 获取 URL
- 核验链接是否有效,以及内容是否与所描述的资源相符
- 如果 URL 已失效,或跳转至无关内容,则标记为失效链接
检查每条参考文献:
- 论文是否存在(可通过 arXiv、DOI、URL 或 Web 搜索找到)
- 标题是否匹配(完全匹配或近似匹配)
- 作者是否匹配(至少第一作者正确)
- 年份是否匹配
- 发表场合是否匹配(如适用)
- 条目类型是否合适(会议论文用
@inproceedings、期刊论文用@article、预印本/博客用@misc)
阶段 3:核验论断准确性
对于每项 FACTUAL 或 POSITIONAL 论断:
- 阅读引用的论文(至少阅读摘要和相关章节)
- 对照稿件中的论断与论文实际内容
- 分类:
- ACCURATE — 论断如实反映了被引用作品
- INACCURATE — 论断曲解了被引用作品
- INVERTED — 论断与论文的研究发现相反
- OVERCLAIMED — 论断比论文所支持的结论更强
- UNDERCLAIMED — 被引用作品支持比文中所述更强的结论
- UNVERIFIABLE — 无法访问论文进行核验
对于 INACCURATE 和 INVERTED 的发现,请提供:
- 稿件中的论断
- 被引用论文的实际内容
- 被引用论文中与该论断相矛盾的具体章节/页码
- 建议的修正
阶段 4:检查缺失的引用
扫描稿件,查找:
- 未引用来源但应当引用的论断(缺少出处的实证性论断)
- 提及名称但没有引用的工具、基准或数据集
- 被描述为“标准”或“众所周知”但有规范引用的研究方法
输出格式
逐条引用报告
### [bib_key] — [VERDICT]
**Bib entry:** [title] by [authors] ([year])
**Actual paper:** [actual title] by [actual authors] ([actual year])
**Metadata match:** title [✓/✗] | authors [✓/✗] | year [✓/✗] | venue [✓/✗]
**Claim in manuscript (line N):** "[exact text]"
**What the paper actually says:** "[summary of actual finding]"
**Claim accuracy:** [ACCURATE / INACCURATE / INVERTED / OVERCLAIMED / UNDERCLAIMED]
**Fix required:** [description of what needs to change, or "None"]
汇总表
| Bib Key | Exists | Metadata | Claim | Verdict |
|---------|--------|----------|-------|---------|
| key1 | ✓ | ✓ | ✓ | PASS |
| key2 | ✓ | ✗ | ✗ | FAIL |
| key3 | ✗ | — | — | GHOST |
判定类别
- PASS — 论文存在,元数据正确,论述准确
- METADATA — 论文存在,但参考文献条目有误(ID、作者或年份错误)
- CLAIM — 论文存在,元数据正确,但稿件对其描述不准确
- GHOST — 所述论文并不存在
- DEAD — URL/链接已失效
- UNVERIFIABLE — 无法访问论文进行核验
严重程度
- CRITICAL:虚构论文、颠倒论述
- HIGH:arXiv ID 错误、作者错误、论述不准确
- MEDIUM:年份错误、发表场所错误、过度声称
- LOW:缺少引用、参考文献条目不完整、论述不足
重要说明
- 切勿相信自己对论文的了解。务必获取并核实。训练数据中包含虚构的引用。核实的唯一方法是阅读实际来源。
- 对于 arXiv 论文,务必获取摘要页面,确认论文确实存在且内容相符。
- 对于会议论文,请搜索 DBLP、ACM DL 或会议网站。
- WebFetch 和 WebSearch 是你的主要工具。不要因为某条引用“看起来没问题”就跳过核验。
- 博客文章和文档 URL 会发生变化。务必检查 URL 是否仍然有效,以及是否指向所述内容。
- 当参考文献条目同时包含
eprint(arXiv ID)和booktitle(发表场所)时,务必分别核实。
第 5 阶段:修复(调用参数包含“fix”或“on”时)
当用户使用包含“fix”或“on”的参数调用时,先执行上述第 1–4 阶段,然后修复所有非 PASS 引用。
可自动修复的内容(无需用户确认)
以下是只有一个正确答案的机械性更正:
METADATA 错误(论文存在,但参考文献条目有误):
- arXiv ID 错误 → 将
eprint替换为正确的 ID - 作者错误 → 替换为论文实际作者
- 年份错误 → 替换为论文实际年份
- 标题错误 → 替换为论文实际标题
- 发表场所错误 → 替换为论文实际发表场所
- 条目类型错误 → 根据情况将
@misc/@inproceedings改为适当类型
失效链接:
- URL 会重定向 → 将
howpublishedURL 更新为最终目标地址 - URL 返回 404,但在其他 URL 找到了资源 → 更新 URL
- URL 返回 404 且资源已不可用 → 标记为 HUMAN-REQUIRED
作者信息的小幅更正:
- 作者姓名拼写错误 → 更正拼写
- 作者列表缺少作者 → 补充缺少的作者
- 有个人姓名时却只列出集体作者名称 → 替换为个人姓名(若该团体以集体名称自我标识,则将集体名称保留为备注)
需要 HUMAN-REQUIRED 决策的内容
列出以下问题并等待用户决定:
GHOST 论文:
- 论文根本不存在 → 提供以下选项: (a) 替换为一篇能表达相同观点的真实论文 (b) 移除引用并调整正文 (c) 用户知道该论文存在,并提供正确的参考文献
颠倒或不准确的论述:
- 稿件声称某篇论文表达了 X,但论文实际表达的是 Y → 提供:
- 稿件中的说法
- 论文的实际内容
- 一条能准确表述论文内容的正文改写建议
- 论文是否仍支持稿件论点(以及如何支持)
- 让用户决定最终措辞
未找到替代项的失效 URL:
- 博客文章/资源已删除,且没有存档或替代资源
修复流程
- 对
.bib文件应用所有自动修复 - 清楚列出每个需要 HUMAN-REQUIRED 处理的项目及其选项
- 用户作出决定后,将正文更改应用到
.tex文件 - 核实:重新阅读
.bib和.tex,确认所有修复均已应用 - 更新审计报告:将每项发现标记为
[FIXED]、[RESOLVED]或[DEFERRED]
安全规则
- 绝不杜撰替代引用。如果需要替换一篇虚构论文,请搜索能够支持该论点的真实论文。向用户提供候选论文及其摘要,让用户选择。
- 绝不更改稿件的论点。如果需要修正一处颠倒的论述,请将改写作为建议提出,而不是直接修改。
- 未经用户确认,绝不删除引用,即使它引用的是一篇虚构论文。用户可能知道一些你不知道的信息。
- 修正 URL 时,务必验证新 URL 能够打开,并且包含预期内容,然后再填写。
将报告保存为
[name]-citation-audit.md,并保存在稿件目录中。
评论
支持 Markdown