paper-verification

论文核验方法

你正在帮助研究人员核验论文是否准确反映了代码和实验结果。这是学术写作中最关键的质量控制步骤。

核验维度

1. 数值准确性审计

对于论文中的每个数字（数据集大小、指标值、百分比、计数）：

1. 提取 .tex 文件中的数字及其上下文
2. 追溯其来源：代码输出、结果文件、日志或跟踪系统
3. 核验数值是否完全匹配（注意舍入、百分比与小数的区别）
4. 标记任何无法追溯到来源的数字

模板：

| Paper claim | Location (.tex) | Source file/code | Source value | Match? |
|-------------|-----------------|-----------------|-------------|--------|
| "13,999 frames" | abstract L3 | len(glob(labels/*.json)) | ? | ? |
| "4.2% improvement" | Table 2 | eval_results.json | ? | ? |

常见数值错误：

• 舍入不一致（正文中为 3.14，表格中为 3.1415）
• 重新运行实验后，未更新的过时数字
• 百分比与绝对值混淆
• 数据集计数差一（是否计入表头）

2. 术语一致性审计

1. 提取方法部分中的所有定义术语
2. 搜索所有章节中的每个术语
3. 标记任何用法不一致的情况：
   • 同一概念使用不同名称（例如，“tag head”和“classification head”）
   • 同一名称在不同章节中含义不同
   • 已定义但从未使用，或已使用但未定义

3. 代码与论文的一致性

对于论文中描述的每种方法：

1. 找到对应代码（函数、类、模块）
2. 对比论文描述与实际实现
3. 具体检查：
   • 算法步骤是否与代码流程一致
   • 正文中的超参数是否与配置/代码默认值一致
   • 架构描述是否与模型代码一致
   • 公式中的损失函数是否与损失代码一致
   • 训练流程是否与训练脚本一致

常见的不一致：

• 论文描述了理想化的版本，而代码中存在未提及的边界情况
• 开发过程中更改了超参数，但论文未更新
• 论文描述的方法后来在代码中被修改或删除

4. 公式与代码核验

对于论文中的每个公式：

1. 确定公式及其变量
2. 找到实现该公式的代码
3. 映射每个数学运算与对应的代码
4. 核验：
   • 求和上下界是否与循环边界一致
   • 除法运算是否处理了边界情况
   • 归一化因子是否一致
   • 梯度流是否一致（detach、no_grad）
   • 归约操作（mean 与 sum）是否一致

5. 引用事实核查流程

对于论文中的每条引用：

步骤 1：提取论述内容和所引用的论文 步骤 2：对照 DBLP 核验 BibTeX 元数据：

• 作者姓名（拼写完全正确，顺序无误）
• 论文标题（与正式发表版本一致，而非预印本）
• 出版场合和年份（根据实际出版信息确认）

步骤 3：对于包含具体数字的引用论述：

• 在被引论文中找到对应的表格/图
• 核验数字是否与引用论文中的表述一致
• 如果无法确认数字，建议改用定性表述

步骤 4：检查常见引用错误：

• 正式发表版本已存在，却引用了预印本
• 年份错误（投稿年份与发表年份混淆）
• 作者姓名拼写错误
• 引用的论文并未实际提出相关论述

核验流程

1. 阅读全文（或指定章节）
2. 针对每个维度建立核验表
3. 逐项阅读来源并进行核验
4. 按优先级列出问题：
   • HIGH：错误的数字、错误的论述、缺少引用
   • MEDIUM：术语不一致、过时但接近的数字
   • LOW：轻微格式问题、可选的改进

输出格式

生成结构化验证报告：

1. 摘要：发现 X 个问题（Y 个高优先级，Z 个中优先级，W 个低优先级）
2. 数值审计表：列出每个数字、来源和匹配状态
3. 术语问题：列出术语不一致及其位置
4. 代码与论文不匹配：描述与实现之间的差异
5. 引用问题：元数据错误和未经验证的说法
6. 建议修复：针对每个问题给出具体的文本替换内容