paper-autoraters

论文自动评审器（附录 F.3）

忠实实现 PaperOrchestra（Song 等人，2026，arXiv:2604.05018，第 5 节和附录 F.3）中使用的四种 LLM-as-judge 自动评审器。

论文使用这些指标来证明 PaperOrchestra 优于单 Agent 和 AI-Scientist-v2 基线。可使用它们来：

1. 根据真实论文为生成的论文评分。
2. 并列比较两种论文写作流水线。
3. 验证你自己的宿主 Agent 是否正确执行了 paper-orchestra 流水线。

四种自动评审器

自动评审器	功能	输入	输出
Citation F1 — P0/P1 划分	根据论文文本，将参考文献列表划分为 P0（必须引用）和 P1（值得引用）	一篇论文的文本 + 其参考文献列表	JSON {ref_num: "P0"|"P1"}
文献综述质量	对引言 + 相关工作进行 6 个维度的 0-100 分评分，并设置防虚高硬性上限	一篇论文 PDF/文本 + 参考文献平均引用数	包含 axis_scores、penalties、summary、overall_score 的 JSON
SxS 论文整体质量	整体并列偏好判断	两篇论文（PDF 或文本）	JSON，winner ∈ {paper_1, paper_2, tie}
SxS 文献综述质量	仅针对引言 + 相关工作的并列偏好判断	两篇论文	JSON，winner ∈ {paper_1, paper_2, tie}

论文使用 Gemini-3.1-Pro 和 GPT-5 作为评审模型，温度设为 0.0（Gemini）或默认的 1.0（GPT-5 不支持调整温度）。请使用你的宿主大模型。

工作流

Citation F1（计算相对于真实数据的 Precision / Recall / F1）

该流程分两步：

步骤 1：将参考文献列表划分为 P0 / P1

对真实论文和生成的论文，分别使用 references/citation-f1-prompt.md 运行 LLM：

inputs:
  paper_text:    full paper LaTeX or markdown
  references_str: numbered reference list (e.g., "1. Vaswani et al. (2017)
                  Attention Is All You Need. NeurIPS. 2. He et al. (2016)
                  Deep Residual Learning for Image Recognition. CVPR. ...")

output: JSON {"1": "P0", "2": "P1", "3": "P0", ...}

保存两份划分结果：

• bench/<paper_id>/gt_partition.json
• bench/<paper_id>/gen_partition.json

步骤 2：将参考文献解析为实体 ID 并计算 F1

论文使用 Semantic Scholar 论文 ID 来匹配两个列表中的参考文献。给定两个输入列表，compute_f1.py 脚本会确定性地完成此操作：

python skills/paper-autoraters/scripts/compute_f1.py \
    --gt-partition gt_partition.json \
    --gt-refs gt_refs.json \
    --gen-partition gen_partition.json \
    --gen-refs gen_refs.json \
    --out f1_report.json

其中，gt_refs.json 和 gen_refs.json 是由宿主的 S2 解析流程生成的 {ref_num, paper_id, title} 列表（使用与 literature-review-agent/scripts/ 相同的模糊匹配 + S2 验证）。

输出 JSON 包含 P0 / P1 / 总体 Precision、Recall、F1。

文献综述质量（单篇论文，6 个维度）

加载 references/litreview-quality-prompt.md。输入：

• 完整论文 PDF（如果宿主不支持 PDF 输入，也可使用 LaTeX/markdown）
• 该会议/领域的 avg_citation_count（用作引用数量锚定基准，例如论文中 CVPR 2025 为 58.52，ICLR 2025 为 59.18）

提示词要求模型仅评估论文的文献综述功能（引言 + 相关工作 / 背景部分）。 输出为严格的 JSON，包含各维度评分和理由。

提示词中内置了关键的防虚高规则：

规则	上限
默认预期	总分 45-70
> 85 需要所有维度都有强有力的证据	—
> 90 极为罕见（接近综述级别的掌握程度）	—
任一维度 < 50 → 总分通常不超过 75	—
综述大多为描述性内容	Critical Analysis ≤ 60
声称新颖性却未进行比较	Positioning ≤ 60
引用稀疏或不一致	Citation Rigor ≤ 60
引用数量 < 平均值的 50%	Coverage ≤ 55
引用数量 > 平均值的 120%	Coverage = "strong"

此外还有惩罚表：

惩罚项	范围
过度宣称新颖性	-5 到 -15
缺少关键的近期研究	-5 到 -15
综述大多为描述性内容	-5 到 -10
研究空白表述薄弱	-5 到 -10
堆砌引用	-5 到 -10

将输出保存到 litreview_quality_score.json。评分 JSON 的结构与 content-refinement-agent/scripts/score_delta.py 使用的结构相同，因此可以复用其中的停止规则逻辑来比较不同迭代。

SxS 整体论文质量（并排比较，全文）

加载 references/sxs-paper-quality-prompt.md。输入：

• 两篇论文的 PDF 或 LaTeX 文件（分别称为 paper_1 和 paper_2）

提示词会生成包含 paper_1_holistic_analysis、 paper_2_holistic_analysis、comparison_justification 和 winner ∈ {paper_1, paper_2, tie} 的 JSON。

为减轻 LLM 的位置偏差（论文在 §5.4 中提到了这一点），交换顺序后运行比较两次：

call_1: paper_A → paper_1, paper_B → paper_2  → winner1
call_2: paper_B → paper_1, paper_A → paper_2  → winner2

最终结果：win（两次调用都认为论文 A 胜出）、tie（一次判胜、一次平局，或两次都是平局），或 loss（两次调用都认为论文 B 胜出）。论文采用了这一完全相同的排序流程。

SxS 文献综述质量（并排比较，仅限引言和相关工作）

加载 references/sxs-litreview-prompt.md。输入和输出格式与 SxS 论文质量自动评估器相同，但模型会被要求仅评估每篇论文的引言和相关工作／背景章节。为减轻位置偏差，同样交换顺序后运行两次。

资源

• references/citation-f1-prompt.md — App. F.3 中逐字照录的 P0/P1 划分提示词
• references/litreview-quality-prompt.md — App. F.3 中逐字照录的六轴文献综述评分标准
• references/sxs-paper-quality-prompt.md — App. F.3 中逐字照录的 SxS 论文质量提示词
• references/sxs-litreview-prompt.md — App. F.3 中逐字照录的 SxS 文献综述提示词
• scripts/compute_f1.py — 根据两个划分 JSON 计算 Precision / Recall / F1