benchmark-paper

论文基准评估

生成一份会议匹配度评分卡：衡量论文草稿与目标会议近期获奖论文及高引用论文中的可测量模式有多接近。这是一种符合度指标，帮助作者在投稿前发现差距——并非录用预测、最佳论文预测，也不是对科学价值的评判。

可与 simulate-reviewers（对内容质量进行红队评估）和 study-exemplars（调用它来构建比较语料库）自然搭配。请先运行 preflight-check——存在导致编辑部拒稿的缺陷时，任何评分都毫无意义。

适用场景

• 作者希望在投稿前获得一个可分享的就绪度指标。
• 作者想了解自己的草稿与该会议近期最优秀的论文相比如何。
• 作者想知道相对于范例论文，哪些维度最薄弱，并按可修复程度排序。

不适用场景（请明确告知用户）

• 它无法判断科学研究是否新颖、正确或重要——而这些才是真正赢得奖项的因素。请使用 simulate-reviewers 进行内容评审。
• 它无法预测录用或最佳论文奖。任何声称某个工具可以做到这一点的人，都是在贩卖虚假的精确性。
• 有缺陷的论文即使得分很高，也毫无意义。形式上的符合 ≠ 内容上的质量。

输入

• 论文草稿：.tex 文件（或编译后的 PDF / Markdown），如有 .bib 文件也一并提供。
• 目标会议 ID（例如 sigspatial-2026）→ venues/ 中对应的会议档案。
• 可选：语料库大小 N（默认 8 篇范例论文）和时间范围（默认最近 5 年）。

流程

1. 解析会议配置文件：从 venues/conferences/<venue>.yml 及其 venues/families/<family>.yml 中的 family: 配置文件解析。如果缺失，请询问用户，或让 add-venue-profile 创建。评分前重新确认会议是否正确。应用时效性门槛：配置文件按年份版本化（verified.valid_window、verified.last_verified_against_cfp）。如果配置文件的 valid_window 不包含目标周期，在先重新核查最新征稿启事（CFP）之前，不要将其作为硬性格式要求（页数限制、栏数、必备章节、截止日期）的依据；如果无法核查，请标记为 needs-verification，并披露依据是年份不匹配的配置文件（参见 references/scoring-rubric.md 中的“时效性门槛”）。年份不匹配的配置文件仍可用于提供先验信息（范例分布、典型结构）。
2. 构建同领域范例语料库。 分布维度（章节架构、引文密度、摘要结构、图表规范）必须依据同领域分布评分——即属于同一会议领域，绝不能使用其他领域的替代数据。按以下优先级确定依据：(a) 目标会议的实时 study-exemplars 语料库——优先采用；调用 study-exemplars，按需、合法、临时地获取该会议近期 N 篇最佳论文奖获奖论文和高引论文，并提取其特征概况，绝不打包或存储论文文本；(b) 作为后备先验，使用领域配置文件的 exemplar_distribution 区块（披露这是领域先验，并注明其置信度）；(c) 如果该领域两者皆无，减少 N 并披露这些维度“无同领域范例分布”，不要借用其他领域的数据。如果无法获取获奖论文列表，则退而使用高引论文，并说明这一点。必须披露语料库依据（实时数据、领域先验或无）。
3. 提取草稿的可比特征，维度参见 references/scoring-rubric.md（章节架构、贡献表述、评估严谨性信号、主张／引文密度、摘要结构、图表规范、可复现性材料）。如果存在 verify-citations 输出，则使用它，以引文完整性维度作为依据。检测每个维度的实现程度（absent／planned／drafted／complete）：如果某个维度的证据主要由诚实的 [RESULT]／[TBD]／\todo 占位符构成，则该维度为 planned，而非薄弱。将其记录在特征 JSON 的 realization 字段中。
4. 为每个维度评分，衡量其与范例分布的符合程度，并为每个分数明确说明依据（测量内容、范例范围）。对于 planned／absent 维度，应对设计的完整性和具体程度评分（明确列出基线、数据集、消融实验清单、预算匹配方案、方差／显著性策略），而非已实现的数值；并在依据中将待填的 [RESULT] 项标记为已说明的待补结果。运行 python3 scripts/scorecard.py features.json --venue <id>，以确定性方式计算并呈现结果——不要凭目测估算总分。只要有任一维度尚未实现，该脚本就会将计划维度的得分限制在“符合范围”档以下，并将指数重新标记为 plan-conformance，因此不会在不知情的情况下将其与已执行的论文进行比较。
5. 报告：评分卡（各维度 0–10 分，加上会议契合度／计划符合度指数）、按可修复程度排序的最薄弱 3 个维度、与范例模式对应的具体改进措施，以及强制说明区块。对于计划方案，应将差距表述为尚未运行实验（路径：明确方案 → 运行实验），而非设计薄弱。提供一句可供用户截图分享的摘要。

输出

一个 scorecard.md，包含：

• Venue 适配指数（0–10），并附上一句通俗易懂的英文档位说明（例如：“整体结构符合近期 {venue} 获奖论文的特点；评估部分仍有差距。”）。对于计划/大纲，该指数标记为 plan-conformance，不得与已完成的论文进行比较。
• 各维度表格：分数、完成程度、范例范围、你的值、依据。
• 按影响 × 易操作程度排序的首要改进项。
• 语料披露：作为依据的论文、获奖与被引用情况、时效性，以及分布是来自实时同领域语料、领域画像先验，还是不存在（no on-family exemplar distribution）。
• 格式依据披露：当任何硬性约束来自年份不匹配的画像时，标记为 needs-verification，直至对照当前 CFP 核实。
• 注意事项（始终包含）：符合度不等于质量；不预测录用或获奖；需要人工判断。

护栏

• 每个分数都要说明测量的内容，以及用于比较的范例范围。不得只给出数字。
• 切勿将指数表述为录用或获奖概率。如果有人要求这样做，应予以拒绝并说明原因。
• 按需从开放获取来源获取语料，临时处理，不存储或提交（参见 study-exemplars）。
• 切勿为了填充语料而捏造范例数据；如果无法获取 N 篇论文，应使用较少的论文进行评分并披露这一点。
• 这只是副驾驶信号，不是定论。由作者做决定。

记忆

在用户的论文目录中使用共享的 .paper-memory/ 约定 （完整规范： paper-memory-convention.md）。

• **开始时：**读取 .paper-memory/profile.yml（领域、venue 层级）以确定范例侧重点，并读取 lessons.md，了解上次运行中哪些维度较弱，以及该作者有哪些 recurring 差距——优先指出这些问题。
• **结束时：**按共享格式追加有长期价值的发现 - [YYYY-MM-DD] (benchmark-paper | <scope>) weak-dimension -> recommendation（通过 reflect-and-improve 的 reflect_log.py append 追加，该命令会去重并添加日期）。如果某个维度在多份草稿中都落后于范例，则标记为 recurring；一次性差距则标记为 this-paper。不要记录完整评分卡，只记录有长期价值的要点。
• 如果 .paper-memory/ 不存在，则按需创建，并提出将其加入项目的 .gitignore。它仅保存在本地；切勿上传，也不要复制到此仓库。