benchmark-paper-template

基准论文模板

概述

基准论文的胜利之处不在于提出新算法，而在于定义新的评估维度，并提供一套构建流程，使测量具备高质量、可扩展性和可复现性。本技能搭建了审稿人会检查的五大支柱，随后提供六部分的引言逻辑链、第 2 至第 7 节的框架，以及投稿前检查清单。各阶段的深入内容见 references/ 下的七个参考文件。

核心能力

1. 五大支柱完整性审查：是否清晰阐述了研究空白？构建流程是否有理有据？评估框架是否细致？实证发现是否揭示了能力边界？是否有必要采用配套方法？
2. 引言六部分逻辑链：背景 + 示例，现有基准的局限（不超过三个），研究问题，设计考量，我们的方案，贡献。
3. 第 2 至第 7 节的章节框架：任务与设计目标、构建流程、可选的配套方法、按研究问题组织的实验、讨论与研究机会、含基准比较表的相关工作、结论。
4. 投稿前自检：包含四类内容（引言、基准章节、实验、整体）的审稿人检查清单，并标注严重、主要、次要等级。

基准论文与技术论文的区别

维度	技术论文	基准论文
主要贡献	新颖的算法或方法	新颖的评估维度或数据集
引言主线	核心思想或机制	评估空白与基准设计依据
问题定义	一句话说明目标	问题定义本身就是贡献
最重要的章节	方法	构建流程 + 评估框架
实验目的	证明“我的方法优于基线”	揭示“模型能力边界在哪里”
典型图 1	方法框架图	示例 + 流程图

撰写技术论文和立场论文时，请使用 tech-paper-template 技能。若只需引言大纲，请使用 intro-drafter。

五大支柱

1. 研究空白。现有工作遗漏了哪个评估维度？通过具体失败案例说明这一空白，并引用至少三个你要解决其局限性的既有基准（不超过三个）。示例：StatQA 指出缺少对统计方法适用性的评估；nvBench 2.0 指出对查询歧义视而不见；VisJudge-Bench 指出可视化评估中保真度、表现力与美观度三者并重的问题。
2. 构建流程。如何构建高质量、可扩展、可复现的数据？三种常见范式：逆向合成（先准备种子知识，再实例化）、受控注入（先准备种子查询，再注入有针对性的歧义或错误）、自适应生成并由专家验证。请说明数据源选择、生成、标注、质量控制、数据集划分策略和统计特征。深入内容：references/construction-pipeline.md。
3. 评估框架。不能只有一个总分：还应包括难度层级、错误分类体系和各维度评分标准。说明这一分类体系为何能诊断研究空白所指出的问题。深入内容：references/benchmark-design.md。
4. 实证发现。从多个角度进行比较（人类与大模型、架构类别、错误分布），并将结果凝练为加粗的 发现 X： 句子，使其读起来像引理。每项发现都必须能为未来研究提供可执行的参考。深入内容：references/experiments.md。
5. 配套方法（可选）。针对这一基准调优的专用模型，表明社区能够依据这些发现采取行动。示例：Step-Text2Vis、VisJudge。虽非必需，但对于针对成熟任务的基准，强烈建议采用。

引言六部分流程图

1. 研究背景 + 贯穿全文的示例（图 1）。阐明任务、任务的重要性，以及一个贯穿全文的具体示例。
2. 现有基准的局限。最多列出三项，每项都要具体，并能追溯到某个评估盲区。避免使用“存在局限”等含糊表述。
3. 研究问题。提出 2 至 3 个研究问题，涵盖构建质量、能力边界和人机差距。
4. 设计考量。该维度的优秀基准应具备哪些特征？质量、规模、覆盖范围、可复现性、抗污染能力。
5. 我们的方案。用一段话介绍基准，以及配套方法（如有）。
6. 贡献。通常列出四项：基准 + 流程创新 + 系统评估 + 发现或配套方法。

章节框架

• §2 任务 + 设计目标：问题定义、目标（G1 覆盖范围、G2 细粒度诊断、G3 可复现性、G4 抗污染能力）。参见 references/benchmark-design.md。
• §3 构建流程：来源、生成、标注协议、质量控制、统计概况。图 2 是标准流程图。参见 references/construction-pipeline.md。
• §4 配套方法（可选）：一种专用模型，其训练集即为该基准。
• §5 实验：按研究问题组织。包含总体性能表（通常是论文中最大的表格）、细粒度分析、可行时的人类基线，以及加粗的 发现 X： 总结。参见 references/experiments.md。
• §6 讨论 + 研究机遇：研究发现揭示了什么，以及下一步方向。
• §7 相关工作：基准对比表（通常标为表 1）必不可少，可放在此处或 §1 末尾。

完整的分章节写作指南（含篇幅预算和图表位置）见 references/paper-structure.md。

提示词模板

填写输入项后，将下面的代码块粘贴到 AI 助手中。

# Role
You are a senior researcher who has published multiple Benchmark papers at top venues (NeurIPS Datasets and Benchmarks Track, SIGMOD, VLDB, ICML, ICLR). You know what reviewers look for in Benchmark submissions and how those criteria differ from Technical papers.

# Task
I will give you the core information about a Benchmark or Evaluation paper. Audit it against the five-pillar framework, then produce a complete logic skeleton for the paper.

# Five pillars (all must be addressed)
1. Research Gap: which dimension of evaluation does existing work miss?
2. Construction Pipeline: how is the data built at scale without losing quality?
3. Evaluation Framework: what is the fine-grained taxonomy?
4. Empirical Findings: what capability boundary does this reveal?
5. Companion Method (optional): a specialized model tuned for this benchmark.

# Input
- Research area: [e.g., Text-to-SQL, Text-to-Visualization, code generation]
- Benchmark name: [name]
- Research gap and motivation: [the evaluation blind spot you target]
- Construction approach: [how the data is built]
- Evaluation framework: [metrics and taxonomy]
- Data scale: [number of tasks, domains, difficulty tiers]
- Key findings or insights: [one to three]

# Output

## Step 1: Five-pillar completeness table

| Pillar | Covered? | Your content | Improvement suggestion |
|---|---|---|---|
| Research Gap | Y or N | ... | ... |
| Construction Pipeline | Y or N | ... | ... |
| Evaluation Framework | Y or N | ... | ... |
| Empirical Findings | Y or N | ... | ... |
| Companion Method | Y, N, or NA | ... | ... |

## Step 2: Introduction six-part logic chain

| Part | Your content |
|---|---|
| 1. Background + Running Example | ... |
| 2. Existing-benchmark limitations (up to 3) | Limitation 1: ... | Limitation 2: ... | Limitation 3: ... |
| 3. Research Questions | RQ1: ... | RQ2: ... | RQ3 (optional): ... |
| 4. Design Considerations | ... |
| 5. Our Proposal | ... |
| 6. Contributions | 1. ... | 2. ... | 3. ... | 4. ... |

## Step 3: Section outline for §2 to §7

For each section, produce a one-paragraph sketch naming the figure or table that carries its weight.

## Step 4: Pre-submission self-check

Load `references/checklist.md` and walk the four-category checklist. Report any Critical or Major items that are unresolved.

参考范例

• StatQA（NeurIPS 2024）：研究空白在于对统计方法适用性的评估；流程是根据教科书进行逆向合成；研究发现，即使数值答案计算正确，大模型也常会选错统计检验。
• nvBench 2.0（NeurIPS 2025）：研究空白在于 Text-to-Visualization 中对查询歧义的忽视；流程是受控地注入歧义；研究发现，措辞稍有变化，大模型输出质量就会大幅波动，而人类会通过澄清对话来应对。
• VisJudge-Bench（ICLR 2026）：研究空白在于可视化质量的保真度、表现力和美学三要素；流程由专家策划并采用自适应生成；配套方法是 VisJudge，这是一个基于该基准训练的专用评估模型。

使用提示

• 尽早使用，在范围确定阶段使用。缺少某项核心要素时，最省力的补救时机是在开始构建数据之前。
• 如果用户对某项核心要素的回答是“我们有，但很混乱”，请引导他们查看 references/ 中的对应文件，而不是试图在一轮对话中解决问题。
• 不要将此引言流程图与技术论文流程图混淆；两者结构不同。对于技术论文，请调用 tech-paper-template。
• 提交前自查时，加载 references/checklist.md，并与用户逐项核对。

参考资料

• references/gap-analysis.md：系统地识别评估盲区。
• references/benchmark-design.md：设计目标、任务范围、分类模式、评估框架。
• references/construction-pipeline.md：三种构建范式、流程阶段、质量控制。
• references/experiments.md：基线选择、由研究问题驱动的分析、发现 X 模式、案例研究。
• references/paper-structure.md：逐节撰写，并规划页数和图表位置。
• references/checklist.md：包含严重性分类的四类投稿前检查清单。
• references/instantiation-template.md：用于在论文中实例化此思维模型的可填写模板。
• references/orchestrator-notes.md：早期分阶段编排器架构的历史记录，保留供参考。