benchmark-paper-template

ベンチマーク論文のテンプレート

概要

ベンチマーク論文は、新しいアルゴリズムを提案して勝つわけではありません。新しい評価軸を定義し、測定の品質、スケーラビリティ、再現性を高める構築パイプラインを提供することで評価されます。このスキルでは、査読者が確認する5つの柱を整え、6部構成の序論の流れ、第2〜7節の骨子、投稿前チェックリストを用意します。各段階の詳細は、references/ にある7つのリファレンスファイルに記載されています。

主な機能

1. 5つの柱の網羅性監査：研究ギャップは明確に述べられていますか？構築パイプラインには確かな原則がありますか？評価フレームワークはきめ細かく設計されていますか？実証的知見から能力の境界が明らかになっていますか？補完手法は必要ですか？
2. 序論の6部構成の論理展開：背景＋具体例、既存ベンチマークの限界（3つ以下）、研究課題、設計上の考慮事項、提案内容、貢献。
3. 第2〜7節の構成案：タスクと設計目標、構築パイプライン、任意の補完手法、研究課題ごとに構成した実験、考察と今後の研究機会、ベンチマーク比較表を含む関連研究、結論。
4. 投稿前のセルフチェック：序論、ベンチマーク節、実験、全体の4カテゴリからなる査読者向けチェックリスト。重要度は「致命的」「重大」「軽微」の3段階です。

ベンチマーク論文と技術論文の違い

観点	技術論文	ベンチマーク論文
主な貢献	新規アルゴリズムまたは手法	新しい評価軸またはデータセット
序論の軸	中核となるアイデアまたはメカニズム	評価ギャップとベンチマーク設計の根拠
問題の定義	1文で表せる目標	問題の定義そのものが貢献
最も重きを置く章	手法	構築パイプライン＋評価フレームワーク
実験の目的	「自分の手法がベースラインを上回る」ことを示す	「モデルの能力の境界がどこにあるか」を明らかにする
代表的な図1	手法のフレームワーク図	具体例＋パイプライン図

技術論文やポジションペーパーには、tech-paper-template スキルを使用してください。序論のアウトラインだけが必要な場合は、intro-drafter を使用してください。

5つの柱

1. 研究ギャップ。既存の研究では、どの評価軸が見落とされていますか？具体的な失敗例をもとにギャップを示し、取り組む対象となる限界を持つ先行ベンチマークを少なくとも3つ引用してください（3つ以下）。代表例：StatQA は統計手法の適切さが評価されていない点を示し、nvBench 2.0 はクエリの曖昧さを考慮できていない点を示し、VisJudge-Bench は可視化評価における忠実度・表現力・美的品質の三要素を示しています。
2. 構築パイプライン。高品質でスケーラブルかつ再現性のあるデータを、どのように構築しますか？一般的なパラダイムは3つあります：逆合成（シードとなる知識を用意してから具体化する）、制御された注入（シードクエリを用意してから、狙った曖昧さや誤りを注入する）、専門家による検証を伴う適応的生成。ソースの選定、生成、アノテーション、品質管理、データ分割の戦略、統計的プロファイルを明記してください。詳しくは references/construction-pipeline.md を参照してください。
3. 評価フレームワーク。単一の総合スコアにとどめず、難易度の段階、エラー分類、次元ごとの評価基準を設けます。この分類体系によって、ギャップとして指摘した内容をなぜ診断できるのかを説明してください。詳しくは references/benchmark-design.md を参照してください。
4. 実証的知見。人間とLLM、アーキテクチャの系統、エラー分布などを多角的に比較し、補題のように読める太字の 知見X: の文にまとめます。各知見は、今後の研究に活用できる内容でなければなりません。詳しくは references/experiments.md を参照してください。
5. 補完手法（任意）。このベンチマーク向けに調整した特化型モデルを用意することで、研究コミュニティが知見に基づいて行動できることを示せます。例：Step-Text2Vis、VisJudge。必須ではありませんが、成熟したタスクを対象とするベンチマークでは強く推奨されます。

はじめにの6部構成フローチャート

1. 研究の背景＋実行例（Figure 1）。課題とその重要性を示し、論文全体を通して用いる具体例を1つ提示します。
2. 既存ベンチマークの限界。最大3点に絞り、それぞれを評価上の盲点に具体的に結びつけます。「限界がある」といった曖昧な表現は避けます。
3. 研究課題。構築品質、能力の境界、人間とAIの差を網羅する、2〜3個のRQを設定します。
4. 設計上の考慮事項。この側面において、優れたベンチマークが備えるべき要素を示します。品質、規模、網羅性、再現性、汚染耐性を扱います。
5. 提案手法。ベンチマークと、該当する場合はそれに付随する手法を、1段落で説明します。
6. 貢献。通常は4項目で、ベンチマーク＋パイプラインの革新＋体系的な評価＋知見または付随する手法を挙げます。

セクションの骨子

• §2 タスク＋設計目標：問題の定式化と目標（G1 網羅性、G2 詳細な診断、G3 再現性、G4 汚染耐性）。references/benchmark-design.md を参照してください。
• §3 構築パイプライン：情報源、生成、アノテーション手順、品質管理、統計的プロファイル。Figure 2 は標準的なパイプライン図です。references/construction-pipeline.md を参照してください。
• §4 付随する手法（任意）：このベンチマークを学習データとして用いる、特化型モデルです。
• §5 実験：RQごとに構成します。Overall Performance 表（通常、論文内で最大の表）、詳細な分析、利用可能な場合は人間を基準とした比較、および太字の Finding X: による要約を含めます。references/experiments.md を参照してください。
• §6 考察＋研究機会：知見が明らかにすることと、今後の展望を説明します。
• §7 関連研究：ベンチマーク比較表（多くの場合、Table 1 として掲載）は必須です。ここに掲載するか、§1 の末尾に配置します。

ページ配分や図の配置を含む、セクションごとの詳しい執筆ガイドは references/paper-structure.md にあります。

プロンプトテンプレート

以下のブロックに入力欄を埋めてから、AI アシスタントに貼り付けます。

# Role
You are a senior researcher who has published multiple Benchmark papers at top venues (NeurIPS Datasets and Benchmarks Track, SIGMOD, VLDB, ICML, ICLR). You know what reviewers look for in Benchmark submissions and how those criteria differ from Technical papers.

# Task
I will give you the core information about a Benchmark or Evaluation paper. Audit it against the five-pillar framework, then produce a complete logic skeleton for the paper.

# Five pillars (all must be addressed)
1. Research Gap: which dimension of evaluation does existing work miss?
2. Construction Pipeline: how is the data built at scale without losing quality?
3. Evaluation Framework: what is the fine-grained taxonomy?
4. Empirical Findings: what capability boundary does this reveal?
5. Companion Method (optional): a specialized model tuned for this benchmark.

# Input
- Research area: [e.g., Text-to-SQL, Text-to-Visualization, code generation]
- Benchmark name: [name]
- Research gap and motivation: [the evaluation blind spot you target]
- Construction approach: [how the data is built]
- Evaluation framework: [metrics and taxonomy]
- Data scale: [number of tasks, domains, difficulty tiers]
- Key findings or insights: [one to three]

# Output

## Step 1: Five-pillar completeness table

| Pillar | Covered? | Your content | Improvement suggestion |
|---|---|---|---|
| Research Gap | Y or N | ... | ... |
| Construction Pipeline | Y or N | ... | ... |
| Evaluation Framework | Y or N | ... | ... |
| Empirical Findings | Y or N | ... | ... |
| Companion Method | Y, N, or NA | ... | ... |

## Step 2: Introduction six-part logic chain

| Part | Your content |
|---|---|
| 1. Background + Running Example | ... |
| 2. Existing-benchmark limitations (up to 3) | Limitation 1: ... | Limitation 2: ... | Limitation 3: ... |
| 3. Research Questions | RQ1: ... | RQ2: ... | RQ3 (optional): ... |
| 4. Design Considerations | ... |
| 5. Our Proposal | ... |
| 6. Contributions | 1. ... | 2. ... | 3. ... | 4. ... |

## Step 3: Section outline for §2 to §7

For each section, produce a one-paragraph sketch naming the figure or table that carries its weight.

## Step 4: Pre-submission self-check

Load `references/checklist.md` and walk the four-category checklist. Report any Critical or Major items that are unresolved.

参考となる先行事例

• StatQA（NeurIPS 2024）：統計手法の適切性に関する評価が不足している点を課題とし、教科書から逆算して合成するパイプラインを採用しています。LLMは数値の答えを正しく計算できても、統計的に誤った検定を選ぶことが多いという知見を示しています。
• nvBench 2.0（NeurIPS 2025）：Text-to-Visualization におけるクエリの曖昧さを見落とす点を課題とし、制御された曖昧さの注入をパイプラインに採用しています。わずかな表現の違いでLLMの出力品質が大きく変動する一方、人間は確認の対話を通じて適切に対応するという知見を示しています。
• VisJudge-Bench（ICLR 2026）：可視化品質における忠実性・表現力・美的品質の三要素を課題とし、適応型生成を用いた専門家キュレーションを採用しています。付随する手法は VisJudge で、このベンチマークを用いて学習した特化型評価モデルです。

使用上のヒント

• スコープを確定する早い段階で使用してください。欠けている柱を補う最も簡単な方法は、データ構築を始める前に対応することです。
• ユーザーが柱について「あるが、整理されていない」と答えた場合は、1回のやり取りで解決しようとせず、references/ 内の該当ファイルを案内してください。
• この「はじめに」のフローチャートと技術論文のフローチャートを混同しないでください。技術論文では tech-paper-template を呼び出してください。
• 投稿前の自己点検では、references/checklist.md を読み込み、ユーザーと一緒に項目を1行ずつ確認してください。

参考資料

• references/gap-analysis.md：評価における盲点を体系的に特定します。
• references/benchmark-design.md：設計目標、タスク範囲、分類パターン、評価フレームワークについて説明します。
• references/construction-pipeline.md：3つの構築パラダイム、パイプラインの各段階、品質管理について説明します。
• references/experiments.md：ベースラインの選定、RQに基づく分析、Finding X のパターン、ケーススタディについて説明します。
• references/paper-structure.md：ページ配分と図の配置を含む、セクションごとの執筆方法について説明します。
• references/checklist.md：重大度分類を含む、4つのカテゴリからなる投稿前チェックリストです。
• references/instantiation-template.md：この思考モデルを論文に適用するための記入式テンプレートです。
• references/orchestrator-notes.md：以前の段階的なオーケストレーターアーキテクチャに関する、背景情報として残されている過去のメモです。