paper-writing-bench

PaperWritingBench (§3)

PaperOrchestra（Song et al., 2026, arXiv:2604.05018, §3 および App. C, F.2）の PaperWritingBench データセット構築手順を忠実に実装します。

元のベンチマークには、論文が200本（CVPR 2025が100本、ICLR 2025が100本）含まれています。 各論文について、著者は App. F.2 の3つのプロンプトを使って元のPDFから 物語的な流れを取り除き、（I, E）のタプルをリバースエンジニアリングします。 このスキルを使うと、任意の論文PDFから独自のベンチマークケースを リバースエンジニアリングできます。

このスキルでできること

既存のAI研究論文（PDFまたはMarkdown抽出テキスト）を入力として、以下を生成します。

• idea.md（Sparse版）— 数学も実験結果も含まない、高レベルのコンセプトノート
• idea.md（Dense版）— LaTeXの数式と変数定義を含む詳細な技術提案。ただし、実験結果は含みません
• experimental_log.md — 物語的な言及をすべて取り除いた、網羅的な実験設定、生データ、定性的な観察結果

これら3つのファイルで、paper-orchestra パイプラインへの（I, E）入力ペアが完成します。 その後、パイプラインを実行し、paper-autoraters を使って出力を元の論文と比較できます。

入力

• 論文PDFまたは抽出したMarkdownテキスト。論文ではPDFからMarkdownへの抽出にMinerU （Wang et al., 2024）を使用しています。ホストエージェントは、 実行環境で利用可能な任意のPDF抽出ツールを使用してください。
• 実験を制御するために、図を個別に抽出することもできます（論文ではPDFFigures 2.0を使用）。

出力

• bench/<paper_id>/idea_sparse.md — Sparse版
• bench/<paper_id>/idea_dense.md — Dense版
• bench/<paper_id>/experimental_log.md — 実験ログ

ワークフロー

各論文について、以下のプロンプトをそのまま使い、独立したLLM呼び出しを3回実行します。

1. Sparse版のアイデア生成

references/sparse-idea-prompt.md を読み込みます。論文テキスト（または Markdown抽出テキスト）を {paper_content} として渡します。このプロンプトでは、モデルに以下を指示します。

• 実証的検証に入る前に抽出を止める（実験／結果／比較は含めない）
• 一人称の未来形（「We propose to explore...」）を使う
• LaTeXの数式を避け、各構成要素を機能で説明する
• 著者名とタイトルを匿名化する

出力：4つのセクション（Problem Statement、Core Hypothesis、Proposed Methodology high-level、Expected Contribution）を含む idea_sparse.md。

2. Dense版のアイデア生成

references/dense-idea-prompt.md を読み込みます。入力は同じです。このプロンプトでは、モデルに以下を指示します。

• 数学的な定式化をLaTeXで保持する
• 数式で使用するすべての変数を定義する
• 具体的なアーキテクチャの選択と次元を含める
• 除外範囲は同じ（実験は含めない）

出力：4つのセクション（Problem Statement、Core Hypothesis、Proposed Methodology detailed、Expected Contribution）を含む idea_dense.md。

3. 実験ログの生成

references/experimental-log-prompt.md を読み込みます。入力は同じです。 このプロンプトでは、モデルに以下を指示します。

• 過去形の文体（「We ran...」、「The results were...」）を使う
• 図表番号への言及をすべて取り除く
• 表を生の数値データに分解する
• 図から読み取れる内容を事実に基づく観察結果として記録する
• 著者名を匿名化する

出力：Setup、Raw Numeric Data、 Qualitative Observations の各セクションを含む experimental_log.md。

プロンプトの重要なルール

これらは App. F.2 からの抜粋です。ホストエージェントは必ずこれらを遵守する必要があります。

• 引用なし。 3 つの出力のいずれにも、\cite、参照番号、原論文の著者名を含めてはいけません。
• URL なし。 すべてのハイパーリンクを削除します。
• 匿名化。 著者の身元、所属、謝辞をすべて削除します。
• 自己完結型。 各ファイルは、原論文がなくても理解できる内容にする必要があります。
• アイデアファイルに実験結果を漏らさない。 Sparse と Dense のアイデアは、実証的な検証が始まる前の段階で止める必要があります。これから行うことを記述し、行ったことは記述しません。
• 実験ログで表や図を参照しない。 「表 1 に示すように」や「図 5 を参照」などの記述は避けます。後続の論文オーケストレーションパイプラインが独自の図表を生成するため、ログでは特定の図表が存在することを前提にしてはいけません。
• 実験ログの数値精度は 100％。 これは、セクション作成エージェントとコンテンツ改善エージェントによる幻覚チェックの基準となります。

ベンチマークの使い方

論文ごとに (idea_sparse.md, idea_dense.md, experimental_log.md) を作成した後：

1. バリアント（Sparse または Dense）を選びます。論文では両方をアブレーションし、Dense はより厳密な方法論を提示し、Sparse は不完全に指定された入力に対するシステムの堅牢性を検証します。
2. 選んだ idea.md、experimental_log.md、対象カンファレンスの template.tex、および conference_guidelines.md を、論文オーケストレーションのワークスペースに配置します。
3. パイプラインを実行します。
4. paper-autoraters（引用 F1、文献レビューの品質、SxS 論文品質）を使用して、生成された論文を原論文と比較します。

リソース

• references/bench-overview.md — 200 件の論文ベンチマーク、会場の締切、サイズ
• references/sparse-idea-prompt.md — App. F.2 からの逐語引用
• references/dense-idea-prompt.md — App. F.2 からの逐語引用
• references/experimental-log-prompt.md — App. F.2 からの逐語引用