paper-reviewer-simulator

Paper Reviewer Simulator

投稿前に、対象学会の査読者の視点から模擬査読を行います。論文の投稿前に査読者が指摘しそうな懸念を洗い出し、それらを具体的な改訂の優先事項に落とし込むことを目的とします。

このスキルは、次の用途に使用します。

• 査読者の視点による論文批評
• 投稿先に応じた予想スコアと確信度
• 不採択につながりそうな理由と査読者からの質問
• 対立的な「Reviewer 2」視点でのストレステスト
• エリアチェアまたはメタ査読の要約
• リバッタルへの準備状況の確認
• 改訂中の論文のリスク登録簿の作成
• 査読例、OpenReview の議論、投稿先のガイドラインからの学習

このスキルを使って、論文を直接書き換えないでください。構成や段落レベルでの変更が必要な場合は、査読後に conference-writing-adapter と組み合わせてください。参考文献の正確性には citation-audit を、投稿前の最終確認には submit-paper を組み合わせてください。

模擬査読で洗い出したリスクをプロジェクトレベルのリスクやアクションとして扱う場合は、このスキルを research-project-memory と組み合わせてください。

スキルのディレクトリ構成

<installed-skill-dir>/
├── SKILL.md
└── references/
    ├── example-review-mining.md
    ├── memory-model.md
    ├── report-template.md
    ├── review-panel.md
    ├── risk-register.md
    └── venue-review-styles.md

段階的な読み込み

• 必ず references/review-panel.md と references/risk-register.md を読みます。
• ユーザーが対象学会を指定した場合、または学会間の比較を求めた場合は、references/venue-review-styles.md を読みます。
• OpenReview、公開査読、採択論文の議論、公式の査読者ガイドライン、査読例から学習する場合は、references/example-review-mining.md を読みます。
• 学会ごとの査読に関する知識を保存または再利用する場合は、必ず references/memory-model.md を読みます。
• 完全な査読レポートには references/report-template.md を使用します。
• スコアを付ける場合や、学会固有の評価基準が重要な場合は、最新の公式査読者ガイドラインと査読フォームを確認します。

基本原則

• ライティングコーチではなく、実際の査読者として査読します。採択リスクに焦点を当て、新規性、正確性、重要性、証拠、明確さ、再現性、倫理、適合性を評価します。
• 致命的な弱点と、修正可能な表現上の問題を区別します。
• 批判は、論文本文、図、実験、証明、引用文献に基づかせます。
• 1本の論文でも評価が分かれる可能性があるため、複数の査読者像をシミュレーションします。
• 対象学会とトピックを明示します。理論重視の ICLR 査読、実証重視の NeurIPS 査読、CVPR のベンチマーク査読が同じような内容にならないようにします。
• 不足している結果を捏造しません。証拠が不足している場合はリスクとして明記します。
• 実行可能な修正案を提示しますが、査読者の指摘と著者の改訂計画は分けて示します。

ステップ 1 - 査読の前提を定める

次の項目を特定します。

• 対象学会と年
• 分かる場合は、トラックまたは研究分野
• 論文の種類：手法、理論、実証研究、ベンチマーク、データセット、システム、分析、応用、または複合型
• 論文の段階：アウトライン、初期ドラフト、完成稿、リバッタル、カメラレディ
• 査読モード：
  • quick：主なリスクと予想される採否
  • full：複数の査読者によるレビュー、メタ査読、リスク登録簿
  • adversarial：不採択につながる可能性に焦点を当てた懐疑的な査読
  • rebuttal：既存の査読への質問と回答戦略
• 利用可能な証拠：TeX ソース、PDF、図、表、付録、実験ログ、関連研究、過去の査読

ユーザーがモードを指定しない場合、完成稿には full を、アウトラインまたは部分的なドラフトには quick を既定で使用します。

ステップ 2 - 論文の根拠資料を読む

要約よりも、論文の一次資料を優先します。

次の項目を確認します。

• main.tex、paper.tex、sections/*.tex、付録、補足資料
• タイトル、要旨、序論、貢献の一覧
• 手法・理論のセクション、仮定、定理の記述、アルゴリズムのボックス
• 実験、ベースライン、アブレーション、データセット、評価指標、定性的な例
• 図と表
• 関連研究、限界、倫理・広範な影響、チェックリスト
• 利用可能な場合は、過去の査読または著者のメモ

次の概要を作成します。

## Paper Snapshot
- Target venue:
- Paper archetype:
- Claimed contribution:
- Core technical idea:
- Main evidence:
- Strongest result:
- Weakest result:
- Most likely novelty concern:
- Most likely correctness concern:
- Most likely empirical concern:
- Current missing information:

論文が未完成の場合は、現段階を率直に査読し、「まだ執筆されていない」点と「科学的に弱い」点を区別します。

ステップ 3 - 会場とトピックの査読スタイルを把握する

references/venue-review-styles.md を読みます。

次に、最新の情報源に基づいて査読の文脈を更新します。

• 公式の査読者向けガイドラインと査読フォーム
• スコアリング基準と確信度の尺度
• 倫理、再現性、チェックリストの要件
• 公開されている場合は、OpenReview の例や議論
• 同じ会場やトピックで採択された論文、口頭発表論文、スポットライト論文
• 閲覧できる場合は、類似論文の査読

例を調べる際は、references/example-review-mining.md を読み、ユーザーの論文を採点する前に、簡潔な査読スタイルのマトリクスを作成します。

現在の査読フォームについて、静的な記憶に頼らないでください。正確なスコアや基準が重要な場合は、公式情報源で確認してください。

ステップ 4 - 査読者パネルを構成する

references/review-panel.md を読みます。

フルレビューでは、3〜5 名の査読者を設定します。

• R1 Technical Specialist：手法や理論を深く理解している
• R2 Skeptical Generalist：貢献に意義があるかを問う
• R3 Empirical/Reproducibility Reviewer：実験、ベースライン、アブレーション、統計的裏付けを確認する
• R4 Related Work/Novelty Reviewer：位置づけと引用漏れを確認する
• AC Meta-Reviewer：採否リスクを総合し、結果を変える要因を問う

論文に合わせてパネルを調整します。

• 理論を中心とする論文：仮定や証明を確認する査読者を追加する
• ベンチマーク／データセット論文：データ品質や評価を確認する査読者を追加する
• システム論文：スケーラビリティや再現性を確認する査読者を追加する
• 応用論文：ドメインにおける妥当性を確認する査読者を追加する
• CV／NLP 論文：タスク固有のベンチマークを確認する査読者を追加する

ステップ 5 - 独立した査読を行う

各査読者は、次の項目を出力します。

• 査読者としての視点から見た論文の要約
• 長所
• 短所
• 著者への質問
• 要求する実験／分析／証明
• 対象会場の尺度がわかる場合は、それに基づくスコアと確信度
• 想定される評価：採択／ボーダーライン／不採択

妥当な場合、査読者同士で意見が異なるようにしてください。重要な意見の相違を平均化して消さないでください。

批判ごとに、次を特定します。

• 論文内の該当箇所
• 査読者が懸念していること
• 問題の種類：根拠、明瞭さ、新規性、正確性、位置づけ、再現性、スコープ
• 投稿前にリスクを軽減する方法

ステップ 6 - エリアチェアのメタレビューを作成する

メタレビューでは、次の点を総合します。

• 合意された長所
• 合意された短所
• 意見が分かれている問題
• 想定される議論の展開
• 採否リスク
• スコアを最も改善する方法
• 論文が科学的な弱点によって不採択となるのか、提示方法の弱点によって不採択となるのか

次の採否表現を使用します。

• likely accept
• borderline accept
• borderline reject
• likely reject
• incomplete / not reviewable

確信度を「低／中／高」で追加します。

ステップ 7 - リスク一覧を作成する

references/risk-register.md を読みます。

査読者の懸念を、優先度順のリスク一覧にまとめます。

• must-fix：不採択につながる可能性が高い
• should-fix：採択の可能性を大きく高める
• nice-to-fix：仕上げ、または査読者の利便性向上
• rebuttal-only：投稿前には修正できないが、回答を準備できる

各リスクには、次の項目を含めます。

• 査読者の懸念
• 論文中の根拠
• 深刻度
• 発生確率
• 修正に必要な労力
• 推奨する対応
• 担当者（判明している場合）

ステップ 8 - リバタルの準備状況を確認する

優先度の高いリスクについて、次を提示します。

• 想定される査読者の質問
• 投稿前に行う最善の修正
• 修正できない場合のリバタルでの回答
• リバタルの信頼性を高めるために必要な根拠

新たな実験や証明なしでは修正できないリスクがある場合は、その旨を明記してください。

ステップ 9 - 査読者メモリの更新

references/memory-model.md を読みます。

投稿先の例や実際のレビューを調査した場合は、以下を更新します。

1. .agent/reviewer-simulator/venues/<venue>.md
2. .agent/reviewer-simulator/examples/<venue>-<year>-reviews.md
3. .agent/reviewer-simulator/project-risk-register.md

メモリでは、以下を分けて記録する必要があります。

• 観察された査読者の傾向
• 推測される投稿先の査読スタイル
• 現在の論文に関するリスク
• 未解決の疑問

レビューの長い文章をそのまま保存しないでください。査読パターンを言い換え、参照元の URL を記載してください。

プロジェクトで research-project-memory を使用している場合は、以下も更新します。

• memory/risk-board.md：シミュレーションした査読者リスクの上位項目。可能であれば、それぞれ影響を受ける主張 ID にリンクします。
• memory/action-board.md：必須の修正と推奨の修正を記載し、文章の修正と新たな実験・証明を区別します。
• memory/claim-board.md：弱める、削除する、または再構成する可能性のある主張を記載します。
• memory/evidence-board.md：エビデンスの不足、古くなった図表、または必要な証明・実験の不足を記載します。
• reviewer/.agent/reviewer-status.md：レビューのモード、予測される判定、未解決の査読者の疑問を記載します。

シミュレーションしたレビューを実際のレビューとして扱わないでください。予測される査読者の反応には、確信度 inferred を使用します。

出力モード

クイックレビュー

# Shadow Review: Quick Risk Scan
## Paper Snapshot
## Predicted Decision
## Top 5 Rejection Risks
## Fastest Fixes
## Questions Reviewers Will Ask

フルレビュー

references/report-template.md を使用します。

敵対的レビュー

不採択につながる要因に焦点を当てます。

# Adversarial Review
## Strongest Reject Case
## Reviewer 2 Critique
## Fatal If True
## How To Disarm Before Submission
## Risks That Cannot Be Fixed By Writing

リバッタルモード

# Rebuttal Readiness
## Review Claim
## Is The Reviewer Right?
## Evidence Available
## Best Response
## Paper Revision Needed

最終確認

仕上げる前に、以下を確認します。

• 対象の投稿先・年とレビューのモードが明確である
• 論文の類型が明記されている
• 査読基準が、現在の公式ガイダンスに基づくか、メモリからの情報であることが明示されている
• 査読例からの所見が言い換えられ、参照元にリンクされている
• 批判が論文中のエビデンスに結び付けられている
• 予測スコアに確信度と不確実性が含まれている
• 主なリスクが採択への影響度順にランク付けされている
• 修正項目で、文章の変更と新たな実験・証明が区別されている
• 投稿先の例を調査した場合、メモリが更新されている
• シミュレーションしたリスクを継続して記録すべき場合、プロジェクトのメモリが更新されている