paper-review

論文レビュー

投稿前に学術論文を自己レビューするための体系的なアプローチです。3回のパスで実施します。敵対的な視点での精読、チェックリストによる確認（5つの観点、リバースアウトライン、図表の品質）、機械的な整合性チェックと実験プロトコルの監査を行います。最後に査読への反論を準備します。

このスキルを使用する場面

• ユーザーが投稿前に論文の草稿をレビューまたは確認したい場合
• ユーザーが論文の品質や完全性についてフィードバックを求めている場合
• ユーザーが査読者からの批判に備えたい場合
• ユーザーが「論文をレビューして」「草稿を確認して」「セルフレビュー」と言及した場合

ユーザーがすでに査読コメントを受け取っており、反論を書く必要がある場合は、代わりに paper-rebuttal スキルを使用してください。

前提条件

レビューを開始する前に、paper-writing の引き継ぎチェックリストを満たしていることを確認してください。すべてのセクションが草稿として完成していること、主張が根拠に結び付けられていること、限界のセクションがあること、図が完成していること、未解決の \todo{} マーカーが残っていないことが必要です。未完了の項目がある場合は、レビューの前に執筆を完了してください。

---

レビューの進め方：3回のパス

レビューは次の順序で、3つの独立したパスとして実施し、最後にのみ所見を統合してください。チェックリストから始めてはいけません。チェックリストを先に見ると、そこに記載された項目だけに目が向き、査読で論文を致命的に損なう欠陥は、チェックリストのどの質問にも該当しないことがよくあるためです。

パス 1 — 敵対的な視点での精読（チェックリストは閉じておく）

このスキルのチェックリストを参照する前に、懐疑的な専門家の査読者になったつもりで、論文を最初から最後まで読みます。読み進めながら、セクションをまたぐ論点を追ってください。

• それぞれの主張が述べられている箇所で、根拠は実際にその主張を裏付けていますか？
• 設定で述べられた前提は、後で再検討されていますか。それとも、ひそかに破られていますか？
• 本文中に引用された数値は表と一致していますか？結論は要旨で約束した内容を実現していますか？
• この手法は、論文で扱うものと厳密に同じ設定以外でも通用しますか？

まだ証明できないものも含めて、疑念をすべて該当箇所とともに書き留めてください。疑念の表現方法と記録方法については、以下の「確度を調整した疑念」を参照してください。このパスでは、隠れたセクション横断的な欠陥が明らかになります。チェックリストでこれに代えることはできません。

パス 2 — チェックリストによる確認

ここで、構造化された資料に取り組みます。5つの観点からなるチェックリスト、直感に反するプロトコル、リバースアウトライン、図表と結論の確認を実施してください。このパスでは網羅性を高め、よく知られた頻出の失敗パターンを見つけます。

パス 3 — 機械的なチェックとプロトコル監査

実験プロトコルの監査と機械的な整合性チェック（以下の両方）を、ソースファイルの検索や相互参照を使って明示的に実施してください。チェックは検索の問題であり、監査は設定を行ごとに再構築する作業です。どちらも高い検出率を持ち、「注意深く読む」だけでは決して実行されません。

統合

3つのパスすべてで得られた所見を統合し、重複を取り除いてください。以下の確度に関するルールに従い、チェックリストに該当項目がないパス1の疑念も残します。重複の除去は繰り返しを取り除くものであり、疑念を取り除くものではありません。

指摘の報告：疑念の適切な調整

査読の指摘には、ルールの異なる2種類の記述があります。

• 論文に関する事実の主張 — 表に何が記載されているか、ある節に何が書かれているか、何かが存在するかしないか、といった内容です。これらは検証可能でなければなりません。主張する前に本文を確認し、正確な箇所または短い引用を根拠として示してください。論文に書かれていないことを、書かれていると決して述べてはいけません。捏造した批判は、妥当な批判を10件挙げて得られる信頼を上回る損失につながります。
• 疑念や判断 — 「この改善はシード値によるばらつきの範囲内かもしれない」「この仮定は実運用では非現実的に見える」といったものです。これらは、確信度が低くても述べることができ、むしろ積極的に述べるべきです。疑念として表現してください。疑念を明示し、確信度を示し、どのような証拠があれば決着するかを述べてください（「分散が報告されていません。3つのシード値で確認できます」など）。

証明できないからといって、疑念を伏せてはいけません。セルフレビューでは、隠れた欠点が実際の査読者に見つかるほうが、疑念を提起した後に解消するより、はるかに大きな損失になります。精度に関する規律が適用されるのは事実であり、疑念ではありません。

---

完璧を目指すアプローチ

完璧を目指しましょう。自分の論文を見直し、査読者が尋ねそうなあらゆる質問を検討して、一つずつ対処してください。

否定的な査読に対する最善の防御は、徹底したセルフレビューです。

1. 敵対的な視点で査読する：批判的な査読者の立場で自分の論文を読む
2. 指導教員に意見を求める：指導教員に査読を依頼する。フィードバックは多いほどよい
3. すべてに対処する：見つけた弱点ごとに、修正するか、反論を準備する

直感に反する査読プロトコル

最終的な推敲の前に、このプロトコルを実施してください。

1. 不採択を先に想定するシミュレーション：肯定的なコメントを書く前に、不採択とする理由を1段落で書くことを自分に課します。
2. 根拠のない強い主張を1つ削除する：強い主張に直接的な根拠がない場合は、擁護せずに削除します。
3. 改善幅だけでなく信頼性を評価する：改善幅がやや小さくても、公平性と再現性が高い論文のほうが、査読結果が良くなることがよくあります。
4. 限界を1つ明示する：重要な限界を1つ、非公開のメモから論文に移します。透明性によって信頼が高まる場合があります。
5. 新規性の主張を厳しく検討する：「優秀な博士課程の学生なら、これを午後のうちに導き出せるだろうか」と問いかけます。そうであれば、新規性の記述を絞り込み、明確にします。

references/counterintuitive-review.mdを参照してください。

---

5つの観点によるセルフレビュー用チェックリスト

観点1：貢献の十分性

この論文は、読者に新しい知見を提供していません。

貢献が十分かどうかを評価するため、次の質問を検討してください。

• 失敗事例はよく見られますか？ 失敗事例が頻繁に起き、明らかなものであれば、手法が出版に値する段階に達しているか、査読者が疑問を持つ可能性があります。
• 提案手法は十分に研究されていますか？ その手法がすでに広く研究されている場合、どのような新しい知見や改善をもたらすのでしょうか？
• 改善は予測可能、または周知のものでしょうか？ 既知のアイデアの組み合わせから予測できる改善であれば、新規性が疑問視される可能性があります。
• 手法はあまりにも単純ではありませんか？ 既存の手法をそのまま適用しただけでは、貢献が不十分な可能性があります。

危険信号：いずれかに「はい」と答えた場合は、貢献についての説明を強化するか、技術的な深みを加えてください。

Aspect 2: 文章の明瞭さ

技術的な詳細が不足しており、再現できない。または、手法のモジュールに導入理由の説明がない。

• 技術的な詳細が不足していませんか？ 論文だけを読んで、読者が手法を再現できますか？
• モジュールの導入理由が不足していませんか？ Method セクションのすべてのモジュールについて、単に「何をするか」だけでなく、「なぜ存在するのか」が説明されていますか？
• 段落の構成：各段落に明確な主題がありますか？ 最初の文で要点が述べられていますか？
• 流れ：段落間やセクション間の論理的な流れは滑らかですか？
• 用語：用語は全体を通して一貫して使われていますか？

危険信号：再現性に疑問がある場合は、実装の詳細または補足資料を追加してください。

Aspect 3: 実験結果の品質

既存手法をわずかに上回るだけ、または既存手法を上回っているものの、依然として十分な水準に達していない。

• 改善がわずかではありませんか？ SOTA に対する改善が非常に小さい場合、統計的に有意ですか？
• 絶対的な品質が不十分ではありませんか？ ベースラインより優れていても、出力品質は用途に十分な水準ですか？
• 視覚的な品質：定性的な結果は説得力がありますか？ 改善は目で見て分かりますか？

危険信号：改善がわずかな場合は、他の利点（速度、汎用性、シンプルさ）を強調するか、より難易度の高いテストケースを追加してください。

Aspect 4: 実験テストの網羅性

アブレーション研究が不足している、重要なベースラインが不足している、重要な評価指標が不足している、またはデータが単純すぎる。

• アブレーション研究が不足していませんか？ すべての主要な貢献についてアブレーションを行っていますか？
• 重要なベースラインが不足していませんか？ 最近の SOTA 手法が含まれていますか？
• 重要な評価指標が不足していませんか？ このタスクで標準的な指標をすべて報告していますか？
• データセットが単純すぎませんか？ ベンチマークは手法の能力を本当に検証していますか？
• 失敗事例の分析がありませんか？ 失敗を誠実に分析することで、信頼性が高まります。

危険信号：アブレーションやベースラインの不足は、却下の最も一般的な理由の一つです。

Aspect 5: 手法設計上の問題

実験設定が実用的でない、手法に技術的な欠陥がある、手法の頑健性が低い、または新手法のコストが利点を上回る。

• 実験設定が実用的でありませんか？ 想定は、意図するユースケースにおいて現実的ですか？
• 技術的な欠陥がありますか？ 手法に理論上または概念上の弱点はありますか？
• 頑健性が低くありませんか？ 手法にはシーンごとのハイパーパラメーター調整が必要ですか？
• 利点 < 制約ですか？ 新しいモジュールが、その利点を上回る制約をもたらしていませんか？

危険信号：シナリオごとに大幅な調整が必要な場合は、頑健性の実験を追加するか、その制約を認めて対処してください。

---

実験プロトコルの監査

最も深刻な実験上の欠陥は、設定の一文に隠れていることがあります。一度だけ書かれ、その後二度と言及されません。読者ではなく、敵対的な監査者の視点で、実験セクションを一行ずつ監査してください。

1. データの流れを再構成する。 本文だけを読んで、何を使って学習し、何を使って調整し、何を使って評価したのかを書き出してください。テストデータと学習データまたは調整データの間に重複があれば、たとえば設定に埋もれた「テスト分割でハイパーパラメーターを調整した」という記述も含め、重大な指摘事項です。本文からデータ分割の適切さをまったく再構成できない場合、それ自体が指摘事項です。
2. すべての前提を列挙する。 手法と設定から、「we assume」「assuming」「provided that」「given access to」を探してください。それぞれについて、実際の運用時に現実的か、またその影響が後続のどこかで議論されているかを確認してください。一度だけ述べられ、その後一切触れられない強い前提は重大な指摘事項です。
3. 情報の利用可能性を確認する。 推論時に、実際には存在しないラベル、オラクル信号、未来の情報、テスト分布の統計情報などを手法が使っていませんか？
4. 比較プロトコルを確認する。 すべてのベースラインで、同じデータ、同じ計算予算、同じ調整の労力が使われていますか？ ベースラインの数値はこの論文の設定で再現したものですか、それとも異なる設定の論文から引用したものですか？

---

重要な注意：主張には裏付けが必要です

論文内のすべての主張（特に要旨と序論）は、正確であり、実験によって裏付けられている必要があります。裏付けのない主張を理由に、論文をそのまま却下する査読者もいます。

要旨と序論の主張をすべて確認してください。主張ごとに、次の点を確認します。

• 事実として正確ですか？
• 裏付けとなる実験や分析がありますか？
• 裏付けとなる実験が明確に参照されていますか？

裏付けのない主張は、特に要旨や序論にある場合、却下の理由になり得ます。

---

逆アウトライン法

書き上げた段落から執筆の構成を抽出し、流れが滑らかかどうか確認します。

セクション（または論文全体）を書き上げた後に、次の手順を実行します。

1. 各段落を一つずつ読む
2. 各段落の主旨を一文で書き留める
3. 主旨を並べて読み、論理的な流れになっているか確認する
4. 流れの途切れを特定する：唐突、または非論理的に感じる箇所はどこですか？
5. 修正する：段落を並べ替える、つなぎの表現を加える、または段落を分割・統合する

次の箇所に適用します。

• 序論（論旨の流れを確認）
• 手法（モジュールが論理的な順序で説明されているか確認）
• 実験（結果が意味のある順序で示されているか確認）

---

図表の品質チェックリスト

図

• パイプライン図で新規性を強調している（単なる説明にとどまっていない）
• パイプライン図が先行研究の図と明確に異なっている
• ティーザー図が魅力的で、単独でも内容が理解できる
• すべての図に明確なキャプションがある
• 印刷に十分な解像度がある
• 色覚多様性に配慮している（赤と緑だけで区別しない）
• 図が本文中で参照されている

表

• キャプションが表の上にある
• 縦罫線を使用していない
• booktabs（\toprule、\midrule、\bottomrule）を使用している
• 最良の結果を強調している（太字または色）
• 指標の方向を示している（↑/↓）
• キャプションで結果ではなく、実験設定や表記法を説明している
• すべての表が本文中で参照されている

---

結論と限界の確認

• 結論で貢献と主要な結果を要約している
• 限界のセクションがある（査読者は、これがないことを頻繁に指摘します）
• 正直に述べられる場合、限界をタスクや設定の範囲として位置付けている（今後の課題のように）

  SOTAを上回っても、技術的な欠陥がなくなるわけではありません。情報漏えい、不公平な 比較、裏付けのない主張は、どのような指標の水準でも欠陥です。 限界ではなく、問題点として記録してください。範囲として位置付けるのは、 研究に本当に存在する境界に対してであり、問題を片付けるための場所ではありません。

• 限界を正直に述べつつ、自らの研究を不必要に貶めていない

---

機械的な整合性チェック

パス 3 では、これらをソースファイルに対して実行します（その理由は上記のパス 3 を参照してください）。

1. 約束と成果の整合性。 アブストラクトと序論で約束されている貢献（特に番号付きの貢献リスト）を列挙します。それぞれについて、その貢献を実現する節や実験と、結論での再言及を見つけます。冒頭で約束された貢献が結論までに説明なく消えている場合は、指摘事項です。
2. 比較対象として挙げられているが欠けている手法。 論文自体が「直接比較可能」「最も近い先行研究」「最先端」と呼ぶ手法は、結果の表に含める必要があります。含めない場合は、その理由を論文で説明する必要があります。関連研究では認められているものの、実験に登場しない場合は指摘事項です。
3. 数値の整合性。 アブストラクト、序論、結論で引用されているすべての数値が、出典となる表と一致している必要があります。主張されている改善（「X％向上」「YをZ削減」など）を再計算します。文章での解釈が表と一致しない場合、「大幅に優れている」と述べているのに差が 0.1 ポイントしかない場合などは指摘事項です。

このパスにはさらに 4 つのチェックがありますが、基準はこのファイル内の別の箇所にすでに記載されています。ここでは基準を繰り返すのではなく、検索として実行します。引用の整合性と残存マーカーは以下の投稿前最終チェックに、モジュールの動機付けは観点 2 に、表／図のチェックの機械的な部分は上記の図／表セクションにある基準に従います。ここではさらに、太字の「最良」の値が各列で実際に最良であること、矢印が指標の方向と一致していることを確認します。パス 2 の読解ですでに指摘されているものもありますが、このパスでは検索によって確定し、各問題は一度だけ報告します。

---

投稿前の最終チェック

• すべての参考文献が完備している（「?」や欠落がない）
• 著者情報が投稿先の要件に適合している
• ページ数が制限内である
• 補足資料が適切に参照されている
• 論文に TODO マーカーが残っていない
• 謝辞の節が適切である
• 二重匿名査読に偶発的に違反していない（匿名査読の場合）
• 引用したすべての研究に完全な書誌情報（著者、タイトル、掲載先、年）が記載されている
• 二重匿名査読の匿名性を損なう自己引用がない（二重匿名査読の投稿先の場合）
• 主要な関連研究を引用している。著名なベースライン論文の欠落は、採択拒否につながる場合があります

---

リバッタルへの引き継ぎ

査読結果が届いたら、paper-rebuttal スキルを使って次の作業を行います。

• スコアの診断と査読コメントの色分け
• 推薦者を味方につける戦略（議論に向けて肯定的な査読者を後押しする）
• 構成、内容、トーンに関する 18 の戦術的ルール
• 直感に反するリバッタルの原則

自己レビューの成果物（不採択を前提とするシミュレーション、主張と根拠の監査、直感に反するプロトコルに基づく事前反論の草稿）は、リバッタルのプロセスに直接活用できます。

5 つの観点のチェックリストを詳しい確認項目とともに展開した版については、references/review-checklist.md を参照してください。

敵対的なストレステストと不採択リスクのしきい値については、references/counterintuitive-review.md を参照してください。

5 つの観点によるチェックは、実行可能なワークフローとしても利用できます。 scripts/five_aspect_review.js をコードインタープリターに読み込み、await fiveAspectReview(draftText) を呼び出すと、型付きの結果（スコア、指摘事項、観点ごとの重大な問題）と統合された判定を含む、5 つの観点の並列サブレビューを実行できます。文章で分岐処理を再構成するより、こちらを優先してください。インタープリターが利用できない場合に限り、上記の逐次チェックリストを使ってください。

パス 3 の機械的なチェックは、理解ではなく検索の問題です。すべての引用キーを収集する、論文・付録・参考文献全体から \todo／TODO／FIXME を一掃する、主張されている改善を再計算する、といった作業です。これらはインタープリターで実行してください。利用できない場合は、網羅的に確認したかのように装うのではなく、レビュー内でその旨を伝えてください。