review-paper

論文レビュー

v1.1 — 経済学分野に即した評価と敵対的ストレステストを組み合わせた、投稿前のセルフレビュー

投稿前の学術論文について、厳格な査読をシミュレーションします。経済学に特化した査読基準（識別戦略、計量経済学的なモデル仕様）に、あえて反論を試みるストレステストと編集上の総括を組み合わせています。

議論: $ARGUMENTS

• 論文ファイルへのパス（.pdf、.tex、.qmd、.md、.docx）
• またはプロジェクト名（プロジェクトの標準的な場所から論文を探します）

モード（引数の末尾に追加）:

• full（デフォルト）— 3パスのレビュー：経済学レフェリー + あえて反論するストレステスト + 編集上の総括
• quick — 1パスのみのレフェリーレポート（あえて反論するストレステストと総括は省略）
• methodology — 識別と計量経済学のみに焦点を当てて詳細に検討
• da-only — あえて反論するストレステストのみ（バランスの取れたレビューは省略）

例：/review-paper ~/Dropbox/Github/bd-social-norms/paper/main.tex full 例：/review-paper dep-dts quick

---

指示

ステップ 0：論文を見つけて読む

1. $ARGUMENTS にファイルパスが含まれている場合は、そのファイルを直接読みます
2. $ARGUMENTS がプロジェクト名の場合は、次の場所を順番に確認します：
   • ~/Dropbox/Github/[project]/paper/
   • ~/Dropbox/Github/[project]/manuscript/
   • ~/Dropbox/Github/[project]/draft/
   • プロジェクトのリポジトリ内で *.tex、*.pdf、*.qmd、*.docx を検索
3. PDF は5ページずつ読みます。LaTeX の場合はメインファイルと、すべての \input{} ファイルを読みます。
4. レビューパスを開始する前に、論文全体を最初から最後まで読みます。

$ARGUMENTS からモードを解析します。指定がない場合は、デフォルトで full にします。

5. Skill ツールを使って参照ファイル review-paper-references/real-referee-patterns.md を読み込みます。このファイルには、トップジャーナルの実際のレフェリーレポートから得られた調整用パターンが含まれています。実際のレフェリーの書き方や重視する点に基づいてレビューしてください。

ステップ 1：経済学レフェリーの査読

トップ5の経済学ジャーナル（AER、QJE、Econometrica、JPE、REStud）のレフェリーの視点で検討します。次の6つの観点を評価してください。

1.1 議論の構成

• 研究課題が明確に示され、十分な動機付けがされていますか？
• 序論では、2～3段落で研究課題の重要性が示されていますか？
• 論理の流れ（課題 -> 文献 -> 手法 -> 結果 -> 結論）は適切ですか？
• 結論は提示された証拠によって裏付けられていますか？
• 限界について率直に述べられていますか？

1.2 識別戦略

• 因果関係の主張には説得力がありますか？外生的な変動の源は何ですか？
• 主要な識別仮定が明示されていますか？
• 識別への脅威として、欠落変数、逆因果、測定誤差、選択、波及効果、SUTVA 違反を検討していますか？
• RCT の場合：無作為化の質、遵守状況、脱落、バランス、事前分析計画の遵守状況は適切ですか？
• 準実験の場合：平行トレンド、除外制約、第一段階の強さ、バンド幅への感度は適切ですか？
• 推定量は研究デザインに適していますか（段階的導入における TWFE の懸念など）？
• 実施の忠実度（プログラム評価の場合）：プログラムは設計どおりに提供されましたか？遅延、対象者の選定ミス、期間の短さなどの逸脱によって、論文が主張できる範囲は制限されますか？論文が評価しているのは、設計どおりのプログラムですか、それとも実際に実施されたプログラムですか？

1.3 計量経済学的な仕様

• 標準誤差：適切なレベルでクラスター化されていますか？ 頑健ですか？ 少数クラスター補正は必要ですか？
• 関数形：適切ですか？ 代替的な仕様に対する感度はどうですか？
• サンプル選択：処置後の変数に条件付けることに懸念はありますか？
• 多重検定：検定した仮説はいくつですか？ 補正は行われていますか？
• 点推定値は経済的に意味のある大きさですか（統計的有意性だけでなく、効果の大きさという観点から）？
• 異質性分析：事前に計画されたものですか、それとも探索的なものですか？ 適切な補正は行われていますか？
• 検出力：検出（または未検出）した効果に対して、研究の検出力は十分ですか？ 帰無結果については、最小検出可能効果（MDE）を報告していますか。どの程度の効果を排除できますか？
• メカニズムの証拠：論文は、主張するメカニズムを裏付ける積極的な証拠を示していますか。それとも、代替的な説明を退けているだけですか？ 競合する説明を識別するための、具体的な異質性分析を提案してください。
• 費用対効果（介入の場合）：投資収益率について論じていますか？ 結果単位あたりの費用を概算するだけでも有益です。

1.4 先行研究との位置づけとフレーミング

• この分野の重要な論文が引用されていますか？
• 先行研究は正確かつ公平に説明されていますか？
• 既存研究との違いが明確に示されていますか？
• 査読者が指摘しそうな引用漏れはありますか？
• 論文は適切な研究分野の文献に位置づけられていますか（単に都合のよい分野ではなく）？
• フレーミングの広がり：論文をより広い枠組みで位置づけられますか？ 狭いフレーミングでは貢献が過小評価されます。「初の論文」といった主張は議論の余地があり、対象範囲を狭めるため避けてください。論文が答える、最も大きく、かつ正当に主張できる問いを著者が見いだせるようにしてください。
• 序論では、論文が既存研究に「貢献する」というだけでなく、結果が既存研究にとって何を意味するのかを説明していますか？

1.5 文章の質

• 明瞭さと簡潔さ（経済学の論文は簡潔であるべきです）
• 要旨で、問い、手法、知見、貢献が効果的に要約されていますか？
• 表記は全体を通じて一貫していますか？
• 表や図は単独で理解できますか（明確なラベル、注記、出典、サンプルサイズが示されていますか）？
• 貢献に見合った長さですか？

1.6 発表とデータの透明性

• 要約統計量が提示され、説明されていますか？
• （RCTの場合）バランス表はありますか？ 処置群と対照群の平均値が別々に示されていますか（差だけではなく）？ ランダム化推論は行われていますか？ 同時検定は行われていますか？
• 変数の定義は明確で、文書化されていますか？ 複合指標については、その構成要素が列挙されていますか？
• データのセクションでは、サンプルの構築方法について十分に説明されていますか？
• 結果は明確に示されていますか（係数、標準誤差、有意性、サンプル数）？
• すべての表と図が本文で参照されていますか？
• 行政データと自己申告データ：両方がある場合、どちらも示されていますか？ 不一致はデータ品質を示す情報として論じられていますか？
• 表の簡潔さ：ITTとIVを統合できますか（主表に一方を、付録にもう一方を掲載するなど）？ 関連する表をまとめられますか？
• 自己申告によるアウトカム：アウトカムが自己申告である場合、表のタイトルに明記されていますか？
• 統制変数に対する頑健性：ベースラインの統制変数を使わない結果を示す付録はありますか？
• 置換効果／GE効果：労働市場に関する論文では、結論だけでなく主要な結果とあわせて論じられていますか？

各次元を1～5で評価してください（1＝重大な問題あり、5＝非常に優れている）。

査読者としての異議を3～5点挙げてください。トップジャーナルの査読者が投げかけるような、厳しい問いです。それぞれについて：

• 異議を明確に述べる
• なぜ致命的、または重大な問題となり得るのかを説明する
• 著者がどのように対処できるかを提案する

mode = quick または methodology の場合：査読レポートを作成し（以下の出力形式を参照）、ここで終了してください。methodology の場合は、次元1.2と1.3のみを対象にしてください。

---

ステップ2：反対の立場からのストレステスト

mode が quick または methodology の場合はスキップしてください。

視点を完全に切り替えてください。もはやバランスの取れた査読者ではありません。あらゆる弱点を見つけることを目的とする、批判的な論者として振る舞ってください。これはステップ1とは別の作業です。同じ論点を繰り返さないでください。

以下の8つの課題に取り組んでください：

2.1 中核的主張への異議

論文の主な結論に対する可能な限り最も強力な反論を組み立てます。論文が誤っているという主張を、200〜300語で論じてください。

2.2 チェリーピッキングの検出

• 結果は選択的に報告されていますか？実施された可能性が高いのに示されていない分析仕様はありますか？
• 論文は最も強い結果を強調し、弱い結果を目立たないように扱っていますか？
• サンプルの定義は、結果に都合がよすぎるように見えますか？

2.3 確証バイアスの点検

• 論文は仮説を支持する証拠だけを引用していますか？
• 他の研究で示された相反する知見について論じていますか？
• 「正しい」結果を予測するという理由で、その理論的枠組みが選ばれていますか？

2.4 論理展開の検証

前提から結論まで、議論をたどります。論理のつながりが途切れている箇所や、明示されていない飛躍を要する箇所を特定してください。

2.5 過度の一般化の確認

• 結果は、研究対象となった特定のサンプルや状況を超えて一般化できますか？
• 論文は、証拠が裏づける範囲を超えて一般性を主張していますか？
• 外的妥当性：他の国、時期、集団でも当てはまりますか？

2.6 代替説明

主な結果を説明しうるものの、十分に排除されていない代替説明を2〜4個挙げてください。それぞれについて、著者の説明と代替説明を見分けるために必要な追加の証拠を説明してください。

2.7 ステークホルダーに関する見落とし

• 分析に欠けている視点は誰のものですか？
• 議論されていない分配上の影響や厚生への含意はありますか？
• 実務家や政策立案者は、著者の意図とは異なる解釈をする可能性がありますか？

2.8 「それで何が変わるのか？」の検証

• 結果が完全に正しいとしたら、何が変わりますか？誰の行動が変わりますか？
• 貢献は漸進的ですか、それとも変革的ですか？
• 論文は、人々が実際に答えを求めている問いに答えていますか？

各指摘を次のように分類してください。

• CRITICAL：中核的な議論に致命的な欠陥があり、根本的な改訂なしには救済できない
• MAJOR：信頼性を大きく損なうものの、追加分析や記述によって対処できる
• MINOR：指摘する価値はあるが、中核的な議論には影響しない
• OBSERVATION：欠陥ではないが、検討に値する別の視点

mode = da-only の場合：デビルズ・アドボケイト報告書を作成し、ここで終了してください。

---

ステップ3：編集者としての総合評価

full モードでのみ実行します。

ここでステップ1と2を振り返り、編集上の判断として総合してください。編集者として、投稿原稿の初期審査を行うように考えてください。

3.1 評価の一致点と相違点

• 査読者評価とデビルズ・アドボケイトの見解は、どこで一致していますか？（これらは最も強いシグナルです。）
• どこで意見が食い違っていますか？（デビルズ・アドボケイトが厳しすぎる可能性も、査読者が寛大すぎる可能性もあります。）
• デビルズ・アドボケイトの指摘のうち、実質的な脅威となるものと、実際の査読者が問題視しそうにない仮定上の懸念はどれですか？

3.2 判定

総合評価に基づき、次のいずれかを選んでください。

• Strong Accept：すべての評価軸で優れており、デビルズ・アドボケイトが挙げた問題は軽微なものか、所見レベルにとどまる
• Accept with Minor Revision：論文としての完成度が高く、対処可能な問題が1〜2件あり、デビルズ・アドボケイトから重大な指摘がない
• Revise and Resubmit：有望だが、重大な問題が2件以上あるか、対処可能なデビルズ・アドボケイトの重大な指摘が1件ある
• Reject：改訂では修正できない、識別上または議論上の根本的な問題がある

3.3 改訂のロードマップ

すべての指摘を、優先順位をつけた対応リストにまとめてください。

• 優先度1（必須）：投稿前に必ず修正する必要がある、致命的またはそれに近い問題
• 優先度2（強く推奨）：論文を大幅に強化する対応
• 優先度3（できれば対応）：仕上げ、追加の頑健性チェック、論旨の改善

---

ステップ4：報告書の作成

報告書全体を、作業ディレクトリに review_[sanitized_paper_name]_[YYYY-MM-DD].md として保存してください。

出力ファイルのフルパスをユーザーに伝えてください。

---

出力形式

# Manuscript Review: [Paper Title]

**Date:** [YYYY-MM-DD]
**Mode:** [full / quick / methodology / da-only]
**File reviewed:** [path to manuscript]
**Reviewer:** /review-paper skill v1.0

---

## Summary Assessment

**Overall recommendation:** [Strong Accept / Accept with Minor Revision / Revise and Resubmit / Reject]

[2-3 paragraph summary: main contribution, key strengths, and central concerns. Be direct.]

---

## Econ Referee Report

### Dimension Scores

| Dimension | Score (1-5) | Key Issue |
|-----------|:-----------:|-----------|
| Argument Structure | | |
| Identification Strategy | | |
| Econometric Specification | | |
| Literature Positioning | | |
| Writing Quality | | |
| Presentation & Data | | |
| **Overall** | **[avg]** | |

### Strengths

1. [Strength — be specific, cite sections/tables]
2. [...]
3. [...]

### Major Concerns

#### MC1: [Title]
- **Dimension:** [which of the 6]
- **Issue:** [specific description]
- **Suggestion:** [how to address it]
- **Location:** [section/page/table]

[Repeat for each major concern]

### Minor Concerns

#### mc1: [Title]
- **Issue:** [description]
- **Suggestion:** [fix]

[Repeat]

### Referee Objections

#### RO1: [The tough question]
**Why it matters:** [why this could be fatal or damaging]
**How to address it:** [suggested response or additional analysis]

[Repeat for 3-5 objections]

---

## Devil's Advocate Report

*(Only in `full` and `da-only` modes)*

### Strongest Counter-Argument
[200-300 words. The single best case that the paper's conclusion is wrong.]

### Critical Findings
[Any CRITICAL-severity issues. If none, state "No critical findings."]

### Major Findings
[MAJOR-severity issues with challenge number (2.1-2.8)]

### Minor Findings & Observations
[Brief list]

### Alternative Explanations Not Ruled Out
1. [Alternative — what evidence would distinguish it]
2. [...]

---

## Editorial Synthesis

*(Only in `full` mode)*

### Consensus Points
[Where referee and DA agree — these are the most important signals]

### Areas of Disagreement
[Where DA was harsher than the referee assessment warrants, or vice versa]

### Decision Rationale
[2-3 sentences explaining the recommendation]

### Revision Roadmap

#### Priority 1: Required Before Submission
- [ ] [Action item with specific guidance]
- [ ] [...]

#### Priority 2: Strongly Recommended
- [ ] [Action item]
- [ ] [...]

#### Priority 3: Nice to Have
- [ ] [Action item]
- [ ] [...]

---

## Specific Comments

[Section-by-section or line-by-line comments, if any. Include page/paragraph references.]

---

原則

• 建設的であること。 批判には必ず提案を添えます。目標は論文をより良くすることであり、けなすことではありません。
• 具体的であること。 該当する節、数式、表、ページ番号を正確に示します。
• トップ5誌のレフェリーの視点で考えること。 どのような点があれば却下を勧めるでしょうか。どのような点があれば強く推したくなるでしょうか。
• 致命的な問題と仕上げの問題を区別すること。 すべてが同じ重要度ではありません。優先順位を付けます。
• 優れた点を認めること。 優れた研究は評価に値します。実施の難しさにも言及します。「政府プログラムの評価を成功させるのは、非常に困難です。」
• 経済学に即した視点を持つこと。 単なる「方法論」ではなく識別に注目します。統計的有意性だけでなく経済的有意性にも注目します。クレディビリティ革命の基準を念頭に置きます。
• 不確実性について正直であること。 データが存在するかどうかわからない場合は、そのように伝えます。「このデータが存在するかどうかはわかりませんが……」
• 指示ではなく選択肢を示すこと。 表現上の提案については、著者に裁量を残します。「どのようにするかは、お任せしたいと思います。」
• フレーミングに関する助言は贈り物です。 論文のフレーミングが狭すぎる場合、より広い枠組みを提案することは著者の助けになります。批判ではありません。
• 捏造しないこと。 節をはっきり読めない場合は、その旨を伝えます。論文の詳細をでっち上げてはいけません。
• 引用をでっち上げないこと。 追加すべき参考文献を提案する場合は、実在するかどうかをユーザーが確認する必要があることを明記します。