review-paper

论文评审

v1.1 — 提交前自我评审：结合经济学领域的评估标准与对抗性压力测试

模拟对学术论文进行严格的投稿前同行评审。结合经济学特有的评审标准（识别策略、计量经济学设定）、反方压力测试和编辑综合评议。

论点： $ARGUMENTS

• 论文文件路径（.pdf、.tex、.qmd、.md、.docx）
• 或项目名称（将在项目的标准位置查找论文）

模式（附加到参数后）：

• full（默认）——三轮评审：经济学审稿人 + 反方评审 + 编辑综合评议
• quick ——仅进行一轮审稿人评审（跳过反方评审和综合评议）
• methodology ——仅深入分析识别策略和计量经济学
• da-only ——仅进行反方压力测试（跳过平衡评审）

示例：/review-paper ~/Dropbox/Github/bd-social-norms/paper/main.tex full
示例：/review-paper dep-dts quick

---

说明

步骤 0：定位并阅读论文

1. 如果 $ARGUMENTS 包含文件路径，直接读取该文件
2. 如果 $ARGUMENTS 是项目名称，请按以下顺序检查这些位置：
   • ~/Dropbox/Github/[project]/paper/
   • ~/Dropbox/Github/[project]/manuscript/
   • ~/Dropbox/Github/[project]/draft/
   • 在项目仓库中搜索 *.tex、*.pdf、*.qmd、*.docx
3. 对于 PDF，分批阅读（每次 5 页）。对于 LaTeX，阅读主文件及所有 \input{} 文件。
4. 开始任何一轮评审前，须从头到尾完整阅读整篇论文。

解析 $ARGUMENTS 中的模式。若未指定，则默认为 full。

5. 使用 Skill 工具加载参考文件 review-paper-references/real-referee-patterns.md。该文件包含顶级期刊真实审稿意见中的校准范例——请据此把握评审基准，了解真实审稿人的写作方式和关注重点。

步骤 1：经济学审稿人评审

以顶级 5 本经济学期刊（AER、QJE、Econometrica、JPE、REStud）的审稿人视角进行评估，涵盖以下 6 个维度：

1.1 论证结构

• 研究问题是否清晰陈述且动机充分？
• 引言是否在 2-3 个段落内说明该问题的重要性？
• 逻辑脉络是否合理（问题 -> 文献 -> 方法 -> 结果 -> 结论）？
• 结论是否得到所呈现证据的支持？
• 是否如实承认局限性？

1.2 识别策略

• 因果主张是否可信？外生变异来源是什么？
• 是否明确陈述关键识别假设？
• 存在哪些识别威胁：遗漏变量、反向因果、测量误差、选择、溢出效应、SUTVA 违背？
• 对于 RCT：随机化质量、依从性、样本流失、平衡性、是否遵循预分析计划？
• 对于准实验：平行趋势、排除限制、第一阶段强度、带宽敏感性？
• 估计量是否适用于研究设计（如交错实施中 TWFE 的问题等）？
• 实施忠实度（针对项目评估）：项目是否按设计实施？偏离设计的情况（延迟、目标错置、持续时间过短）是否限制了论文可提出的主张？论文评估的是按设计实施的项目，还是实际实施的项目？

1.3 计量经济学设定

• 标准误：是否在恰当的层级进行聚类？是否使用稳健标准误？是否需要针对少量聚类进行校正？
• 函数形式：是否恰当？对其他形式的敏感性如何？
• 样本选择：是否存在对处理后变量进行条件筛选的问题？
• 多重检验：检验了多少个假设？是否进行了校正？
• 点估计在经济意义上是否显著（看效应大小，而不只是统计显著性）？
• 异质性分析：是预先设定的，还是探索性的？是否进行了适当校正？
• 检验力：对于正在检测（或未检测到）的效应，研究的检验力是否充足？对于零结果，报告最小可检测效应（MDE）——可以排除哪些效应大小？
• 机制证据：论文是否为所声称的机制提供了正面证据，还是仅仅排除了其他解释？建议开展具体的异质性分析，以区分相互竞争的解释。
• 成本效益（针对干预措施）：是否讨论了投资回报？即便是粗略估算单位结果的成本，也很有价值。

1.4 文献定位与论述框架

• 是否引用了该领域的关键论文？
• 对先前研究的描述是否准确、公允？
• 是否清楚地区分了本文贡献与现有研究？
• 是否遗漏了审稿人可能会指出的引用？
• 论文是否定位于恰当的文献脉络中（而不仅仅是方便归入的领域）？
• 论述框架的广度：论文能否采用更宽泛的论述框架？过于狭窄的框架会低估论文的贡献。避免声称“首篇……”——这类说法容易引发争议，也会缩小研究范围。帮助作者明确其论文所回答的、最有依据的重大问题。
• 引言是否说明了研究结果对现有文献意味着什么，而不只是说论文“对其有所贡献”？

1.5 写作质量

• 清晰简洁（经济学论文应简练）
• 摘要是否有效概述了研究问题、方法、发现和贡献
• 全文符号是否一致
• 表格和图是否能独立理解（标签、注释、来源和样本量是否清晰）
• 篇幅是否与贡献相称

1.6 呈现方式与数据透明度

• 是否呈现并讨论了汇总统计量？
• 平衡表（针对 RCT）是否分别展示处理组和对照组的均值（而不只是差值）？是否进行了随机化推断？联合检验？
• 变量定义是否清晰并有记录？对于复合指数，是否列出了各组成部分？
• 数据部分是否充分说明了样本构建方式？
• 结果是否清晰呈现（系数、标准误、显著性、N）？
• 正文是否引用了所有表格和图？
• 行政数据与自报数据：如果两者都有，是否都已展示？是否将二者的差异作为数据质量信号加以讨论？
• 表格精简：能否将 ITT 和 IV 合并呈现（一个放在正文表格中，另一个放在附录中）？能否合并相关表格？
• 自报结果：当结果为自报时，表格标题是否明确说明？
• 对控制变量的稳健性：附录中是否展示了不含基线控制变量的结果？
• 挤出效应／一般均衡效应：对于劳动力市场论文，是否在讨论主要结果时一并讨论（而不只是放在结论中）？

请对每个维度按 1–5 分评分（1 = 存在重大问题，5 = 表现出色）。

提出 3–5 条审稿意见——顶级期刊审稿人会提出的尖锐问题。对每条意见：

• 清楚陈述问题
• 解释其可能致命或造成严重损害的原因
• 建议作者如何回应

如果 mode = quick 或 methodology：撰写审稿报告（见下方输出格式），然后停止。对于 methodology，只关注维度 1.2 和 1.3。

---

第 2 步：反方压力测试

如果 mode = quick 或 methodology，则跳过。

彻底转换视角。你不再是一位平衡的审稿人，而是一位对抗性批评者，任务是找出所有薄弱之处。这与第 1 步分开；不要重复相同的观点。

开展以下 8 项挑战：

2.1 核心论点挑战

构建一个尽可能有力地反驳论文主要结论的论证。写 200-300 个词，说明论文为何错了。

2.2 选择性报告检测

• 结果是否经过选择性报告？是否可能运行过某些设定，却未予展示？
• 论文是否着重强调最有力的结果，同时掩盖较弱的结果？
• 样本定义是否可疑地有利于得出这些结果？

2.3 确认偏误扫描

• 论文是否只引用支持其假设的证据？
• 是否讨论了其他研究中的矛盾发现？
• 选择理论框架是否因为它能预测“正确”的结果？

2.4 逻辑链条验证

追溯从假设到结论的论证过程。指出链条中任何断裂之处，或需要未明言的推论才能成立之处。

2.5 过度泛化检查

• 结果能否推广到所研究的特定样本／情境之外？
• 论文声称的普遍性是否超出证据所能支持的范围？
• 外部效度：这一结论在其他国家／时期／人群中是否仍然成立？

2.6 替代解释

列出 2-4 种尚未被充分排除的主要结果替代解释。对每种解释，说明需要哪些额外证据才能区分作者的说法与该替代解释。

2.7 利益相关方盲点

• 分析中缺少谁的视角？
• 是否未讨论分配效应或福利影响？
• 实务人员／政策制定者是否会以不同于作者预期的方式解读这些结果？

2.8 “所以呢？”测试

• 如果结果完全正确，会带来什么变化？谁会采取不同做法？
• 这项贡献是渐进式的，还是变革性的？
• 论文回答的是人们实际关心的问题吗？

将每项发现分类为：

• CRITICAL：核心论证存在致命缺陷——不进行根本性修改就无法补救
• MAJOR：严重损害可信度，但可通过补充分析／写作加以解决
• MINOR：值得指出，但不影响核心论证
• OBSERVATION：并非缺陷，而是值得考虑的另一种视角

如果 mode = da-only：撰写魔鬼代言人报告，并在此处停止。

---

第 3 步：编辑综合评估

仅在 full mode 下运行。

现在退一步，综合第 1 步和第 2 步，作出编辑决定。请像编辑作出初步审稿决定那样思考。

3.1 共识分析

• 审稿人评估与魔鬼代言人在哪些方面意见一致？（这些是最有力的信号。）
• 两者在哪些方面意见不一？（魔鬼代言人可能过于严苛，或审稿人过于宽松。）
• 哪些魔鬼代言人发现是真正的威胁，哪些只是可能存在、但不太可能令真实审稿人担忧的问题？

3.2 决策

根据综合评估作出决定：

• Strong Accept：各方面表现出色，魔鬼代言人仅发现轻微问题或观察意见
• Accept with Minor Revision：论文整体出色，有 1-2 个可解决的问题，且没有魔鬼代言人提出的关键问题
• Revise and Resubmit：具有良好潜力，但存在 2 个以上主要问题，或 1 个可通过修改解决的魔鬼代言人关键问题
• Reject：存在根本性的识别／论证问题，无法通过修改解决

3.3 修改路线图

将所有发现整理成按优先级排序的行动清单：

• 优先级 1（必须处理）：投稿前必须解决的问题——致命或近乎致命的问题
• 优先级 2（强烈建议）：能显著增强论文的问题
• 优先级 3（可选改进）：润色事项、额外稳健性检验、框架改进

---

第 4 步：撰写报告

将完整报告保存到工作目录，文件名为 review_[sanitized_paper_name]_[YYYY-MM-DD].md。

告知用户输出文件的完整路径。

---

输出格式

# Manuscript Review: [Paper Title]

**Date:** [YYYY-MM-DD]
**Mode:** [full / quick / methodology / da-only]
**File reviewed:** [path to manuscript]
**Reviewer:** /review-paper skill v1.0

---

## Summary Assessment

**Overall recommendation:** [Strong Accept / Accept with Minor Revision / Revise and Resubmit / Reject]

[2-3 paragraph summary: main contribution, key strengths, and central concerns. Be direct.]

---

## Econ Referee Report

### Dimension Scores

| Dimension | Score (1-5) | Key Issue |
|-----------|:-----------:|-----------|
| Argument Structure | | |
| Identification Strategy | | |
| Econometric Specification | | |
| Literature Positioning | | |
| Writing Quality | | |
| Presentation & Data | | |
| **Overall** | **[avg]** | |

### Strengths

1. [Strength — be specific, cite sections/tables]
2. [...]
3. [...]

### Major Concerns

#### MC1: [Title]
- **Dimension:** [which of the 6]
- **Issue:** [specific description]
- **Suggestion:** [how to address it]
- **Location:** [section/page/table]

[Repeat for each major concern]

### Minor Concerns

#### mc1: [Title]
- **Issue:** [description]
- **Suggestion:** [fix]

[Repeat]

### Referee Objections

#### RO1: [The tough question]
**Why it matters:** [why this could be fatal or damaging]
**How to address it:** [suggested response or additional analysis]

[Repeat for 3-5 objections]

---

## Devil's Advocate Report

*(Only in `full` and `da-only` modes)*

### Strongest Counter-Argument
[200-300 words. The single best case that the paper's conclusion is wrong.]

### Critical Findings
[Any CRITICAL-severity issues. If none, state "No critical findings."]

### Major Findings
[MAJOR-severity issues with challenge number (2.1-2.8)]

### Minor Findings & Observations
[Brief list]

### Alternative Explanations Not Ruled Out
1. [Alternative — what evidence would distinguish it]
2. [...]

---

## Editorial Synthesis

*(Only in `full` mode)*

### Consensus Points
[Where referee and DA agree — these are the most important signals]

### Areas of Disagreement
[Where DA was harsher than the referee assessment warrants, or vice versa]

### Decision Rationale
[2-3 sentences explaining the recommendation]

### Revision Roadmap

#### Priority 1: Required Before Submission
- [ ] [Action item with specific guidance]
- [ ] [...]

#### Priority 2: Strongly Recommended
- [ ] [Action item]
- [ ] [...]

#### Priority 3: Nice to Have
- [ ] [Action item]
- [ ] [...]

---

## Specific Comments

[Section-by-section or line-by-line comments, if any. Include page/paragraph references.]

---

原则

• 建设性地提出意见。 每条批评都应附带建议。目标是让论文变得更好，而不是将其全盘否定。
• 具体明确。 指出准确的章节、公式、表格和页码。
• 像顶尖期刊的审稿人一样思考。 哪些问题会让他们建议拒稿？哪些方面会让他们感到振奋？
• 区分致命缺陷与润色问题。 并非所有问题都同等重要。请区分轻重缓急。
• 肯定做得好的地方。 优秀的研究值得认可。也要承认研究执行的难度：“成功评估政府项目极具挑战性。”
• 采用经济学视角。 关注识别，而不只是“方法论”；关注经济意义，而不只是统计显著性；遵循可信度革命的标准。
• 坦诚面对不确定性。 如果不确定某项数据是否存在，请直言：“我不知道是否存在这类数据，不过……”
• 提供选择，而非强制要求。 对于呈现方式的建议，应给作者留有余地：“我会把决定权留给你。”
• 提供框架建议是一份馈赠。 如果论文的框架过于狭窄，建议采用更广阔的框架是在帮助作者，而不是批评他们。
• 切勿捏造。 如果无法清楚读懂某个部分，请如实说明。不要虚构论文细节。
• 切勿编造引文。 如果建议补充参考文献，请提醒用户核实这些文献是否真实存在。