mcpField
P
paper-reviewer-simulator

paper-reviewer-simulator

github.com/a-green-hand-jack生产力60 次安装
代码仓库

关于 paper-reviewer-simulator

paper-reviewer-simulator 是面向投稿前研究者的论文评审模拟技能,可按目标 venue 模拟评审视角,识别录用风险并将异议整理为修订优先级,但不直接改写论文。

主要功能

  1. 01模拟多种评审视角
  2. 02按 venue 和论文类型调整评审
  3. 03给出预测决定及置信度
  4. 04通过风险清单排列异议优先级
  5. 05检查 rebuttal 准备情况

适用场景

  1. 01投稿前发现可能的拒稿理由
  2. 02确定论文草稿的修订优先级
  3. 03准备回应已有评审意见
  4. 04评估证据缺口和所需实验

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/a-green-hand-jack/ml-research-skills --skill paper-reviewer-simulator

安装后在 Claude Code 中输入/paper-reviewer-simulator确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

references/
example-review-mining.md
memory-model.md
report-template.md
review-panel.md
risk-register.md
venue-review-styles.md

详细介绍

论文审稿模拟器

从目标会议审稿人的视角进行投稿前模拟审稿。目标是在论文提交前找出审稿人可能提出的异议,然后将这些异议转化为具体的修改优先级。

在以下场景中使用此技能:

  • 以审稿人视角评议论文
  • 预测特定会议的评分和置信度
  • 预测可能的拒稿理由和审稿人问题
  • 进行对抗性的“Reviewer 2”压力测试
  • 撰写领域主席或元审稿总结
  • 检查 rebuttal 准备情况
  • 为正在修改的论文创建风险登记表
  • 从示例审稿意见、OpenReview 讨论和目标会议指南中学习

不要使用此技能直接改写论文。若论文需要结构或段落层面的修改,请在审稿后将其与 conference-writing-adapter 配合使用。将其与 citation-audit 配合使用以检查参考文献是否正确,并与 submit-paper 配合使用以做好最终投稿准备。

当需要将模拟审稿风险转化为项目级风险和行动时,请将此技能与 research-project-memory 配合使用。

技能目录结构

<installed-skill-dir>/
├── SKILL.md
└── references/
    ├── example-review-mining.md
    ├── memory-model.md
    ├── report-template.md
    ├── review-panel.md
    ├── risk-register.md
    └── venue-review-styles.md

渐进式加载

  • 始终阅读 references/review-panel.md 和 references/risk-register.md。
  • 用户指定目标会议或要求比较会议时,阅读 references/venue-review-styles.md。
  • 从 OpenReview、公开审稿意见、已录用论文讨论、官方审稿指南或示例论文中学习时,阅读 references/example-review-mining.md。
  • 保存或复用特定会议的审稿人知识时,阅读 references/memory-model.md。
  • 完整审稿报告请使用 references/report-template.md。
  • 评分或涉及特定会议标准时,核实当前官方审稿指南和审稿表。

核心原则

  • 像真正的审稿人一样评审,而不是像写作教练一样。重点关注录用风险:新颖性、正确性、重要性、证据、清晰度、可复现性、伦理和契合度。
  • 区分致命缺陷与可修复的表达问题。
  • 批评应以论文正文、图表、实验、证明和引文为依据。
  • 模拟多种审稿人视角,因为同一篇论文可能收到相互矛盾的意见。
  • 明确会议和主题。理论导向的 ICLR 审稿、实证导向的 NeurIPS 审稿和 CVPR 基准测试审稿,风格不应相同。
  • 不要捏造缺失的结果。将缺失的证据标记为风险。
  • 提出可执行的修改方案,但要将审稿人的异议与作者的修改计划区分开来。

步骤 1 - 确定审稿背景

明确以下信息:

  • 目标会议和年份
  • 领域或主题方向(如已知)
  • 论文类型:方法、理论、实证研究、基准测试、数据集、系统、分析、应用或混合类型
  • 论文阶段:提纲、早期草稿、完整草稿、rebuttal、最终版
  • 审稿模式:
    • quick:主要风险和预测决定
    • full:多位审稿人的意见,加上元审稿和风险登记表
    • adversarial:聚焦拒稿原因的严格审稿
    • rebuttal:针对现有审稿意见提出问题和回应策略
  • 可用证据:TeX 源文件、PDF、图表、表格、附录、实验日志、相关工作、以往审稿意见

如果用户未指定模式,完整草稿默认使用 full,提纲或部分草稿默认使用 quick。

步骤 2 - 阅读论文证据

优先查看论文原始文件,而不是摘要。

查找:

  • main.tex、paper.tex、sections/*.tex、附录、补充材料
  • 标题、摘要、引言、贡献列表
  • 方法/理论部分、假设、定理陈述、算法框
  • 实验、基线、消融、数据集、指标、定性示例
  • 图和表
  • 相关工作、局限性、伦理/广泛影响、清单
  • 可用时,查看以往审稿意见或作者备注

整理以下概况:

## Paper Snapshot
- Target venue:
- Paper archetype:
- Claimed contribution:
- Core technical idea:
- Main evidence:
- Strongest result:
- Weakest result:
- Most likely novelty concern:
- Most likely correctness concern:
- Most likely empirical concern:
- Current missing information:

如果论文尚未完成,请如实评审当前阶段,并区分“尚未撰写”和“科学性薄弱”。

步骤 3 - 了解会议和主题的评审风格

阅读 references/venue-review-styles.md。

然后根据最新来源更新评审背景:

  • 官方评审指南和评审表
  • 评分标准和信心等级
  • 伦理、可复现性和检查清单要求
  • 公开时可查阅的 OpenReview 示例和讨论
  • 同一会议/主题的录用论文、口头报告论文和 Spotlight 论文
  • 可获取的类似论文评审

研究示例时,阅读 references/example-review-mining.md,并在给用户的论文打分前制作一份精简的评审风格矩阵。

不要依赖静态记忆来了解当前的评审表。如果具体分数或标准很重要,请从官方来源核实。

步骤 4 - 配置评审小组

阅读 references/review-panel.md。

进行完整评审时,创建 3-5 位评审人:

  • R1 Technical Specialist:深入理解方法/理论
  • R2 Skeptical Generalist:审视这项贡献是否重要
  • R3 Empirical/Reproducibility Reviewer:检查实验、基线、消融和统计支持
  • R4 Related Work/Novelty Reviewer:检查研究定位和遗漏的引用
  • AC Meta-Reviewer:综合判断决策风险,并审视哪些因素会改变结果

根据论文调整评审小组:

  • 理论性强的论文:增加假设/证明评审人
  • 基准/数据集论文:增加数据质量/评估评审人
  • 系统论文:增加可扩展性/可复现性评审人
  • 应用型论文:增加领域有效性评审人
  • CV/NLP 论文:增加特定任务基准评审人

步骤 5 - 开展独立评审

每位评审人应输出:

  • 以评审人口吻概述论文
  • 优点
  • 缺点
  • 给作者的问题
  • 要求补充的实验/分析/证明
  • 使用目标会议的评分标准给出分数和信心等级(若已知)
  • 可能的建议:接收 / 边缘接收 / 拒稿

合理时,评审人之间应有不同意见。不要通过求平均值消除重要分歧。

针对每条批评,指出:

  • 论文中的位置
  • 评审人担心的问题
  • 问题属于证据、清晰度、新颖性、正确性、研究定位、可复现性还是范围
  • 提交前如何降低风险

步骤 6 - 撰写领域主席综合评审

综合评审应归纳:

  • 共识优点
  • 共识缺点
  • 存在分歧的问题
  • 可能的讨论走向
  • 决策风险
  • 最能提高分数的改进
  • 论文因科学性不足还是表达呈现不足而被拒

使用以下决策措辞:

  • likely accept
  • borderline accept
  • borderline reject
  • likely reject
  • incomplete / not reviewable

并注明信心等级:低 / 中 / 高。

步骤 7 - 建立风险登记表

阅读 references/risk-register.md。

将评审意见转化为按优先级排序的风险登记表:

  • must-fix:可能导致拒稿
  • should-fix:能显著提高录用概率
  • nice-to-fix:润色或方便评审人审阅
  • rebuttal-only:提交前无法修复,但可以准备回应

每项风险都必须包含:

  • 评审人的关切
  • 论文中的证据
  • 严重程度
  • 发生概率
  • 修复工作量
  • 建议措施
  • 负责人(若已知)

步骤 8 - 做好答辩准备

针对最高优先级的风险,列出:

  • 评审人可能提出的问题
  • 最佳的提交前修复方案
  • 备选答辩回应
  • 使答辩可信所需的证据

如果某项风险必须通过新实验/证明才能修复,请明确说明。

第 9 步 - 更新审稿人记忆

阅读 references/memory-model.md。

研究了会议示例或真实评审意见时:

  1. 更新 .agent/reviewer-simulator/venues/<venue>.md
  2. 更新 .agent/reviewer-simulator/examples/<venue>-<year>-reviews.md
  3. 更新 .agent/reviewer-simulator/project-risk-register.md

记忆必须区分:

  • 观察到的审稿人模式
  • 推断出的会议评审风格
  • 当前论文的风险
  • 尚未解决的问题

不要存储大段复制的评审意见文本。请转述评审模式并附上来源 URL。

如果项目使用 research-project-memory,还要更新:

  • memory/risk-board.md:列出模拟审稿人识别出的主要风险,并在可能时关联受影响的主张 ID
  • memory/action-board.md:列出必须修复和应该修复的问题,并区分写作修改与新增实验/证明
  • memory/claim-board.md:列出可能需要弱化、删除或重新表述的主张
  • memory/evidence-board.md:列出证据缺口、过时的图表或缺失的证明/实验需求
  • reviewer/.agent/reviewer-status.md:记录评审模式、预测的决定以及尚未解决的审稿人问题

不要将模拟评审视为真实评审。对于预测的审稿人行为,置信度应标为 inferred。

输出模式

快速评审
# Shadow Review: Quick Risk Scan
## Paper Snapshot
## Predicted Decision
## Top 5 Rejection Risks
## Fastest Fixes
## Questions Reviewers Will Ask
完整评审

使用 references/report-template.md。

对抗性评审

聚焦可能导致拒稿的问题:

# Adversarial Review
## Strongest Reject Case
## Reviewer 2 Critique
## Fatal If True
## How To Disarm Before Submission
## Risks That Cannot Be Fixed By Writing
答辩模式
# Rebuttal Readiness
## Review Claim
## Is The Reviewer Right?
## Evidence Available
## Best Response
## Paper Revision Needed

最终检查

完成前,请确认:

  • 已明确目标会议/年份和评审模式
  • 已说明论文的类型
  • 审稿标准来自当前的官方指南,或明确标注为记忆内容
  • 示例评审的观察已转述并附上来源链接
  • 批评意见均与论文中的证据相关联
  • 预测的分数包含置信度和不确定性
  • 按对录用的影响为主要风险排序
  • 修复措施区分写作修改与新增实验/证明
  • 研究会议示例时已更新记忆
  • 模拟风险需要长期保留时,已更新项目记忆

评论

支持 Markdown