关于 paper-reviewer-simulator
paper-reviewer-simulator 是面向投稿前研究者的论文评审模拟技能,可按目标 venue 模拟评审视角,识别录用风险并将异议整理为修订优先级,但不直接改写论文。
主要功能
- 01模拟多种评审视角
- 02按 venue 和论文类型调整评审
- 03给出预测决定及置信度
- 04通过风险清单排列异议优先级
- 05检查 rebuttal 准备情况
适用场景
- 01投稿前发现可能的拒稿理由
- 02确定论文草稿的修订优先级
- 03准备回应已有评审意见
- 04评估证据缺口和所需实验
安装
复制下面的命令,在终端中运行。
npx skills add https:/ / github.com/ a-green-hand-jack/ ml-research-skills --skill paper-reviewer-simulator安装后在 Claude Code 中输入/paper-reviewer-simulator确认已加载。
包含的文件
除 SKILL.md 外,安装时一起下载的参考资料和脚本。
references/example-review-mining.mdmemory-model.mdreport-template.mdreview-panel.mdrisk-register.mdvenue-review-styles.md详细介绍
论文审稿模拟器
从目标会议审稿人的视角进行投稿前模拟审稿。目标是在论文提交前找出审稿人可能提出的异议,然后将这些异议转化为具体的修改优先级。
在以下场景中使用此技能:
- 以审稿人视角评议论文
- 预测特定会议的评分和置信度
- 预测可能的拒稿理由和审稿人问题
- 进行对抗性的“Reviewer 2”压力测试
- 撰写领域主席或元审稿总结
- 检查 rebuttal 准备情况
- 为正在修改的论文创建风险登记表
- 从示例审稿意见、OpenReview 讨论和目标会议指南中学习
不要使用此技能直接改写论文。若论文需要结构或段落层面的修改,请在审稿后将其与 conference-writing-adapter 配合使用。将其与 citation-audit 配合使用以检查参考文献是否正确,并与 submit-paper 配合使用以做好最终投稿准备。
当需要将模拟审稿风险转化为项目级风险和行动时,请将此技能与 research-project-memory 配合使用。
技能目录结构
<installed-skill-dir>/
├── SKILL.md
└── references/
├── example-review-mining.md
├── memory-model.md
├── report-template.md
├── review-panel.md
├── risk-register.md
└── venue-review-styles.md
渐进式加载
- 始终阅读
references/review-panel.md和references/risk-register.md。 - 用户指定目标会议或要求比较会议时,阅读
references/venue-review-styles.md。 - 从 OpenReview、公开审稿意见、已录用论文讨论、官方审稿指南或示例论文中学习时,阅读
references/example-review-mining.md。 - 保存或复用特定会议的审稿人知识时,阅读
references/memory-model.md。 - 完整审稿报告请使用
references/report-template.md。 - 评分或涉及特定会议标准时,核实当前官方审稿指南和审稿表。
核心原则
- 像真正的审稿人一样评审,而不是像写作教练一样。重点关注录用风险:新颖性、正确性、重要性、证据、清晰度、可复现性、伦理和契合度。
- 区分致命缺陷与可修复的表达问题。
- 批评应以论文正文、图表、实验、证明和引文为依据。
- 模拟多种审稿人视角,因为同一篇论文可能收到相互矛盾的意见。
- 明确会议和主题。理论导向的 ICLR 审稿、实证导向的 NeurIPS 审稿和 CVPR 基准测试审稿,风格不应相同。
- 不要捏造缺失的结果。将缺失的证据标记为风险。
- 提出可执行的修改方案,但要将审稿人的异议与作者的修改计划区分开来。
步骤 1 - 确定审稿背景
明确以下信息:
- 目标会议和年份
- 领域或主题方向(如已知)
- 论文类型:方法、理论、实证研究、基准测试、数据集、系统、分析、应用或混合类型
- 论文阶段:提纲、早期草稿、完整草稿、rebuttal、最终版
- 审稿模式:
quick:主要风险和预测决定full:多位审稿人的意见,加上元审稿和风险登记表adversarial:聚焦拒稿原因的严格审稿rebuttal:针对现有审稿意见提出问题和回应策略
- 可用证据:TeX 源文件、PDF、图表、表格、附录、实验日志、相关工作、以往审稿意见
如果用户未指定模式,完整草稿默认使用 full,提纲或部分草稿默认使用 quick。
步骤 2 - 阅读论文证据
优先查看论文原始文件,而不是摘要。
查找:
main.tex、paper.tex、sections/*.tex、附录、补充材料- 标题、摘要、引言、贡献列表
- 方法/理论部分、假设、定理陈述、算法框
- 实验、基线、消融、数据集、指标、定性示例
- 图和表
- 相关工作、局限性、伦理/广泛影响、清单
- 可用时,查看以往审稿意见或作者备注
整理以下概况:
## Paper Snapshot
- Target venue:
- Paper archetype:
- Claimed contribution:
- Core technical idea:
- Main evidence:
- Strongest result:
- Weakest result:
- Most likely novelty concern:
- Most likely correctness concern:
- Most likely empirical concern:
- Current missing information:
如果论文尚未完成,请如实评审当前阶段,并区分“尚未撰写”和“科学性薄弱”。
步骤 3 - 了解会议和主题的评审风格
阅读 references/venue-review-styles.md。
然后根据最新来源更新评审背景:
- 官方评审指南和评审表
- 评分标准和信心等级
- 伦理、可复现性和检查清单要求
- 公开时可查阅的 OpenReview 示例和讨论
- 同一会议/主题的录用论文、口头报告论文和 Spotlight 论文
- 可获取的类似论文评审
研究示例时,阅读 references/example-review-mining.md,并在给用户的论文打分前制作一份精简的评审风格矩阵。
不要依赖静态记忆来了解当前的评审表。如果具体分数或标准很重要,请从官方来源核实。
步骤 4 - 配置评审小组
阅读 references/review-panel.md。
进行完整评审时,创建 3-5 位评审人:
R1 Technical Specialist:深入理解方法/理论R2 Skeptical Generalist:审视这项贡献是否重要R3 Empirical/Reproducibility Reviewer:检查实验、基线、消融和统计支持R4 Related Work/Novelty Reviewer:检查研究定位和遗漏的引用AC Meta-Reviewer:综合判断决策风险,并审视哪些因素会改变结果
根据论文调整评审小组:
- 理论性强的论文:增加假设/证明评审人
- 基准/数据集论文:增加数据质量/评估评审人
- 系统论文:增加可扩展性/可复现性评审人
- 应用型论文:增加领域有效性评审人
- CV/NLP 论文:增加特定任务基准评审人
步骤 5 - 开展独立评审
每位评审人应输出:
- 以评审人口吻概述论文
- 优点
- 缺点
- 给作者的问题
- 要求补充的实验/分析/证明
- 使用目标会议的评分标准给出分数和信心等级(若已知)
- 可能的建议:接收 / 边缘接收 / 拒稿
合理时,评审人之间应有不同意见。不要通过求平均值消除重要分歧。
针对每条批评,指出:
- 论文中的位置
- 评审人担心的问题
- 问题属于证据、清晰度、新颖性、正确性、研究定位、可复现性还是范围
- 提交前如何降低风险
步骤 6 - 撰写领域主席综合评审
综合评审应归纳:
- 共识优点
- 共识缺点
- 存在分歧的问题
- 可能的讨论走向
- 决策风险
- 最能提高分数的改进
- 论文因科学性不足还是表达呈现不足而被拒
使用以下决策措辞:
likely acceptborderline acceptborderline rejectlikely rejectincomplete / not reviewable
并注明信心等级:低 / 中 / 高。
步骤 7 - 建立风险登记表
阅读 references/risk-register.md。
将评审意见转化为按优先级排序的风险登记表:
must-fix:可能导致拒稿should-fix:能显著提高录用概率nice-to-fix:润色或方便评审人审阅rebuttal-only:提交前无法修复,但可以准备回应
每项风险都必须包含:
- 评审人的关切
- 论文中的证据
- 严重程度
- 发生概率
- 修复工作量
- 建议措施
- 负责人(若已知)
步骤 8 - 做好答辩准备
针对最高优先级的风险,列出:
- 评审人可能提出的问题
- 最佳的提交前修复方案
- 备选答辩回应
- 使答辩可信所需的证据
如果某项风险必须通过新实验/证明才能修复,请明确说明。
第 9 步 - 更新审稿人记忆
阅读 references/memory-model.md。
研究了会议示例或真实评审意见时:
- 更新
.agent/reviewer-simulator/venues/<venue>.md - 更新
.agent/reviewer-simulator/examples/<venue>-<year>-reviews.md - 更新
.agent/reviewer-simulator/project-risk-register.md
记忆必须区分:
- 观察到的审稿人模式
- 推断出的会议评审风格
- 当前论文的风险
- 尚未解决的问题
不要存储大段复制的评审意见文本。请转述评审模式并附上来源 URL。
如果项目使用 research-project-memory,还要更新:
memory/risk-board.md:列出模拟审稿人识别出的主要风险,并在可能时关联受影响的主张 IDmemory/action-board.md:列出必须修复和应该修复的问题,并区分写作修改与新增实验/证明memory/claim-board.md:列出可能需要弱化、删除或重新表述的主张memory/evidence-board.md:列出证据缺口、过时的图表或缺失的证明/实验需求reviewer/.agent/reviewer-status.md:记录评审模式、预测的决定以及尚未解决的审稿人问题
不要将模拟评审视为真实评审。对于预测的审稿人行为,置信度应标为 inferred。
输出模式
快速评审
# Shadow Review: Quick Risk Scan
## Paper Snapshot
## Predicted Decision
## Top 5 Rejection Risks
## Fastest Fixes
## Questions Reviewers Will Ask
完整评审
使用 references/report-template.md。
对抗性评审
聚焦可能导致拒稿的问题:
# Adversarial Review
## Strongest Reject Case
## Reviewer 2 Critique
## Fatal If True
## How To Disarm Before Submission
## Risks That Cannot Be Fixed By Writing
答辩模式
# Rebuttal Readiness
## Review Claim
## Is The Reviewer Right?
## Evidence Available
## Best Response
## Paper Revision Needed
最终检查
完成前,请确认:
- 已明确目标会议/年份和评审模式
- 已说明论文的类型
- 审稿标准来自当前的官方指南,或明确标注为记忆内容
- 示例评审的观察已转述并附上来源链接
- 批评意见均与论文中的证据相关联
- 预测的分数包含置信度和不确定性
- 按对录用的影响为主要风险排序
- 修复措施区分写作修改与新增实验/证明
- 研究会议示例时已更新记忆
- 模拟风险需要长期保留时,已更新项目记忆