mcpField
P
paper-writing-bench

paper-writing-bench

github.com/ar9av测试与质量69366 次安装2 周前更新
代码仓库

关于 paper-writing-bench

PaperWritingBench 是 PaperOrchestra 的一项技能，可从现有论文 PDF 或文本生成基准测试输入。它产出精简与详细两种构想文件及实验日志，并要求去除引文、区分构想与实验结果、准确保留数值。

主要功能

  1. 01生成精简和详细构想文件
  2. 02提取实验日志
  3. 03区分研究构想与实证结果
  4. 04去除引文、网址和身份信息
  5. 05记录数值数据与定性观察

适用场景

  1. 01根据研究论文构建基准案例
  2. 02为 PaperOrchestra 流程准备输入
  3. 03将生成论文与源论文进行比较

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/ar9av/paperorchestra --skill paper-writing-bench

安装后在 Claude Code 中输入/paper-writing-bench确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

references/
bench-overview.md
dense-idea-prompt.md
experimental-log-prompt.md
sparse-idea-prompt.md

详细介绍

PaperWritingBench（§3）

忠实实现 PaperOrchestra（Song 等，2026，arXiv:2604.05018，§3 和附录 C、F.2）中的 PaperWritingBench 数据集构建流程。

原始基准包含 200 篇论文（100 篇 CVPR 2025 论文 + 100 篇 ICLR 2025 论文）。 对于每篇论文，作者使用附录 F.2 中的三个提示词，从原始 PDF 中剥离叙述脉络，从而逆向还原 (I, E) 元组。 你可以使用此技能，从任意论文 PDF 中逆向还原自己的基准案例。

此技能的功能

给定一篇现有的 AI 研究论文（PDF 或 Markdown 摘录），生成：

  • idea.md（Sparse 版本）——高层概念说明，不含数学公式或实验结果
  • idea.md（Dense 版本）——详细的技术提案，包含 LaTeX 方程和变量定义，但仍不含实验结果
  • experimental_log.md——详尽的原始实验设置、数值数据和定性观察，并剥离所有叙述性引用

这三个文件构成 paper-orchestra 流程所需的完整 (I, E) 输入对。随后，你可以运行该流程，并使用 paper-autoraters 将其输出与原始论文进行比较。

输入

  • 论文 PDF 或提取的 Markdown 文本。论文使用 MinerU（Wang 等，2024）将 PDF 提取为 Markdown；你（宿主 Agent）应使用环境提供的任意 PDF 提取工具。
  • 对于对照实验，你还可以单独提取图表（论文中使用 PDFFigures 2.0）。

输出

  • bench/<paper_id>/idea_sparse.md——Sparse 版本
  • bench/<paper_id>/idea_dense.md——Dense 版本
  • bench/<paper_id>/experimental_log.md——实验日志

工作流

对于每篇论文，使用以下原样提示词运行三次独立的 LLM 调用：

1. 生成 Sparse idea

加载 references/sparse-idea-prompt.md。将论文文本（或 Markdown 摘录）作为 {paper_content} 传入。提示词要求模型：

  • 在提取到实证验证内容时停止（不包含 Experiments / Results / Comparisons）
  • 使用第一人称将来时（“我们计划探索……”）
  • 避免使用 LaTeX 数学公式；按功能描述各组件
  • 匿名化作者和标题

输出：包含四个部分（Problem Statement、Core Hypothesis、Proposed Methodology high-level、Expected Contribution）的 idea_sparse.md。

2. 生成 Dense idea

加载 references/dense-idea-prompt.md。输入相同。提示词要求模型：

  • 使用 LaTeX 保留数学公式
  • 定义方程中使用的每个变量
  • 包含具体的架构选择和维度
  • 遵循相同的排除范围（不包含实验）

输出：包含四个部分（Problem Statement、Core Hypothesis、Proposed Methodology detailed、Expected Contribution）的 idea_dense.md。

3. 生成实验日志

加载 references/experimental-log-prompt.md。输入相同。提示词要求模型：

  • 使用过去时口吻（“我们进行了……”、“结果为……”）
  • 删除所有对图表编号的引用
  • 将表格拆解为原始数值数据
  • 将图表结果记录为事实性观察
  • 匿名化作者

输出：包含 Setup、Raw Numeric Data 和 Qualitative Observations 部分的 experimental_log.md。

提示词中的关键规则

以下内容摘自附录 F.2。宿主 Agent MUST 遵守这些规则：

  • 不得引用。 三个输出中均不得包含 \cite、参考文献编号或源论文中的作者姓名。
  • 不得包含 URL。 移除所有超链接。
  • 匿名化。 移除作者身份、所属机构和致谢。
  • 内容自足。 每个文件都必须在脱离原论文的情况下仍能讲得通。
  • 想法文件中不得泄露实验信息。 Sparse 和 Dense 两种想法必须止步于实证验证开始之前。它们描述的是将要做什么，而不是已经做了什么。
  • 实验日志中不得引用表格或图。 不得写“如表 1 所示”或“见图 5”。下游的 paper-orchestra 流水线会生成自己的图表——日志不得假定存在任何特定图表。
  • 实验日志中的数值必须 100% 准确。 该日志将作为章节撰写 Agent 和内容优化 Agent 检查幻觉的依据。

如何使用该基准

为一篇论文生成 (idea_sparse.md, idea_dense.md, experimental_log.md) 后：

  1. 选择一个变体（Sparse 或 Dense）——论文对两者都进行了消融，其中 Dense 提供更严谨的方法论，Sparse 则用于测试系统应对输入信息不足情况的稳健性。
  2. 将选定的 idea.md、experimental_log.md、目标会议的 template.tex 以及 conference_guidelines.md 放入 paper-orchestra 工作区。
  3. 运行流水线。
  4. 使用 paper-autoraters 将生成的论文与原文进行比较（引用 F1、文献综述质量、SxS 论文质量）。

资源

  • references/bench-overview.md — 包含 200 篇论文的基准、发表场所筛选条件和规模
  • references/sparse-idea-prompt.md — 摘自附录 F.2 的原文
  • references/dense-idea-prompt.md — 摘自附录 F.2 的原文
  • references/experimental-log-prompt.md — 摘自附录 F.2 的原文

评论

支持 Markdown