artifact-evaluation-prep

论文工件评审准备

准备论文的代码、数据、检查点、脚本和说明，以便外部工件评审人员能够以最少的歧义复现论文中的主张。

在以下情况下使用此技能：

• 会议要求或提供工件评审、可复现性徽章或工件附录
• 用户需要面向评审人员的安装、快速入门、演示或复现说明
• 论文定稿或录用后，需要移交工件包
• 需要打包代码、数据、检查点、模型、Docker 镜像或外部服务
• 需要明确运行时间、硬件、随机种子、预期输出或故障排除说明
• 需要将论文中的主张对应到可运行脚本或已发布的工件

请勿将此技能用作通用代码发布技能。公共仓库规范、许可证、CITATION 文件、标签和 GitHub 发布请使用 release-code。论文评审人员相关的工件执行与主张复现请使用此技能。

将此技能与以下技能搭配使用：

• camera-ready-finalizer：梳理录用论文的义务以及最终主张和证据状态
• release-code：明确工件相关义务后，准备公共仓库规范
• reproducibility-audit：需要更全面地审查环境、数据或执行过程的偏差时使用
• run-experiment：生成或测试复现命令
• figure-results-review：工件输出必须与论文图表相符时使用
• citation-audit：工件元数据引用了数据集、代码或既有工件时使用
• research-project-memory：需要保存工件状态、阻碍事项和面向评审人员的说明时使用

技能目录结构

<installed-skill-dir>/
├── SKILL.md
└── references/
    ├── artifact-audit.md
    ├── memory-writeback.md
    ├── package-manifest.md
    ├── report-template.md
    └── reviewer-instructions.md

渐进式加载

• 始终阅读 references/artifact-audit.md、references/package-manifest.md 和 references/reviewer-instructions.md。
• 编写已保存的工件评审报告前，阅读 references/report-template.md。
• 如果项目包含 memory/、组件级 .agent/ 文件夹，或用户要求保留状态，请阅读 references/memory-writeback.md。
• 如果涉及会议规则，在说明截止日期、徽章名称、匿名规则、上传字段、页数限制或所需格式之前，核实当前官方工件评审说明。

核心原则

• 工件评审是一套评审工作流，不只是代码转储。
• 工件必须以可接受的成本复现论文的重要主张，或者清楚说明无法复现的内容。
• 与其提供许多脆弱的命令，不如优先提供一个可靠的快速入门和一条完整的复现路径。
• 每条命令都应说明预期运行时间、硬件、输入、输出和成功标准。
• 仅打包可再分发的数据、检查点和依赖项；准确说明受限资源。
• 明确说明匿名、许可和外部服务方面的假设。
• 将冒烟测试视为必需项。未经测试的说明文件不构成工件包。

步骤 1 - 梳理评审背景

收集以下信息：

• 会议和工件评审分轨（如已知）
• 官方工件说明、徽章标准、匿名政策和上传方式
• 已录用或已提交的论文、附录、补充材料和检查清单
• 代码仓库、提交哈希、分支和工作区
• 数据集、检查点、预训练模型、生成的输出和外部依赖项
• 硬件预期：CPU/GPU 类型、内存、磁盘、运行时间、网络访问
• 工件应支持的论文主张、图表和实验
• 限制条件：私有数据、许可证限制、大文件、云依赖、非确定性或评审人员的时间预算

如果未指定会议，则生成通用工件包，并将会议专属字段标记为尚未解决。

步骤 2 - 将论断映射到制品路径

对于每项面向论文的论断或结果，请记录：

• 论断或结果 ID
• 论文中的位置
• 支持该论断或结果的脚本、笔记本、配置或命令
• 输入数据或检查点
• 预期输出文件、指标、表格或图
• 大致运行时间和硬件
• 确定性容差或预期方差
• 评审者优先级：快速入门、核心、可选，或在软件包中不可复现

如果只提供了冒烟测试或缓存输出，请勿暗示其具有完整的可复现性。

步骤 3 - 构建制品清单

阅读 references/package-manifest.md。

创建或更新清单，其中列出：

• 仓库 URL 或归档路径
• 准确的提交、标签或校验和
• 目录结构
• 环境文件和 Docker 镜像
• 数据和检查点位置
• 复现脚本和配置
• 预期生成的输出
• 许可证和引用元数据
• 已知限制和不支持的论断

除非会议要求特定文件名，否则优先使用简短、稳定的名称，例如 ARTIFACT.md、REPRODUCE.md 或 docs/artifact_evaluation.md。

步骤 4 - 编写评审者说明

阅读 references/reviewer-instructions.md。

提供：

• 环境设置命令
• 在较短运行时间预算内完成的快速冒烟测试
• 用于复现论文主要论断的核心命令
• 预期输出，以及如何与论文中的结果进行比较
• 常见故障的排查方法
• 硬件、存储、网络和时间要求
• 允许时的联系政策或匿名支持渠道
• 限制和可选的扩展运行

说明应可直接复制粘贴，且不应要求评审者推断隐藏路径或环境变量。

步骤 5 - 对制品进行冒烟测试

在用户和环境许可的情况下，至少运行以下项目：

• 创建环境或解析依赖项
• 导入或 CLI 健全性检查
• 快速入门命令
• 加载一份有代表性的数据或检查点
• 比较一项预期输出

如果命令耗费过大，请记录确切原因并创建最小替代测试。

步骤 6 - 处理打包风险

审查：

• 匿名化状态与公开发布状态
• 代码、数据、预训练权重和第三方资源的许可证
• 大文件策略和校验和
• 私有路径、凭据、API 密钥和特定机器假设
• 随机种子和非确定性
• 版本固定和依赖冲突
• 评审者时间预算和故障恢复

将公开发布问题转交给 release-code；如果有 reproducibility-audit，则将环境漂移问题转交给它。

步骤 7 - 编写制品评估报告

阅读 references/report-template.md。

如果要将报告保存到项目中，且未指定路径，请使用：

docs/submission/artifact_evaluation_prep_YYYY-MM-DD.md

报告必须包括：

• 就绪状态判定
• 阻塞问题
• 论断到制品的映射
• 软件包清单摘要
• 冒烟测试状态
• 评审者说明状态
• 风险、限制和面向评审者的注意事项
• 移交给发布、终稿准备或记忆的事项

步骤 8 - 回写项目记忆

如果存在记忆，请阅读 references/memory-writeback.md。

更新制品状态、复现命令、阻塞项、论断支持情况、发布事项和最终移交说明，但不要将完整的命令日志复制到记忆中。

最终健全性检查

完成前请确认：

• 每项重要的论文论断都已可复现、经过冒烟测试、附有说明地缓存，或明确列为范围之外
• 快速入门说明包含预期输出和运行时间
• 硬件、数据、检查点、许可证和匿名化状态均清晰明确
• 软件包路径和链接稳定
• 已记录面向评审者的故障模式
• 已妥善移交公开发布和终稿准备相关事项
• 项目记忆记录了制品就绪状态和未解决的阻塞项