mcpField
R
reproducibility-audit

reproducibility-audit

github.com/jurgendn测试与质量1163 次安装6 周前更新
代码仓库

关于 reproducibility-audit

用于检查研究结果能否依据现有材料和步骤复现的技能。它记录阻碍并判定复现状态，只有实际运行并核验后才标记为已复现。

主要功能

  1. 01检查代码、数据、配置与版本
  2. 02将论文主张对应到可执行步骤
  3. 03记录歧义与阻碍
  4. 04记录命令和输出
  5. 05判定复现状态并提出修复

适用场景

  1. 01在依赖论文结果前评估其可复现性
  2. 02找出复现尝试缺失的材料
  3. 03记录复现过程中的证据与阻碍

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/jurgendn/agent-skills --skill reproducibility-audit

安装后在 Claude Code 中输入/reproducibility-audit确认已加载。

附带文件references/good-enough-baseline.md

详细介绍

可复现性审计

除非已列出所有缺失项，否则一律假定结果不可复现。

工作流

  1. 确定要复现的目标结果。

  2. 检查是否具备所需条件：

    • 代码
    • commit／版本固定信息
    • 数据访问权限
    • 配置文件
    • 预处理步骤
    • 硬件假设
    • 随机种子处理

    references/good-enough-baseline.md 将这些内容扩展为一份具体的存在／缺失核对清单（涵盖数据来源、依赖项固定、冒烟测试、版本标识和确定性），并以 Good Enough Practices in Scientific Computing（Wilson 等人，2017 年）为依据——其中缺少任何一项都应作为问题记录，而非小小的不便。

  3. 尝试将论文中的主张对应到可执行步骤。

  4. 明确记录歧义和阻碍因素。

  5. 如果运行代码，记录确切的命令和输出。

  6. 对状态进行分类：

    • 已复现
    • 部分复现
    • 受阻
    • 与论文不一致

  7. 推荐为实现可复现性所需的最小修改。

规则

  • 除非你实际运行并检查过，否则不要声称结果已复现。
  • 配置细节缺失应作为问题记录，而非小小的不便。
  • 将代码是否可用与结果是否可复现分开说明。

输出格式

返回：

  • 目标结果
  • 可用产物
  • 缺失产物
  • 复现状态
  • 命令／证据
  • 建议的修复

评论

支持 Markdown