mcpField
A
ai-research-reproduction

ai-research-reproduction

github.com/lllllllama文档处理486339.8k 次安装5 周前更新
代码仓库

关于 ai-research-reproduction

ai-research-reproduction 是一个用于深度学习论文复现的 Agent Skill，以 README 为主要依据，寻找可验证的最小可信运行目标。它会记录假设、偏差和阻塞项，而不是为了通过而改变原始语义。

主要功能

  1. 01以 README 为主要复现依据
  2. 02选择最小可信的复现目标
  3. 03生成包含命令与日志的证据包
  4. 04区分已验证事实与推断
  5. 05对科学含义变化进行显式记录

适用场景

  1. 01复现 README 中记录的推理或评估命令
  2. 02审计深度学习实验是否与论文结果可比
  3. 03在受限的训练启动或部分验证中保留证据

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/lllllllama/rigorpilot-skills --skill ai-research-reproduction

安装后在 Claude Code 中输入/ai-research-reproduction确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

_bundled/
MANIFEST.json
_bundled/shared/scripts/
agent_provider.py
command_utils.py
lessons_store.py
model_adapter.py
resource_monitor.py
runtime_runner.py
task_queue.py
write_explore_bundle.py
write_run_bundle.py
_bundled/skills/analyze-project/scripts/
analyze_project.py
_bundled/skills/env-and-assets-bootstrap/scripts/
plan_setup.py
prepare_assets.py
_bundled/skills/minimal-run-and-audit/scripts/
write_outputs.py
_bundled/skills/repo-intake-and-plan/scripts/
extract_commands.py
scan_repo.py
_bundled/skills/run-train/scripts/
run_training.py
write_outputs.py
agents/
openai.yaml
assets/
COMMANDS.template.md
LOG.template.md
model_profile.template.json
PATCHES.template.md
readme_annotations.template.json
status.template.json
SUMMARY.template.md
references/
agent-job.md
agent-operating-principles.md
agent-runner.md
architecture.md

详细介绍

ai-research-reproduction

用途

引导以 README 为先的深度学习复现，找到最小且可信的运行方式，并提供可审计的证据。保留文档中表达的含义；记录假设、偏差和阻碍因素，而不是通过改变语义来制造成功。只有在遇到具体疑问时，才加载专门的参考资料。

快速路径

对于常规且范围明确的运行，尽量缩短控制流程：

  1. 阅读目标 README，以及理解文档所述命令所需的目标测试、配置或源文件。
  2. 运行 scripts/orchestrate_repro.py --repo <repo> --plan-only --agent-output，并预先提供用户明确指定的超时限制（--timeout 或 --train-timeout）；检查 command_candidates、选中的 cmd-XX、副作用约定、选择指纹，以及返回的 reviewed_run_args。如果没有指定 --output-dir，后续证据无论调用方的当前工作目录为何，都会写入 <repo>/repro_outputs。
  3. 使用 --run-selected --command-id <cmd-XX> --plan-fingerprint <fingerprint> --agent-output，以及用户要求的超时、指标或源码邻近选项，运行选中的候选命令或其他已审查的候选命令。常规可信运行中，应保留用户明确指定的命令超时限制，不要悄悄将其设得更严格。--timeout 限制目标命令；不要用相同或更短的外部超时限制整个编排器，因为它仍需要时间来终止子进程并写入终止证据。命令集合发生变化时会安全拒绝执行；设置和下载命令绝不会成为目标候选命令。
  4. 运行 --verify-output --agent-output；只有在验证失败，或结果为部分完成／受阻时，才检查详细证据文件。
  5. 提交范围明确的结果，然后停止。

如果主机上的工具调用时限较短，请使用 --include-agent-handoff 重新规划，并遵循 references/agent-job.md；否则，沿用上面的直接流程。作业完成不代表任务已被接受；状态不确定绝不是自动重试的理由。

在正常成功路径中，不要检查 orchestrate_repro.py、annotate_readme.py、_bundled/、writers 或运行时内部实现。只有在遇到具体阻碍、意外副作用、打包完整性故障或未解决的安全问题时，才检查实现。首次使用时，请使用 scripts/doctor.py 诊断环境和安装情况。已执行的命令会在 repro_outputs/_runtime/<run_id>/ 下保留完整的生命周期和日志证据。

适用范围

当目标是实现小规模、可复现目标时，可将此技能用于以代码库为依据的多阶段可信复现。不要将其用于论文摘要、通用设置、孤立扫描、独立命令、开放式研究设计，或明确授权的候选方案探索。

可信目标选择

选择能够如实展示以代码库为依据的复现的最小目标：

  1. 文档中所述的推理
  2. 文档中所述的评估
  3. 文档中所述的训练启动或部分验证
  4. 只有在用户明确确认后，才进行完整训练

将 README 中的指导视为主要复现意图。使用代码库文件来厘清 README，而不是悄悄替换 README 中的内容。如果 README 与论文相冲突，请记录冲突，并且仅在解决对复现至关重要的具体问题时使用 paper-context-resolver。

工作流

  1. 将 README 指引视为首要依据；提取并选择最低限度且可信的目标。
  2. 仅在目标特有的前置条件需要时使用 setup/assets；仅在需要厘清结构时使用 analyze-project。
  3. 使用 minimal-run-and-audit 进行推理／评估／冒烟测试，使用 run-train 启动、开始或恢复训练；默认直接执行。
  4. 在进行更完整的训练，或更改数据集、划分、检查点、预处理、指标、损失、模型语义或结果解读之前暂停。
  5. 只有在有明确的预期指标和容差时，才授予 result-match；进程成功本身不代表复现成功。
  6. 编写证据包，返回所请求的有限结果，然后停止；可选阶段不会自动成为后续工作。

补丁边界

尽量不编辑仓库。如需编辑，务必保守且便于审计：

  • 先尝试命令行参数、环境变量、路径修正、依赖版本修正或依赖文件修正，再更改代码。
  • 必要时允许进行复现修复，但不得隐瞒。说明更改了什么、为何有必要、是否改变科学含义，以及是否影响与论文、README 或基线的可比性。
  • 避免更改模型架构、核心推理语义、训练逻辑、损失函数或实验含义。
  • 如果必须更改仓库文件，请创建名为 repro/YYYY-MM-DD-short-task 的分支，精简保留经过验证的补丁提交，并在 PATCHES.md 中记录对 README 忠实度的影响。

请参阅 references/patch-policy.md。

输出

始终以 repro_outputs/ 为目标：

SUMMARY.md
COMMANDS.md
LOG.md
SCIENTIFIC_CHANGELOG.md
COMPARABILITY_REPORT.md
status.json
ANNOTATED_README.md   # original README + colored per-section agent-action annotations
PATCHES.md   # only if patches were applied

使用 assets/ 和 references/output-spec.md 下的模板。摘要应简短，命令应便于复制，机器状态应保持稳定，并明确说明对科学含义／可比性的影响。ANNOTATED_README.md 必须保留源 README 的原始字节内容，仅在插入的证据块处例外，并通过剥离／检查往返验证。仅当 RIGORPILOT_README.md 由你所有时才使用 --source-adjacent-readme；绝不要替换无关文件。区分已验证事实与推断。

加载参考资料

  • 工作流判断：references/agent-operating-principles.md。
  • 面向人类的输出：references/language-policy.md。
  • 科学严谨性／可比性判断：references/research-rigor-principles.md；涉及实验细节时，另参阅 references/deep-learning-experiment-principles.md。
  • 对协议敏感的更改：references/research-safety-principles.md 和 references/patch-policy.md。
  • 个人严谨性与经验仅供参考；专业细节应保留在参考资料／脚本中，而不是扩展此入口文档。

评论

支持 Markdown