mcpField
E
experiment-design

experiment-design

github.com/lingzhi227数据与数据库4401.8k 次安装35 周前更新
代码仓库

关于 experiment-design

experiment-design 是一项研究 Skill 和 Python 脚本，可将研究想法、计划或方法转为循序渐进的实验设计。它涵盖基线、消融、超参数网格和指标选择。

主要功能

  1. 01构建四阶段递进实验框架
  2. 02生成基线与消融计划
  3. 03制定超参数网格
  4. 04选择评估指标
  5. 05输出 JSON 或 Markdown

适用场景

  1. 01根据研究计划制定实验
  2. 02规划基线调优与消融研究
  3. 03为方法拟定评估方案

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/lingzhi227/agent-research-skills --skill experiment-design

安装后在 Claude Code 中输入/experiment-design确认已加载。

附带文件references/stage-prompts.mdscripts/design_experiments.py

详细介绍

实验设计

为研究论文设计结构化、渐进式的实验计划。

输入

  • $0 — 研究构想、计划或方法描述

参考资料

  • 4 阶段渐进式实验提示词：~/.claude/skills/experiment-design/references/stage-prompts.md

脚本

生成实验设计
python ~/.claude/skills/experiment-design/scripts/design_experiments.py --plan research_plan.json --output experiment_design.json
python ~/.claude/skills/experiment-design/scripts/design_experiments.py --method "contrastive learning" --task classification --format markdown

生成基线、消融矩阵、超参数网格和指标选择。仅使用标准库。

4 阶段渐进式框架（来自 AI-Scientist-v2）

阶段 1：初始实现
  • 专注于实现一个基本可运行的版本
  • 使用简单的数据集
  • 以基本功能正确为目标
  • 完成标准：至少有一个可运行（无错误）的实现
阶段 2：基线调优
  • 调优超参数（学习率、训练轮数、批次大小）
  • 不要更改模型架构
  • 至少在两个数据集上测试
  • 完成标准：训练曲线稳定，且效果优于阶段 1
阶段 3：创新研究
  • 探索新颖的改进和见解
  • 发挥创意，跳出常规思路
  • 至少在三个数据集上测试
  • 完成标准：展示出新颖的改进
阶段 4：消融研究
  • 系统分析各个组件
  • 每项消融测试一个不同方面
  • 使用与阶段 3 相同的数据集
  • 完成标准：完成所有计划中的消融实验

输出格式

{
  "stages": [
    {
      "name": "initial_implementation",
      "goals": ["Basic working baseline", "Simple dataset"],
      "max_iterations": 5,
      "completion_criteria": "Working implementation with non-zero accuracy"
    }
  ],
  "baselines": ["Method A", "Method B"],
  "datasets": ["Dataset1", "Dataset2", "Dataset3"],
  "metrics": ["accuracy", "F1", "inference_time"],
  "ablation_components": ["component_A", "component_B"],
  "hyperparameter_grid": {
    "lr": [1e-4, 1e-3, 1e-2],
    "batch_size": [32, 64, 128]
  },
  "num_seeds": 3
}

规则

  • 始终先从简单的实验开始（阶段 1），再进行复杂实验
  • 每个阶段都基于上一阶段的最佳结果
  • 使用多随机种子评估，以确保统计显著性
  • 在 notes.txt 中记录每次实验运行
  • 生成训练曲线和对比图表

相关技能

评论

支持 Markdown