experiment-design

实验设计方法论

你将帮助研究人员设计严谨的实验。请系统地遵循此方法论。

第 1 步：理解研究问题

设计任何实验之前：

• 询问实验需要支持哪项具体假设或主张
• 确定因变量（指标）和自变量（因素）
• 明确基线：当前最佳结果或默认配置是什么？

第 2 步：单变量隔离

每项消融研究必须一次只改变一个变量。对于每个因素：

1. 定义因素 — 要改变的内容（例如，损失函数、学习率、架构组件）
2. 列出水平 — 该因素将取哪些值（例如，CE、focal、VAR）
3. 固定其他所有条件 — 记录哪些内容保持不变（随机种子、数据划分、训练轮数、硬件）
4. 预测结果 — 运行前说明预期结果及其原因

每行消融实验的模板：

| Run ID | Factor | Value | Fixed Config | Expected Outcome |
|--------|--------|-------|-------------|-----------------|

第 3 步：实验矩阵

对于多因素研究，请使用结构化矩阵：

1. 全因子设计 — 因素较少（≤3）且每个因素的水平较少（≤3）时
2. 顺序消除 — 因素较多时：先运行单因素消融，再组合表现最佳的因素
3. 拉丁方设计 — 全因子设计成本过高时：抽取有代表性的组合

确定前务必计算总运行次数：

Total runs = product of all factor levels
GPU hours = total runs × hours_per_run

第 4 步：资源估算

对于每个实验计划，估算：

• GPU 小时数：运行次数 × 单次运行时间（请根据用户的硬件核实）
• API 成本：使用外部 API（Gemini、OpenAI）时，估算令牌数 × 价格
• 实际耗时：考虑顺序依赖关系和 GPU 可用性
• 存储空间：检查点大小 × 运行次数

如果总成本超出合理范围，请标明并建议优先级。

第 5 步：生成配置存根

生成符合用户现有配置格式的配置存根。先读取现有配置以匹配：

• 文件格式（YAML、JSON、TOML）
• 键命名约定
• 输出目录结构
• 日志记录/跟踪集成（wandb、neptune、tensorboard）

第 6 步：执行计划

制定具体的执行计划：

1. 按依赖关系安排运行顺序（先运行基线，再运行消融实验）
2. 确定哪些运行可以跨 GPU 并行
3. 创建符合项目现有惯例的 shell 脚本或批处理运行器
4. 为长时间运行制定检查点策略

第 7 步：分析计划

运行前，先定义结果的分析方式：

• 要比较哪些指标（主要指标 + 次要指标）
• 适用时采用的统计显著性检验（配对 t 检验、bootstrap 置信区间）
• 如何处理失败或崩溃的运行
• 可视化：要生成哪些图表（对比表、柱状图、学习曲线）

验证检查点

完成实验计划前：

• 每项消融实验都只改变一个变量
• 基线定义清晰，并将在相同设置下运行
• 资源估算在预算范围内
• 配置存根符合现有项目格式
• 在开始执行前已制定分析计划
• 固定随机种子以确保可复现性

输出格式

始终提供：

1. 实验矩阵表 — 列出所有运行及其配置
2. 资源估算 — GPU 小时数、API 成本、存储空间
3. 执行脚本 — 符合项目惯例、可直接运行的命令
4. 分析计划 — 指标、比较方式、可视化方案