design-of-experiments

实验设计

目录

• 工作流
• 常见模式
• 防护措施
• 快速参考

工作流

复制此清单并跟踪进度：

Design of Experiments Progress:
- [ ] Step 1: Define objectives and constraints
- [ ] Step 2: Identify factors, levels, and responses
- [ ] Step 3: Choose experimental design
- [ ] Step 4: Plan execution details
- [ ] Step 5: Create experiment plan document
- [ ] Step 6: Validate quality

步骤 1：定义目标和约束

明确实验目标（筛选还是优化）、响应指标、实验预算（最大运行次数）、时间/成本约束以及成功标准。典型目标请参见常见模式。

步骤 2：确定因子、水平和响应

列出所有候选因子（可控输入），指定每个因子的水平（低/高或离散值），对因子分类（控制因子还是噪声因子），并定义响应变量（可测量的输出）。如果要筛选许多因子（8 个以上），请参见 resources/methodology.md 中的 Plackett-Burman 和部分因子设计方法。

步骤 3：选择实验设计

根据目标和约束：

• 筛选 5 个以上因子且运行次数有限 → 使用 resources/methodology.md 中的部分因子设计或 Plackett-Burman
• 优化 2–5 个因子 → 使用 resources/template.md 中的全因子或部分因子设计
• 绘制响应面 → 使用 resources/methodology.md 中的中心复合设计或 Box-Behnken 设计
• 针对噪声进行稳健设计 → 使用 resources/methodology.md 中的参数因子与噪声因子阵列

步骤 4：规划执行细节

指定随机化顺序（消除时间趋势）、区组策略（控制干扰变量）、重复计划（估计误差）、样本量依据（功效分析）和测量规程。关键要求请参见防护措施。

步骤 5：创建实验计划文档

创建 design-of-experiments.md，包含以下部分：目标、因子表、设计矩阵（运行顺序及因子设置）、响应变量、执行规程和分析计划。请使用 resources/template.md 中的结构。

步骤 6：验证质量

使用 resources/evaluators/rubric_design_of_experiments.json 进行自我评估。检查：目标是否清晰、因子是否完整、设计是否恰当、随机化计划、测量规程、统计功效、分析计划和交付成果质量。最低标准：交付前平均分 ≥ 3.5。

常见模式

模式 1：筛选（多个因素 → 少数关键因素）

• 背景：有 10-30 个候选因素，预算有限，希望找出 3-5 个关键因素
• 方法：Plackett-Burman 或部分因子设计（分辨率 III/IV）
• 输出：效应大小的帕累托图、供后续优化的候选因素短名单
• 示例：针对 15 个配置参数进行软件性能调优

模式 2：优化（找到最佳设置）

• 背景：已确定 2-5 个重要因素，希望找到最佳水平
• 方法：全因子设计（2^k）或部分因子设计 + 最陡上升法
• 输出：主效应图、交互作用图、推荐设置
• 示例：包含温度、压力和时间因素的制造流程

模式 3：响应面（绘制全貌）

• 背景：需要理解曲率、找到最大值/最小值并量化权衡
• 方法：中心复合设计（CCD）或 Box-Behnken 设计
• 输出：响应面方程、等高线图、最佳区域
• 示例：包含多种成分比例的化学配方

模式 4：稳健设计（在噪声下仍能正常工作）

• 背景：产品/流程必须在不可控变化下仍保持良好表现
• 方法：田口内外阵列（控制因素 × 噪声因素）
• 输出：最大限度降低对噪声因素敏感性的设置
• 示例：必须能在不同温度/湿度范围内正常工作的消费品

模式 5：序贯实验（先学习，再改进）

• 背景：不确定性高，希望以最少浪费迭代学习
• 方法：筛选 → 最陡上升法 → 响应面 → 确认
• 输出：逐步完善的理解和设置
• 示例：因素关系未知的新产品开发

防护措施

设计要求：

1. 随机化运行顺序：消除时间顺序偏差，以及与潜在变量的混杂。使用随机数生成器，而非“图方便”的顺序。

2. 重复中心点：对于包含连续因素的设计，重复运行中心点（3-5 次），以估计纯误差并检测曲率。

3. 保留关键交互作用：在部分因子设计中，避免重要的二阶交互作用与主效应混杂。如果交互作用很重要，应选择分辨率 IV 或更高的设计。

4. 检查设计平衡性：确保正交性（设计矩阵中的因素彼此不相关）。相关性 > 0.3 会降低精度和可解释性。

5. 明确定义响应：使用客观、定量且可重复的测量方法。除非经过多名评估者校准，否则避免主观评分。

6. 说明样本量的依据：进行功效分析，确保设计能够检测到有意义的效应大小，并将 II 类错误风险控制在可接受范围内（beta 至多为 0.20）。

7. 记录假设：说明预期效应大小、交互作用假设和噪声方差估计。设计的有效性取决于这些因素。

8. 在运行前规划分析：在收集数据前，明确统计检验、显著性水平（alpha）和效应大小指标，以防止 p 值操纵。

常见陷阱：

• ❌ 单因素逐次试验（OFAT）：会遗漏交互作用，所需运行次数也多于因子设计
• ❌ 忽略区组：如果试验跨越多天/批次/操作员，应相应分组，否则结果会与时间趋势混杂
• ❌ 水平过多：初期使用 2-3 个水平。更多水平会使运行次数呈指数级增长。
• ❌ 未测量的因素：如果未控制/测量某个重要因素，它就会成为噪声
• ❌ 在实验中途更改方案：会破坏设计结构。如有必要，应重新开始或单独分析。

快速参考

关键资源：

• resources/template.md：常见设计的快速入门模板（因子试验、筛选、响应面）
• resources/methodology.md：高级技术（最优设计、田口方法、混料试验、序贯策略）
• resources/evaluators/rubric_design_of_experiments.json：实验计划的质量标准

典型工作流耗时：

• 简单因子试验（2-4 个因子）：15-30 分钟
• 筛选设计（8 个以上因子）：30-45 分钟
• 响应面设计：45-60 分钟
• 稳健设计（田口方法）：60-90 分钟

需要升级处理的情况：

• 用户需要混料试验（各因子之和必须为 100%）
• 需要裂区设计（难以更改的因子）
• 约束条件不规则，需要最优设计
• 贝叶斯自适应设计 → 对于这些高级情况，请使用 resources/methodology.md

所需输入：

• 过程/系统：要进行试验的对象
• 因子：可控输入及候选水平的列表
• 响应：可测量的输出（KPI、指标）
• 约束条件：预算（最大运行次数）、时间、资源
• 目标：筛选、优化、响应面或稳健设计

生成的输出：

• design-of-experiments.md：完整的实验计划，包含设计矩阵、随机化、方案和分析方法