measure-experiment-design

实验设计

实验设计文档定义了开展严谨 A/B 测试或受控实验所需的所有参数。它能确保团队就测试内容、成功衡量方式以及得出结论前的测试时长达成一致。良好的实验设计可以避免常见问题：测试效能不足、成功标准不明确，以及依据噪声而非信号做出决策。

适用场景

• 在启动 A/B 测试以验证产品改动之前
• 测试需要定量验证的假设时
• 完成方案设计后，在全面推出之前验证假设
• 利益相关方希望获得以数据为依据的决策证据时
• 建立实验与学习的文化

不适用场景

• 尚未明确提出假设本身 -> 请先使用 define-hypothesis；此技能用于为已有主张设计测试
• 正在分析已完成的实验 -> 请使用 measure-experiment-results
• 需要设置用于衡量实验的事件跟踪 -> 请使用 measure-instrumentation-spec
• 收集意见而非开展受控测试 -> 请使用 measure-survey-analysis

说明

收到实验设计请求时，请遵循以下步骤：

1. 阐明假设 按照以下格式撰写清晰、可测试的假设：“我们认为，对[用户]实施[改动]将带来[结果]，衡量指标为[指标]。”每个实验只设一个假设；如果要测试多项内容，请开展多个实验。

2. 定义不同方案 充分描述对照组（当前体验）和实验组（新体验）。提供截图、模型图或准确描述，确保任何人都能了解用户将看到的内容。

3. 选择主要和次要指标 选择一个用于判定成败的主要指标。增加 2-3 个次要指标，以了解更广泛的影响。加入护栏指标，以发现意外的负面影响。

4. 计算样本量 确定检测最小可检测效应（MDE）所需的每个方案用户数，并确保具有统计显著性。注明显著性水平（通常为 0.05）和统计功效（通常为 0.80）。

5. 估算时长 根据样本量和可用流量，计算实验所需时长。考虑每周的规律；如果用户行为因星期而异，请避免在周中结束实验。

6. 定义目标受众和流量分配 说明哪些用户符合参与实验的条件，以及流量如何在不同方案间分配。记录任何排除对象（例如员工、特定细分群体）。

7. 设定成功标准 预先定义何为成功、失败或结果不确定。这样可以避免事后合理化和不断改变目标。

8. 记录风险和缓解措施 识别可能出现的问题，以及如何发现或解决这些问题。包括监控计划和回滚标准。

输出格式

使用 references/TEMPLATE.md 中的模板来组织输出。完整的设计应填写模板的每个部分：概述；假设；背景；不同方案；指标；样本量与时长；受众定位；成功标准；风险与缓解措施；实施说明；以及参考资料。

质量检查清单

最终定稿前，请确认：

• 假设可证伪且具体
• 只定义了一个主要指标
• 已记录样本量计算及其假设
• 实验时长考虑了流量规律和统计要求
• 在实验开始前已定义成功标准
• 护栏指标能够防范意外危害

示例

请参阅 references/EXAMPLE.md 查看完整示例。