experiment-design

设计真正能证明问题的实验。大多数 A/B 测试都会失败，因为测试的问题含糊不清、运行时间太短，或者中途查看结果。设计完善的实验有明确的假设、足够的统计功效，以及预先承诺的分析计划。

假设模板

每项实验都应在开始任何工作之前写下假设：

“如果我们针对 [这一受众] [做出这项具体改动]，那么 [这一指标] 将 [朝这一方向变化] [这一幅度]，因为 [这一基于证据的原因]。”

示例：

“如果我们为新注册用户将 5 步引导流程替换为单一的引导式首次项目流程，那么 7 天激活率将从 23% 提升至 35%，因为 6 位受访用户中有 4 位表示，他们想要‘直接开始使用’，而不是‘先把一切都设置好’。”

每个部分都很重要：

• 具体改动： 不是“改善引导流程”，而是确切的改动
• 受众： 哪些人会看到？仅限新用户？仅限免费套餐用户？
• 指标 + 方向 + 幅度： 你将衡量的数值
• 因为： 基于证据的原因。没有证据，就不该做实验。

实验设计

1. 主要指标

实验旨在推动的一项指标。不是三项，而是一项。其他指标作为护栏指标。

2. 护栏指标

绝不能恶化的指标。它们能避免你通过破坏其他方面来“取胜”。

3. 样本量

在开始实验之前计算。使用样本量计算器，并提供：

• 基准转化率（当前数值）
• 最小可检测效应（值得关注的最小变化）
• 统计显著性（通常为 95%）
• 统计功效（至少为 80%）

如果你需要 50,000 名用户，而每周只有 500 名用户，实验将需要 100 周。要么提高 MDE，要么不要开展实验。

4. 持续时间

至少运行一个完整的业务周期（通常至少为 1–2 周），以捕捉星期效应。绝不要少于 7 天。

5. 分析计划

在启动实验之前写好：使用什么指标、采用什么阈值，以及实验获胜、失利或结果不确定时你会怎么做。预先作出承诺，避免事后编造解释。

常见错误

• 中途查看结果： 每天检查结果，并在发现显著性时停止。这会提高假阳性率。设定好持续时间，在实验结束前不要查看结果。
• 统计功效不足的测试： 用户数量太少，无法检测有意义的效应。结果会是“无法确定”，这不会让你学到任何东西。
• 测试太多事项： 一次改动 5 项内容，你就不知道哪些改动有效。每次实验只做一项改动。
• 没有护栏指标： 移除密码字段虽然能提高注册量，但会破坏其他一切。
• 事后编造解释： 测试结果无法确定，但“我们在 25–34 岁年龄组中注意到一个有趣的趋势”。这只是噪声，不是信号。

指南

• 关键：在开始构建任何内容之前，写好假设和分析计划。如果你无法说明要测试什么以及如何作出判断，就还没准备好。
• 绝不要在预先确定的结束日期之前查看结果。在为期 14 天的测试中，第 3 天达到统计显著性毫无意义。
• 绝不要在计算所需样本量之前开展实验。
• 务必纳入护栏指标。主要指标上升、留存率却暴跌，这不算胜利。
• 绝不要在一次实验中测试多项重大改动。要隔离变量。
• 务必记录结果无法确定的测试所带来的经验。“我们无法根据 N=5,000 名用户检测出效应”仍然是有用的信息——这表明效应很小或根本不存在。

---

基于受控实验方法（Kohavi、Tang、Xu）构建。技能来自 productskills。