product-experiments

产品实验卓越实践

通过严谨的 A/B 测试和数据驱动的学习，推动可衡量的增长并降低风险。

借助 Lenny's Podcast 和 Newsletter 中 9 位嘉宾及文章分享的见解，帮助用户提升产品实验水平。

如何提供帮助

1. 定义假设 - 根据用户行为理论，引导用户拟定清晰、可证伪的假设。
2. 设计实验 - 帮助确定合适的指标、样本量和护栏指标，以确保测试严谨。
3. 统计分析 - 协助解读 p 值、置信区间以及潜在的样本比例失配。
4. 战略评估 - 根据实验结果和长期业务影响，协助决定是发布、迭代还是弃用某项功能。

核心原则

使用长期留出组衡量真实增量效果

Archie Abrams：“因此，我们会不断在一年后重新审视实验，发现分发的 GMV 曲线走势与我们最初的预想可能有所不同。这实际上会改变我们基于之前实验采取的行动。因此，我们会在很长的时间跨度内长期监测实验，既要据此确定那些输入指标，更重要的是要让自己对结果负责：我们是否以正确的方式推动了真正关心的指标，也就是长期 GMV？”

设置一个或多个持续一年的留出组，以区分即时增长和短期需求前移效应。这样才能衡量变更对下游业务的真实影响。

将实验重点放在降低风险上

Lauryn Isford：“总的来说，我的建议是，只在必要时进行实验，主要把它视为进行重大变更时的一种风险缓解手段，并让产品开发流程承担更多工作。因此，要花更多时间与客户交流，更严谨地了解你究竟在解决什么问题，把设计稿给用户看，观察他们的反应。这样，希望你在发布功能时能比以往更有把握，即使明天所有客户都看到它也没关系，实验本身也就没那么重要了。”

优先为高风险的重大产品变更进行 A/B 测试，而不要仅仅用它来精确归因指标变化。推出高风险测试之前，先投入定性研究，增强信心。

平衡成功指标与护栏指标

Ronny Kohavi：“通过一些花招提高收入很容易。多展示广告就是一种简单的增收方法，但会损害用户体验。我们做过实验来证明这一点。而在这个案例中，这无疑是一次重大成功：收入有所提升，护栏指标也没有受到明显损害。”

建立完善的总体评估标准（OEC），纳入护栏指标。这能避免短期成功无意中损害长期用户体验或留存率。

接受较高的失败率

Ronny Kohavi：“在 Bing 这个经过长期优化、优化程度更高的领域，失败率约为 85%。因此，某项事物经过一段时间的优化后，要想继续改进就更难了。而在 Airbnb，这个 92% 的数字是我观察到的最高失败率。”

预计在经过优化的领域中，80% 到 92% 的实验都会失败。依据这些行业标准调整团队预期，可以避免气馁，并保持较高的测试量。

跳过低风险最佳实践的测试

摘自“When NOT to run an experiment – Issue 54”：“如果你能快速、轻松地开展实验（例如，只需几个小时），这个决定通常很简单：开展实验。如果开展实验非常麻烦，而改动的风险相对较低，那你很可能可以跳过实验。”

当达到统计显著性所需的时间远超数据价值时，直接上线往往比开展实验更好。对于行业标准实践，如果下行风险极低，就不要进行正式测试。

对出人意料的成功应用 Twyman 定律

Ronny Kohavi：“我们之后可以再谈 Wyman 定律，但这是最初的反应，也就是：‘这好得令人难以置信。我们来找找有没有 bug。’我们确实这么做了。我们反复查找，还多次重复了实验，但没有发现任何问题。”

对于任何好得令人难以置信的结果，都应立即保持怀疑。认真排查 bug，并多次重复验证出人意料的结果，确保它们不是技术上的偶然。

模板与框架

• 跳过实验的三个理由（When NOT to run an experiment – Issue 54）——一个决策框架，列出三种无需实验、直接上线才是正确选择的情形
• 整体影响计算（产品 Amdahl 定律）（The secret to Duolingo’s exponential growth）——一种框架，通过考虑实际会看到改动的用户比例来计算实验的整体影响
• 实验文化的 5 大支柱（Fostering a culture of experimentation）——根据 Airbnb 的做法提炼出的框架，包含建设强大实验文化的五个关键领域
• 开展实验前的风险评估问题（When NOT to run an experiment – Issue 54）——用于评估开展实验的风险与回报是否值得的五个问题
• 长期留出组实验方法（How Duolingo builds product）——一种通过保留 3 个月以上的对照组，衡量社交等功能长期影响的技术
• 注册流程样本量计算示例（When NOT to run an experiment – Issue 54）——一个具体示例，展示在转化率为 10% 的步骤中检测 5% 的变化需要多少用户
• 实验失败时的决策框架：终止、迭代或上线（Communicating bad news - Issue 26）——项目实验结果为负时可考虑的三个选项
• 样本比例不匹配（SRM）检查（Ronny Kohavi）——一种统计检验，用于验证对照组与实验组的用户比例是否符合设计比例。这是任何 A/B t 最重要的有效性检查

完整列表及详情请参见 references/artifacts.md。

可向用户提出的问题

• “这项改动要验证的核心心理学假设是什么？”
• “我们需要监控哪些护栏指标，以确保不会损害长期体验？”
• “我们的流量是否足以在合理的时间范围内达到统计显著性？”
• “与直接上线已知的最佳实践相比，这项实验可能带来的提升是否值得投入工程和分析时间？”
• “这项实验如何融入我们在低投入收益与高方差大赌注之间的平衡？”
• “如果实验失败，我们会获得关于用户行为的哪些具体洞察？”

常见错误

• 追求显著性 - 根据实时 P 值做决策会导致假阳性率居高不下，结论也不可靠。
• 忽视样本比例失配（SRM） - 未确认对照组和实验组的数量是否符合预期比例，可能会掩盖根本性的技术错误，导致结果无效。
• 过度追求短期表面效果 - 只关注即时转化指标，可能会掩盖对用户体验或收入质量的长期损害。
• 丢失组织记忆 - 未记录过往的成功和失败，会导致团队重复相同的实验，或因组织人员变动而失去宝贵的产品模式。

深入了解

要查看来自 9 位嘉宾的全部 13 条精选见解，请参阅 references/guest-insights.md

相关技能

• 客户访谈
• 持续探索
• 想法验证
• 定义 Icp