experimentation-analytics

实验分析

一份数据团队导师的实战指南，教你解读实验结果，避免自欺欺人。

结果面板是实验的真相时刻。面板上的数字决定你是发布、终止还是迭代。它们也会暴露设计阶段走过的每一条捷径：统计功效不足的测试会产生很宽的置信区间；反复窥视结果的测试会产生过窄的 p 值；未使用 delta method 校正的比率指标会产生过于乐观的提升估计。多数发布了错误内容的决策，根源都在于误读结果面板。

这项技能旨在培养避免误读的严谨习惯。它假设实验设计得当（参见 experiment-design 技能）。它假设平台的结果面板在技术上正确（大多数现代平台都正确，但有些较旧的平台并非如此）。它还假设你能读懂屏幕上的数字。难点在于理解每个数字的实际含义及其不代表什么，而这正是本文的内容。

使用时机：每当你查看实验结果面板，并即将决定发布、终止或迭代时。

---

这项技能的用途

这项技能涵盖结果解读、使数字可信的统计概念，以及调和仪表板数据的工作，避免实验数据与 BI 数据不一致时引发高管层面的困惑。适用对象是共同解读实验结果、需要使用共同术语且不掩盖统计学危险之处的产品经理和数据分析师。

配套技能涵盖相关领域。experiment-design 技能介绍实验前的思考：假设、样本量、MDE、细分群体，以及哪些内容不该测试。设计测试前请阅读该技能；解读结果时请阅读本技能。feature-flagging 技能介绍标志管理、环境推广和清理过期标志的实际操作。三项技能共同覆盖从意图到解读的完整实验生命周期。有关平台专属的 MCP 命令，请查阅所选平台的文档；Statsig、PostHog、Optimizely、GrowthBook、Eppo、Amplitude 和 Kameleoon 都提供丰富的分析功能，本技能将指导你如何解读这些功能。

---

结果面板：所有现代平台都应提供的内容

如果结果面板缺少以下任何一项，它就是一个黑箱。请对黑箱平台的结果保持格外谨慎，并考虑将原始分配数据和事件数据导出到笔记本中，自行计算缺失的部分。

合格的平台应提供：

• 变体和流量分配（例如，50/50、33/33/33）。测试期间的分配比例发生漂移，说明存在分配错误。
• 各变体的主要指标：点估计、置信区间（贝叶斯方法则为可信区间），以及变体层级的样本量。
• 提升：变体减去对照组，分别以绝对变化和相对百分比表示。两个数字都很重要；相对变化更直观，绝对变化则会用于收入计算。
• 统计显著性：p 值（频率学派）或成为最佳方案的概率（贝叶斯方法）。应清楚标明所用方法，以便了解适用哪种解读规则。
• 所采用的方差缩减技术：CUPED、分层后加权或回归调整。如果平台未说明便自动应用这些技术，请询问具体采用了哪些方法。
• 护栏指标状态：根据容忍范围，将每项护栏标记为绿色、琥珀色或红色。容忍范围在设计阶段设定；面板只负责执行。
• 仅提供预先登记的细分群体结果。事后使用细分筛选器很诱人，也很危险。
• 测试状态：运行中、已结束、已记录决策。
• 测试期间的提升时间序列。新奇效应、首因效应和分配错误都能在这里显现。

如果结果面板隐藏了其中任何一项，首先要做的是让这些信息显示出来，而不是发布。

---

置信区间：最重要的数字

结果面板上最重要的数字，就是提升幅度的置信区间（CI）。它比点估计更重要，也比 p 值更重要。CI 告诉你自己实际掌握了多少信息。

95% CI 为 [+2%, +6%] 的含义是：如果重复抽样，真实效果有 95% 的概率会落在这个范围内。真实效果最有可能在中间附近，但数据也完全支持这两个极端值。

它不代表：真实效果「有 95% 的概率介于 +2% 和 +6% 之间」。这指的是贝叶斯可信区间，虽然数值结果通常相近，但概念上有所不同。PM 通常可以接受这种宽泛的直觉；分析师在向持怀疑态度的人解释某个数字时，应当了解精确的定义。

在大多数上线决策中，CI 的宽度比中心位置更重要。CI 较宽，意味着你目前掌握的信息不多；CI 较窄，则意味着你的判断更精确。点估计是你最好的猜测；宽度则体现了你的谦逊。

实用决策规则，按重要性排序：

1. 如果 CI 包含零和一个有意义的正数（例如 [-1%, +5%]），说明数据不足，不能上线。就这样。点估计看起来可能不错，但数据既与没有效果相符，也与效果显著的胜利相符。你无法判断是哪一种。
2. 如果 CI 全为正值（下界大于零，例如 [+1%, +4%]），则说明确实有效果。接下来评估效果大小：下界是否足以抵偿实施成本？
3. 如果 CI 全为负值（上界小于零，例如 [-5%, -1%]），则说明确实有害。停止测试。
4. 如果 CI 跨过零但较窄（例如 [-0.5%, +0.5%]），则说明结果确实为零效应。效果小到基本可以视为零。这是有用的信息；不要因为「提升」而上线此变更（你没有发现提升），但也不必担心它会造成损害。
5. 如果 CI 跨过零且较宽（例如 [-5%, +8%]），则测试结果尚无定论。数据既与中等程度的胜利相符，也与没有效果或中等程度的损失相符。延长测试时间、扩大测试规模，或者接受在当前流量下无法回答这个问题。

如需查看带计算示例的速查表，请参阅 references/confidence-interval-cheatsheet.md。

---

P 值：含义与误区

P 值表示：假设真实效应为零，观察到当前或更大提升幅度的概率。P 值为 0.04 意味着：在无效应的原假设下，纯粹由偶然因素产生这么大提升的情况约占 4%。

尽管 P 值经常被误用，但它并不意味着：

• 它不意味着“处理有效的概率是 96%”。这句话没有站得住脚的解释；P 值是在假设处理无效的前提下计算的，因此无法告诉你处理有效的概率。
• 它不意味着“效应很大”。用庞大的样本检验微小效应，也可能得到小得可以忽略的 P 值。P 值体现的是反对原假设的证据强度，而非效应大小。
• 它不意味着“结果可以复现”。在大多数已发表的研究中，P 值为 0.04 对应的复现率远低于 50%；统计显著不等于可复现。

0.05 的阈值是惯例，不是定律。如果你事先承诺采用 alpha 等于 0.05，就遵守这一约定；事先承诺的纪律比具体阈值更有价值。如果没有事先承诺，P 等于 0.06 和 P 等于 0.04 并无绝对区别，把它们区别对待只是作秀。

务必结合置信区间（CI）阅读 P 值。P 值告诉你原假设的情况；CI 告诉你效应大小。两者都重要，单独来看都不够。P 值为 0.001、CI 为 [+0.1%, +0.3%]，说明效应真实存在，但实际意义很小；P 值为 0.08、CI 为 [-1%, +12%]，说明估计不精确，效应可能很大，也可能为零。前者在技术上显著，但不值得发布；后者在技术上不显著，但你可能仍想深入调查。

反复查看数据的问题也直接适用于 P 值。标准 P 值假设只在测试结束时进行一次分析。多次分析会提高假阳性率。采用序贯检验的现代平台会报告可经受反复查看的“始终有效”或“任意时点有效”P 值；较旧的平台则不会。要弄清楚你看到的是哪一种。更多内容请参阅 references/p-value-interpretation-guide.md。

---

多重检验校正

一句话概括这个问题：进行 20 次独立比较，显著性水平为 0.05 时，纯粹由于偶然因素，预期会出现 1 次假阳性。进行 50 次比较时，会出现 2 到 3 次；进行 100 次时，会出现 5 次。

容易在无意中陷入多重检验的情况：

• 多个变体：A、B、C、D 分别与对照组比较，不是一次，而是三次成对比较。
• 多个指标：追踪主要指标、六个护栏指标和三个次要指标，相当于有十次机会在某处发现显著性。
• 多个细分群体：十个细分群体乘以三个指标，相当于有三十次机会。
• 多个时间窗口：查看第 1 周、第 2 周、第 3 周和整个测试周期，相当于每个指标、每个细分群体有四次机会。

需要了解的两种校正方法：

• Bonferroni 校正。将 alpha 除以比较次数。这种方法较为保守，可控制家族错误率（在整组检验中至少出现一次假阳性的概率）。适用于假阳性后果极其严重的情况。
• Benjamini-Hochberg（BH）校正。这种方法不那么保守，可控制错误发现率（被判定为显著的结果中，假阳性所占比例的期望值）。更适合探索性分析。

大多数现代平台都支持将这些方法作为配置选项直接使用。请进行配置，或了解平台默认采用哪种方法。有些平台会对显示的 p 值进行校正，但不作说明；另一些平台会报告未校正的数值，并希望你自行计算。

对 PM 友好的经验法则：预先登记主要指标和主要细分群体。其他所有分析都视为探索性分析。对于非主要指标或非主要细分群体上的发现，在足以支持上线之前，需要更大的效应、在后续测试中复现，或两者兼备。预先指定主要指标和细分群体，比任何校正公式都更能保护你免于陷入多重检验的陷阱。

---

序贯检验的数学原理

从分析角度重新审视反复窥探数据的问题。经典 t 检验、z 检验和比例检验都假设只在测试结束时进行一次分析。如果你在测试期间分析数据五次，并在看到显著结果时立即停止，假阳性率就会远高于名义上的 5%。在为期四周的测试中每天窥探数据，假阳性率可能会超过 30%。

序贯检验方法会调整计算方式，让你可以持续监测，同时避免假阳性率膨胀。你会遇到的名称包括：

• mSPRT（混合序贯概率比检验）。它会产生“始终有效”的 p 值：你可以随时查看数据，假阳性率仍保持在名义上的 alpha 水平。现代平台中很常见。
• 组序贯设计。预先规划固定次数的中期分析（例如三次），并为每次分析调整显著性阈值。它不如 mSPRT 灵活，但原理清楚、应用成熟。
• 任意时点有效置信区间。它是始终有效 p 值的 CI 版本。按设计，这类区间比固定周期 CI 更宽；确保可以安全窥探数据的代价是统计效率有所降低。

内置序贯检验功能的现代平台包括：Statsig（默认使用始终有效方法）、Eppo（可配置序贯 CI）、PostHog 的部分功能（取决于实验类型）和 GrowthBook（支持 mSPRT）。如果你的面板显示“始终有效 p 值”或“任意时点有效 CI”，说明使用的是序贯检验。如果只显示“p 值”，没有任何限定说明，那它很可能采用固定周期检验，而窥探数据会增加假阳性率。

如果你的平台不支持序贯检验，就要做到：在启动时预先承诺单一分析日期，不要窥探数据；如果必须窥探，也不要根据窥探结果做决定。等到预先承诺的日期再做决策。这很难做到，序贯检验能让这件事更容易。

权衡之处：在样本量相同的情况下，与固定周期检验相比，序贯检验的 CI 更宽，p 值也不那么激进。这个代价确实存在，但对于 PM 场景而言通常值得，因为在这类场景中，实际很难做到不窥探数据。

CUPED 方差缩减

CUPED（利用实验前数据进行对照实验）使用同一批用户的实验前行为扣除其基线，从而留下更清晰的处理效应信号。点估计保持不变，但置信区间会大幅缩窄，通常缩窄 30% 到 50%，相当于免费将有效样本量增加一倍左右。

CUPED 适用的情况：

• 实验前基线方差较高的指标：每用户收入、每用户会话数、互动时长、内容消费量。
• 用户有足够历史数据的测试（已登录用户、某个日期之前的用户）。
• 长期运营的产品，且实验前行为能很好地预测实验期间行为。

CUPED 不适用的情况：

• 没有实验前数据的新用户。
• 没有实验前基线的一次性转化指标（用户要么注册，要么不注册；没有可扣除的内容）。
• 实验前行为与所要改变的指标基本不相关的测试。

如何解读经 CUPED 调整的结果：点估计与未经调整的估计大致相同；CI 更窄。如果某项结果从“使用 CUPED 时显著”变为“不使用 CUPED 时不显著”，这是正常的，经过 CUPED 调整的版本检验效能更高。如果结果反过来（不使用 CUPED 时显著，使用 CUPED 时不显著），未经调整的结果可能只是噪声，而 CUPED 正确地将其消除了。

一个常见的误解是：“CUPED 让我们的提升幅度变小了，所以我们应该发布未经调整的版本。”这是错误的。CUPED 缩减的是方差，而非点估计。如果使用 CUPED 后提升幅度看起来变小了，未经调整的提升幅度可能是受到实验前行为的偶然相关性影响而被夸大；CUPED 估计值更接近真实效果。应相信调整后的版本。

平台支持：Statsig、Eppo、GrowthBook、PostHog 的部分功能、Amplitude（Experiment 产品）。Optimizely 提供等效的方差缩减功能。如果你的平台支持 CUPED，对于任何存在实验前数据的指标，都应启用它。

如需深入了解 CUPED、delta 方法及其他统计方法，请参阅 references/statistical-method-reference.md。

---

异质性处理效应（HTE）与细分群体

异质性处理效应是指某项处理对不同细分群体产生不同效果。例如，新用户的效果为 +5%，高级用户为 -2%，平均值为 +1%。这种情况很常见，也常常值得关注，但很容易被过度解读。

HTE 的吸引力在于：“我们干脆只向新用户发布吧。”它的危险之处在于：事后发现的细分群体往往只是噪声；定向投放基础设施确实有成本；按细分群体设置不同表现会让 UI 随时间变得越来越复杂。

处理 HTE 的正确方式：

• 在发布前预先登记你关注的细分群体。两三个就够了；登记十个往往意味着过度拟合。
• 如果预先登记的某个细分群体表现出有意义的不同效果，就把它视为值得后续跟进的证据，而不是只向该群体发布的绿灯。
• 在发布仅针对某个细分群体的行为前，先问问：该群体是否足够大，是否值得为此投入定向工作，以及能否在生产环境中干净利落地实现定向？
• 如果某个细分群体是事后通过多种方式切分数据发现的，就把这一发现视为后续测试的假设。不要仅凭一次观察就发布。

HTE 与简单平均值：当不同细分群体的效果存在有意义的差异时，平均值会低估两边的效果。某项处理对一半人群的效果为 +10%，对另一半为 -5%，平均值为 +2.5%；这既低估了对一半人群的收益，也忽视了另一半人群的损失。对于“是否向所有人发布”的决策，平均值仍然是正确的参考数字；对于“是否投资于针对特定细分群体的定向”决策，则应参考各细分群体的数据。

实用经验法则：如果预先登记的细分群体表现出有意义的不同效果，就写下一个后续假设。开展后续测试，并确保测试具备适当的统计功效，以确认该细分群体中的行为。然后再决定是否针对该细分群体发布。后续测试的成本远低于发布实际上不起作用的细分群体定向行为的成本。

---

比率指标与 Delta 方法

大多数“率”指标都是比率。转化率等于转化次数除以用户数。点击率等于点击次数除以展示次数。每用户收入等于收入除以用户数。平均订单价值等于收入除以订单数。

这对分析很重要：针对总和的标准方差估计方法不能直接用于比率。对比率进行朴素的方差估计，会产生过窄的置信区间，并抬高假阳性率。你会发布看似显著、实则并不显著的功能，因为底层的数学计算有误。

两种正确的方法：

• Delta 方法。基于微积分的校正（泰勒展开线性化），可为比率指标生成正确的置信区间和 p 值。速度快、经过充分验证，也是大多数现代平台采用的方法。
• Bootstrap。一种基于模拟的替代方法：有放回地多次重新抽样用户，每次计算比率，再根据经验分布得出结果。不依赖分布且直观；速度比 Delta 方法慢。

如何验证你的平台：询问“你们对比率指标使用什么方差估计器？”如果回答是“对比例使用标准 t 检验”，那么对于任何非简单二元转化的比率（每位用户一行，转化或未转化），这种做法都是错误的。如果回答是“Delta 方法”“线性化”或“Bootstrap”，则是正确的。

大多数现代平台（Statsig、Eppo、PostHog、Optimizely、GrowthBook）都能正确处理。较旧的平台或自建平台通常不能。风险是悄无声息的：面板显示的置信区间看起来合理，实际上却过窄，导致你发布无法在生产环境中产生所声称效果的变更。

示例。每用户收入是一个比率：总收入除以总用户数。假设处理组显示提升了 5％，且使用错误的（朴素）方差估计器时，置信区间不包含零。使用正确的 Delta 方法估计器后，同一个点估计的置信区间则包含零。错误的数学计算会说“结果显著，发布”。正确的数学计算会说“结果尚无定论，延长实验时间或接受噪声”。基于错误计算发布，意味着发布无法在生产环境中产生所声称效果的变更，之后还会纳闷为什么上线后仪表板上的指标没有变化。

---

Bayesian 与频率学派的结果面板

频率学派面板（大多数较旧的平台，以及大多数现代平台的部分功能）显示 p 值、置信区间和“统计显著”标签。Bayesian 面板（Eppo 默认采用，Statsig 可选，PostHog 的部分功能）显示最优概率、可信区间和后验分布。

在大多数 PM 场景中，只要实验设计正确，两种方法得出的发布或终止决策都相近。术语不同，底层判断相似。

Bayesian 方法的优势：

• 自然支持多变体比较：“变体 B 最优的概率为 87％”比相应的 Bonferroni 校正 p 值更容易理解。
• 天生可安全查看中期结果：后验概率在任何时点都有效，无需进行序贯校正。
• 对不熟悉假设检验的利益相关者来说更直观。
• 有先验知识时可以采用信息性先验（实际发布决策中很少见）。

频率学派方法的优势：

• 理解更广泛：大多数分析团队接受过更充分的频率学派训练。
• 预注册语义更清晰：“alpha 等于 0.05，MDE 等于 5％，决策规则为 X”含义明确。
• 在受监管场景中有更长的应用历史。

在同一个实验中混用两种方法没有问题。大多数平台（Eppo、Statsig）都允许切换。每个实验选定一种并坚持使用；不要在实验进行期间切换，只为追求更有利的解读。这相当于 Bayesian 与频率学派版本的 p-hacking，会损害实验纪律。

---

网络效应与 SUTVA 违背

SUTVA（稳定单元处理值假设）是“一个用户接受的处理不会影响另一个用户的结果”的专业名称。SUTVA 成立时，标准 A/B 测试的数学方法有效；违背时，这些方法会系统性地低估或高估真实效果。

SUTVA 违背时：

• 双边市场。买家行为的变化会改变卖家的行为，进而影响与处理组买家争夺同一供给的对照组买家。处理组买家的行为会渗透到对照组的体验中。
• 社交产品。处理组用户行为的变化会影响与他们互动的用户体验，无论这些朋友属于哪个组。
• 供给受限的功能。当供给有限时，处理组用户会与对照组用户争夺同一稀缺资源，因此测试无法明确区分处理效果与替代效应。
• 通知系统。提高通知量的处理会改变整个平台上的用户行为，而不只是处理单元中的行为。

“干扰会削弱提升幅度”是最常见的情况。在市场实验中，如果处理效果看起来很小，那么在不存在干扰的情况下，真实效果可能是标准 A/B 测试报告结果的 2 到 3 倍。因为渗透到对照组的提升幅度看起来很小，就停止一项有效测试，是常见的错误。

检测方法：

• 切换实验。在不同时间窗口内让整个总体在处理组和对照组之间切换（第 1 周处理，第 2 周对照，依此类推）。这可以消除每个窗口内的跨用户干扰，但需要谨慎进行时间建模。
• 集群随机化。分配整个单元（城市、市场、好友群组），而不是单个用户。这样可以消除集群内干扰，但有效样本量会减少。
• 地理实验。在某些地区上线，在其他地区暂缓上线。速度慢、成本高，但不会受到干扰。

如果不确定是否存在干扰，可以运行小规模的集群随机化版本进行检查。如果集群随机化的提升幅度远大于用户随机化的提升幅度，就说明存在干扰，应将主要测试改为集群随机化后重新运行。

---

仪表板指标与实验指标的对账

场景：业务智能仪表板显示，上周收入增长了 8%。实验平台显示，实验组的收入提升了 2%。这两者怎么可能都成立？

可能的答案，按出现频率排序：

• 分母不同。仪表板显示的是所有用户；实验显示的只是已纳入实验的用户。大多数实验只纳入部分用户；提升幅度仅适用于这部分用户。
• 时间窗口不同。仪表板统计的是滚动 7 天；实验统计的是从开始到结束的固定时间段。这两个窗口可能各自独立变化。
• 外部影响。营销活动、季节性、竞争对手动态、新闻周期等。随机分配能让实验正确排除这些因素；仪表板则会反映它们。
• 选择效应。哪些用户被纳入实验很重要。仅新用户？仅已登录用户？通过功能开关检查的用户？每种筛选条件都会改变提升幅度所适用的用户群体。
• 指标定义不同。“收入”在某处可能指总收入，在另一处则可能指扣除退款后的净收入。“转化”在不同系统中的统计方式也可能不同。

对账准则：绝不要把实验结果表述为“该功能本周带来了 $X 的收入”。应始终表述为“在测试期间，该功能使已纳入实验用户的收入提升了 Y%”。前一种说法暗示了实验无法衡量的公司整体影响；后一种说法则准确描述了实验实际显示的结果。

“混合归因”陷阱是最常见的对账失误。产品经理拿实验的提升幅度（例如每位用户的收入提升 2%）乘以全部用户数，估算公司整体影响（“新增收入 $10M”）。这种做法有两处错误。提升幅度仅适用于已纳入实验的用户（通常占总用户数的 10% 到 50%）。即使在已纳入实验的用户群体中，提升幅度也是在测试条件下测得的；长期来看，全面推出后，效果可能会有所不同。恰当的表述是：“在为期四周的测试中，已纳入实验的用户（约占活跃用户总数的 30%）相较于对照组，每位用户的收入提升了 2%。”然后由管理层谨慎计算全面推出后的影响。

有关更深入的对账模式和面向利益相关者的表述，请参阅 references/dashboard-vs-experiment-reconciliation.md。

---

长期效果估算

大多数 A/B 测试会持续两到四周。许多功能决策需要了解三十到九十天的表现，因为行为会随时间发生变化：新鲜感会消退，首因效应会减弱，留存影响会显现，网络效应会逐渐累积。

长期衡量的三种模式：

• 留出组。推出后，让一定比例的用户（通常为 5% 到 10%）继续使用对照版本三十天或更久。将他们的长期行为与已启用新版本的用户进行比较。由于留出组与原始测试组同时随机分配，这种比较能准确衡量长期效果。
• 地区实验。在部分市场推出变更，在其他市场保留原状。衡量市场配对之间的长期差异。这种方法耗时且成本高，且各市场需要具有可比性，但不会受到干扰，并且能够衡量用户随机化无法衡量的效果。
• 双重差分（diff-in-diff）。比较处理市场与对照市场在推出前后的变化。在完全无法随机化时（如监管要求的分批推出、针对特定合作伙伴的变更）很有用。效果不如随机化方法可靠，但在无法随机化时仍具有可辩护性。

实用经验法则：任何存在新鲜感风险的功能（新 UI、新机制、新定价、新通知频率）都值得设置为期三十天的留出组。应在推出时设置，而不是之后再设置；之后再设置需要撤销已推出的变更，实际中很少会这么做。留出组的成本很低（让少量用户在一个月内继续使用旧体验）；其价值在于能在长期效果恶化不断累积之前及时发现。

常见解读错误

快速参考。每种模式的详细说明见 references/common-interpretation-failures.md。

• “P 等于 0.04，可以发布了。” 未考虑 CI 宽度、效应大小或防护指标。统计显著是必要条件，而非充分条件。
• “第 3 天看到 +5%，提前结束。” 可能是窥视数据、新奇效应，或两者兼有。第 3 天的提升通常大于第 14 天的提升；提前结束会把噪声当成结果发布。
• “新流程对高级用户有效（事后划分的细分群体）。” 这是在挖掘噪声。该细分群体是通过多种方式切分数据后找到的；表面上的提升无法复现。
• “我们的实验显示 +2%，但正式发布后只有 +0.5%。” 实验结果往往是正确的：该提升适用于测试条件下参与实验的用户；全面发布后，未参与实验的用户、新奇效应消退或测试无法捕捉的干扰效应会稀释实际效果。
• “收入上升了，但留存率的 CI 跨过了零，所以我们忽略了它。” 这是把防护指标违规重新解释成“没有信号”。如果留存率是防护指标，它就具有约束力；“我们没有看到明确的信号”不等于“我们有安全性的证据”。
• “我们用 CUPED 调整后，消除了真实的处理效应。” CUPED 降低的是方差，不是点估计。如果 CUPED 调整后提升看起来更小，那么未经调整的提升很可能是 CUPED 正确剔除的噪声。应相信调整后的结果。
• “两个细分群体的效果相反；我们选择效果更好的群体发布。” 除非两个群体都已预先登记，且已有相应的定向基础设施，否则这很可能是过拟合。发布前应重新测试。
• “我们做了测试，结果不确定，但趋势有方向性，所以还是发布了。” 不确定就是不确定。有方向性的模式不是证据，而是对噪声的一厢情愿解读。

---

框架：解读实验结果的 14 项可信考量

可信的解读需要综合考量十四个方面。上文各节分别对每一项进行了详细说明。

1. 结果面板的完整性。 面板应展示变体、分流情况、各变体指标、提升幅度、显著性、方差缩减、护栏指标、细分群体、时间序列和状态。缺少任何一项都是警示信号。
2. 置信区间的解读。 宽度比中心值更重要。五条实用的决策规则涵盖了置信区间不包含零、窄幅包含零和宽幅包含零的情况。
3. P 值的含义。 如果原假设成立，观察到该提升幅度的概率。它并不表示处理有效的概率。务必结合置信区间一起解读。
4. 多重检验校正。 使用 Bonferroni 控制家族错误率，使用 BH 控制错误发现率。预先登记主要指标和细分群体；其余结果应视为探索性发现。
5. 序贯检验的数学原理。 始终有效的 P 值和任意时点有效的置信区间能够经受反复查看。固定样本量下的 P 值在每日监控时会抬高假阳性率。
6. CUPED 方差缩减。 点估计不变，置信区间更窄。只要有实验前数据且这些数据具有信息价值，就应使用。
7. 异质性处理效应。 预先登记细分群体。将事后发现的细分群体效应视为后续检验的假设，而非上线依据。
8. 比率指标。 使用 delta method 或 bootstrap。朴素的比例估计量会低估方差并抬高假阳性率。
9. 贝叶斯方法与频率学派方法。 每项实验选择一种方法并坚持使用。只要实验设计正确，两种方法得出的上线决策就会相近。
10. 网络效应与 SUTVA。 市场平台和社交产品往往不满足 SUTVA。怀疑存在干扰时，应采用集群随机化、轮换实验或地理区域实验。
11. 仪表板数据对账。 分母、时间窗口、外部影响和指标定义的差异，可以解释 BI 仪表板与实验面板之间的大多数不一致。
12. 长期效应估计。 对于在三十至九十天后显现的效应，可使用留出组、地理区域实验和双重差分。
13. 常见解读失误。 汇总聪明团队最常犯的错误决策模式。
14. 坚持判定为无结论。 最难做出的判断是“证据不足，不能上线”。这往往才是正确的决定。

上文各节依次展开了每项考量。做出决策前，请先阅读相关章节，而不是事后再读。

---

参考文件

• references/confidence-interval-cheatsheet.md。介绍如何解读 CI、哪些内容可以忽略，以及五条决策规则各自的实例。
• references/p-value-interpretation-guide.md。介绍 p 值的含义、人们假装它代表什么、0.05 惯例、偷看数据的问题，以及多重检验的背景。
• references/statistical-method-reference.md。介绍 CUPED、delta 方法、序贯检验方法（mSPRT、组序贯、任意时点有效）、HTE 处理、多重检验校正、集群随机化。供分析师参考的技术资料。
• references/dashboard-vs-experiment-reconciliation.md。介绍 BI 数据为何与实验数据不一致、混合归因陷阱，以及如何向非统计背景的利益相关者说明差异。
• references/result-presentation-templates.md。面向利益相关者沟通的五种模板：明确成功、明确失败、结论不确定（最常见，也最棘手）、结果混杂（主要指标为正，但防护指标含糊），以及长期留置组报告。
• references/analytics-platform-comparison.md。介绍七大平台（Statsig、PostHog、Optimizely、GrowthBook、Eppo、Amplitude、Kameleoon）的概况，涵盖各平台展示什么、隐藏什么，以及各自的注意事项。
• references/common-interpretation-failures.md。介绍 15 种以上的常见失败模式：名称、表现、根本原因、修复方法和预防措施。

---

结语：有勇气判定结果不确定

大多数实验结果都不是明确的“上线还是终止”。它们往往无法得出结论：提升确实存在，但 CI 跨越了零；提升真实存在，却不足以抵偿实施成本；提升具有统计显著性，但某项防护指标令人担忧；某个细分群体的效果看起来很好，但该群体规模太小，或者并不存在相应的定向基础设施。

PM 每周最难做出的决定，往往是“信号还不足以支持上线”。看到结果后降低标准的诱惑非常强烈。坚持说“结论不确定”，体现的是一种纪律：相比果断，更在乎判断正确。

分析师也需要遵循同样的纪律。不断切分数据，直到某个结果看起来显著；再用一种方差缩减技术；在测试中途从频率学派方法切换到贝叶斯方法——这种诱惑始终存在。每个单独的举动看起来都只是一次小小的判断。但累积起来，它们会摧毁分析的完整性。最终得到的不是“我们发现了真实效果”，而是“我们调整了足够多的分析旋钮，终于让某个结果看起来显著”。

结论不确定是有效的结果。如果能从中吸取教训，那也是为下一个假设做准备：效果比预期小、细分群体很重要、测试功效不足，或指标选错了。用这个不确定的结果来设计下一次更好的测试。不要事后为当前测试编造一个故事。

有关实验前的设计规范，请参阅 experiment-design 技能。有关投放不同变体的功能标记的运作机制，请参阅 feature-flagging 技能。有关特定平台的 MCP 命令和示例提示词，请查阅所选平台的文档。