ad-creative-test-plan

创意测试计划

你是一名付费媒体实验负责人。在投放前设计好创意测试，然后产出一份媒体投放人员无需你协助即可执行的计划文档：

• 有意隔离变量。
• 设计测试单元。
• 规划预算和样本量。
• 预先登记成功标准和决策规则。

核心原则是如实说明统计功效：按通常预算进行的大多数创意「A/B 测试」无法达到统计显著性，计划必须明确说明这一点，不能让筛选启发式伪装成受控实验。同行评审研究表明，具有参考价值的广告实验可能需要数百万个「人周」（Lewis & Rao，2015 年——完整引用见 references/sizing-reference.md），这正是从业者改用支出阈值启发式的原因。两种方式都有其合理性，前提是计划明确说明每个测试单元采用哪种方式。

本技能到计划文档交付为止。此后的交接事项：

• 投放后读取结果并监测效果衰退：mbfinotti/advertising-skills@ad-creative-fatigue。
• 撰写广告文案变体：mbfinotti/advertising-skills@ad-copy-variants。
• 为设计师或视频制作团队撰写制作简报：mbfinotti/advertising-skills@ad-creative-brief。
• 验证转化事件是否确实触发：mbfinotti/advertising-skills@ad-conversion-tracking（投放前运行——事件损坏时，测试测不出任何结果）。
• 诊断表现不佳的广告账户：mbfinotti/advertising-skills@ad-account-diagnostic。

访谈

设计前先提问。每条消息只问一个问题；尽可能提供多选项；跳过已回答或可从所提供数据中看到的问题。缺少答案时就停下来询问——绝不臆测。

• 这项测试将为哪项决策提供依据？（哪个创意概念获得下季度的制作预算／扩大哪种诉求的投放／一种新格式是否值得纳入／其他。）不能为任何决策提供依据的测试，带来的是支出，而非学习。
• 平台类别和广告系列目标是什么？（付费社交／搜索／视频／原生广告；转化、潜在客户或流量目标。）
• 每月或计划用于测试的预算是多少？这笔预算是否与扩量预算分开并受到保障？
• 当前 CPA 或 CPL 是多少？你准备据以判断的环节，其转化率是多少？
• 该事件每月的转化量是多少——全账户大约每月多少次？
• 面向 B2B 还是 B2C？销售周期有多长？
• 这项测试已有或能够制作多少个创意素材？制作周期多长？
• 已经测试过什么，结果如何？（避免重复测试已得出结论的问题，以及新旧版本对比。）
• 这些广告系列目前是否启用了自动化或 AI 创意优化功能？（该功能会自行重组并选择素材，从而破坏受控测试单元。）
• 是否有现有的优胜创意可作为对照组？
• 这项测试必须在什么日期前得出结果？这个日期是否固定？（不同测试结构的得出结果时间可能相差数周，因此无法在未了解这一点时决定第 2、3 和 6 节的先后顺序。）
• 你想现在就扩大单次测试中的优胜方案，还是想获得可迁移、可累积于未来测试的元素级洞见？（前者更适合打包概念，后者更适合严格隔离变量。）
• 执行精力的上限是多少——谁负责监看账户、多久查看一次，以及无需请示他人即可决定的预算额度是多少？
• 这些创意是否受到同意、披露、声明佐证或受监管类别方面的限制？（健康、金融、就业、住房、未成年人；客户证言或 AI 生成的肖像披露。）

1. 先定义决策，再提出假设

1. 用一句话写出决策：“根据这项测试，我们将 ___。”如果无法填入内容，就停下来重新设计。
2. 用以下模板写出可证伪的假设——三个部分缺一不可：

Because [observation or evidence],
changing [the one thing this test varies]
will [raise/lower] [named metric] by roughly [magnitude]
for [audience], and we will know by [date/sample].

3. 否决没有预测方向和幅度的假设（“看看会发生什么”），以及指标无法在测试窗口内衡量的假设。在 B2B 中，诚实的幅度主张往往基于代理指标（合格潜在客户率），因为营收事件会比测试晚一个销售周期——应在假设中说明这一点。

2. 有意识地选择隔离级别

默认排序如下，应明确说出来，避免因行序而做出选择：

• 效率（每单位支出和耗费的日历时间所换来的可迁移学习）：捆绑概念 > 分层 > 严格单变量
• 结果显现时的价值：严格单变量 > 分层 > 捆绑——只有隔离才能带来元素级学习
• 得出任何结果前耗费的支出和日历时间：严格单变量 > 分层 > 捆绑

这里确实存在一场激烈且仍在进行的争论——应如实呈现，但要把它当作效率问题，而不是哲学问题。按上述默认顺序，三种做法如下：

1. 概念级“大幅调整”（主流现代阵营）——在一次捆绑测试中同时更改消息传达和执行方式。
   • 在常规预算下能带来更大、可检测的效果，并为投放算法提供它们青睐的创意多样性。
   • 代价是失去元素级学习：捆绑测试获胜只能说明概念胜出，绝不能说明原因。在计划中标记为 bundled - unlearnable at element level，避免之后有人从中臆造元素级洞见。
2. 分层——先用捆绑单元验证角度，再在胜出的角度内隔离钩子或形式。按顺序获得两类结果；代价是需要两个测试窗口而非一个，因此需要另外两种做法不需要的流量和日历时间。
3. 严格单变量隔离（经典阵营）——只更改一个元素，其他所有内容保持不变。
   • 只有干净的隔离才能产生可迁移的元素级经验。
   • 在常规预算下，单元素效果通常太小而无法检测，因此测试会白白耗费支出、什么也证明不了：只有当可行性检查（第 4 节）表明该单元在该杠杆的自然指标上至少能达到方向性结果时，才运行这类测试。低于这一门槛，隔离就是作秀。

捆绑测试排在首位，因为它是唯一一种在常规预算下能稳定产生可检测效果的做法——严格隔离每次测试的回报更高，但前提是测试本身能得出结果。

这一排序会让严格单变量隔离长期得不到采用：它在价值上排名第一、在效率上排名最后，因此比值永远不会选中它，账户也就完全无法积累可迁移的元素级学习。不要等比值改变，而应在明确条件下提升它的优先级——第 4 节的可行性检查根据该杠杆自身的 MDE 得出“有足够统计功效”，_并且_访谈回答的是“积累学习”，而不是“立即找到一个赢家进行扩大投放”。角度已趋于确定则是第三个触发条件：一旦捆绑单元反复选出同一个角度，剩下的问题就只有哪个元素承载了这个角度，而捆绑测试无法回答这个问题。

这只是默认做法，不是铁律：它会随转化量和账户负责人而变化。根据访谈答案重新排序，并指出哪个答案改变了哪种做法的优先级——临近的硬性截止日期会提高捆绑测试的优先级；宽松的工作量上限加上充足的日历时间会提高分层测试的优先级。还要结合账户情况再次排序：足以支持单元素结果的流量，或能以较低成本产出匹配变体的创意团队，都会提高隔离测试的优先级。

如果约束条件排除了某种做法，就将其从列表中删除，而不是把它留在末尾——被搁置在末尾的做法，会在启动前一周重新变成项目范围。

• 没有能力制作只在一个元素上有所不同的变体，就应从选项中删除严格隔离：明确说明已删除，并在捆绑式与分层式之间做选择。
• 决策日期前只有一个测试窗口，也应以同样的方式删除分层式。

无论哪种方案胜出，都只隔离高杠杆因素：概念、角度、钩子、形式、创作者／人才。在常规预算下，拒绝耗费预算去隔离微小变量（按钮颜色、字体、细微文案）——将它们并入某个概念，或直接舍弃。

这五种因素刻意不做相互排序：它们的影响大小因账号而异，主要取决于该账号已确定的内容，因此给出通用顺序只会制造虚假的精确性。应根据该账号自己的测试记录为它们排序——尚未测试的差异范围最大的因素排在最前。

3. 构建单元矩阵

1. 对照单元：当前的冠军创意，在相同结构下以相同预算同时投放。绝不要将新单元与冠军创意的历史数据比较——投放历史和季节性不同，导致历史数据无法比较。
2. 每个单元一个概念，每个单元包含 3-6 个素材（以不同变体呈现同一概念）。
   • 单元数多于概念数会分散预算。
   • 概念数多于单元数会污染结果。
3. 选择单元结构，按单位设置成本和放弃的投放效率所能换取的可比性结果排序：手动固定预算单元 > 平台原生确定性拆分 > 广告系列级自动分配。
   • 手动固定预算单元——默认选项。每个单元各自持有预算，因此单元之间具有可比性；代价是整体投放效率略低，而这正是测试的目的。
     • 已知局限：手动单元仍会在相同竞价中争夺重叠受众，从而推高成本并模糊归因。应在计划中注明这一污染风险。
   • 平台原生确定性拆分测试——唯一能消除重叠的平台内结构：用户会被确定性地分配到且仅分配到一个单元，绝不会看到其他单元。
     • 它能获得最干净的可用结果，但需要多一周或更久才能得出结论，而且在典型预算下统计效力不足，常常会得出“无胜出者”的结果。
     • 只有当决策需要这种结果，且可行性检查表明单元能获得足够统计效力时，才使用它。临近的硬性截止日期会使其优先级低于手动方式。
   • 广告系列级自动预算分配——在所有方面都排最后。虽然几乎不费力，但会扭曲结果：预算会转向早期领先者，可能在其他单元收集到数据前，就将多达约 90% 的预算集中到一个单元。
     • 便宜不等于高效。这绝不能作为测试结构。

如果该账号已经运行可靠的拆分测试工作流，或无法顶住绩效团队的反对而保持预算固定，请重新排序。无论哪种结构胜出，都要在测试单元中关闭自动创意优化功能——否则决定哪些素材组合参与投放的就是平台，而不是计划。即使采用确定性拆分，也无法消除投放差异（见“故障模式”）。

4. 变体命名约定：在每个素材名称中编码决策字段，使结果能够按维度汇总。字段顺序固定，使用一个分隔符，并进行版本管理：

C04_ANG-timesaved_HOOK-question_FMT-ugc-video_TAL-creator-jm_V01

概念 ID、角度、钩子类型、形式、人才、版本——根据该账号测试的因素调整字段，此后不得偏离。报告工具会解析名称；命名失败会在无提示的情况下破坏汇总结果。

4. 可行性检查——启动前计算

这是计划的核心。每个单元在投入任何资金之前都必须完成以下检查：

1. 预计量：每个单元的每日事件数 = 单元每日预算 ÷ 单次事件成本（转化：预算 ÷ CPA；点击：预算 ÷ CPC；展示：预算 ÷ CPM × 1,000）。乘以计划时长，得到预计样本量。
2. 在 80% 把握度和 alpha 0.05 下，主要指标每个单元所需的样本量，使用双比例公式：

n per cell = ( 1.96 × sqrt(2 × p̄ × (1−p̄)) + 0.84 × sqrt(p1(1−p1) + p2(1−p2)) )² / (p2 − p1)²

其中，p1 = 基线比率，p2 = 基线 × (1 + 相对 MDE)，p̄ = (p1+p2)/2。实用速算公式：n ≈ 16 × p̄(1−p̄) / MDE²，其中 MDE 使用绝对值。计算示例：基线为 2%，要检测出 50% 的相对提升（2%→3%），每个单元格需要约 3,800 个样本。MDE 减半，n 大约增加到 4 倍。完整表格和计算示例见 references/sizing-reference.md。

3. 所需支出和时长：
   • 所需支出 = 所需样本量 × 每个事件的成本。
   • 所需时长 = 所需样本量 ÷ 预计每日事件数。
   • 时长下限：始终至少为完整的一周，以覆盖每周各天。
   • 时长上限：创意的新鲜期（新鲜感消退、疲劳影响结果之前，约 4-6 周）和决策截止时间。
4. 稳定投放约束：每周无法达到约 50 个优化事件的单元格会一直受投放限制——投放永远无法稳定，因此无论样本量计算结果如何，读数都不可靠。
   • 每个单元格的最低每日预算 ≈ 目标 CPA × 50 ÷ 7。
   • 低于此下限的单元格属于 Not testable as designed；请使用以下排序后的杠杆进行调整。
   • 退出学习状态可带来约 5-10% 的适度效率提升——此下限关乎读数有效性，而非解锁性能提升。
5. 比较所需值与可用值，并为每个单元格给出恰好一个判定：

判定	条件	单元格可以得出的结论
Powered	在时长范围内，预计每个单元格的事件数 ≥ 在 80% 检验效能、alpha 0.05 下所需的样本量	经显著性检验确认的胜出方案
Directional read	在时长范围内无法达到显著性	仅作为筛选启发式：依据门槛指标和相对排名进行判断，标注为方向性结论，绝不可报告为“置信度达 95%”的胜出方案
Not testable as designed	未达到稳定投放要求，或即使 MDE 较宽，时长仍超出范围	无结论——使用以下排序后的杠杆进行调整，然后重新计算

调整 Not testable as designed 单元格——默认排序如下，因为这四种杠杆不可互换：

• 效率（每单位投入和放弃的学习量所恢复的检验效能）：将读数上移至漏斗前端 > 扩大 MDE > 减少单元格数 > 提高预算
• 投入：提高预算（审批、政治资本、可逆性）> 将读数上移至漏斗前端（一次跟踪检查和一次决策）> 减少单元格数 > 扩大 MDE（几乎不费力——只需声明）
• 放弃的学习量：扩大 MDE（只有较大的效果才会显现）> 减少单元格数（会放弃一个问题）> 将读数上移至漏斗前端（业务事件将变为 Directional）> 提高预算（无）
• 合规成本：将读数上移至漏斗前端 > 扩大 MDE == 减少单元格数 == 提高预算（均无）——只有上移至漏斗前端这一杠杆可能需要新增事件或接入服务端数据源，而这会涉及同意范围和隐私审查，完成后才能发布

这三项并列是真正的相等，而非回避问题：扩大 MDE、删除一个单元格和提高预算都只会改变测试结构或声明的阈值，因此都不会收集任何新数据，也不会触发审查。 漏斗上游的线索量更大，因为它能增加事件数量，不必向任何人索要预算，也不会从测试中删掉任何问题。根据访谈答案重新排序：如果测试预算已获保障、有余量且拥有实际预算决策权，就把“提高预算”排到前面；如果截止日期很紧，就把“放宽 MDE”往前排。

如果账户无法采取某项措施，就将其删除，而不是排在最后——没有预算决策权，也没有审批人，就按名称从选项中删除“提高预算”；未经验证或已损坏的漏斗上游事件，则在 mbfinotti/advertising-skills@ad-conversion-tracking 确认其正常前，删除这项措施。保留在末尾的措施仍会被默认计入计划的计算中。

绝不要把统计功效不足的测试默默说成 A/B 测试。方向性结果是合理且常见的情况——在常规预算下，大多数创意测试都是筛选；但计划必须明确写出“方向性”。如果将评估指标移至漏斗上游（漏斗中更早出现、量更大的事件）能让某个单元格达到统计功效，就要同时记录两种评估结果：基于漏斗上游事件的结果达到统计功效，基于业务事件的结果为方向性。

5. 预先确定指标阶梯

计划中必须在投放前列出以下三个层级的指标：

1. 门槛指标 - 成本低的漏斗上游信号（钩子率、CTR），_仅_用于尽早、低成本地淘汰明显的落败者。按版位对同类门槛指标进行比较：版位组合会显著影响这些指标，足以让偶然的优胜者登顶。门槛指标用于筛选，绝不能用于判定优胜者。
2. 主要指标 - 唯一的决策指标。B2C：购买 CPA 或转化率。B2B：由 CRM 回传的管道质量事件（合格线索、商机），绝不能使用原始表单提交量。
3. 护栏指标 - 主要指标改善时也不得恶化的指标：频次、相对账户基线的成本上涨、退款／退货率、线索质量率、综合效率。

警告，至关重要：代理指标无法可靠预测转化。一项涵盖多个账户、支出达 $1.47M 的分析发现，钩子率与收入之间没有统计显著的相关性（出处见 references/sizing-reference.md）；而两条广告即使钩子率完全相同，回报也可能相差数倍，具体取决于有多少观众留存到行动号召。门槛指标高、转化低，通常说明问题出在报价或落地页，而非创意胜出。

6. 预先注册决策规则

投放前将以下规则写入计划；看到数据后再修改，正是这份计划要防止的失败。

1. 淘汰阈值：按素材和单元格分别设定，明确达到什么支出或表现水平时予以淘汰。
2. 扩量阈值：明确优胜者必须达到什么标准，以及接下来如何处理（预算增加幅度、晋级路径）。
3. 迭代路径：明确哪些情况应重新测试，而不是淘汰或扩量。
4. 最早评估时间：在此之前不得作出判断（常见基准是第 3 天和最低事件量下限；归因延迟会让更早的评估结果系统性地偏悲观）。
5. 固定停止规则：设定日期或样本量，以先到者为准，并预先规定结果不确定时的处理路径：如果无法判定优胜者，就_保留对照组_。现在就作出这个决定，而不是等到结果解读时再决定。
6. 窥视数据就是明确定义的失败：提前查看结果，并因数字有利而停止测试，会抬高假阳性率。制定停止规则，就是为了让任何人都不必在当下抵挡这种诱惑。

请从以下方案中严格选择一个。这些方案刻意互相矛盾——Faris 禁止 Denney 主张的人工淘汰；Hott 则反对他们两人都采用的按广告设定 CPA 规则。混用两种方案会导致规则始终无法触发，或触发两次。此外，各方案在作出决策前消耗的测试预算也大不相同，因此这是一项效率决策，而非个人偏好：

• 效率（每单位测试花费带来的决策质量）：Hott 对比基准测试 > Denney 数值默认值 > CTC 花费阈值 > Bachman 3-4 倍 > Faris 不手动叫停
• 做出决策前的测试花费：Faris > Bachman > Hott > CTC > Denney
• 持续运行所需的工作量：Hott（一项持续运行的任务——维护一套最佳广告基准，并据此评估）> Faris（设置可信的成本上限结构，之后几乎无需投入）> Denney == CTC == Bachman（只需检查一次阈值）
• 得出答案所需时间：Faris > Hott > CTC > Bachman > Denney

持续工作量方面三者并列是真实的：Denney、CTC 和 Bachman 都简化为每个素材检查一次数字，无需维护素材库，无需持续更新对比基准集，也无需先建立可信的结构。

Hott 在效率维度上有条件地领先，因此默认选项是 Denney 的方案；要升级到 Hott，需要素材库和每周审核员，而不是更大的预算。这是默认方案，不是铁律——它会随着账户成熟度以及负责监看账户的人而变化。根据访谈答案重新排序，并指出哪个答案改变了哪个基准方案。

然后，直接按名称删除答案排除的方案，而不是把它们列为以后再考虑的选项：硬性截止日期或必须积累学习成果的要求会排除 Faris；而工作量上限加上没有每周审核员会排除 Hott。留在页面上的方案会被半途采用，这正是本节禁止的混用。

以下是按效率排序的基准方案，以及每种方案要奏效所需的条件（完整来源见 references/sizing-reference.md）：

• Barry Hott——明确_拒绝_机械式的单条广告 CPA 叫停规则（“广告级 CPA 和 ROAS 无关紧要”）；在受控的固定预算结构中，通过与账户最佳广告进行对比来评估新广告。需要有标签的最佳广告素材库，以及每周进行评估的人；缺少任一条件时，该方案就不可用，而不只是成本更高。
• Dara Denney——账户无需具备任何现有条件，因此它才是默认方案：
  • 测试预算 ≈ 平均 CPA × 50；每次测试约 6 个素材。
  • 第 3 天之前不评估。
  • 花费达到 2× CPA 且没有转化时，停掉该素材。
  • 5-7 天后仍无胜出者时，停止该测试单元。
  • 胜出者扩量 +50-100%，共进行 2-3 次。
• Common Thread Collective——根据花费阈值而非时间叫停：花费达到 $500-1,000 后仍未启动；为需要更长测试周期的广告预留测试预算的 10-15%。在投放情况多变的账户上，按花费判断优于按时间判断；但与 Denney 的方案相比，每次决策需要覆盖更宽的花费区间。
• Jess Bachman——在评判新创意之前，至少花费 3-4× CPA。这能减少因创意表现波动较大而造成的误杀，但代价是每次决策都直接增加测试花费。
• Andrew Faris——不设手动叫停规则：在成本控制下将广告投放到常青结构中，让平台执行 CPA 上限；“绝不”手动暂停。结构可信后，持续人工投入几乎为零，但它给出答案最晚，且返回的是整体组合结果，不提供单个元素层面的分析。
• 标记为民间说法——广为流传的“花费达到 1× CPA 后再评判 / 花费达到 3× CPA 后再叫停”规则没有可追溯的原创者；它们在代理机构博客中流传，但都没有注明来源。绝不要将其描述为权威规则，也绝不要让它代替上述任何一种基准方案。

7. 输出计划文档

每个计划占一个区块；每个单元格占一行。反复迭代，直到通过完成标准。

CREATIVE TEST PLAN - <name>, <date>
decision    : <what changes based on the result>
hypothesis  : <because X, changing Y will move METRIC by ~Z% for AUDIENCE by DATE>
isolation   : <single variable: which lever | bundled - unlearnable at element level>
structure   : <N test cells + control | manual fixed-budget cells or native split test;
               automated creative-optimization: off>
metrics     : gate <metric + like-for-like rule> | primary <metric> | guardrails <list>
cells       : <name per convention> | <concept> | $<x>/day | <assets> assets
              projected <n>/wk | required n=<n>, $<spend>, <days>d
              VERDICT: Powered | Directional read | Not testable as designed
              kill: <threshold> | scale: <threshold> | iterate: <path>
schedule    : launch <date> | earliest evaluation <date> | hard stop <date or sample>
              | inconclusive -> keep control
naming      : <convention string>
caveats     : <auction overlap noted | divergent-delivery limits of the read | B2B lag>

完整示例——一个已算好数据的 B2C 计划、一个默认采用 Directional 的 B2B 计划，以及一个反面示例——见 references/example-test-plan.md。

如果你的工具框架支持持久记忆，请记住已发布的计划——单元格、判定结果、预先注册的阈值和停止日期——这样就能根据预注册内容检查发布后的结果，而不是依赖记忆中的版本。

完成标准

只有在每个单元格都明确写明以下内容，而非仅作暗示时，计划才算完成：

• 声明读取标准：有统计把握的读取、方向性读取，或按设计无法测试；
• 计算所需样本量、所需花费和所需时长；
• 预先注册止损阈值和扩量阈值；
• 指定主要指标及其护栏指标。

任何仍未达标的单元格，都必须在计划发布前删除、合并到其他单元格，或重新界定范围，并重新进行可行性检查。不断迭代，直到达到标准；不要发布结论含糊不清的计划。

B2B 与 B2C

两者采用的方法相同：决策、假设、隔离方式、单元格矩阵、可行性检查和预先注册。不同之处在于可行性检查得出的结论，以及主要指标的来源：

• B2C 电商：
  • 高流量有时能让单元格达到统计把握。
  • 购买事件的读取周期为 3-7 天。
  • 只要计算结果满足条件，就可以使用完整的统计方法。
• B2B 线索获取：转化量通常根本不足以支持显著性检验——默认结论为方向性读取，并明确说明。
  • 读取周期为 4-6 周，而非几天。
  • 优化和评估应基于 CRM 回传的管道质量事件（合格线索、商机），绝不能基于原始表单提交。销售团队拒绝的廉价线索属于护栏指标违规，并非成功。
  • 使用基于判断的相对读取，并辅以滞后质量护栏指标（线索转化为合格线索的比率，与该客户自身的历史中位数比较）。
  • 由于销售周期的影响，收入结论会比创意结论晚一个周期得出；计划必须安排后续复查，而不能假装第 30 天的读取就是最终结论。

可选的集成说明（供应商名称只应出现在这里）：

• Meta：原生 A/B Test 工具可提供确定性流量拆分（建议运行 7-30 天；设置时会显示预估统计功效）；Advantage+ Creative / dynamic creative 是测试单元格中应关闭的自动化功能。
• TikTok：Split Test 运行 7-30 天，并以 90% 置信度宣布胜出者。
• Google：Experiments 运行约 4-6 周，通常会排除第一周的数据。

如果可以浏览网页，请对照当前平台文档核实——这一层变化很快。如果无法浏览，就采用上述类别层面的机制，这些机制较为稳定。

失败模式

陷阱	为何会造成问题	计划中的缓解措施
投放差异 - 最深层的结构性缺陷	投放算法会向响应倾向各不相同、且无法被察觉地经过优化的用户群投放每条广告，即使是在确定性拆分中也是如此。Braun & Schwartz（2025，《Journal of Marketing》）指出，这会混淆结果的幅度，甚至反转结果的方向	在计划中说明，平台内的数据仅用于相对筛选，不能作为因果关系的证明；需要因果结论的决策应采用留出组／提升度设计
偷看数据／提前停止	根据有利的早期数据停止会抬高假阳性率；早期数据通常存在系统性噪声	预先登记停止规则和最早评估时点（第 6 节）
多个单元格之间进行多重比较	测试多个变体会导致某些变体偶然“胜出”；在标准校正下，约 3 个变体需要增加 30%–40% 的样本量	减少单元格数量，或校正 alpha（除以比较次数）；详见样本量估算参考
新奇效应	新创意初期会获得提升，但随后逐渐消退；短期测试会过度解读这种效果	至少测试一周；下结论前比较后期与早期的数据
星期几／季节性污染	周末买家与工作日买家不同；促销和节假日会使测试窗口产生偏差	测试周期涵盖完整周数；切勿在不同时间启动单元格；在计划中注明日历事件
测试中途修改	任何重大修改都会重置投放学习并使数据解读失效	启动时冻结各单元格；如需修正错误，应重新启动该单元格，而非直接修改
新旧对比	现有方案的投放历史和累积优化使旧数据无法直接比较	始终并行运行对照单元格（第 3 节）
扩大投放时回归均值	低预算下的优胜方案在更高预算下数据会变差；这部分胜出是筛选造成的	预先登记扩量步长；将首次扩量作为独立测试解读
幸存者偏差	优胜案例库和创意参考库会过度呈现幸存者；概念得到的认可，可能会被失败案例推翻	在测试日志中记录每个单元格的结果，包括淘汰项

参考资料

• 阅读 references/sizing-reference.md，了解完整的样本量表格、公式计算示例、多重比较调整、按支出层级提供的指南、附来源的从业者参考值，以及学术引用。
• 阅读 references/example-test-plan.md，了解 B2C 和 B2B 测试计划文档示例，以及一个反面示例。