19-ab-test-setup-global

A/B 测试设置（全局）

开展能得出决策、而非噪声的实验。营销领域的大多数“A/B 测试”样本量不足、频繁查看结果，且假设设计不当——这意味着团队学不到任何东西，最终只会发布声量更大的变体。

---

新手入门

有效的 A/B 测试只回答一个问题：“这项改动带来了真正的提升，还是我看到的只是噪声？”

要有把握地回答这个问题，需要满足四个条件：

1. 有一个明确的假设，并给出数值预测
2. 只改动一个变量（其他一切保持一致）
3. 样本量充足，能够检测出你关心的效果
4. 在宣布胜出者之前达到统计显著性（通常 p < 0.05）

缺少其中任何一项，你做的就不是 A/B 测试，而是多了几步操作的抛硬币。

**新手常见错误：**测试运行 3 天，看到变体 B 高出 40%，就宣布胜出并发布。3 天不足以消除星期几带来的影响，而且小样本会产生大幅波动。到第 14 天时，变体 B 的表现可能会回落（甚至反转）。

---

步骤 0 — 阅读背景信息

如果 .agents/product-marketing-context.md 存在，请阅读它。受众规模、平均流量和当前转化率决定了测试是否可行。

---

步骤 1 — 收集信息

最多询问 4 个问题：

1. 你要测试什么？（广告标题 / 落地页版块 / 邮件主题 / 定价展示 / CTA 按钮 / 创意视频）
2. 主要指标是什么？（CTR / 转化率 / CPM / CPA / 收入 / 打开率 / 回复率）
3. 测试页面的每日流量是多少？（计算样本量和测试时长所需）
4. 测试的目标是什么？（主要指标提升 X% / 从 N 个候选项中选出胜出者 / 验证战略假设）

---

有效 A/B 测试的 7 项原则

1. 每次只测试一个变量

这是首要原则。一次改动两项内容，你就无法判断结果是由哪项带来的。

• 错误示例：“我改了标题、主视觉图片和 CTA 颜色。”→ 你无法知道是哪项带来了提升。
• **正确示例：**只改标题。图片、CTA、版式、流量来源和受众定向都保持一致。

如果必须测试多项改动，请使用多变量测试（MVT）——但这类测试需要多得多的流量（通常是单个 A/B 测试的 4×–8×）。

2. 用数字提出假设

格式：“如果我们[改动 X]，[指标 Y]会提高[Z%]，因为[原因]。”

• 正确示例：“如果我们将 CTA 从‘注册’改为‘获取我的免费演示’，转化率将提高 15%，因为明确具体的行动用语可以减少歧义。”
• 错误示例：“新文案会更好。”（没有指标、没有数字、没有因果推理——无法测试。）

“因为”很重要：即使假设错了，只要推理合理，你仍然能学到可推广的经验。

3. 样本量充足

不要提前停止。统计检验需要足够的数据，才能区分信号与噪声。

• **最低经验值：**每个变体 100 次转化（不是 100 位访客）
• **更好的做法：**根据基准转化率和最小可检测效果预先计算样本量（公式见下文）

4. 测试时长充足

测试应持续完整的周数，而不是 3 天或 10 天。不同工作日的受众行为各不相同——周一的 B2B 流量不同于周六的 DTC 流量。

• **最低时长：**7 天
• **建议时长：**14 天
• **留意：**节假日、发薪日、月度账单周期、广告支出爬坡期

5. 不要偷看结果

每小时查看结果，并在“B 看起来不错”时就停止，是营销实验中最常见的错误。提前查看结果并提前停止，会大幅增加假阳性率。

• 预先确定结束日期，并严格遵守。
• 如果必须监控，请使用专为此设计的序贯检验方法（例如 Optimizely 的 Stats Engine 等贝叶斯框架，或内置序贯控制功能的平台）。

6. 统计显著性：p < 0.05

大多数营销团队将**95% 置信度（p 值 < 0.05）**作为标准。

• p 值 < 0.05 → 观察到的差异由随机因素造成的可能性低于 5%
• p 值 0.05–0.10 → 有一定迹象，但结论不确定——延长测试
• p 值 > 0.10 → 没有证据表明存在效果——保留对照组或测试其他内容

对于高风险测试（定价、品牌），可考虑采用 99% 置信度（p < 0.01）。

7. 记录所有内容

记录以下信息：

• 假设（包含数据）
• 开始日期 / 结束日期
• 实际样本量
• 主要指标、次要指标
• 结果 + p 值
• 决策 + 理由
• 接下来要测试的内容

记录测试历史可以避免团队重复测试已经失败的内容，也能避免忘记过去决策的原因。

---

样本量计算

快速公式

Sample size per variant ≈ 16 × p × (1 − p) / MDE²

where:
  p   = baseline conversion rate (e.g. 0.03 = 3%)
  MDE = minimum detectable effect, in absolute terms
        (e.g. 0.006 = lift from 3% to 3.6%)

此公式计算的是统计功效为 80%、置信度为 95%、50/50 分流时所需的样本量——这是大多数营销测试的合理默认值。

计算示例 A — 落地页 CRO

当前转化率为 3%。你想检测到 20% 的相对提升（从 3% 提升到 3.6%）。

• p = 0.03
• MDE（绝对值）= 0.20 × 0.03 = 0.006
• 每个变体的样本量 = 16 × 0.03 × 0.97 / 0.006² = 12,933 名访客
• 总计：约 25,866 名访客。按每天 500 名访客计算 → 约 52 天。

这需要很长时间。你可以运行测试（如果这项改动很重要）、测试预期提升幅度更大的内容，或者为测试页面引入更多流量。

计算示例 B — 邮件主题行

当前打开率为 25%。你想检测到 10% 的相对提升（达到 27.5%）。

• p = 0.25
• MDE = 0.025
• 每个变体的样本量 = 16 × 0.25 × 0.75 / 0.025² = 4,800 次发送
• 总计：每封邮件需要发送 9,600 次——通常一次营销活动就能达到。

可行性速查

每日流量	转化率	所需天数	测试可行性
< 100	任意	2 个月以上	暂缓——先关注流量
100–500	2–5%	3–6 周	可以，但需要耐心
500–2K	2–5%	2–3 周	可以——理想范围
2K–10K	2–5%	1–2 周	可以——快速迭代
10K+	任意	数天	可以——可进行多组测试

如果每日流量低于 100，A/B 测试在统计上不值得开展——先集中精力增加流量，再运行实验。

---

多组与多变量测试

除了简单的 A 与 B 对比：

• **多组（A/B/C/D）：**同时测试 3 个或更多变体。所需样本量大致随组数线性增长。
• **多变量（MVT）：**同时测试多个元素（标题 × 图片 × CTA = 8 种组合）。所需样本量按乘法增长。只有流量非常高时才可行。
• **序贯 / 贝叶斯（Thompson Sampling）：**动态地将更多流量分配给表现更好的变体。Optimizely、Google Optimize 的继任产品和 Meta 的自动优化都采用这种方法。

对大多数团队来说，在测试页面的流量超过约 10K/天之前，坚持使用 A/B 测试即可。

---

测试内容（按优先级排序）

1. 标题 — 影响最大

大约 80% 的访客会阅读标题，20% 会阅读正文。优化标题能以单位投入带来最大的预期提升。

可尝试的变化：

• 问句与陈述句
• 具体数字与笼统表述（“3,247 位创始人信赖我们”与“深受创始人信赖”）
• 突出结果与突出功能
• 简短（5–7 个词）与较长（12–15 个词）

2. CTA 按钮

易于修改，通常有 5–25% 的提升空间。

可尝试的变化：

• 文案：“注册”与“获取免费演示”与“开始免费试用”与“查看价格”
• 颜色：品牌主色与对比色（高对比度通常效果更好）
• 大小：标准尺寸与大尺寸
• 位置：首屏区域与悬浮固定位置与页面底部

3. 主视觉

• 产品图与生活方式图片
• 静态图片与视频
• 创始人头像与匿名模特
• 产品演示录屏与客户评价片段

4. 定价展示

• 主推按月付费还是按年付费
• 划线显示折扣价还是直接显示价格
• 数字格式（$299 与 $299.00 与 $299/月）
• 锚定定价（3 档定价，突出显示中间档）

5. 社会认同的展示位置

• 数字 vs 详细评价
• Logo 墙 vs 客户数量
• CTA 上方 vs CTA 下方
• 视频推荐语 vs 文字推荐语

6. 表单字段

• 3 个 vs 5 个 vs 7 个字段（字段越少，转化率几乎总是越高，但潜在客户质量可能下降）
• 标签位置（上方 vs 左侧）
• 单步 vs 多步
• 标记可选字段 vs 标记必填字段

7. 邮件主题行

• 疑问句 vs 优势
• 个性化 vs 通用
• 带表情符号 vs 不带表情符号（因地区／受众而异）
• 长度（少于 40 个字符 vs 60 个以上）

8. 广告创意

• 前 3 秒的开场钩子变体
• UGC 风格 vs 精致品牌风格
• 格式：单张图片 vs 轮播图 vs 视频 vs Reels 原生格式
• 创意素材上的标题 vs 文案字段中的标题

---

工具推荐

工具	最适合	费用
Meta Ads 内置 A/B 测试	在 Meta 上测试创意、受众、版位	免费
TikTok Ads Split Test	测试 TikTok 广告创意和受众	免费
Google Ads Experiments	测试 Google Ads 广告系列和广告文案	免费
Optimizely Web	企业级 Web 实验、序贯测试	$$$ 企业版
VWO	中端市场 Web A/B 测试 + 热图	$199+/月
Convert.com	注重隐私的 Web 测试	$99+/月
PostHog	产品功能开关 + 实验 + 分析	免费套餐，额度充足
GrowthBook	开源 A/B 测试平台	免费 / 托管套餐
Statsig	使用功能开关进行产品实验	免费套餐
AB Tasty	Web 实验 + 个性化	$$$
Unbounce / Instapage	内置落地页 A/B 测试	$90+/月
自定义（拆分 URL）	两个页面、50/50 重定向、GA4/Pixel 归因	免费

注意： Google Optimize 已于 2023 年 9 月停止服务。迁移方案：GA4 + 第三方平台（Optimizely、VWO、Convert），或面向产品驱动团队的 PostHog/GrowthBook。

---

无专用工具时的设置

1. Build two versions of the page: /landing-a and /landing-b
2. Split traffic 50/50:
   - Meta Ads: 2 ad sets, identical audience, different destination URLs
   - Google Ads: 2 ads in the same ad group, identical targeting, different URLs
   - Email: list-split feature in your ESP
3. Track conversions per variant:
   - Meta Pixel custom event with parameter: page_version = "A" / "B"
   - GA4 event with custom dimension
   - PostHog feature flag exposure event
4. Run for the planned duration. Don't peek mid-test.
5. Export raw counts. Run significance test (calculator below).

---

结果分析

统计显著性

使用计算器。推荐：

• Evan Miller 的计算器 — evanmiller.org/ab-testing/chi-squared.html
• AB Testguide — abtestguide.com/calc/
• Optimizely 的计算器 — 内置于平台
• Survey Monkey 计算器 — 用于测试前的样本量计算

输入：

• 变体 A：访客数 + 转化数
• 变体 B：访客数 + 转化数

输出：

• p 值（95% 置信度要求 < 0.05）
• 提升幅度的置信区间
• 提升百分比（相对或绝对）

决策矩阵

p 值	提升幅度	决策
< 0.05	> 5%	B 胜出 — 实施并记录
< 0.05	< 5%	结果显著但提升较小 — 权衡实施成本
0.05–0.10	> 10%	结果不确定 — 条件允许时延长测试
> 0.10	任意	无证据 — 保留 A 或设计更有力的测试

常见问题

1. 频繁查看结果并提前停止。 这是导致假阳性的最常见原因。如果平台在第 3 天显示“B 正在胜出”，平台可能在误导你（除非它专为序贯测试设计）。
2. 分流不均。 如果预期的 50/50 分流实际变成 30/70，说明投放基础设施存在错误。请先调查，再相信结果。
3. 季节性。 只在工作日运行的测试与只在周末运行的测试会产生不同结果。务必运行完整周。
4. 新奇效应。 新变体在前 2–3 天会吸引注意力，之后表现会回落。足够长的测试可以消除这种影响。
5. 样本比例不匹配（SRM）。 即使目标是 50/50 分流，如果访客数显著偏离（例如 8,400 vs 11,600），很可能存在跟踪或分配错误。PostHog 和 Optimizely 等工具会自动标记此问题。
6. 测试期间混入不同流量来源。 不要在测试中途新增广告系列——这会改变受众构成。
7. 多重比较问题。 同时运行 20 个测试，单凭偶然就可能有约 1 个看起来“显著”。请调整阈值（Bonferroni 校正）或预先登记假设。

---

输出模板

# A/B Test: [test name]
Created: [YYYY-MM-DD]
Owner: [name]

## 1. Hypothesis
"If we [change X], [metric Y] will increase by [Z%] because [reason]."

## 2. Variants
- Variant A (Control): [current state description]
- Variant B (Challenger): [changed state description]
- Single change: [the one element that differs]

## 3. Metrics
- Primary: [e.g. conversion rate]
- Secondary (guardrails): [e.g. bounce rate, time on page, AOV]

## 4. Sample size & duration
- Baseline (p): [%]
- Minimum detectable effect (MDE): [%]
- Sample needed per variant: [N]
- Daily traffic to test surface: [N]
- Estimated days to complete: [N]

## 5. Setup
- Tool: [Optimizely / VWO / PostHog / Meta built-in / custom]
- Variant A URL or asset: [...]
- Variant B URL or asset: [...]
- Tracking events: [list]
- Split ratio: 50/50

## 6. Timeline
- Start: [date]
- End (planned): [date]
- Review meeting: [date]

## 7. Results (filled in after test ends)
| Variant | Visitors | Conversions | Rate | Lift vs A |
|---------|----------|-------------|------|-----------|
| A | | | | — |
| B | | | | +X% |

p-value: [x]
95% CI on lift: [lower%, upper%]
Significant (p < 0.05): [Yes / No]

## 8. Decision
[Ship B / Keep A / Inconclusive — extend or redesign]

## 9. Action
[Implement variant B globally / Roll back / Schedule next iteration]

## 10. Lessons
[What this teaches generalizable for future tests]

---

质量检查清单

• 恰好更改一个变量
• 假设具体，并包含数值预测
• 预先计算样本量（每个变体至少 100 次对话）
• 持续时间至少为完整的 1 周，最好为 2 周
• 不提前查看结果——定义并遵守结束日期
• 宣布胜出方案前计算 p 值（目标 p < 0.05）
• 记录结果（无论是否有胜出方案，都是一种学习）
• 检查次要指标（确保未违反护栏）
• 验证样本比例（确认没有 SRM 警示信号）
• 根据本次测试的收获确定下一项测试