ads-test

A/B 测试设计与实验规划

改编自 OpenClaudia/openclaudia-skills（ab-test-setup）的概念。

流程

1. 了解用户想测试什么（创意、受众、出价、落地页）
2. 使用下方框架构建结构化假设
3. 计算所需样本量和预计时长
4. 推荐特定平台的测试设置
5. 定义成功标准和测量计划

假设框架

每项测试都必须从一个结构化假设开始：

IF we [change/action]
THEN [metric] will [increase/decrease] by [estimated %]
BECAUSE [reasoning based on data or insight]

Example:
IF we replace polished product shots with UGC creator videos
THEN Meta CTR will increase by 25-40%
BECAUSE Andromeda prioritizes diverse creative formats and UGC consistently outperforms polished in 2025-2026 benchmarks

假设质量检查清单

• 测试单一变量（隔离变更）
• 明确具体指标（而非“表现”）
• 说明预计效应量（样本量计算所需）
• 明确时间范围
• 在启动前明确成功／失败标准

统计显著性计算器

Required Sample Size (per variant):

n = (Z_alpha + Z_beta)^2 × 2 × p × (1-p) / MDE^2

Where:
- Z_alpha = 1.96 (for 95% confidence)
- Z_beta = 0.84 (for 80% power)
- p = baseline conversion rate
- MDE = minimum detectable effect (relative %)

Simplified lookup:

基线 CVR	5% MDE	10% MDE	20% MDE	30% MDE
1%	612,000	153,000	38,300	17,000
2%	302,400	75,600	18,900	8,400
5%	116,800	29,200	7,300	3,200
10%	55,200	13,800	3,450	1,530
20%	24,600	6,150	1,540	680

每个变体，置信度 95%，检验效能 80%

测试时长估算器

Duration = Required Sample Size / Daily Traffic per Variant

Minimum duration: 7 days (capture weekly patterns)
Maximum recommended: 28 days (avoid seasonal drift)
Learning phase: Google 7-14 days, Meta 3-7 days, LinkedIn 7-14 days

Inputs needed:
- Daily impressions or clicks
- Number of variants (2 = A/B, 3+ = multivariate)
- Baseline conversion rate
- Minimum detectable effect desired

时长快速估算

每日点击量	2% CVR，20% MDE	5% CVR，20% MDE	10% CVR，20% MDE
100	189 天	73 天	35 天
500	38 天	15 天	7 天
1,000	19 天	7 天	4 天*
5,000	4 天*	2 天*	1 天*

*无论样本量是否充足，均建议至少运行 7 天

特定平台的测试设置

Meta 实验

• 使用 Ads Manager > Experiments 标签页（不要手动复制广告组）
• 自动拆分受众，确保互不重叠
• 支持的测试类型：A/B（创意、受众、版位）、留出组、品牌调查
• Meta 的增量归因（2025 年 4 月）提供由 AI 驱动的留出组测试，用于衡量真实因果影响
• 预算：在各变体间平均分配；建议每个变体每天至少 $100
• 时长：通常为 7-14 天；Meta 会在置信度达到 95% 时自动确定胜出者

Google 实验

• 使用 Campaign Experiments（自定义实验）或 Ad Variations
• 从现有广告系列创建实验 > 选择实验类型
• 流量分配：建议按 50/50 分配，以尽快获得结果
• 支持的测试内容：出价策略、广告文案、落地页、受众
• 指标：在启动前选择主要指标（转化次数、CPA、ROAS）
• 时长：建议 14-30 天；出价测试至少运行 2 周

LinkedIn A/B 测试

• Sponsored Content 的 Campaign Manager 内置此功能
• 复制广告组，只更改一个变量
• 定向：使用自动轮播，面向同一受众细分
• 最低预算：每个变体每天 $50
• 关键指标：CTR（基准 >0.44%）、CPL、潜在客户表单 CVR（基准 13%）
• 时长：14-21 天（LinkedIn 的每日流量较少，因此需要更长的测试时间）

TikTok 拆分测试

• 可在 TikTok Ads Manager > Create A/B Test 中使用
• 测试类型：定向、出价、创意
• 自动拆分受众，避免相互污染
• 至少运行 7 天，建议运行 14 天
• 预算：每个广告组每天至少 $20
• 创意测试：将开场吸引点（前 2-3 秒）作为主要变量进行隔离
• 自 2025 年起，TikTok 增强型拆分测试通过 Smart+ 支持模块化测试变量（定向、创意、预算、版位）

测试内容（优先顺序）

高影响（优先测试）

1. 创意概念（不同的宣传角度，而不仅仅是颜色变化）
2. 开场吸引点／前 3 秒（Meta、TikTok、YouTube 视频开头）
3. 优惠结构（定价、折扣类型、免费试用时长）
4. 落地页（标题、CTA、表单长度）
5. 出价策略（tCPA vs tROAS vs Maximize Conversions）

中等影响

6. 受众定位（兴趣受众 vs 类似受众 vs 广泛受众）
7. 广告格式（静态 vs 视频 vs 轮播）
8. CTA 按钮（了解更多 vs 注册 vs 立即购买）
9. 广告系列结构（CBO vs ABO，合并 vs 细分）

低影响（最后测试）

10. 广告排期（一天中的时段、一周中的日期）
11. 设备定位（移动设备 vs 桌面设备）
12. 细微的文案变化（替换词语，但不改变概念）

应避免的常见测试错误

• 一次测试过多变量（无法明确归因胜出者）
• 过早结束测试（尚未达到统计显著性）
• 在非典型时期测试（节假日、发布活动、事故期间）
• 比较时长不一致的时间段
• 不记录经验教训（无法积累组织知识）
• 需要重大改变时却只测试小改动（优化而非创新）
• 忽略自动化平台上的学习阶段

输出格式

## A/B Test Plan

### Hypothesis
IF [change]
THEN [metric] will [direction] by [amount]
BECAUSE [reasoning]

### Test Design
| Parameter | Value |
|-----------|-------|
| Platform | [platform] |
| Test Type | [A/B / Multivariate] |
| Variable | [what's being changed] |
| Control | [current state] |
| Variant | [proposed change] |
| Primary Metric | [KPI] |
| Traffic Split | [50/50 / other] |

### Sample Size & Duration
| Metric | Value |
|--------|-------|
| Baseline CVR | [X%] |
| MDE | [X%] |
| Required Sample | [N per variant] |
| Daily Traffic | [N clicks/day] |
| Est. Duration | [X days] |
| Min Duration | 7 days |

### Success Criteria
- Winner declared at 95% confidence
- [Primary metric] improvement of [X%]+ sustained over [Y] days
- No negative impact on [secondary metric]

### Setup Instructions
[Platform-specific step-by-step]