关于 ab-testing-framework
面向增长与营销团队的 A/B 测试技能，用于设计、执行和分析转化实验。内容涵盖样本量、测试纪律、频率学派与贝叶斯分析及决策方法。
主要功能
- 01假设与实验设计模板
- 02样本量估算方法
- 03测试执行规则
- 04比例 Z 检验与显著性解读
- 05贝叶斯分析适用情境
- 06结果决策框架
适用场景
- 01为 CTA 改动制定可检验假设
- 02估算转化实验所需样本量
- 03判读实验结果并决定是否采用变体
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/ab-testing-framework确认已加载。
包含的文件
除 SKILL.md 外，安装时一起下载的参考资料和脚本。
EXAMPLES.mdLICENSEREFERENCE.md详细介绍
A/B 测试框架
以严谨的统计方法设计、运行并分析转化实验。
安装
git clone https://github.com/thatrebeccarae/claude-marketing.git && cp -r claude-marketing/skills/ab-testing-framework ~/.claude/skills/
测试设计流程
第 1 步：假设
模板： 如果我们 [更改 X]，那么 [指标 Y] 将因 [原因] 而 [提高/降低] [Z%]。
良好假设：“如果我们将 CTA 从 Get Started 改为 Start Free Trial，那么注册率将提高 15%，因为这样可以减少用户对费用的不确定性。”
糟糕假设：“如果我们更改按钮颜色，转化率就会提高。”（没有推理，也没有预期幅度。）
第 2 步：样本量计算
要确定测试需要运行多久：
Required sample per variation = 16 * (p * (1-p)) / (MDE^2)
Where:
p = baseline conversion rate (as decimal)
MDE = minimum detectable effect (as decimal)
| 基准转化率 | 10% MDE | 20% MDE | 30% MDE |
|---|---|---|---|
| 1% | 253,414 | 63,354 | 28,157 |
| 3% | 82,369 | 20,592 | 9,152 |
| 5% | 48,640 | 12,160 | 5,404 |
| 10% | 23,040 | 5,760 | 2,560 |
| 20% | 10,240 | 2,560 | 1,138 |
**最短测试时长：**完整运行 2 个工作周（以涵盖星期几的影响），即使更早达到样本量也不例外。
第 3 步：测试执行规则
- 随机分配 — 必须将访客随机分配到对照组/变体组
- 不要提前查看 — 达到样本量前不要查看结果
- 测试期间不要更改 — 测试期间不要修改变体
- 平均分配流量 — A/B 测试按 50/50 分配，多变量测试也应平均分配
- 单一变量 — 每次测试只更改一项内容（多变量测试除外）
- 完整运行测试 — 按预先计算的时长运行，而不是达到显著性后就停止
第 4 步：统计分析
频率学派方法
比例 Z 检验：
Z = (p1 - p2) / sqrt(p_pooled * (1 - p_pooled) * (1/n1 + 1/n2))
Where:
p1, p2 = conversion rates of control and variant
p_pooled = (x1 + x2) / (n1 + n2)
n1, n2 = sample sizes
p 值解读：
- p < 0.05：具有统计显著性（95% 置信度）
- p < 0.01：高度显著（99% 置信度）
- p >= 0.05：不显著 — 不要宣布胜出者
贝叶斯方法
适用贝叶斯方法的情况：
- 流量较低（样本量较小）
- 需要更快做出决策
- 希望了解每个变体最优的概率（而不只是判断“显著或不显著”）
解读：“变体 B 优于对照组的概率为 94%”，而频率学派的说法是“我们以 95% 的置信度拒绝原假设”。
第 5 步：决策框架
| 结果 | 显著性 | 行动 |
|---|---|---|
| 变体胜出 | p < 0.05 | 部署该变体 |
| 对照组胜出 | p < 0.05 | 保留对照组，从失败中吸取经验 |
| 没有差异 | p >= 0.05 | 保留对照组，测试幅度更大的改动 |
| 变体胜出 | p = 0.05-0.10 | 考虑流量情况 — 可能需要更长时间 |
常见测试陷阱
- 提前查看 — 提前查看结果会使假阳性率从 5% 升至 26% 以上
- 过早停止 — 达到显著性 != 达到所需样本量
- 测试过多变体 — 每个变体都需要完整的样本量
- 忽略细分群体 — 整体胜出的变体可能在关键细分群体中表现不佳
- 效果太小 — 测试 2% 的提升需要极大的样本量
- 未考虑季节性 — 按完整周运行，避开节假日
- 使用多项指标 — 必须预先声明主要指标；次要指标仅用于观察趋势
- 幸存者偏差 — 只衡量完成流程的用户，而不衡量中途放弃的用户
- 辛普森悖论 — 在细分群体中胜出的变体，在汇总数据中可能反而落败
- 新奇效应 — 新设计会带来暂时的提升；2-4 周后重新测试
测试内容（按影响力排序）
高影响
- 价值主张/标题
- CTA 文案和位置
- 定价和优惠结构
- 表单长度（移除字段）
- 页面布局（单栏或多栏）
- 社会认同的呈现与位置
中等影响
- 图片/视频与静态内容的对比
- 用户评价形式（文本或视频）
- 落地页是否显示导航
- 信任徽章和安全信号
- 紧迫感元素（倒计时、库存）
低影响（通常不值得测试）
- 按钮颜色（除非存在极端的对比度问题）
- 字体更改
- 细微的文案调整
- 图标样式
- 页脚内容
与其他技能集成
- cro-auditor — CRO 审计生成测试假设；此技能负责设计实验
- google-analytics — 使用 GA4 分析实验数据和细分群体
- copywriting-frameworks — 使用经过验证的框架生成文案变体
评论
支持 Markdown