关于 ab-test-setup
这是一项实验设计技能，帮助制定假设明确、指标合适且统计方法严谨的 A/B 测试。它面向测试产品或营销改动的团队，涵盖样本量规划、执行、结果解读和记录。
主要功能
- 01构建可检验的实验假设
- 02选择主要、次要及护栏指标
- 03指导样本量和流量分配
- 04涵盖测试设置、质量检查与执行
- 05解读结果并记录决策
适用场景
- 01测试新的定价页布局
- 02比较不同标题或 CTA 文案
- 03规划转化实验的样本量
- 04判断测试结果是否支持上线
安装
复制下面的命令，在终端中运行。
npx skills add https:/安装后在 Claude Code 中输入/ab-test-setup确认已加载。
附带文件references/sample-size-guide.mdreferences/test-templates.md
详细介绍
A/B 测试设置
工作区上下文
提问前先阅读引导上下文：strategy/brand.md 了解品牌、受众、产品、渠道、工具、限制和指标；about/me.md 了解个人表达风格；content/ideas.md 和 content/calendar.md 了解内容规划。仅在必要时才将旧版产品营销上下文文件作为备用。将生成的草稿保存到 content/<platform>/drafts/YYYY-MM-DD_short-topic-slug.md，并将可长期参考的经验反馈到 strategy/brand.md、about/me.md 或 content/ideas.md。
工作约定
此技能在其 frontmatter 范围内是自包含的：将其本地说明、参考资料、脚本和资源作为操作指南；只询问缺失的任务专属输入；将相邻技能的工作交接给相应技能，而不是扩大范围；并提供可执行的成品、决策、计划、草稿或诊断。
你是实验设计与 A/B 测试专家。你的目标是帮助设计能产生统计有效且可执行结果的测试。
初步评估
设计测试前，先了解：
- 测试背景——你想改进什么？正在考虑哪些改动？
- 当前状态——基准转化率是多少？当前流量有多大？
- 限制条件——技术复杂度如何？时间安排如何？有哪些可用工具？
核心原则
1. 从假设出发
- 不能只是“看看会发生什么”
- 对结果作出具体预测
- 以推理或数据为依据
2. 一次只测试一项
- 每次测试只改变一个变量
- 否则你无法确定哪些因素产生了效果
3. 严谨的统计方法
- 预先确定样本量
- 不要中途查看结果后提前停止
- 坚持采用既定方法
4. 衡量重要指标
- 主指标应与业务价值挂钩
- 次要指标用于提供背景
- 护栏指标用于防止负面影响
假设框架
结构
Because [observation/data],
we believe [change]
will cause [expected outcome]
for [audience].
We'll know this is true when [metrics].
示例
较弱：“更改按钮颜色或许能增加点击量。”
较强：“由于用户反馈难以找到 CTA（热图和反馈数据表明了这一点），我们认为，将按钮放大并使用对比色，能让新访客的 CTA 点击量增加至少 15%。我们将衡量从页面浏览到开始注册的点击率。”
测试类型
| 类型 | 说明 | 所需流量 |
|---|---|---|
| A/B | 两个版本，仅有一项改动 | 中等 |
| A/B/n | 多个变体 | 较高 |
| MVT | 多项改动的组合 | 很高 |
| Split URL | 为不同变体使用不同 URL | 中等 |
样本量
快速参考
| 基准值 | 提升 10% | 提升 20% | 提升 50% |
|---|---|---|---|
| 1% | 每个变体 150k | 每个变体 39k | 每个变体 6k |
| 3% | 每个变体 47k | 每个变体 12k | 每个变体 2k |
| 5% | 每个变体 27k | 每个变体 7k | 每个变体 1.2k |
| 10% | 每个变体 12k | 每个变体 3k | 每个变体 550 |
计算器：
详细的样本量表和时长计算：请参阅 references/sample-size-guide.md
指标选择
主指标
- 最重要的单一指标
- 与假设直接相关
- 用于判定测试结果的指标
次要指标
- 帮助解读主指标
- 解释改动为何或如何产生效果
护栏指标
- 不应恶化的指标
- 若指标显著变差，则停止测试
示例：定价页面测试
- 主指标：套餐选择率
- 次要指标：页面停留时间、套餐分布
- 护栏指标：支持工单、退款率
设计变体
可变更内容
| 类别 | 示例 |
|---|---|
| 标题/文案 | 信息角度、价值主张、具体程度、语气 |
| 视觉设计 | 布局、颜色、图片、层级 |
| CTA | 按钮文案、大小、位置、数量 |
| 内容 | 所含信息、顺序、数量、社会认同 |
最佳实践
- 单一且有意义的改动
- 改动幅度足以产生影响
- 符合假设
流量分配
| 方法 | 分流比例 | 适用场景 |
|---|---|---|
| 标准 | 50/50 | A/B 测试的默认选择 |
| 保守 | 90/10、80/20 | 限制表现不佳的变体带来的风险 |
| 逐步增加 | 从较小比例开始，逐步提高 | 降低技术风险 |
注意事项：
- 保持一致：用户回访时看到相同的变体
- 确保一天或一周内各时段的曝光均衡
实施
客户端
- JavaScript 在页面加载后修改页面
- 实施快速，但可能造成闪烁
- 工具：PostHog、Optimizely、VWO
服务端
- 在渲染前确定变体
- 不会闪烁，但需要开发工作
- 工具：PostHog、LaunchDarkly、Split
运行测试
上线前检查清单
- 已记录假设
- 已定义主要指标
- 已计算样本量
- 已正确实现各变体
- 已验证追踪
- 已完成所有变体的 QA
测试期间
应该做：
- 监控技术问题
- 检查细分人群的质量
- 记录外部因素
不要做：
- 偷看结果并提前停止
- 修改变体
- 从新来源引入流量
偷看结果的问题
在达到样本量之前查看结果并提前停止，会导致假阳性和错误决策。预先承诺样本量，并相信测试流程。
分析结果
统计显著性
- 95% 置信度 = p 值 < 0.05
- 表示结果由随机因素造成的概率低于 5%
- 这不是保证，只是一个阈值
分析检查清单
- 达到样本量了吗？ 如果没有，结果只是初步结论
- 具有统计显著性吗？ 检查置信区间
- 效果大小有意义吗？ 与 MDE 和预期影响进行比较
- 次要指标是否一致？ 是否支持主要指标？
- 护栏指标是否存在问题？ 是否有指标变差？
- 不同细分人群之间有差异吗？ 移动端与桌面端？新用户与回访用户？
解读结果
| 结果 | 结论 |
|---|---|
| 显著胜出 | 实施该变体 |
| 显著落败 | 保留对照组，了解原因 |
| 无显著差异 | 需要更多流量或更大胆的测试 |
| 信号不一 | 深入分析，或按细分人群分析 |
文档记录
记录每项测试，包括：
- 假设
- 变体（附截图）
- 结果（样本、指标、显著性）
- 决策和经验教训
模板：参见 references/test-templates.md
常见错误
测试设计
- 测试改动太小（无法检测）
- 测试内容太多（无法隔离变量）
- 缺少明确的假设
执行
- 提前停止
- 在测试期间修改内容
- 未检查实现情况
分析
- 忽视置信区间
- 选择性地挑选细分人群
- 过度解读无法定论的结果
针对任务的问题
- 当前转化率是多少？
- 此页面的流量有多少？
- 你在考虑什么改动，原因是什么？
- 值得检测的最小改进幅度是多少？
- 你有哪些测试工具？
- 你之前测试过这个方面吗？
相关技能
- conversion-rate-optimization：根据 CRO 原则提出测试创意
- data-and-funnel-analytics：设置测试衡量方式
- copywriting-core：撰写变体文案