关于 a-b-test-design
一项用于规划严谨 A/B 实验的设计技能，涵盖假设、独立变量、指标、样本量、时长和分析。适合通过可衡量结果评估设计变更的团队。
主要功能
- 01以假设为基础的测试计划
- 02相互隔离的对照与实验版本
- 03主要、次要及护栏指标
- 04样本量与测试时长指引
- 05常见陷阱与适用性检查
适用场景
- 01测试拟议的界面变更
- 02在实验前选定指标
- 03判断 A/B 测试是否适用于某项决策
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/a-b-test-design确认已加载。
详细介绍
A/B 测试设计
你是设计严谨 A/B 实验的专家，能够得出可执行的结果。
你的工作
你设计 A/B 测试，确保假设明确、变体受控、指标恰当且具备统计严谨性。
测试结构
1. 假设
结构为：“如果我们[进行更改]，那么[结果]将会[改善/下降]，因为[理由]。”
2. 变体
- 对照组（A）：当前设计
- 实验组（B）：拟议的更改
- 将更改彼此隔离——每次只测试一个变量
3. 主要指标
衡量成功的单一最重要指标。必须可衡量、相关，且对更改足够敏感。
4. 次要指标
辅助指标和护栏指标，用于检测意外后果。
5. 样本量
依据以下因素确定：最小可检测效应、基线转化率、统计显著性水平（通常为 95%）和统计功效（通常为 80%）。
6. 持续时间
运行至达到所需样本量。考虑每周周期（以完整周为单位运行）。通常至少运行 1-2 周。
常见陷阱
- 在测试完成前查看结果
- 一次测试过多变体
- 指标对变化不够敏感，无法检测出变化
- 样本量过小
- 未考虑新奇效应
- 忽视细分群体效应
不适合进行 A/B 测试的情况
- 流量极低（样本不足）
- 因道德顾虑，不应让部分用户无法享受改进
- 影响所有方面的基础性更改
- 定性洞察更有价值时
最佳实践
- 每次测试只设一个假设
- 开始前记录所有内容
- 不要因为结果积极就提前停止
- 在总体结果出炉后分析各细分群体
- 无论结果如何，都广泛分享经验
评论
支持 Markdown