ab-test-plan

/digital-marketing-pro:ab-test-plan

脚本位置。 如果您的宿主未设置 ${CLAUDE_PLUGIN_ROOT}，脚本位于此插件的 scripts/ 文件夹中，与 skills/ 文件夹相邻。请使用 Python 3.10 或更高版本运行：python；如果找不到 python，则使用 python3（macOS 和许多 Linux 系统）。

用途

专用于 A/B 测试规划，包含结构化假设框架、统计样本量计算、变体设计和监控计划。生成完整的实验规范，确保统计严谨，并明确决策标准。

所需输入

用户必须提供（或将收到提示提供）：

• 待测试元素：要测试的具体页面、组件或体验（着陆页标题、CTA 按钮、定价页面布局、邮件主题行、结账流程、表单设计等）
• 当前转化率：待测试指标的基准转化率（或最佳估算值）
• 期望的最小可检测效应（MDE）：值得检测的最小提升。默认情况下，MDE 为绝对值——以与基准值相同的单位表示（基准值为 5.0%，希望检测到 +1.0 个百分点的提升，即 5.0% → 6.0% ⇒ --mde 0.01 --mde-type absolute）。若要表示相对提升（基准值为 5% 时，相对提升 10% = 5.5% ⇒ --mde 0.10 --mde-type relative），请传入 --mde-type relative。这是样本量计算中最常见的错误：在基准值为 5% 时，将同一个“10%”解读为绝对值还是相对值，所需样本量会相差约两个数量级（约 200 倍）。务必确认用户的具体含义。
• 每日流量或展示量：测试页面或元素的平均每日访客数或展示量
• 显著性水平：期望的置信水平，默认为 95%（alpha = 0.05）
• 统计功效：期望的统计功效，默认为 80%（beta = 0.20）
• 变体数量：要测试的变体数量（默认为 1 个实验组 + 1 个对照组；多变量测试需更多变体）
• 业务背景：测试想法的来源（分析数据、用户反馈、竞争分析、启发式审查、利益相关方请求）

流程

1. 加载品牌背景：读取 ~/.claude-marketing/brands/_active-brand.json，获取当前启用的 slug，然后加载 ~/.claude-marketing/brands/{slug}/profile.json。应用语气、合规要求和行业背景。检查 guidelines/_manifest.json 中的限制、消息规范、渠道风格、语气规则和模板。如果 ~/.claude-marketing/brands/{slug}/templates/ 中有与此命令匹配的模板，请应用其格式。如果没有品牌，请提示用户使用 /digital-marketing-pro:brand-setup，或使用默认设置继续。
2. 检查营销活动历史：运行 python "${CLAUDE_PLUGIN_ROOT}/scripts/campaign-tracker.py" --brand {slug} --action list-campaigns，查看过往测试结果，避免重复测试已验证的假设。
3. 运行样本量计算器：使用基线转化率、MDE、MDE 类型、显著性水平和统计功效运行计算器。--mde-type 标志默认为 absolute——计算前务必向用户确认他们指的是哪种解释（在基线转化率为 5% 时，两者相差约两个数量级，约 200 倍）：

   # Absolute MDE — detect a 1.0 percentage-point lift on a 5% baseline (5.0% → 6.0%)
   python "${CLAUDE_PLUGIN_ROOT}/scripts/sample-size-calculator.py" --baseline-rate 0.05 --mde 0.01 --mde-type absolute --significance 0.95 --power 0.80
   
   # Relative MDE — detect a 10% relative lift on a 5% baseline (5.0% → 5.5%)
   python "${CLAUDE_PLUGIN_ROOT}/scripts/sample-size-calculator.py" --baseline-rate 0.05 --mde 0.10 --mde-type relative --significance 0.95 --power 0.80
   

   这将确定每个变体所需的样本量。测试运行后，使用 python "${CLAUDE_PLUGIN_ROOT}/scripts/significance-tester.py" --control-visitors {n} --control-conversions {n} --variant-visitors {n} --variant-conversions {n} --confidence 0.95 评估结果。
4. 撰写假设陈述：按以下格式撰写假设：“如果[具体改动]，那么[主要指标]将[变化方向和幅度]，因为[基于数据、用户研究或成熟 UX 原则的理由]。”
5. 设计测试变体：定义对照组（当前体验）和一个或多个处理组变体。明确说明每个变体的具体改动——文案、布局、颜色、图片、流程或功能。对于多变量测试，定义变量矩阵以及需要关注的交互效应。
6. 定义主要和次要指标：确定主要成功指标（用于判定胜出者的指标）和需要监控、以防意外影响的次要指标（例如，将 CTA 点击率作为主要指标，同时将跳出率、页面停留时间和后续转化作为次要保护指标）。
7. 计算测试时长：根据样本量要求和每日流量，估算所需天数。确保测试时长至少涵盖一个完整的业务周期（至少 7 天），以考虑星期几带来的差异。如果时长超过 8 周，请标记为存在有效性风险。
8. 制定监控计划：定义中期检查点，用于技术 QA（而非统计窥探）、样本比例失配（SRM）检测，以及保护指标警报；这些警报可能因数据质量或用户体验问题而触发提前停止测试。
9. 定义停止规则和决策标准：明确何时判定测试结束（达到样本量要求且满足显著性阈值）、何时提前停止（保护指标违规、检测到 SRM、实现存在 Bug），以及对结果不确定的处理流程（延长测试、重新设计，或根据趋势信号实施）。
10. 评估流量可行性：确认每日流量能否在合理时限内（少于 8 周）达到所需样本量。如果流量不足，建议减少变体数量、提高 MDE，或改用定性方法。
11. 记录预注册信息：在测试启动前记录测试计划——假设、指标、样本量、时长和决策标准——以防止事后合理化，并确保严谨性。

输出

结构化的 A/B 测试计划，包含：

• 采用 If/Then/Because 格式撰写的假设陈述，并提供支持证据或理由
• 对照组和变体说明，包含具体、可实施的更改细节
• 每个变体所需的样本量及总样本量
• 根据流量和所需样本量估算的测试时长（天）
• 主要指标和次要指标的定义及衡量方法
• 发生退化时触发提前停止的护栏指标
• 监控仪表板规范及中期检查点安排
• 统计分析计划（频率学派或贝叶斯方法、单尾或双尾检验、多重比较校正）
• 提前终止的停止规则（护栏指标违规、SRM 检测、严重 Bug）
• 包含明确胜出判定阈值的继续/停止决策标准
• 胜出、落败和结果不确定情形的测试后行动计划
• 流量可行性评估，以及适用时的低流量替代方案建议
• 用于在活动跟踪表中记录结果和经验的测试文档模板

使用的 Agent

• cro-specialist -- 假设设计、变体规范、样本量计算、统计分析规划、监控框架、停止规则、流量可行性评估和实验文档