ab-test-designer

领域背景

此技能采用经过验证的产品管理框架，结合了行业领军者的最佳实践，旨在为日常产品管理工作提供切实可行的方法。

输入要求

• 有关产品、功能或问题的背景信息
• 相关数据、研究或限制条件（建议提供，但非必需）
• 清晰说明你想要实现的目标

A/B 测试设计

适用场景

• 测试新功能或设计变体
• 全面推出前验证假设
• 优化转化率或关键指标
• 在多种设计方案中做出选择
• 需要根据数据决定是否进行更改

此技能的作用

帮助你设计严谨的 A/B 测试，明确假设、成功指标、样本量计算和分析计划。

说明

请帮我为[功能/更改]设计 A/B 测试。请包括：

1. 假设

   • 当前情况和指标
   • 提议的更改
   • 预期影响及原因

2. 测试设计

   • 主要成功指标
   • 次要指标
   • 所需样本量
   • 测试时长
   • 纳入/排除的用户群体

3. 变体

   • 对照组（A）：当前体验
   • 变体（B）：新体验
   • 任何其他变体（C、D 等）

4. 风险与控制

   • 潜在负面影响
   • 护栏指标
   • 何时提前停止测试

5. 分析计划

   • 统计显著性阈值
   • 如何处理边缘情况
   • 决策标准

功能背景： [添加你想要测试的更改的背景信息]

最佳实践

• 从清晰、可证伪的假设开始
• 选择一个主要指标，避免多重比较问题
• 根据预期效应量预先计算样本量
• 测试应覆盖完整的每周周期，以考虑星期几的影响
• 设定最短测试时长（通常为 1～2 周）
• 在运行测试前定义成功标准
• 监控护栏指标（收入、错误、性能）

示例

**输入：**测试新的引导流程与当前的 3 步流程 **输出：**假设（新的 1 步流程将提高转化率……