mcpField
A
ab-test-analysis

ab-test-analysis

github.com/phuryn数据与数据库27.5k2.9k 次安装2 周前更新
代码仓库

关于 ab-test-analysis

ab-test-analysis 是用于评估 A/B 测试并将结果转化为产品决策的技能。它检查实验质量、计算统计指标、审视护栏指标，并建议后续行动。

主要功能

  1. 01验证样本量、时长和随机化
  2. 02计算提升幅度、p 值和置信区间
  3. 03检查护栏指标
  4. 04根据结果提出产品建议
  5. 05使用 Python 分析提供的原始数据

适用场景

  1. 01决定是否发布实验变体
  2. 02调查主指标提升但护栏指标下降的情况
  3. 03评估统计效力不足或结论不明确的测试

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/phuryn/pm-skills --skill ab-test-analysis

安装后在 Claude Code 中输入/ab-test-analysis确认已加载。

详细介绍

A/B 测试分析

以严谨的统计方法评估 A/B 测试结果，并将发现转化为清晰的产品决策。

背景

你正在分析 $ARGUMENTS 的 A/B 测试结果。

如果用户提供了数据文件（CSV、Excel 或分析数据导出文件），请直接读取并分析。必要时，生成 Python 脚本进行统计计算。

说明

  1. 了解实验：

    • 假设是什么？
    • 改变了什么（变体）？
    • 主要指标是什么？是否有护栏指标？
    • 测试运行了多长时间？
    • 流量如何分配？

  2. 验证测试设置：

    • 样本量：样本量是否足以检测预期的效应大小？
      • 使用公式：n = (Z²α/2 × 2 × p × (1-p)) / MDE²
      • 如果测试的统计功效不足（<80%），请标记
    • 时长：测试是否至少运行了 1-2 个完整的业务周期？
    • 随机化：是否存在样本比例失衡（SRM）的迹象？
    • 新奇效应／首因效应：是否有足够时间消除初期行为变化的影响？

  3. 计算统计显著性：

    • 转化率：对照组和变体组的转化率
    • 相对提升：(变体组 - 对照组) / 对照组 × 100
    • p 值：使用双尾 z 检验或卡方检验
    • 置信区间：差异的 95% CI
    • 统计显著性：p < 0.05 吗？
    • 实际显著性：提升对业务有意义吗？

    如果用户提供原始数据，请生成并运行 Python 脚本计算这些指标。

  4. 检查护栏指标：

    • 是否有护栏指标（收入、互动度、页面加载时间）恶化？
    • 主要指标胜出但护栏指标恶化，可能并不是真正的胜利

  5. 解读结果：

    结果建议
    显著的正向提升，且护栏指标无问题发布 — 推广至 100%
    显著的正向提升，但护栏指标有隐忧调查 — 发布前了解权衡取舍
    不显著，但趋势向好延长测试 — 需要更多数据或更大的效应
    不显著，结果持平停止测试 — 未检测到有意义的差异
    显著的负向提升不要发布 — 回退至对照组，并分析原因

  6. 提供分析摘要：

    ## A/B Test Results: [Test Name]

**Hypothesis**: [What we expected]
**Duration**: [X days] | **Sample**: [N control / M variant]

| Metric | Control | Variant | Lift | p-value | Significant? |
|---|---|---|---|---|---|
| [Primary] | X% | Y% | +Z% | 0.0X | Yes/No |
| [Guardrail] | ... | ... | ... | ... | ... |

**Recommendation**: [Ship / Extend / Stop / Investigate]
**Reasoning**: [Why]
**Next steps**: [What to do]

逐步思考。以 Markdown 格式保存。如果提供了原始数据，请生成 Python 脚本进行计算。

延伸阅读

评论

支持 Markdown