mcpField
A
ab-test-analysis

ab-test-analysis

github.com/nimrodfisher数据与数据库509225 次安装5 周前更新
代码仓库

关于 ab-test-analysis

用于评估 A/B 测试的数据分析技能，涵盖设计检查，并给出上线、不上线或延长测试的建议。它提供样本比例检查、统计检验、功效分析和护栏指标相关脚本与参考资料。

主要功能

  1. 01核验实验设计和指标
  2. 02检测样本比例失衡
  3. 03计算各组指标及置信区间
  4. 04执行显著性和护栏指标检验
  5. 05生成有记录依据的建议

适用场景

  1. 01决定已完成测试是否上线
  2. 02调查不确定或有争议的结果
  3. 03在实验前规划样本量
  4. 04决定是否继续无明确结论的测试

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/nimrodfisher/data-analytics-skills --skill ab-test-analysis

安装后在 Claude Code 中输入/ab-test-analysis确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

assets/
ab_test_report_template.md
references/
ab_test_design_guide.md
scripts/
ab_test_analyzer.py

详细介绍

A/B 测试分析

使用时机

  • 实验已结束，团队需要决定是否上线
  • 结果看起来有正向趋势，但团队不确定是否具有统计显著性
  • 测试已运行数周，却没有明确的胜出方案，需要有人决定是否继续
  • 新实验需要在启动前进行样本量规划
  • 结果存在争议，需要进行严谨且有据可查的分析

流程

  1. 确认测试设计 — 核实假设、对照组和实验组的定义、随机化单位（用户／会话／设备）、主要指标、任何护栏指标以及目标分流比例。
  2. 检查样本比例不匹配（SRM） — 对实际分流比例与预期分流比例运行卡方检验。如果检测到 SRM，请停止分析，并在解读结果前调查随机化流程。使用 scripts/ab_test_analyzer.py --check-srm。
  3. 计算各变体的指标 — 计算每个变体主要指标的比率（或均值）和 95% 置信区间。记录绝对差异和相对差异。
  4. 运行显著性检验 — 对比率运行双比例 z 检验，对均值运行 Welch's t 检验。记录 z 分数、p 值以及效应的 95% 置信区间。如果不确定应使用哪种检验，请参考 references/statistical_tests_reference.md。
  5. 检查护栏指标 — 对每项护栏指标运行相同的显著性检验。无论主要指标结果如何，任何护栏指标出现显著退化都是阻止上线的理由。
  6. 给出建议 — 综合 SRM 结果、统计功效、显著性和护栏检查，明确建议上线、不上线或延长测试。如果上线，量化预期业务影响。将结果记录在 assets/ab_test_report_template.md。

技能所需输入

  • 测试计划或假设文档（变体定义、随机化单位、主要指标）
  • 至少包含以下数据的数据集：user_id、变体分配、主要指标结果
  • 可选：每位用户的护栏指标值、用于检查时间有效性的每日汇总数据
  • 目标分流比例（例如 50/50）
  • 最小可检测效应，或“值得上线”的业务门槛

输出

  • scripts/ab_test_analyzer.py — 从 CSV 或汇总统计数据输入中运行 SRM 检查、显著性检验、功效分析和护栏检查
  • references/statistical_tests_reference.md — 应使用哪种检验以及何时使用
  • references/ab_test_design_guide.md — SRM 原因、功效规划、窥探数据和多重检验
  • assets/ab_test_report_template.md — 结构化报告：设计、结果、检查、建议、预期影响

评论

支持 Markdown