mcpField
A
ab-test-analyzer

ab-test-analyzer

github.com/victor-shulga营销与增长147 次安装4 天前更新
代码仓库

关于 ab-test-analyzer

用于比较两个营销活动版本的技能，分析发送、打开、回复和感兴趣回复指标。它依据样本量判断结果显著性，定位差异所在层级，并建议下一轮测试。

主要功能

  1. 01计算四项营销活动比率
  2. 02定位版本差异所在层级
  3. 03按发送量评估结果
  4. 04判定胜出版本或结论不确定
  5. 05建议后续测试

适用场景

  1. 01比较两个外联营销版本
  2. 02判断小样本结果是否足以得出结论
  3. 03选择下一项测试变量

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/victor-shulga/outbound-engine-skills --skill ab-test-analyzer

安装后在 Claude Code 中输入/ab-test-analyzer确认已加载。

详细介绍

A/B 测试分析器

比较两个营销活动变体，判断统计显著性、宣布胜出者，并推荐下一项测试。

所需内容

  • 变体 A 指标：发送数、打开数、回复数、感兴趣的回复数
  • 变体 B 指标：相同指标
  • 两个变体之间的差异（正在测试的变量）
  • 每个变体至少发送 50 封，才能进行分析

指标层级

按以下顺序分析——每一层反映不同问题：

  1. 打开率：主题行或发件人名称存在问题
  2. 回复率：文案或目标受众存在问题
  3. 兴趣率：报价或切入角度存在问题
  4. 预约会议率：行动号召或资格筛选存在问题

测试结果仅对变体出现差异的层级具有结论性。不要把兴趣率差异归因于主题行。

统计显著性指南

  • 每个变体发送数少于 50：结论不确定——记录下来，但不要据此采取行动
  • 每个变体发送数为 50–100：仅供参考——将其视为信号，而非证据
  • 每个变体发送数超过 100：具有统计意义——据此采取行动

流程

  1. 计算两个变体的全部四项比率
  2. 确定变体在哪一层出现差异
  3. 根据发送量判断统计显著性
  4. 宣布胜出者（低于门槛时则标记为“结论不确定”）
  5. 推荐下一项测试——不要只是重复同一项测试

输出格式

A/B test: [what was tested]
Date: [date]

VARIANT A — [description of variant]
Sends: [n] | Opens: [n] ([%]) | Replies: [n] ([%]) | Interested: [n] ([%])

VARIANT B — [description of variant]
Sends: [n] | Opens: [n] ([%]) | Replies: [n] ([%]) | Interested: [n] ([%])

ANALYSIS
Divergence layer: [opens / replies / interest / meetings]
Delta: [A vs B difference at divergence layer]
Statistical significance: [Conclusive / Directional / Inconclusive] — [reason]

WINNER: [Variant A / Variant B / Inconclusive]
Why: [one-line explanation]

NEXT TEST
Variable to test next: [what to change]
Hypothesis: [what you expect to happen and why]

注意事项

  • 每次只测试一个变量——如果同时更改主题行和文案，就无法判断结果的归因
  • 不要仅凭打开率宣布胜出者——主题行技巧可能会虚增打开率，却无法带来转化
  • 如果两个变体都处于淘汰区间（兴趣率低于 17%），问题出在假设，而非变体
  • 记录每项测试结果——多项测试之间的规律比任何单次测试都更有价值

评论

支持 Markdown