mcpField
A
ab-test-stats

ab-test-stats

github.com/guia-matthieu数据与数据库150198 次安装4 周前更新
代码仓库

关于 ab-test-stats

供 Claude 使用的 A/B 测试分析技能，可计算显著性并规划实验。它提供显著性、样本量和时长的命令行计算，同时由用户决定指标和业务行动。

主要功能

  1. 01显著性计算
  2. 02样本量估算
  3. 03实验时长估算
  4. 04功效与 MDE 概念

适用场景

  1. 01判断测试结果是否显著
  2. 02测试前规划样本量
  3. 03根据流量估算测试时长

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/guia-matthieu/clawfu-skills --skill ab-test-stats

安装后在 Claude Code 中输入/ab-test-stats确认已加载。

附带文件scripts/main.pyscripts/requirements.txt

详细介绍

A/B 测试统计计算器

计算 A/B 测试的统计显著性——判断结果是真实有效，还是随机偶然。

何时使用此技能

  • 测试分析 - 判断结果是否具有统计显著性
  • 样本规划 - 在测试前计算所需样本量
  • 时长估算 - 了解实验需要运行多长时间
  • 功效分析 - 确保测试能够检测到有意义的差异

Claude 执行什么 vs 由你决定什么

Claude 执行什么由你决定什么
构建分析框架指标定义
识别数据中的模式业务解读
创建可视化模板仪表板设计
建议优化方向行动优先级
计算统计指标决策阈值

依赖项

pip install scipy numpy click

命令

检查显著性
python scripts/main.py significance --control 1000,50 --variant 1000,65
python scripts/main.py significance --control 5000,250 --variant 5000,300 --confidence 0.99
计算样本量
python scripts/main.py sample-size --baseline 0.05 --mde 0.02
python scripts/main.py sample-size --baseline 0.10 --mde 0.01 --power 0.90
估算时长
python scripts/main.py duration --traffic 1000 --baseline 0.05 --mde 0.02

示例

示例 1：分析测试结果
# Control: 1000 visitors, 50 conversions (5%)
# Variant: 1000 visitors, 65 conversions (6.5%)
python scripts/main.py significance --control 1000,50 --variant 1000,65

# Output:
# A/B Test Results
# ─────────────────────────
# Control:  5.00% (50/1000)
# Variant:  6.50% (65/1000)
# Lift:     +30.0%
#
# Statistical Analysis
# ─────────────────────────
# p-value:      0.089
# Confidence:   91.1%
# Result:       NOT SIGNIFICANT (need 95%)
#
# Recommendation: Continue test for more data
示例 2：规划样本量
# Baseline 5% conversion, want to detect 20% relative lift (1% absolute)
python scripts/main.py sample-size --baseline 0.05 --mde 0.01

# Output:
# Sample Size Calculator
# ──────────────────────────────
# Baseline conversion: 5.0%
# Minimum detectable effect: 1.0% (20% relative)
# Target conversion: 6.0%
#
# Required per variant: 3,842 visitors
# Total required: 7,684 visitors
#
# At 1000 daily visitors: ~8 days

核心概念

术语定义
p-value结果由随机偶然造成的概率
置信度1 - p-value（通常希望达到 95% 以上）
统计功效检测到真实效应的概率（通常为 80%）
MDE最小可检测效应——值得检测的最小提升幅度
提升幅度相对改进幅度（变体 - 对照组）/ 对照组

何时结果具有显著性

p-value置信度结论
< 0.01> 99%高度显著 ✓
< 0.05> 95%显著 ✓
< 0.10> 90%边缘显著
≥ 0.10< 90%不显著 ✗

技能范围

此技能擅长的方面
  • 构建数据分析框架
  • 识别模式和趋势
  • 创建可视化框架
  • 计算统计指标
此技能无法做到的方面
  • 访问你的实际数据
  • 取代统计专业知识
  • 做出业务决策
  • 保证预测准确性

相关技能

技能元数据

  • 模式：centaur
category: analytics
subcategory: statistics
dependencies: [scipy, numpy]
difficulty: intermediate
time_saved: 3+ hours/week

评论

支持 Markdown