mcpField
E
experiment-designer

experiment-designer

github.com/alirezarezvani数据与数据库28.9k610 次安装2 天前更新
代码仓库

关于 experiment-designer

Experiment Designer 是用于规划和评估产品实验的技能，面向产品团队。它涵盖假设与指标制定、样本量估算、ICE 排序，并提供统计结果解读注意事项。

主要功能

  1. 01撰写结构化实验假设
  2. 02设定主要指标与护栏指标
  3. 03根据 MDE 参数计算样本量
  4. 04使用 ICE 评分为测试排序
  5. 05结合统计注意事项解读结果

适用场景

  1. 01规划 A/B 或多变量测试
  2. 02估算测试启动前所需样本量
  3. 03按影响、信心和难度排列实验
  4. 04判断结果是否支持产品决策

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/alirezarezvani/claude-skills --skill experiment-designer

安装后在 Claude Code 中输入/experiment-designer确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

references/
experiment-playbook.md
statistics-reference.md
scripts/
sample_size_calculator.py

详细介绍

Experiment Designer

设计、排序并评估产品实验，确保假设清晰、决策有据可依。

何时使用

在以下场景使用此 Skill：

  • A/B 及多变量实验规划
  • 假设撰写与成功标准定义
  • 样本量与最小可检测效应（MDE）规划
  • 使用 ICE 评分进行实验优先级排序
  • 解读用于产品决策的统计输出

核心工作流

  1. 按 If/Then/Because 格式撰写假设
  • If 我们改变 [干预措施]
  • Then [指标] 将变化 [预期方向/幅度]
  • Because [行为机制]
  1. 在运行测试前定义指标
  • 主要指标：单一决策指标
  • 护栏指标：质量/风险保护
  • 次要指标：仅用于诊断
  1. 估算样本量
  • 基线转化率或基线均值
  • 最小可检测效应（MDE）
  • 显著性水平（alpha）与检验效能（power）

使用：

python3 scripts/sample_size_calculator.py --baseline-rate 0.12 --mde 0.02 --mde-type absolute
  1. 使用 ICE 对实验进行优先级排序
  • Impact：潜在收益
  • Confidence：证据质量
  • Ease：成本/速度/复杂度

ICE 分数 = (Impact * Confidence * Ease) / 10

  1. 带停止规则上线
  • 提前决定固定样本量或固定时长
  • 避免在没有恰当方法的情况下反复窥探结果
  • 持续监控护栏指标
  1. 解读结果
  • 统计显著性不等于业务显著性
  • 将点估计与置信区间与决策阈值进行比较
  • 调查新奇效应与分群异质性

假设质量检查清单

  • 包含明确的干预措施与受众
  • 说明可衡量的指标变化
  • 给出合理的因果原因
  • 包含预期的最小效应
  • 定义失败条件

常见实验误区

  • 检验效能不足导致假阴性
  • 同时进行过多改动且无法隔离
  • 测试中途更改定向或实现方式
  • 因随机波动过早停止实验
  • 忽视样本比例失衡（SRM）与埋点漂移
  • 仅凭 p 值宣布成功，而缺乏效应量背景

统计解读护栏

  • p 值 < alpha 表示对零假设存在证据，但不保证结论为真。
  • 置信区间跨越零/无效应，意味着方向性结论不确定。
  • 即使结果显著，宽置信区间也意味着精度较低。
  • 使用与业务影响挂钩的实际显著性阈值。

参见：

  • references/experiment-playbook.md
  • references/statistics-reference.md

工具

scripts/sample_size_calculator.py

根据以下参数计算所需样本量（每个变体及总计）：

  • 基线比率
  • MDE（绝对值或相对值）
  • 显著性水平（alpha）
  • 统计检验效能（power）

示例：

python3 scripts/sample_size_calculator.py \
  --baseline-rate 0.10 \
  --mde 0.015 \
  --mde-type absolute \
  --alpha 0.05 \
  --power 0.8

评论

支持 Markdown