experiment-designer

实验设计技能

根据产品假设制定严谨的实验设计，并解读结果的统计显著性和实际意义——让你能够向持怀疑态度的工程负责人或数据科学家为每项决策提供依据。

必需输入

根据已有信息开展工作。如果缺少以下任何信息，仍须给出完整输出：用合理假设填补每处空缺，并标记为 (假设，需确认)，最后列出这些假设。只有在核心主题本身缺失（无内容可写）时，才先提问。 实验设计所需信息：

• 假设（要做什么改动、关注什么指标、预计指标如何变化）
• 当前基线指标值
• 最小可检测效应（MDE）——值得关注的最小提升幅度
• 每日可用样本量

结果解读所需信息：

• 对照组和实验组的结果（原始数字或百分比）
• P 值或置信区间
• 运行时长（天）
• 测试期间观察到的任何异常

两阶段流程

阶段 1：实验设计

1. 将假设重述为：“如果我们[做出改动]，预计[指标]会[变动 X%]，因为[原因]”
2. 明确界定对照组和实验组
3. 选择一个主要指标，以及次要护栏指标（最多 2-3 个）
4. 根据 MDE 和基线计算所需样本量
5. 估算运行天数
6. 在测试运行前设定预先定义的成功标准——不得临时改变标准
7. 标记设计风险：新奇效应、季节性混杂因素、多重检验问题、网络效应、样本比例不匹配

阶段 2：结果解读

1. 评估统计显著性（阈值：p < 0.05）
2. 评估实际意义：提升对业务是否有意义，而不仅仅是真实存在？
3. 解读置信区间
4. 调查混杂因素
5. 给出建议：上线 / 迭代 / 终止 / 开展后续测试
6. 验证——确认测试是否运行了计划的完整时长。如果提前停止，需标记（窥探问题）。确认是否发生样本比例不匹配。

输出结构

[根据阶段选择设计或结果标题]

假设：“如果我们[做出改动]，预计[指标]会[变动 X%]，因为[原因]”

主要指标：[只能有一个指标] 护栏指标：[最多 2-3 个] 所需样本量：[每个实验组 n 个样本] 预计运行时长：[天] 预先定义的成功阈值：[具体数字] 设计风险标记：[任何顾虑]

结果（仅阶段 2）： 统计显著性：[P 值和结论] 实际意义：[提升幅度与业务阈值的对比] *建议：*上线 / 迭代 / 终止 / 后续测试——[理由]

质量检查

• 假设明确说明了改动、指标、方向和原因
• 主要指标只有一个，护栏指标属于次要指标
• 测试启动前已定义成功标准（而非看到结果后才定义）
• 测试未提前停止（如提前停止，需明确标记）
• 已单独评估实际意义和统计显著性
• 解读结果时已检查样本比例不匹配

反模式

• 不要在看到初步结果后才定义成功标准——事后定义成功标准属于 HARKing（在得知结果后提出假设），会使实验失效
• 不要因为结果看似显著就提前停止测试——提前停止会大幅提高假阳性率；测试必须运行到计划的样本量
• 不要将统计显著性等同于实际意义——p < 0.05 且提升幅度为 0.1% 的结果虽然真实，但未必值得上线
• 不要在未进行校正的情况下，在同一人群中多次运行相同实验——多重检验会按比例增加假阳性的概率
• 不要使用多个主要指标——多个主要指标需要进行多重假设校正，也会让上线或终止的决策变得模糊

示例触发短语

• “设计一个实验。”
• “运行 A/B 测试。”
• “计算样本量。”
• “解读测试结果。”
• “评估实验是否成功。”