关于 trustworthy-experiments
用于规划和评估受控实验的产品管理技能，重点在于判断结果是否足以支持决策，覆盖从测试设计到结果验证的过程。
主要功能
- 01规划受控 A/B 测试
- 02估算样本量和运行时间
- 03选择结果指标
- 04决策前验证实验结果
- 05诊断可疑发现
适用场景
- 01在启动前设计实验
- 02判断测试是否具备足够统计功效
- 03发布变更前评估实验结果
- 04调查可能无效的结果
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/trustworthy-experiments确认已加载。
详细介绍
领域背景
这项技能实现了一套经过验证的产品管理框架。该方法结合了行业领导者的最佳实践，旨在应用于日常 PM 工作。
输入要求
- 关于你的产品、功能或问题的背景信息
- 相关数据、研究或限制条件（建议提供，但非必需）
- 清晰阐述你想要实现的目标
Trustworthy Experiments
概述
Trustworthy Experiments 是一套用于开展受控实验（A/B 测试）的框架，旨在产生可靠且可执行的结果。其核心观点是：大多数实验都会失败，而且许多“成功”的结果实际上都是假阳性。
关键转变：从“实验是否显示出积极结果？”转向“我是否足够信任这个结果，并据此采取行动？”
曾在 Microsoft、Amazon 和 Airbnb 构建实验平台的 Ronny Kohavi 发现：
- 66-92% 的实验无法改善目标指标
- 8% 的实验仅因样本比例不匹配就会产生无效结果
- 当基础成功率为 8% 时，P 值为 0.05 仍意味着 26% 的假阳性风险
适用场景
在以下情况下，使用 Trustworthy Experiments：
- 设计 A/B 测试，以获得有效且可执行的结果
- 确定样本量和运行时长，以满足统计功效要求
- 验证实验结果，然后再决定是否发布
- 在公司内建立实验文化
- 选择指标（OEC），平衡短期收益与长期价值
- 诊断结果看起来可疑的原因（Twyman 定律）
- 加快实验速度，同时不牺牲有效性
不适用场景
在以下情况下，不要使用受控实验：
- 用户数量不足——至少需要数万名用户
- 决策是一次性的——无法对合并或收购进行 A/B 测试
- 用户没有真正的选择——例如雇主强制要求使用的软件
- 需要立即做出决策——实验需要时间
- 指标无法衡量——没有可观测结果，就无法开展实验
资源
书籍：
- Ronny Kohavi、Diane Tang 和 Ya Xu 著的 Trustworthy Online Controlled Experiments
评论
支持 Markdown