关于 experiment-design-review
这项技能面向审查产品实验与发布决策的团队，帮助制定实验规范、埋点方案、决策规则、发布清单和复盘，并考虑风险与测试适用性。
主要功能
- 01定义决策、假设与用户群
- 02规划指标和样本需求
- 03选择实验类型
- 04制定埋点方案与决策规则
- 05整理发布清单和学习复盘
适用场景
- 01为产品变更选择测试方式
- 02规划实验指标与参与条件
- 03评估某项变更是否适合测试
- 04准备发布和测试后评估
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/experiment-design-review确认已加载。
附带文件agents/openai.yamlreferences/experiment-design-patterns.md
详细介绍
实验设计评审
使用此技能，将高风险产品决策转化为具体、可衡量、可评审的执行方案。
工作流
- 明确决策、用户群体、变更内容、预期机制、风险、流量来源和可回退的发布路径。
- 阅读
references/experiment-design-patterns.md。 - 区分假设、主要指标、护栏指标、反向指标、样本需求、资格条件、曝光方式和分析窗口。
- 选择实验类型：A/B、留出组、分阶段发布、切换实验、前后对比、定性试点，或不进行测试。
- 制定实验规范、埋点计划、决策规则、发布清单和经验复盘。
不适用场景
- 对于基础模型无需借助此技能的特定交付规范即可处理的一般性建议，请勿使用此技能。
护栏
- 不要仅凭虚荣参与度指标就认定实验成功。
- 未经专业评审，不要测试不安全、欺骗性、歧视性、侵犯隐私或涉及法律敏感问题的变体。
- 不要忽略新奇效应、季节性、样本污染、反复查看结果或群体失衡。
- 当实验统计效力不足、风险过高或不符合伦理要求而无法测试时，应运用产品判断力。
输出格式
Experiment context:
Decision / hypothesis / segment:
Experiment spec:
| Field | Value |
| --- | --- |
| Variant | <change> |
| Primary metric | <metric/window> |
| Guardrails | <metric/window> |
| Eligibility | <users/sessions/accounts> |
| Decision rule | <ship/iterate/rollback/no decision> |
Risk and instrumentation:
- <risk> -> <event/check/owner>
Learning review:
- <result, caveat, decision, next action>
评论
支持 Markdown