product-experimentation

产品实验

端到端的产品实验：从假设梳理，到方法选择、埋点、护栏执行，再到影响产品路线图的决策结果汇报。负责完整的实验工作流；统计设计和发布机制则交由专业技能处理。

流程

ASSUMPTIONS → [HYPOTHESIS] → [METHOD SELECT] → [INSTRUMENT] → [RUN] → [DECIDE] → [RECORD]
                  |                |                |           |          |           |
             Experiment       Qualitative       Tracking     Guardrail   Decision    Readout
               brief          Prototype          plan         monitor     rules      learning
                              Operational
                              Quantitative

加载指南

只加载与任务相关的参考资料或模板。不要一次性加载所有文件。

文件	加载时机
references/discovery-brief.md	需要了解实验概念如何对应各项技能，以及本技能的边界
references/method-selection.md	在定性、原型、运营和定量测试方法中进行选择
references/guardrails-and-ethics.md	定义护栏指标、伦理边界、停止规则和决策责任归属
references/experiment-readout.md	生成能够影响决策的结果汇报，以更新路线图或决策记录
templates/experiment-brief.md	根据假设填写结构化实验简报
templates/assumption-map.md	在设计实验前，将假设映射到风险、证据和可测试性
templates/guardrail-and-decision-rule.md	记录实验的护栏、停止规则和决策标准
templates/readout-learning-entry.md	记录实验结果并更新路线图、决策日志或生命周期证据

工作方法

1. 梳理假设

找出推动拟议变更的假设。按风险（假设错误会导致什么问题）、证据强度（已有证据的情况）和可测试性（能否测试，以及测试成本有多低）对每项假设进行分类。使用 templates/assumption-map.md。

2. 转化为假设检验命题

将风险最高、证据最不足的假设转化为可证伪的假设检验命题。每个命题都要明确自变量（变更内容）、因变量（衡量的结果）、预期方向，以及具有实际意义的最小效应。使用 templates/experiment-brief.md。

3. 选择合适的方法

选择能够以足够把握证伪假设的最轻量方法。方法阶梯按从轻到重排列如下：

方法	最适用于	成本	统计严谨性
定性访谈	发现未知问题、心智模型和验证问题	最低	无（描述性）
原型测试	交互流程、易用性、概念验证	低	无（观察性）
礼宾式测试	价值交付、付费意愿、运营可行性	低至中	无（人工）
虚假入口	需求信号、点击／承诺意愿	中	低（仅转化率）
功能标志	运营安全、渐进式发布、紧急关闭开关	中	中（受控发布）
A/B 测试	将特定变更因果归因于某项指标	高	高（随机对照）

不要默认采用 A/B 测试。从阶梯顶端开始，只有当前级别无法回答问题时才向下一级推进。定性访谈或原型测试往往就是正确选择。完整的方法选择指南见 references/method-selection.md。

4. 定义监测、护栏和伦理规范

运行实验前，请定义：

• 监测：跟踪哪些指标、如何计算，以及现有工具能否对其进行测量。将测量规范交由 product-analytics-and-measurement 处理。
• 护栏：无论主要结果如何，都可以终止实验的强制安全指标。至少包括错误率、延迟／性能下降，以及任何特定领域的伤害指标。每项实验都必须指定至少一项护栏指标。请参阅 references/guardrails-and-ethics.md。
• 伦理边界：用户同意、数据最小化、对弱势群体的考量，以及与机构审查要求的一致性。记录所有伦理决策。
• 停止规则：何时提前停止实验——触发护栏、获得充分证据，或达到时间上限。
• 决策责任归属：由谁决定是否发布，以及他们会考虑哪些依据（统计证据、护栏证据、定性信号、实际限制）。

使用 templates/guardrail-and-decision-rule.md 记录这些内容。

5. 确定实验覆盖范围和时长

定义目标群体、分配方式和最小可检测效应。统计设计（功效分析、样本量计算、估计量选择）交由 ../data-scientist/SKILL.md 处理。统计功效不足的实验——即无法检测到最小重要效应的实验——属于有效性失败；不得根据统计功效不足的测试所得的无效结果决定发布。

6. 运行并监控

执行实验。持续监控护栏。生产环境发布机制（功能标志、金丝雀阶段、渐进式交付）交由 ../release-engineering/SKILL.md 处理。

7. 做出决策

使用多项标准做出是否发布的决定，切勿只依据统计显著性：

标准	权重	来源
统计证据	必需	data-scientist
实际意义	必需	效应是否大到足以产生影响？
护栏证据	阻断性	所有护栏均须通过
定性证据	参考性	用户反馈、支持工单
可逆性	参考性	如果判断有误，能否撤销？
机会成本	参考性	我们还可以改为开发什么？

若结果具有统计显著性，但未通过护栏，则不得发布。若结果具有统计显著性，但超出权限边界（例如安全、合规或伦理边界），则不得发布。记录决策及其理由。

8. 记录结果总结

记录学到了什么，以及因此做出了哪些改变。结果总结会更新产品路线图、待办事项、决策日志或生命周期证据。后续流向：product-roadmapping-and-portfolio（路线图更新）、product-adoption（采用证据）和 product-lifecycle-learning（保留的经验）。请使用 templates/readout-learning-entry.md 和 references/experiment-readout.md。

触发条件

在以下情况下加载此技能：

• 任务涉及设计、运行或决定产品实验
• 需要在定性、原型、运营和定量测试方法之间做出选择
• 有需要在承诺开发前进行测试的假设
• 需要为实验定义护栏、停止规则或决策标准
• 需要解读实验结果并决定是否发布
• 需要记录实验结果，以更新产品方向

不适用场景

• 统计设计（深入进行功效分析、估计量选择、显著性检验）——转交给 data-scientist。此技能负责梳理问题并选择方法；统计工作由 data-scientist 负责。
• 生产环境发布机制（功能标记基础设施、金丝雀发布阶段、CD 流水线集成）——转交给 release-engineering。此技能负责定义实验设计；安全交付由 release-engineering 负责。
• 用户研究与可用性测试——需要开展以交互为重点的研究时，转交给 product-design-and-ux。
• 定价专项测试——需要进行价格弹性、支付意愿和定价页面实验时，转交给 financial-modeling。
• 机会-解决方案树构建——在实验之前，需要将客户需求与构建决策联系起来时，转交给 product-methodology。
• 纯分析类埋点（追踪计划设计、事件分类体系、指标定义）——测量规范相关工作转交给 product-analytics-and-measurement。

可移植性

此技能有意保持与宿主环境无关。它不需要配置档案系统、输出格式、脚本或外部服务。使用宿主 Agent 的常规文件加载机制，直接按路径加载参考资料和模板。