measure-experiment-results

实验结果

实验结果文档记录了假设测试的过程和结果，包括统计结果、细分分析、经验总结和明确的建议。优秀的结果文档能将单次实验转化为组织知识，帮助改进未来的决策。

适用场景

• A/B 测试或实验达到统计显著性后
• 实验提前结束时（无论原因）
• 向未参与实验的利益相关者传达发现
• 决定发布、迭代还是终止某项功能时
• 建立经验库，为未来实验提供参考

不适用场景

• 尚未设计或运行实验 -> 使用 measure-experiment-design
• 结果需要做方向性决策 -> 使用 iterate-pivot-decision；此技能负责报告证据，另一项技能负责做出决策
• 希望将可迁移的经验纳入组织知识库 -> 后续使用 iterate-lessons-log
• 数据来自问卷回复，而非受控实验 -> 使用 measure-survey-analysis

说明

收到记录实验结果的请求时，请按以下步骤操作：

1. 总结实验 提供背景信息：测试了什么、实验何时运行、获得了多少流量。如果原始实验设计文档存在，请链接到该文档。

2. 重述假设 提醒读者你原本认为会发生什么，以及原因。这有助于理解结果。

3. 呈现主要结果 清晰展示主要指标的结果：对照组和实验组的数值分别是多少？请提供统计显著性（p 值）、置信区间和样本量。诚实说明结果是否具有结论性。

4. 分析次要指标 展示用于确保未造成意外损害的护栏指标。指出出现意外变化的次要指标，无论变化是积极还是消极。

5. 细分数据 查看不同用户群体（平台、使用时长、套餐类型等）是否存在差异化效果。有时总体结果会掩盖重要的细分群体洞察。

6. 提炼经验 除了数字之外，你学到了什么？请包括意外发现、引发的问题，以及对产品假设的影响。负面结果同样有价值。

7. 提出建议 明确说明应该发布、迭代还是终止。用证据支持建议。如果决策较为复杂，请解释其中的权衡。

8. 定义后续步骤 说明接下来要做什么：发布所需的工程工作、后续实验、需要继续监控的指标，或需要更新的文档。

输出格式

使用 references/TEMPLATE.md 中的模板来组织输出。完整的结果报告应填写模板中的每个部分：摘要；假设回顾；结果；细分分析；可视化；经验总结；建议；后续步骤；以及附录。

质量检查清单

完成前，请确认：

• 清楚说明了统计方法和显著性
• 包含置信区间（不只是 p 值）
• 检查了细分分析中的差异化效果
• 报告了次要指标和护栏指标
• 经验总结不局限于数字本身
• 建议明确且可执行
• 如实报告了负面或不确定的结果

示例

请参阅 references/EXAMPLE.md 查看完整示例。