measure-experiment-results

実験結果

実験結果のドキュメントには、仮説を検証した際に何が起きたかを記録します。統計的な結果、セグメント分析、学び、明確な推奨事項が含まれます。優れた結果のドキュメントは、個々の実験を組織の知識に変え、今後の意思決定を改善します。

使用する場面

• A/B テストまたは実験で統計的有意性が得られた後
• 実験を早期に終了した場合（理由を問わず）
• 実験に関与していなかったステークホルダーに調査結果を伝える場合
• 機能をリリース、改善、または取りやめるかどうかを意思決定する場合
• 今後の実験に役立つ学びのリポジトリを構築する場合

使用しない場面

• 実験の設計や実施がまだの場合 → measure-experiment-design を使用してください
• 結果に基づく方向性の決定が必要な場合 → iterate-pivot-decision を使用してください。このスキルは根拠を報告し、方向性を決めるのはそちらです
• 組織全体で活用できる学びとして蓄積したい場合 → iterate-lessons-log を続けて使用してください
• データが管理された実験ではなく、アンケートの回答である場合 → measure-survey-analysis を使用してください

手順

実験結果のドキュメント作成を依頼された場合は、次の手順に従ってください。

1. 実験の概要をまとめる 背景を説明します。何をテストしたか、いつ実施したか、どれだけのトラフィックを受けたかを記載してください。元の実験設計ドキュメントがある場合は、リンクしてください。

2. 仮説を再確認する 何が起こると考えていたか、またその理由を読者に思い出してもらいます。これにより、結果を解釈するための枠組みができます。

3. 主要な結果を提示する 主要指標の結果を明確に示します。コントロール群とトリートメント群の値はいくつでしたか？統計的有意性（p 値）、信頼区間、サンプルサイズを記載してください。結果が確定的かどうかについて、正直に記述してください。

4. 副次指標を分析する 意図しない悪影響が生じていないことを確認するガードレール指標を提示します。予想外の変化があった副次指標があれば、その内容も記載してください。良い変化も悪い変化も含めます。

5. データをセグメント別に分析する ユーザーセグメント（プラットフォーム、利用期間、プランの種類など）によって効果に差がないかを確認します。全体の結果から、セグメント別の重要な知見が見えなくなることもあります。

6. 学びを抽出する 数値以外に何がわかりましたか？意外な発見、浮かび上がった疑問、プロダクト仮説への示唆を含めてください。否定的な結果も貴重な学びです。

7. 推奨事項を提示する リリース、改善、取りやめのどれを推奨するか、明確に示してください。推奨事項を根拠で裏付けてください。判断が微妙な場合は、トレードオフを説明してください。

8. 次のステップを定義する 今後の対応を具体的に示します。リリースに向けたエンジニアリング作業、フォローアップ実験、継続して監視する指標、更新するドキュメントなどを記載してください。

出力形式

references/TEMPLATE.md のテンプレートを使用して出力を構成してください。完全な結果報告には、Summary、Hypothesis Recap、Results、Segment Analysis、Visualization、Learnings、Recommendation、Next Steps、Appendix の各セクションをすべて記入します。

品質チェックリスト

最終化する前に、次の点を確認してください。

• 統計手法と有意性が明確に記載されている
• 信頼区間が含まれている（p 値だけではない）
• セグメント分析で効果の差を確認している
• 副次指標／ガードレール指標が報告されている
• 数値だけにとどまらない学びが記載されている
• 推奨事項が明確で、実行可能である
• 否定的な結果や結論が出ていない結果が正直に報告されている

例

記入済みの例は references/EXAMPLE.md を参照してください。