measure-experiment-design

実験設計

実験設計ドキュメントでは、厳密な A/B テストまたは対照実験の実施に必要なすべてのパラメーターを定義します。何をテストするのか、成功をどのように測定するのか、結論を出す前にテストをどのくらいの期間実施するのかについて、チームの認識をそろえることができます。優れた実験設計により、検出力が不足したテスト、成功基準の不明確さ、シグナルではなくノイズに基づく意思決定といった、よくある落とし穴を防げます。

使用するタイミング

• プロダクトの変更を検証するために A/B テストを開始する前
• 定量的な検証が必要な仮説をテストするとき
• ソリューション設計の後、全面展開の前に前提を検証するとき
• ステークホルダーが意思決定のためのデータに基づく根拠を求めているとき
• 実験と学習の文化を築くとき

使用しないタイミング

• 仮説自体がまだ明確に述べられていない場合 → まず define-hypothesis を使用してください。このスキルは、すでにある主張を検証するテストを設計します
• 完了した実験を分析する場合 → measure-experiment-results を使用してください
• 実験の測定に必要なイベントトラッキングが必要な場合 → measure-instrumentation-spec を使用してください
• 対照テストを実施するのではなく、意見を集める場合 → measure-survey-analysis を使用してください

手順

実験の設計を依頼された場合は、次の手順に従ってください。

1. 仮説を明確にする 次の形式で、明確で検証可能な仮説を記述します。「[ユーザー]に対する[変更]によって、[指標]で測定される[成果]が得られると考えます。」1つの実験につき仮説は1つです。複数の項目をテストする場合は、実験を複数回実施してください。

2. バリアントを定義する コントロール（現在の体験）とトリートメント（新しい体験）を、十分に詳しく説明します。誰でもユーザーに表示される内容を理解できるよう、スクリーンショット、モックアップ、または正確な説明を含めてください。

3. 主要指標と副次指標を選ぶ 成功または失敗を判断する主要指標を1つ選びます。より広範な影響を把握するため、副次指標を2～3個追加します。意図しない悪影響を検出するためのガードレール指標も含めてください。

4. サンプルサイズを計算する 統計的有意性をもって最小検出効果（MDE）を検出するために、各バリアントで必要なユーザー数を決定します。有意水準（通常は0.05）と検出力（通常は0.80）を指定してください。

5. 期間を見積もる サンプルサイズと利用可能なトラフィックに基づいて、実験の実施に必要な期間を計算します。週ごとの傾向を考慮し、曜日によって行動が異なる場合は週の途中で終了しないようにしてください。

6. ターゲティングと割り当てを定義する 実験の対象となるユーザーと、バリアント間でトラフィックをどのように分割するかを指定します。除外対象（例：従業員、特定のセグメント）も記録してください。

7. 成功基準を設定する 成功、失敗、または結論が出ない結果の条件をあらかじめ定義します。これにより、結果を見た後の正当化や、基準の後付けの変更を防げます。

8. リスクと緩和策を記録する 起こり得る問題と、その検出方法や対処方法を特定します。監視計画とロールバック基準も含めてください。

出力形式

出力の構成には references/TEMPLATE.md のテンプレートを使用してください。完全な設計では、概要、仮説、背景、バリアント、指標、サンプルサイズと期間、オーディエンスのターゲティング、成功基準、リスクと緩和策、実装上の注意事項、参考資料のすべてのセクションを埋めます。

品質チェックリスト

最終化する前に、次の点を確認してください。

• 仮説が反証可能で、具体的である
• 主要指標が1つだけ定義されている
• 前提条件を含めてサンプルサイズの計算が記録されている
• 期間にトラフィックの傾向と統計的要件が考慮されている
• 実験の開始前に成功基準が定義されている
• ガードレール指標によって意図しない悪影響が防がれている

例

完成した例については、references/EXAMPLE.md を参照してください。