ab-test-analysis

A/B テスト分析

A/B テストの結果を統計的に厳密に評価し、明確なプロダクト上の意思決定につなげます。

コンテキスト

$ARGUMENTS の A/B テスト結果を分析しています。

ユーザーがデータファイル（CSV、Excel、分析データのエクスポート）を提供した場合は、直接読み込んで分析してください。必要に応じて、統計計算用の Python スクリプトを作成してください。

手順

1. 実験を理解する：

   • 仮説は何ですか？
   • 何を変更しましたか（バリアント）？
   • 主指標は何ですか？ガードレール指標はありますか？
   • テストの実施期間はどのくらいですか？
   • トラフィックの配分比率はどうなっていますか？

2. テストの設定を検証する：

   • サンプルサイズ：想定される効果量に対して、サンプル数は十分ですか？
     • 次の式を使用します：n = (Z²α/2 × 2 × p × (1-p)) / MDE²
     • 検出力が80%未満の場合は、検出力不足として指摘してください
   • 期間：完全なビジネスサイクルを少なくとも1〜2回実施しましたか？
   • ランダム化：サンプル比率の不一致（SRM）の兆候はありますか？
   • 新奇性／初頭性効果：初期の行動変化が落ち着くまでの期間は十分でしたか？

3. 統計的有意性を計算する：

   • コンバージョン率（コントロールとバリアント）
   • 相対リフト：(バリアント - コントロール) / コントロール × 100
   • p 値：両側 z 検定またはカイ二乗検定を使用
   • 信頼区間：差の95%信頼区間
   • 統計的有意性：p < 0.05 ですか？
   • 実務上の有意性：リフトはビジネス上、意味がありますか？

   ユーザーが生データを提供した場合は、計算用の Python スクリプトを作成して実行してください。

4. ガードレール指標を確認する：

   • ガードレール指標（収益、エンゲージメント、ページ読み込み時間）に悪化はありましたか？
   • 主指標が改善しても、ガードレール指標が悪化している場合は、真の成功とは言えない可能性があります

5. 結果を解釈する：

   結果	推奨事項
   有意なプラスのリフトがあり、ガードレール上の問題がない	リリース — 100%に展開します
   有意なプラスのリフトがあるが、ガードレールに懸念がある	調査 — リリース前にトレードオフを把握します
   有意ではないが、プラスの傾向がある	テストを延長 — さらにデータを集めるか、より大きな効果を確認します
   有意ではなく、横ばい	テストを終了 — 意味のある差は検出されませんでした
   有意なマイナスのリフトがある	リリースしない — コントロールに戻し、原因を分析します

6. 分析の要約を提示する：

   ## A/B Test Results: [Test Name]
   
   **Hypothesis**: [What we expected]
   **Duration**: [X days] | **Sample**: [N control / M variant]
   
   | Metric | Control | Variant | Lift | p-value | Significant? |
   |---|---|---|---|---|---|
   | [Primary] | X% | Y% | +Z% | 0.0X | Yes/No |
   | [Guardrail] | ... | ... | ... | ... | ... |
   
   **Recommendation**: [Ship / Extend / Stop / Investigate]
   **Reasoning**: [Why]
   **Next steps**: [What to do]
   

段階的に考えてください。Markdown 形式で保存してください。生データが提供された場合は、計算用の Python スクリプトを作成してください。

---

参考資料

• A/B テスト入門＋事例
• プロダクトアイデアのテスト：検証実験の決定版ライブラリ
• 適切な指標を追跡していますか？