ab-test-analysis

A/B テスト分析

使用するタイミング

• 実験が終了し、チームがリリース／見送りの推奨判断を必要としている
• 結果は良い方向に見えるものの、統計的に有意かどうかチームが判断できずにいる
• テストを数週間実施しても明確な勝者が現れず、継続するかどうかの判断が必要になっている
• 新しい実験の開始前に、必要なサンプルサイズを計画する必要がある
• 結果について意見が分かれており、厳密で記録に残る分析が必要になっている

プロセス

1. テスト設計を確認する — 仮説、対照群と処置群の定義、ランダム化の単位（ユーザー／セッション／デバイス）、主要指標、ガードレール指標、目標の割り当て比率を確認します。
2. サンプル比率の不一致（SRM）を確認する — 実際の割り当て比率と期待される割り当て比率に対してカイ二乗検定を実施します。SRM が検出された場合は、結果の解釈を中止し、ランダム化パイプラインを調査します。scripts/ab_test_analyzer.py --check-srm を使用します。
3. バリアントごとの指標を計算する — 各バリアントの主要指標について、率（または平均値）と95％信頼区間を計算します。絶対差と相対差を記録します。
4. 有意差検定を実施する — 2標本比率の z 検定（率の場合）または Welch の t 検定（平均値の場合）を実行します。z スコア、p 値、効果の95％信頼区間を記録します。適切な検定がわからない場合は、references/statistical_tests_reference.md を参照してください。
5. ガードレール指標を確認する — 各ガードレール指標について、同じ有意差検定を実施します。いずれかのガードレール指標で有意な悪化があれば、主要指標の結果にかかわらず、リリースの妨げになります。
6. 推奨判断をまとめる — SRM の結果、検出力、有意差、ガードレールの確認結果をまとめ、リリース／見送り／延長の判断を明確に示します。リリースした場合に見込まれるビジネスインパクトを定量化します。assets/ab_test_report_template.md に記録します。

スキルに必要な入力

• テスト計画書または仮説文書（バリアントの定義、ランダム化の単位、主要指標）
• 最低限、user_id、バリアントの割り当て、主要指標の結果を含むデータ
• 任意：ユーザーごとのガードレール指標の値、時間的な妥当性を確認するための日次集計データ
• 目標の割り当て比率（例：50/50）
• 最小検出可能効果、または「リリースする価値がある」と判断するためのビジネス上のしきい値

出力

• scripts/ab_test_analyzer.py — CSV または要約統計量の入力から SRM の確認、有意差検定、検出力分析、ガードレールの確認を実行します
• references/statistical_tests_reference.md — 使用する検定とその適用タイミング
• references/ab_test_design_guide.md — SRM の原因、検出力の計画、結果の覗き見、多重検定
• assets/ab_test_report_template.md — 設計、結果、確認事項、推奨判断、見込まれるインパクトをまとめたレポート