ab-testing-framework

A/B テストフレームワーク

統計的な厳密さをもって、コンバージョン実験を設計、実施、分析します。

インストール

git clone https://github.com/thatrebeccarae/claude-marketing.git && cp -r claude-marketing/skills/ab-testing-framework ~/.claude/skills/

テスト設計プロセス

ステップ 1：仮説

テンプレート： [X] を変更すると、[理由] により、[指標 Y] は [Z%] 増加／減少します。

良い仮説：「CTA を「始める」から「無料トライアルを開始」に変更すると、費用に関する不安が軽減されるため、登録率が 15％上昇します。」

悪い仮説：「ボタンの色を変えると、コンバージョンが改善します。」（理由も、期待する変化量もありません。）

ステップ 2：サンプルサイズの計算

テストの実施期間を決定するには：

Required sample per variation = 16 * (p * (1-p)) / (MDE^2)

Where:
  p = baseline conversion rate (as decimal)
  MDE = minimum detectable effect (as decimal)

ベースライン率	10％の MDE	20％の MDE	30％の MDE
1%	253,414	63,354	28,157
3%	82,369	20,592	9,152
5%	48,640	12,160	5,404
10%	23,040	5,760	2,560
20%	10,240	2,560	1,138

テストの最短期間： サンプルサイズに先に到達した場合でも、曜日の影響を捉えるため、最低 2 週間の全営業日を含めて実施します。

ステップ 3：テスト実施ルール

1. ランダム割り当て — 訪問者をコントロール／バリアントにランダムに割り当てる必要があります
2. 途中で結果を確認しない — サンプルサイズに達する前に結果を確認してはいけません
3. テスト中に変更しない — テスト中にバリアントを変更してはいけません
4. トラフィックを均等に分割 — A/B テストでは 50/50、多変量テストでは均等に分割します
5. 変数は 1 つだけ — テストごとに 1 つだけ変更します（多変量テストを除く）
6. 期間全体を実施 — 有意差が出るまでではなく、事前に計算した期間を通して実施します

ステップ 4：統計分析

頻度論的アプローチ

比率の Z 検定：

Z = (p1 - p2) / sqrt(p_pooled * (1 - p_pooled) * (1/n1 + 1/n2))

Where:
  p1, p2 = conversion rates of control and variant
  p_pooled = (x1 + x2) / (n1 + n2)
  n1, n2 = sample sizes

p 値の解釈：

• p < 0.05：統計的に有意（信頼度 95％）
• p < 0.01：非常に有意（信頼度 99％）
• p >= 0.05：有意ではありません — 勝者を決めてはいけません

ベイズ的アプローチ

ベイズ的アプローチを使う場面：

• トラフィックが少ない（サンプルサイズが小さい）
• より迅速な意思決定が必要
• 各バリアントが最良である確率を知りたい（「有意かどうか」だけではない）

解釈： 頻度論的アプローチの「信頼度 95％で帰無仮説を棄却します」に対し、「バリアント B がコントロールより優れている確率は 94％です」と表現します。

ステップ 5：意思決定の枠組み

結果	有意性	対応
バリアントが勝利	p < 0.05	バリアントを導入する
コントロールが勝利	p < 0.05	コントロールを維持し、失敗から学ぶ
差がない	p >= 0.05	コントロールを維持し、より大きな変更をテストする
バリアントが勝利	p = 0.05-0.10	トラフィックを考慮する — さらに時間が必要な場合があります

よくあるテストの落とし穴

1. 途中で結果を確認する — 結果を早期に確認すると、偽陽性率が 5％から 26％以上に上昇します
2. 早期に終了する — 有意差に達しても、必要なサンプルサイズに達したとは限りません
3. バリアントを増やしすぎる — 各バリアントに必要なサンプルサイズを確保する必要があります
4. セグメントを無視する — 全体で勝者となったものが、重要なセグメントでは敗者になる場合があります
5. 効果が小さすぎる — 2％の上昇を検証するには、非常に大きなサンプルサイズが必要です
6. 季節性を考慮しない — 週全体を通して実施し、祝日は避けます
7. 複数の指標を使う — 主指標は事前に宣言する必要があります。副次指標は傾向の把握に使います
8. 生存者バイアス — 離脱したユーザーではなく、完了したユーザーだけを測定します
9. シンプソンのパラドックス — セグメント単位の勝者が、全体では逆転する場合があります
10. 新奇性効果 — 新しいデザインは一時的に成果を上げるため、2〜4 週間後に再テストします

テスト対象（影響度順）

影響度：高

• 価値提案／見出し
• CTA のテキストと配置
• 価格設定とオファーの構成
• フォームの長さ（フィールドの削減）
• ページレイアウト（1 カラムか複数カラムか）
• ソーシャルプルーフの有無と配置

影響度：中

• 画像／動画か静止画か
• お客様の声の形式（テキストか動画か）
• ランディングページにおけるナビゲーションの有無
• 信頼バッジとセキュリティの表示
• 緊急性を高める要素（カウントダウン、在庫数）

影響度：低（通常はテストする価値がありません）

• ボタンの色（コントラストに極端な問題がある場合を除く）
• フォントの変更
• 軽微な文言の調整
• アイコンのスタイル
• フッターの内容

他のスキルとの連携

• cro-auditor — CRO 監査でテスト仮説を作成し、このスキルで実験を設計します
• google-analytics — 実験データとセグメント分析に GA4 を使用します
• copywriting-frameworks — 実績のあるフレームワークを使ってバリエーションのコピーを作成します