ab-testing

実験とA/Bテストのスキル

使用する場面

• 新しい件名やクリエイティブを検証するとき。
• セグメンテーションの仮説（ペルソナ対行動）をテストするとき。
• 配信頻度、タイミング、自動化のトリガーを最適化するとき。

フレームワーク

1. 仮説 – 期待する向上幅とその根拠を定義します。
2. 指標の選定 – 主要指標（開封／クリック／コンバージョン）とガードレール指標（配信停止、迷惑メール報告）を選びます。
3. サンプルサイズの決定 – 統計的有意性を確保します（バリアントあたり最低500人の受信者、または検出力計算ツールを使用します）。
4. 実施 – ランダムに割り当て、バリアントを分離し、同時に実施するテストの数を制限します。
5. 分析 – z検定またはベイズ推定による向上幅の分析を行い、得られた知見を記録します。

テンプレート

• 実験概要（仮説、セグメント、KPI、リスクのガードレール）。
• バリアント表（コントロールとテストの入力、クリエイティブ素材へのリンク、担当者）。
• 最小検出可能効果とサンプルサイズを算出するシート。
• 得られた知見と展開計画を記録するテスト後の振り返りドキュメント。

実験のアイデア

• 件名とプレビュー文の組み合わせ。
• CTAの配置（ヒーロー部分とフッター）。
• パーソナライズの深さ（基本と動的モジュール）。
• 各タッチポイント間の待ち時間。

ヒント

• 1つのジャーニーで同時に実施するテストは2つまでにします。
• 得られた知見をプレイブックや自動化テンプレートに活用します。
• ペルソナ別に結果をセグメント化し、見えにくい兆候を見つけます。

---