ab-test-plan

/digital-marketing-pro:ab-test-plan

スクリプトの場所。 ホストで ${CLAUDE_PLUGIN_ROOT} が設定されていない場合、スクリプトは skills/ と同じ階層にあるこのプラグインの scripts/ フォルダーにあります。Python 3.10 以降で実行してください。python が見つからない場合は、python3 を使用します（macOS、多くの Linux システム）。

目的

構造化された仮説フレームワーク、統計的なサンプルサイズ計算、バリアントの設計、モニタリング計画を用いた、A/B テスト専用のプランニングです。統計的に厳密で、明確な判断基準を備えた実験仕様書を作成します。

必要な入力

ユーザーは次の情報を提供する必要があります（提供がない場合は、入力を促します）。

• テスト対象の要素：テストする具体的なページ、コンポーネント、またはユーザー体験（ランディングページの見出し、CTA ボタン、料金ページのレイアウト、メールの件名、チェックアウトフロー、フォームのデザインなど）
• 現在のコンバージョン率：テスト対象の指標のベースラインとなるコンバージョン率（または最適な推定値）
• 検出したい最小効果（MDE）：検出する価値がある最小の改善幅。デフォルトでは、MDE は絶対値です。ベースラインと同じ単位で表します（ベースラインが 5.0% で、+1.0 パーセントポイントの上昇、つまり 5.0% → 6.0% を検出したい場合は、--mde 0.01 --mde-type absolute を指定します）。相対的な上昇率で表す場合（ベースライン 5% に対して相対的に 10% 改善すると 5.5% になる場合）は、--mde-type relative を指定します。この場合は --mde 0.10 --mde-type relative です。この違いは、サンプルサイズの計算で最もよくある誤りです。5% のベースラインでは、同じ「10%」でも絶対値と相対値のどちらとして解釈するかにより、必要なサンプルサイズが約 2 桁（約 200 倍）変わります。ユーザーがどちらを意味しているか、必ず確認してください。
• 1 日あたりのトラフィックまたはインプレッション数：テスト対象のページまたは要素への 1 日あたりの平均訪問者数またはインプレッション数
• 有意水準：希望する信頼水準。デフォルトは 95%（アルファ = 0.05）
• 統計的検出力：希望する検出力。デフォルトは 80%（ベータ = 0.20）
• バリアント数：テストするバリアントの数（デフォルトは施策対象 1 つと対照 1 つ。多変量テストではさらに増やします）
• ビジネス上の背景：テストのアイデアのきっかけ（アナリティクスデータ、ユーザーフィードバック、競合分析、ヒューリスティック監査、ステークホルダーからの依頼）

プロセス

1. ブランドコンテキストを読み込む：~/.claude-marketing/brands/_active-brand.json を読み込み、有効なスラッグを確認してから、~/.claude-marketing/brands/{slug}/profile.json を読み込みます。ブランドの声、コンプライアンス、業界コンテキストを適用します。制限事項、メッセージング、チャネル別のスタイル、声とトーンのルール、テンプレートについては、guidelines/_manifest.json を確認します。このコマンドに一致するテンプレートが ~/.claude-marketing/brands/{slug}/templates/ にある場合は、その形式を適用します。ブランドが存在しない場合は、/digital-marketing-pro:brand-setup を実行するよう促すか、デフォルト設定で進めます。
2. キャンペーン履歴を確認する：python "${CLAUDE_PLUGIN_ROOT}/scripts/campaign-tracker.py" --brand {slug} --action list-campaigns を実行し、過去のテスト結果を確認して、すでに検証済みの仮説を再テストしないようにします。
3. サンプルサイズ計算ツールを実行する：ベースライン率、MDE、MDE の種類、有意水準、検出力を指定して計算ツールを実行します。--mde-type フラグのデフォルトは absolute です。計算前に、どちらの解釈を意図しているかを必ずユーザーに確認してください。ベースラインが 5% の場合、2 つの解釈の差はおよそ 2 桁、約 200 倍になります。

   # Absolute MDE — detect a 1.0 percentage-point lift on a 5% baseline (5.0% → 6.0%)
   python "${CLAUDE_PLUGIN_ROOT}/scripts/sample-size-calculator.py" --baseline-rate 0.05 --mde 0.01 --mde-type absolute --significance 0.95 --power 0.80
   
   # Relative MDE — detect a 10% relative lift on a 5% baseline (5.0% → 5.5%)
   python "${CLAUDE_PLUGIN_ROOT}/scripts/sample-size-calculator.py" --baseline-rate 0.05 --mde 0.10 --mde-type relative --significance 0.95 --power 0.80
   

   これにより、各バリアントに必要なサンプルサイズが決まります。後でテストが実施されたら、python "${CLAUDE_PLUGIN_ROOT}/scripts/significance-tester.py" --control-visitors {n} --control-conversions {n} --variant-visitors {n} --variant-conversions {n} --confidence 0.95 を実行して結果を評価します。
4. 仮説文を作成する：次の形式で仮説を組み立てます。「[具体的な変更]を行えば、[データ、ユーザー調査、または確立された UX 原則に基づく根拠]により、[主要指標]は[方向と変化量]になる。」
5. テストバリアントを設計する：コントロール（現在のユーザー体験）と、1 つ以上の処置バリアントを定義します。各バリアントで何を変更するか（コピー、レイアウト、色、画像、フロー、機能など）を正確に指定します。多変量テストでは、変数のマトリックスと、注視すべき相互作用の影響を定義します。
6. 主要指標と副次指標を定義する：主要な成功指標（勝者を決定する指標）と、予期しない影響を監視する副次指標を特定します（例：CTA のクリック率を主要指標としてテストしつつ、バウンス率、ページ滞在時間、後続のコンバージョンをガードレールとして監視します）。
7. テスト期間を算出する：必要なサンプルサイズと日次トラフィックに基づいて、必要な日数を見積もります。曜日による変動を考慮するため、期間が少なくとも 1 回の完全なビジネスサイクル（最低 7 日間）を含むようにします。期間が 8 週間を超える場合は、妥当性のリスクとして指摘します。
8. 監視計画を作成する：技術的な QA（統計的な途中確認ではありません）、サンプル比率の不一致（SRM）の検出、データ品質やユーザー体験上の理由でテストを早期終了するきっかけとなるガードレール指標のアラートについて、途中のチェックポイントを定義します。
9. 停止ルールと判定基準を定義する：テストを判定する条件（サンプルサイズに達し、有意水準のしきい値を満たす）、早期終了する条件（ガードレール違反、SRM の検出、実装上のバグ）、結果が不確定な場合の手順（期間延長、設計変更、または傾向に基づく実装）を指定します。
10. トラフィックの実現可能性を評価する：日次トラフィックで妥当な期間（8 週間未満）内に必要なサンプルサイズに達するか確認します。トラフィックが不十分な場合は、バリアント数の削減、MDE の拡大、または定性的な手法の利用を提案します。
11. 事前登録を記録する：事後的な正当化を防ぎ、科学的な厳密性を確保するため、テスト開始前にテスト計画（仮説、指標、サンプルサイズ、期間、判定基準）を記録します。

出力

以下を含む、構造化された A/B テスト計画です。

• 根拠や理由を添えた、If/Then/Because 形式の仮説ステートメント
• 具体的で実装可能な変更内容を含む、コントロールとバリアントの説明
• バリアントごとおよび合計の必要サンプルサイズ
• トラフィック量と必要サンプルサイズに基づく、推定テスト期間（日数）
• 測定方法を含む、主要指標と副次指標の定義
• 低下した場合にテストの早期停止を促すガードレール指標
• 中間チェックポイントのスケジュールを含む、モニタリングダッシュボードの仕様
• 統計分析計画（頻度論的またはベイズ的、一方向または両方向、多重比較の補正）
• 早期終了の停止ルール（ガードレール違反、SRM 検出、重大なバグ）
• 勝者を宣言するための明確な基準値を含む、実施可否の判断基準
• 勝利、敗北、結論が出ない場合のテスト後のアクションプラン
• トラフィックの実現可能性評価と、該当する場合はトラフィックが少ない場合の代替案
• キャンペーントラッカーに結果と学びを記録するためのテスト文書テンプレート

使用するエージェント

• cro-specialist -- 仮説の設計、バリアントの仕様策定、サンプルサイズの計算、統計分析計画、モニタリングの枠組み、停止ルール、トラフィックの実現可能性評価、実験文書の作成