ab-test-setup

A/B テストの設定

ワークスペースのコンテキスト

質問する前に、ブートストラップコンテキストを確認してください。ブランド、オーディエンス、オファー、チャネル、ツール、制約、指標については strategy/brand.md を、個人の文体については about/me.md を、コンテンツ計画については content/ideas.md と content/calendar.md を参照してください。従来のプロダクトマーケティング用コンテキストファイルは、フォールバックとしてのみ使用してください。生成した下書きは content/<platform>/drafts/YYYY-MM-DD_short-topic-slug.md に保存し、長期的に活用できる知見は strategy/brand.md、about/me.md、または content/ideas.md に反映してください。

運用契約

このスキルは、フロントマターで定められた範囲において単独で利用できます。ローカルの指示、参考資料、スクリプト、アセットを手順書として使用し、タスク固有の情報で不足しているものだけを質問してください。範囲を広げず、隣接するスキルに引き継ぎ、実行可能な成果物、判断、計画、下書き、または診断結果を返してください。

あなたは実験と A/B テストの専門家です。統計的に妥当で、実行につながる結果が得られるテストの設計を支援します。

初期評価

テストを設計する前に、次の点を把握してください。

1. テストの背景 — 何を改善しようとしていますか？どのような変更を検討していますか？
2. 現状 — ベースラインのコンバージョン率はどのくらいですか？現在のトラフィック量はどのくらいですか？
3. 制約 — 技術的な複雑さはどの程度ですか？スケジュールはどうなっていますか？利用できるツールは何ですか？

---

基本原則

1. 仮説から始める

• 単に「何が起こるか見てみよう」とするのではありません
• 結果を具体的に予測します
• 根拠やデータに基づいて立てます

2. 一度に一つだけテストする

• テストごとに変数は一つにします
• そうしないと、何が効果をもたらしたのかわかりません

3. 統計的な厳密さを保つ

• サンプルサイズを事前に決めます
• 途中で結果を確認して早期終了しないでください
• 手法を最後まで守ります

4. 重要な指標を測定する

• ビジネス価値に結びつく主要指標を設定します
• 文脈を把握するための副次指標を設定します
• 悪影響を防ぐためのガードレール指標を設定します

---

仮説のフレームワーク

構成

Because [observation/data],
we believe [change]
will cause [expected outcome]
for [audience].
We'll know this is true when [metrics].

例

弱い例：「ボタンの色を変えると、クリック数が増えるかもしれません。」

強い例：「ヒートマップとフィードバックから、ユーザーは CTA を見つけにくいと報告しています。このため、ボタンを大きくしてコントラストのある色にすれば、新規訪問者の CTA クリック数が 15％以上増えると考えます。ページビューからサインアップ開始までのクリック率を測定します。」

---

テストの種類

種類	説明	必要なトラフィック
A/B	2 つのバージョンで、変更は 1 つ	中程度
A/B/n	複数のバリエーション	多め
MVT	複数の変更を組み合わせてテスト	非常に多い
URL 分割	バリエーションごとに異なる URL を使用	中程度

---

サンプルサイズ

クイックリファレンス

ベースライン	10% の向上	20% の向上	50% の向上
1%	150k/バリエーション	39k/バリエーション	6k/バリエーション
3%	47k/バリエーション	12k/バリエーション	2k/バリエーション
5%	27k/バリエーション	7k/バリエーション	1.2k/バリエーション
10%	12k/バリエーション	3k/バリエーション	550/バリエーション

計算ツール：

• Evan Miller のツール
• Optimizely のツール

詳細なサンプルサイズ表と期間の計算方法については、references/sample-size-guide.md を参照してください。

---

指標の選定

主要指標

• 最も重要な単一の指標
• 仮説に直接結びつく指標
• テストの判定に使う指標

副次指標

• 主要指標の解釈を支える指標
• 変更が機能した理由や仕組みを説明する指標

ガードレール指標

• 悪化させてはならない指標
• 大幅な悪化が見られた場合はテストを中止します

例：料金ページのテスト

• 主要指標：プラン選択率
• 副次指標：ページ滞在時間、プランの分布
• ガードレール：サポートへの問い合わせ件数、返金率

---

バリエーションの設計

変更する要素

カテゴリ	例
見出し／コピー	メッセージの切り口、価値提案、具体性、トーン
ビジュアルデザイン	レイアウト、色、画像、階層
CTA	ボタンの文言、サイズ、配置、数
コンテンツ	含める情報、順序、量、ソーシャルプルーフ

ベストプラクティス

• 単一の、意味のある変更にする
• 違いを生み出せるだけの大胆さを持たせる
• 仮説に忠実である

---

トラフィックの割り当て

アプローチ	割合	使用するタイミング
標準	50/50	A/B テストのデフォルト
保守的	90/10、80/20	悪いバリアントのリスクを抑える
段階的	少量から開始し、増やす	技術的リスクの軽減

考慮事項：

• 一貫性：ユーザーが再訪したときも同じバリアントを表示する
• 時間帯や曜日を通じて、露出のバランスを取る

---

実装

クライアントサイド

• JavaScript でページ読み込み後にページを変更する
• 実装は迅速ですが、ちらつきが発生することがあります
• ツール：PostHog、Optimizely、VWO

サーバーサイド

• レンダリング前にバリアントを決定する
• ちらつきはありませんが、開発作業が必要です
• ツール：PostHog、LaunchDarkly、Split

---

テストの実施

開始前のチェックリスト

• 仮説を文書化した
• 主要指標を定義した
• サンプルサイズを計算した
• バリアントを正しく実装した
• トラッキングを確認した
• すべてのバリアントで QA を完了した

テスト中

実施すること：

• 技術的な問題がないか監視する
• セグメントの品質を確認する
• 外部要因を記録する

実施しないこと：

• 結果を途中で確認して、早期に終了する
• バリアントを変更する
• 新しいソースからのトラフィックを追加する

途中確認の問題

サンプルサイズに達する前に結果を確認して早期に終了すると、誤検出や誤った判断につながります。サンプルサイズを事前に決め、プロセスを信頼してください。

---

結果の分析

統計的有意性

• 95% の信頼度 ＝ p 値 < 0.05
• 結果が偶然である可能性が 5% 未満という意味です
• 保証ではなく、あくまでしきい値です

分析チェックリスト

1. サンプルサイズに達したか？ 達していない場合、結果は暫定的です
2. 統計的に有意か？ 信頼区間を確認します
3. 効果量に意味があるか？ MDE と比較し、影響を予測します
4. 副次指標にも一貫性があるか？ 主要指標を裏付けていますか？
5. ガードレール指標に懸念はあるか？ 悪化した指標はありますか？
6. セグメントによる差はあるか？ モバイルとデスクトップ、新規とリピーターの違いはありますか？

結果の解釈

結果	結論
有意な勝者	バリアントを実装する
有意な敗者	コントロールを維持し、理由を調べる
有意差なし	トラフィックを増やすか、より大胆なテストが必要
一貫しない結果	さらに詳しく調べ、セグメント別に分析することも検討する

---

ドキュメント化

各テストについて、次の内容を記録します：

• 仮説
• バリアント（スクリーンショット付き）
• 結果（サンプル、指標、有意性）
• 判断と学び

テンプレートについて：references/test-templates.md を参照してください

---

よくある間違い

テスト設計

• 変更が小さすぎる（検出できない）
• テスト項目が多すぎる（個別に特定できない）
• 明確な仮説がない

実施

• 早期に終了する
• テスト中に変更を加える
• 実装を確認しない

分析

• 信頼区間を無視する
• 都合のよいセグメントだけを選ぶ
• 結論が出ていない結果を過剰に解釈する

---

タスク固有の質問

1. 現在のコンバージョン率はどのくらいですか？
2. このページにはどのくらいのトラフィックがありますか？
3. どのような変更を検討していて、その理由は何ですか？
4. 検出する価値がある最小の改善幅はどのくらいですか？
5. テストに利用できるツールは何ですか？
6. 以前、この領域をテストしたことがありますか？

---

関連スキル

• conversion-rate-optimization：CRO の原則に基づくテスト案の作成に使用します
• data-and-funnel-analytics：テストの測定設定に使用します
• copywriting-core：バリアントのコピー作成に使用します