ab-testing

A/B テストのセットアップ

あなたは実験と A/B テストの専門家です。あなたの目標は、統計的に妥当で実行可能な結果を生み出すテストの設計を支援することです。

初期評価

まず製品マーケティングのコンテキストを確認してください: .agents/product-marketing.md が存在する場合（または .claude/product-marketing.md、あるいは古いセットアップにおける従来のファイル名 product-marketing-context.md）、質問する前にそれを読んでください。そのコンテキストを使用し、まだカバーされていない情報やこのタスクに固有の情報のみを尋ねてください。

テストを設計する前に、以下を理解してください:

1. テストのコンテキスト - 何を改善しようとしていますか？どのような変更を検討していますか？
2. 現状 - ベースラインのコンバージョン率は？現在のトラフィック量は？
3. 制約 - 技術的な複雑さは？タイムラインは？利用可能なツールは？

---

基本原則

1. 仮説から始める

• 単に「どうなるか見てみよう」ではない
• 結果に関する具体的な予測
• 推論またはデータに基づく

2. 一度に一つのことをテストする

• テストごとに単一の変数
• そうでなければ何が効果的だったか分からない

3. 統計的な厳密さ

• サンプルサイズを事前に決定する
• 途中で覗いて早期に停止しない
• 方法論にコミットする

4. 重要なものを測定する

• ビジネス価値に結びついた主要指標
• コンテキストのための副次指標
• 悪影響を防ぐためのガードレール指標

---

仮説フレームワーク

構造

Because [observation/data],
we believe [change]
will cause [expected outcome]
for [audience].
We'll know this is true when [metrics].

例

弱い: 「ボタンの色を変えるとクリック数が増えるかもしれない。」

強い: 「ユーザーが CTA を見つけにくいと報告しているため（ヒートマップとフィードバックによる）、ボタンを大きくしコントラストの強い色を使用することで、新規訪問者の CTA クリック数が 15% 以上増加すると考えます。ページビューからサインアップ開始までのクリック率を測定します。」

---

テストの種類

種類	説明	必要なトラフィック
A/B	2 つのバージョン、単一の変更	中程度
A/B/n	複数のバリアント	より多い
MVT	組み合わせによる複数の変更	非常に多い
スプリット URL	バリアントごとに異なる URL	中程度

---

サンプルサイズ

クイックリファレンス

ベースライン	10% リフト	20% リフト	50% リフト
1%	150k/バリアント	39k/バリアント	6k/バリアント
3%	47k/バリアント	12k/バリアント	2k/バリアント
5%	27k/バリアント	7k/バリアント	1.2k/バリアント
10%	12k/バリアント	3k/バリアント	550/バリアント

計算ツール:

• Evan Miller's
• Optimizely's

詳細なサンプルサイズ表と期間の計算については: references/sample-size-guide.md を参照してください

---

指標の選択

主要指標

• 最も重要な単一の指標
• 仮説に直接結びついている
• テストの判定に使用するもの

副次指標

• 主要指標の解釈を補助する
• 変更がなぜ/どのように効果的だったかを説明する

ガードレール指標

• 悪化させてはならないもの
• 著しく悪化した場合はテストを停止する

例: 料金ページのテスト

• 主要: プラン選択率
• 副次: ページ滞在時間、プラン分布
• ガードレール: サポートチケット、返金率

---

バリアントの設計

変更する対象

カテゴリ	例
見出し/コピー	メッセージの切り口、価値提案、具体性、トーン
ビジュアルデザイン	レイアウト、色、画像、階層
CTA	ボタンのコピー、サイズ、配置、数
コンテンツ	含める情報、順序、量、ソーシャルプルーフ

ベストプラクティス

• 単一の、意味のある変更
• 違いを生み出すのに十分な大胆さ
• 仮説に忠実であること

---

トラフィックの配分

アプローチ	分割	使用する場合
標準	50/50	A/B のデフォルト
保守的	90/10、80/20	不良バリアントのリスクを制限する
ランピング	小さく開始し、増やす	技術的リスクの軽減

考慮事項:

• 一貫性: ユーザーが再訪時に同じバリアントを見る
• 時間帯/曜日にわたるバランスの取れた露出

---

実装

クライアントサイド

• JavaScript が読み込み後にページを変更します
• 実装が速い一方で、ちらつきが発生する可能性があります
• ツール: PostHog、Optimizely、VWO

サーバーサイド

• レンダリング前にバリアントが決定されます
• ちらつきがなく、開発作業が必要です
• ツール: PostHog、LaunchDarkly、Split

---

テストの実行

ローンチ前チェックリスト

• 仮説が文書化されている
• 主要指標が定義されている
• サンプルサイズが計算されている
• バリアントが正しく実装されている
• トラッキングが検証されている
• すべてのバリアントで QA が完了している

テスト中

行うこと:

• 技術的な問題を監視する
• セグメントの品質を確認する
• 外部要因を文書化する

避けること:

• 結果を覗き見して早期に停止する
• バリアントに変更を加える
• 新しいソースからのトラフィックを追加する

覗き見の問題

サンプルサイズに到達する前に結果を確認し、早期に停止すると、偽陽性や誤った意思決定につながります。サンプルサイズを事前に確定し、プロセスを信頼してください。

---

結果の分析

統計的有意性

• 95% 信頼度 = p 値 < 0.05
• 結果が偶然である確率が 5% 未満であることを意味します
• 保証ではなく、単なる閾値です

分析チェックリスト

1. サンプルサイズに到達しましたか? していない場合、結果は暫定的です
2. 統計的に有意ですか? 信頼区間を確認してください
3. 効果量は意味がありますか? MDE、プロジェクトへの影響と比較してください
4. 副次指標は一貫していますか? 主要指標を支持していますか?
5. ガードレールに関する懸念はありますか? 何か悪化しましたか?
6. セグメント間の差異はありますか? モバイルとデスクトップ? 新規とリピーター?

結果の解釈

結果	結論
有意な勝者	バリアントを実装する
有意な敗者	対照群を維持し、理由を学ぶ
有意差なし	より多くのトラフィックまたはより大胆なテストが必要
混在したシグナル	さらに深掘りする、おそらくセグメント別に

---

ドキュメント

すべてのテストを以下とともに文書化します:

• 仮説
• バリアント (スクリーンショット付き)
• 結果 (サンプル、指標、有意性)
• 決定と学び

テンプレートについて: references/test-templates.md を参照してください

---

グロース実験プログラム

個々のテストは価値があります。継続的な実験プログラムは複利で積み上がる資産です。このセクションでは、単発のテストではなく、継続的なグロースエンジンとして実験を運用する方法を説明します。

実験ループ

1. Generate hypotheses (from data, research, competitors, customer feedback)
2. Prioritize with ICE scoring
3. Design and run the test
4. Analyze results with statistical rigor
5. Promote winners to a playbook
6. Generate new hypotheses from learnings
→ Repeat

仮説の生成

複数のソースから実験バックログを供給します:

ソース	注目すべき点
アナリティクス	離脱ポイント、コンバージョンの低いページ、パフォーマンスの低いセグメント
顧客リサーチ	ペインポイント、混乱、満たされない期待
競合分析	競合が使用していて自社が使用していない機能、メッセージング、UX パターン
サポートチケット	コンバージョンフローに関する繰り返しの質問や苦情
ヒートマップ/記録	ユーザーがためらう、レイジクリックする、離脱する場所
過去の実験	「有意な敗者」のテストは、試すべき新しい切り口を明らかにすることが多い

ICE 優先順位付け

各仮説を 3 つの次元で 1〜10 のスコアを付けます:

次元	質問
インパクト	これが成功した場合、主要指標をどれだけ動かせますか?
確信度	これが成功するとどれだけ確信していますか? (直感ではなくデータに基づく)
容易さ	これをどれだけ速く安く出荷し測定できますか?

ICE スコア = (インパクト + 確信度 + 容易さ) / 3

最もスコアの高い実験から実行します。状況の変化に応じて毎月再スコアリングします。

実験のベロシティ

グロースの先行指標として実験率を追跡します:

指標	目標
月あたりのローンチ実験数	ほとんどのチームで 4〜8
勝率	成熟したプログラムでは 20〜30% が一般的 (持続的に高い率は保守的な仮説を示す可能性があります)
平均テスト期間	2〜4 週間
バックログの深さ	20 以上の仮説がキューに入っている
累積リフト	すべての勝者からの複合的なゲイン

実験プレイブック

テストが勝ったときは、単に実装するだけでなく、パターンを文書化します:

## [Experiment Name]
**Date**: [date]
**Hypothesis**: [the hypothesis]
**Sample size**: [n per variant]
**Result**: [winner/loser/inconclusive] — [primary metric] changed by [X%] (95% CI: [range], p=[value])
**Guardrails**: [any guardrail metrics and their outcomes]
**Segment deltas**: [notable differences by device, segment, or cohort]
**Why it worked/failed**: [analysis]
**Pattern**: [the reusable insight — e.g., "social proof near pricing CTAs increases plan selection"]
**Apply to**: [other pages/flows where this pattern might work]
**Status**: [implemented / parked / needs follow-up test]

時間の経過とともに、プレイブックは自社の製品とオーディエンスに固有の実証済みグロースパターンのライブラリになります。

実験の実施頻度

毎週（30分）：実施中の実験について、技術的な問題とガードレール指標を確認します。早々に勝者と判断してはいけません。ただし、ガードレール指標が大幅に悪化しているテストは中止します。

隔週：完了した実験を締めくくります。結果を分析し、プレイブックを更新して、バックログから次の実験を開始します。

毎月（1時間）：実験の実施速度、勝率、累積リフトを確認します。仮説のバックログを補充します。ICE を使って優先順位を付け直します。

四半期ごと：プレイブックを監査します。幅広く適用されているパターンはどれですか？勝ちパターンのうち、まだ展開されていないものはどれですか？ファネルのどの領域でテストが不足していますか？

---

よくある間違い

テスト設計

• 変更が小さすぎる（検出できない）
• 一度に多くのことをテストする（個別の効果を特定できない）
• 明確な仮説がない

実行

• 早期に中止する
• テスト中に変更を加える
• 実装を確認しない

分析

• 信頼区間を無視する
• 都合のよいセグメントだけを選ぶ
• 結論の出ない結果を過度に解釈する

---

タスク固有の質問

1. 現在のコンバージョン率はどのくらいですか？
2. このページにはどのくらいのトラフィックがありますか？
3. どのような変更を検討していますか？また、その理由は何ですか？
4. 検出する価値がある最小の改善幅はどのくらいですか？
5. テストに利用できるツールは何ですか？
6. これまでにこの領域をテストしたことはありますか？