19-ab-test-setup

A/B テストの設定

情報収集

ステップ 0：コンテキストを確認

.agents/product-marketing-context.md があれば読みます。

ステップ 1：ユーザーに質問

1. 何をテストしますか？（広告の見出し／ランディングページ／メールの件名／価格／CTA ボタン／動画クリエイティブ）
2. 主要指標は何ですか？（CTR／コンバージョン率／CPMess／売上／開封率）
3. ページ／広告の1日あたりのトラフィックはどのくらいですか？（必要なサンプルサイズを計算するため）
4. テストの目標は何ですか？（主要指標を X% 向上させる／最良のバージョンを見つける）

---

A/B テストの7つの原則

1. 一度にテストする変数は1つだけ

中核となるルールです。 2つの変数を同時にテストすると、どちらの変数が影響したのかわかりません。

• 悪い例：見出しと CTA と画像を変更する → 結論を出せません
• 良い例：見出しだけを変更する（A 対 B）。ほかはすべてそのままにします

唯一の例外 — 動画のフックをテストする場合です。 フックと、その直後の3〜15秒の導入部分は切り離せないセットです。フックだけを変更し、動画の残りをそのままにすると、流れが途切れて視聴維持率が急落し、結果が無意味になります。フックをテストするときは、各フックに合うよう導入部分を書き直し、テスト変数を「フック＋導入部分」と記録します。詳細：references/hook-formulas-vn.md。

2. 検証可能な仮説を立てる

形式：「[X]を行うと、指標[Y]が[Z%]上昇する」

• 良い例：「CTA を『登録する』から『無料相談を受ける』に変えると、コンバージョン率が15%上昇する」
• 悪い例：「新しいコピーのほうがよい」（具体的でなく、測定もできません）

3. 十分なサンプルサイズを確保する

テストを早期に終了してはいけません。

• 最低限：各バリアントでコンバージョン100件（訪問者100人ではありません）
• 理想：事前に計算します（下記の式を参照）

4. 十分な期間を設ける

丸1週間単位でテストします（3日間でも10日間でもありません）。曜日によって顧客の購買行動が異なるためです。

• 最低限：7日間
• 推奨：14日間

5. 早期に結果をのぞかない

毎時間結果を確認しないでください。 期間が終了し、サンプル数が十分に達するまで結果を待ちます。

• 早期にのぞいて早期に停止すると、偽陽性につながります。

6. 有意水準 > 95%

p 値が < 0.05 の場合にのみ信頼します。 そうでなければ、偶然によるものであり、あなたの変数によるものではありません。

7. 記録する

以下を記録します。

• 仮説
• 開始日／終了日
• サンプルサイズ
• 結果
• 結論

→ そうすれば、後でテスト済みの項目を再テストせずに済みます。

---

サンプルサイズの計算式

手計算したくない場合や、次に何をテストすればよいかわからず行き詰まっている場合は、references/sample-size-va-y-tuong-test.md を読んでください。計算済みのサンプルサイズ一覧、トラフィックが少なすぎる場合の打開策、各領域に応じた仮説付きのテスト案70件以上を掲載しています。

簡単な計算式

Sample size/variant =
  16 × p × (1-p) / MDE²

Trong do:
  p = Baseline conversion rate hien tai (vi du 0.02 = 2%)
  MDE = Minimum Detectable Effect (muc do thay doi toi thieu ban muon phat hien, vi du 0.2 = 20% tang)

例

現在のランディングページのコンバージョン率が3%で、20%超の変化を検出したい場合：

• p = 0.03
• MDE = 0.2 × 0.03 = 0.006（つまり、3%から3.6%への上昇）
• サンプルサイズ = 16 × 0.03 × 0.97 / 0.006² = 1バリアントあたり12,933訪問

=> 合計25,866訪問が必要です。1日あたり500訪問なら52日かかります。

現在のランディングページのコンバージョン率が10%で、20%超の変化を検出したい場合：

• p = 0.10
• MDE = 0.02（10%から12%へ）
• サンプルサイズ = 16 × 0.10 × 0.90 / 0.02² = 1バリアントあたり3,600

=> 合計7,200訪問、1日あたり500訪問なら14日です（実施可能）。

目安

1日あたりのトラフィック	コンバージョン率	必要な期間	テストすべきか
< 100訪問	任意	2か月以上	いいえ — トラフィックが少なすぎます
100-500	2-5%	3-6週間	はい。ただし、根気が必要です
500-2K	2-5%	2-3週間	はい — 理想的です
2K+	任意	1-2週間	はい — 短期間で実施できます

トラフィックが少ない場合（1日あたり < 100）→ テストはせず、まずトラフィックの増加に集中します。

---

テストすべき8つの要素（優先順）

1. 見出し

最も影響が大きい要素です。 80%の人が見出しを読み、本文を読むのは20%です → 見出しの変更による最適化は、最も小さな変化でも効果があります。

アイデア：

• 疑問形 対 断定形
• 具体的な数字 対 一般的な表現
• 成果重視 対 機能重視
• 短文（5〜7語）対 長文（12〜15語）

2. CTA ボタン

テストしやすく、変化も測定できます。 通常、5〜25%向上します。

テスト項目：

• テキスト：「登録する」対「無料相談を受ける」対「今すぐ始める」
• 色：プライマリーカラーの青 対 赤 対 オレンジ
• サイズ：標準 対 大
• 位置：ページ上部 対 ページ末尾

3. ヒーロー画像／動画

テスト項目：

• 商品画像 対 ユーザー画像
• 動画 対 静止画像
• お客様の声の動画 対 デモ動画

4. 価格表示

テスト項目：

• 299K vs 299,000 vs 299.000đ
• 割引価格の取り消し線あり vs なし
• 月払い vs 年払いの強調表示

5. ソーシャルプルーフ

テスト項目：

• 数字のみ vs 詳細なレビュー
• メディアのロゴ vs 顧客数
• お客様の声の動画 vs テキスト

6. フォームの項目

テスト項目：

• 3項目 vs 5項目 vs 7項目
• ラベルを上に配置 vs 左に配置
• 入力例のプレースホルダーあり vs なし

7. メールの件名

テスト項目：

• 質問形式 vs メリット形式
• パーソナライズ（[Ten]）あり vs なし
• 絵文字あり vs なし（ベトナムでは、絵文字なしのほうが効果的です）

8. 広告クリエイティブ

テスト項目：

• 最初の3秒のフックを変える
• UGC vs ブランド
• フォーマット：単一画像 vs カルーセル vs 動画

---

テスト変数の優先順位表

気まぐれにテストするのではなく、まず影響度、次に実施の容易さを基準に変数を選びます。

変数	結果への影響	実施難易度	優先度	主な指標
クリエイティブ — 0〜3秒のフック	非常に高い（CTRとCPMを左右）	簡単 — 最初の3秒だけを変える	1	フック率、CTR
オーディエンス／ターゲット	高い（広告を見る人を左右）	簡単 — 設定を変更	2	CPM、CPL
オファー／CTA	非常に高い（受け取る内容を左右）	中程度 — ビジネス上の判断が必要	3	CVR、CPL
ランディングページ	高い（クリック後の体験）	難しい — 開発／デザインが必要	4	CVR、直帰率
広告コピー（本文）	中程度	簡単	5	CTR、CVR
色／フォント／細部	低い	簡単	6	—

**ルール：**優先度1の変数をすべて試してから、優先度2に進みます。フックを一度もテストせずに、ボタンの色のテストに飛びついてはいけません。

---

プラットフォーム上での広告テスト手順

クリエイティブのテスト順序（順番に実施し、並行して実施しない）

回	テスト内容	方法	確認する指標
1	0〜3秒のフック	フックを3〜5種類用意し、本文とCTAは変えない — 悩み vs 好奇心 vs ソーシャルプルーフ	フック率
2	フォーマット	縦型動画 vs 静止画 vs カルーセル	CTR、CPM、CPL
3	訴求角度	メリット vs 問題 vs 変化（ビフォー・アフター）	CTR、CVR
4	長さ	15秒 vs 30秒 vs 60秒	視聴率、CTR、CPL

ターゲットのテスト枠組み

テスト	選択肢A	選択肢B
ブロード vs インタレスト	広いターゲット（システムに自動で探させる）	特定のインタレスト
インタレストA vs B	[興味・関心グループ1]	[興味・関心グループ2]
年齢	25-34	35-44
類似オーディエンス	1% LAL	3% LAL
配置	自動	フィードのみ

テストの予算と期間

項目	実用的な基準
テストに割り当てる予算の割合	総予算の30%（テスト30% · 拡大50% · リターゲティング15% · 類似オーディエンス5%）
最低予算	各バリエーションで1日あたり最低1件のコンバージョンを得られる額 — これを下回るとテスト結果を判断できません
最低期間	7日間（3日でも10日の平日でもありません）
最低サンプル数 — プラットフォーム上での広告テスト	バリエーションごとに50件のコンバージョン（またはCTRテストの場合は1,000クリック）
理想的なサンプル数 — ランディングページのテスト	バリエーションごとに100件のコンバージョン、または上記の数式で算出
早期終了	3日後に、あるバリエーションのCPLが目標の2倍を超えた場合に限り、期限前に終了できます — そのバリエーションのみを停止し、テスト全体は停止しません

サンプル数の基準が2種類あるのは意図的です。50は広告テストの実用的な基準（プラットフォームでは広告配信が継続され、その後も多くのテストを実施するため）、100はランディングページテストの理想的な基準（1回限りのテストで、修正後の再テストが難しいため）です。

---

勝者の判定基準と意思決定の手順

以下の4つすべてを満たした場合に結論を出せます

• 7日以上配信した
• バリエーションごとに50件以上のコンバージョンがある（CTRテストの場合は1,000クリック以上）
• 信頼度が95%以上（p値 < 0.05）
• 勝ったバリエーションが主な指標を15%以上改善した

判定表

結果	判定	次のステップ
明確な勝者（>= 15%、データ十分、p < 0.05）	勝者を拡大し、敗者をアーカイブします	55-scaling-ads
差が15%未満	引き分け — コントロールを維持し、別の変数のテストに移ります	優先順位マトリックスに戻る
指標が互いに矛盾している（例：BのCTRは高いが、AのCPLは良い）	最初に決めた主要指標に従い、途中で指標を変更しません	—
期間終了時にサンプル数が不十分	さらに3～7日間延長するか、「データ不足」と結論づけてログに記録します	—
両方のバリエーションがベースラインより悪い	問題はテスト中の変数にありません	21-audit-ads-performance

**今日の勝者 = 次のテストのベースラインです。**終了点はありません。各テストで、前回の勝者を新しいコントロールとして使用します。

---

テストログ — 累積テスト記録

この表は、個々のテスト結果と同じくらい重要です。6～12か月後には、ログ内のパターンから、自分の業界で実際に差を生み出す変数の種類がわかります。

#	開始日	終了日	テスト変数	コントロール（A）	バリエーション（B）	主要指標	結果	p値	改善率	アクション	学び
1							勝者 A / 勝者 B / 引き分け			拡大 / アーカイブ / 再テスト
2

ログ記録のルール

1. **失敗したテストも引き分けのテストも記録します。**失敗したテストも情報になります。効果がないとわかっているものを再度テストするのを防げます。
2. **「学び」列を空欄にしてはいけません。**何も学べなかった場合は、そのテストの設計に問題があります。
3. **四半期ごとにログを見直します。**どの種類の変数がよく勝つかを数え、次の四半期ではその種類を優先します。
4. **トラフィックが十分な場合は、最低でも月1回テストします。**テストをしなければ改善できず、同じことを繰り返すだけです。

---

トラッキングの設定

推奨ツール

ツール	用途	費用
Meta Ads A/B test built-in	広告（クリエイティブ／オーディエンス／配置）のテスト	無料
TikTok Ads Split test	TikTok広告のテスト	無料
Google Optimize（非推奨）	提供終了 — 代替ツール：VWO、Convert.com	月額$199から
PostHog	プロダクト機能、ランディングページのテスト	無料プランで十分
Unbounce / Instapage	ランディングページ向けの組み込みA/Bテスト	月額$90以上
手動（URL分割）	シンプルな方法。URLリダイレクトを50/50に分割	無料

簡単な設定（ツールなし）

1. Tao 2 phien ban landing page: /page-a va /page-b
2. Split traffic 50/50:
   - Qua Meta Ads: 2 ad set cung audience, khac link dich
   - Qua Google Ads: 2 ad cung traffic, khac link
   - Qua organic: dung URL rewrite (rare)
3. Tracking conversion rieng tung page:
   - Meta Pixel: event "Lead" voi custom parameter "page_version" = A/B
   - GA4: UTM campaign=test-header, utm_content=a/b
4. Sau 14 ngay + du sample, export data

---

結果の分析

有意性の計算（p値）

オンライン計算ツールを使用します： https://www.evanmiller.org/ab-testing/chi-squared.html

入力：

• バリエーションA：訪問者数 + コンバージョン数
• バリエーションB：訪問者数 + コンバージョン数

出力：

• p値：0.05未満なら有意（信頼度95%）
• 改善率：何%増加したか

結論

p値	改善率	結論
< 0.05	> 5%	Bの勝利 — Bを実装します
< 0.05	< 5%	有意だが差は小さい — コストを検討します
0.05-0.10	> 10%	境界的な結果 — テストを延長します
> 0.10	任意	有意ではありません — Aを維持するか、テストを続けます

よくある落とし穴

1. **早い段階で結果を確認して停止する。**テスト期間が短いと、結果は偶然に左右されます。
2. **サンプルが均等でない。**50/50ではなく30/70に分割されている場合は、トラッキングに問題がないか確認します。
3. **季節性。**日曜日のT6と月～火曜日のT2～T3では条件が異なります。必ず丸1週間テストします。
4. **新奇性効果。**新しいバージョンは最初の2～3日間は注目を集めますが、その後は元に戻ります。

---

出力テンプレート

# A/B Test: [Ten test]
Ngay tao: [YYYY-MM-DD]
Chu so huu: [Ten nguoi]

## 1. Gia thuyet
"Neu [thay doi X], [metric Y] se tang [Z%]"

## 2. Bien test
- Variant A (Control): [Mo ta hien tai]
- Variant B (Challenger): [Mo ta thay doi]
- Chi thay doi: [1 thing]

## 3. Metric
- Primary: [VD: Conversion rate]
- Secondary: [VD: Bounce rate, Time on page]

## 4. Sample size & Duration
- Baseline: [p = %]
- MDE: [% change muon phat hien]
- Sample/variant: [so]
- Traffic/ngay: [so]
- Thoi gian can: [so ngay]

## 5. Setup
- Tool: [Ten]
- URL A: [...]
- URL B: [...]
- Tracking: [Meta Pixel / GA4 / PostHog events]
- Split: 50/50 (hoac khac ghi ro)

## 6. Timeline
- Start: [ngay]
- End: [ngay]
- Review: [ngay]

## 7. Ket qua (dien sau khi ket thuc)
| Variant | Visitors | Conversions | Rate | Uplift vs A |
|---------|----------|-------------|------|-------------|
| A | | | | — |
| B | | | | +X% |

p-value: [x]
Significant (p<0.05): [Yes/No]

## 8. Ket luan
[B thang / A thang / Khong significant]

## 9. Hanh dong
[Implement / Test tiep / Rollback]

## 10. Bai hoc
[Dieu hoc duoc → ap dung cho test sau]

---

品質チェックリスト

• 1つの変数だけをテストする
• 具体的な数値（%）を含む仮説がある
• サンプルサイズが十分である（各バリエーションにつき最低100コンバージョン）
• 期間が十分である（最低1週間、理想は2週間）
• 早期に途中経過を確認しない
• 結論を出す前に p 値が 0.05 未満である
• 成功・失敗を問わず結果を記録する
• トラフィックが十分にある場合、月に最低1回テストする
• テストする変数は優先順位マトリクスに基づいて選ぶ — フックをテストする前に細かな要素だけをテストしない
• クリエイティブのテストは正しい順序で行う：フック → フォーマット → 視点 → 長さ
• テスト予算は総予算の30%以内に収め、各バリエーションで1日あたり1件以上のコンバージョンを得られるだけの額を確保する
• 実施前に主要指標を決定する — 途中で指標を変更しない
• 勝者と呼ぶには、15%以上の改善が必要である
• テストログに記録し、「学び」欄を空欄にしない