experiment-design

実際に何かを証明できる実験を設計しましょう。多くの A/B テストが失敗するのは、曖昧なアイデアを検証したり、期間が短すぎたり、結果を途中で確認したりするためです。適切に設計された実験には、明確な仮説、十分な検出力、事前に確定した分析計画があります。

仮説のテンプレート

実験を始める前に、必ず仮説を文書化します。

「[この対象者]に対して[この具体的な変更]を行うと、[根拠に基づく理由]から、[この指標]は[この方向]に[この程度]変化する。」

例：

「新規登録者向けに、5 ステップのオンボーディングウィザードを、最初のプロジェクトを作成するための単一のガイド付きフローに置き換えると、7 日後のアクティベーション率は 23％から 35％に上昇します。インタビューしたユーザー 6 人中 4 人が、『最初にすべて設定する』のではなく『すぐに使い始めたい』と答えたためです。」

すべての要素が重要です。

• 具体的な変更：「オンボーディングを改善する」ではなく、何を変更するのかを明確にします
• **対象者：**誰に表示しますか？新規ユーザーだけですか？無料プランのユーザーだけですか？
• **指標＋方向＋程度：**測定する数値です
• **理由：**証拠に基づく理由です。証拠がなければ、実験は行いません。

実験の設計

1. 主要指標

実験で変化させる指標は 1 つです。3 つではありません。追加の指標はガードレールです。

2. ガードレール指標

悪化させてはならない指標です。これにより、ほかの何かを壊して「勝つ」ことを防ぎます。

3. サンプルサイズ

実験を始める前に計算します。サンプルサイズ計算ツールでは、次の値を使用します。

• ベースラインのコンバージョン率（現在の数値）
• 最小検出可能効果（検討に値する最小の変化）
• 統計的有意水準（標準は 95％）
• 検出力（最低 80％）

ユーザーが 50,000 人必要で、週に 500 人しか得られない場合、実験に 100 週間かかります。MDE を引き上げるか、実験を行わないでください。

4. 期間

曜日による影響を捉えるため、少なくとも 1 回の完全なビジネスサイクル（通常、最低 1～2 週間）にわたって実施します。7 日未満で実施してはいけません。

5. 分析計画

実験の開始前に、どの指標を測定するのか、どのしきい値を使うのか、勝ち・負け・結論が出ない場合に何をするのかを記述します。事前に決めておくことで、事後的な後付け説明を避けます。

よくある間違い

• **途中確認：**毎日結果を確認し、有意差が出た時点で終了することです。偽陽性率が上昇します。実施期間を設定し、終了するまで途中確認しないでください。
• **検出力不足のテスト：**意味のある効果を検出するにはユーザー数が少なすぎる状態でテストを実施することです。結果は「結論が出ない」となり、何も学べません。
• **一度に多くのことをテストすること：**5 つの要素を同時に変更すると、何が効果をもたらしたのかわかりません。実験ごとに変更は 1 つにします。
• **ガードレールがないこと：**パスワード欄を削除して登録数を増やせたとしても、ほかのすべてを壊してしまいます。
• **事後的な後付け説明：**テストでは結論が出なかったのに、「25～34 歳のグループに興味深い傾向が見られた」とすることです。それはシグナルではなくノイズです。

ガイドライン

• 重要：何かを構築する前に、仮説と分析計画を記述してください。何を検証し、どのように判断するかを明確にできない場合は、まだ準備ができていません。
• 事前に定めた終了日より前に、結果を確認してはいけません。14 日間のテストで 3 日目に統計的有意差が出ても、意味はありません。
• 必要なサンプルサイズを事前に計算せずに実験を行ってはいけません。
• 必ずガードレール指標を含めてください。主要指標が向上しても、リテンションが大きく低下すれば成功ではありません。
• 実験ごとに、主要な変更を 1 つより多くテストしてはいけません。変数を切り分けてください。
• 結論が出なかったテストから得た学びを必ず記録してください。「ユーザー 5,000 人では効果を検出できなかった」ことも有用な情報です。効果が小さいか、存在しない可能性を示唆します。

---

統制実験の手法（Kohavi, Tang, Xu）に基づいています。productskillsでスキルを確認できます。