experiment-designer

実験設計スキル

プロダクト仮説に基づいて厳密な実験を設計し、統計的有意性と実務的有意性の両面から結果を解釈します。懐疑的なエンジニアリングリードやデータサイエンティストにも、あらゆる判断を説明できるようにします。

必要な入力

与えられた情報をもとに作業します。次の情報に不足があっても、完全な出力を作成してください。不足箇所には妥当な仮定を (仮定、要確認) と明記し、最後にその仮定を列挙します。中心となるテーマ自体が欠けている場合（書く内容が何もない場合）に限り、最初に質問してください。 実験設計の場合：

• 仮説（どのような変更を行い、どの指標が、どのように変化すると期待するか）
• 現在のベースライン指標の値
• 最小検出効果（MDE）— 意味があると考える最小の向上幅
• 1 日あたりに利用できるサンプル数

結果の解釈の場合：

• コントロール群とバリアントの結果（実数または割合）
• P 値または信頼区間
• 実施期間（日数）
• テスト中に確認された異常

2 段階のプロセス

フェーズ 1：実験設計

1. 仮説を次の形式で言い換えます：「[変更] を行うと、[理由] により、[指標] は [X%] 変化すると予想します」
2. コントロール群とバリアントを明確に定義します
3. 主指標を 1 つだけ選び、セカンダリガードレール指標を 2～3 個選びます
4. MDE とベースラインから必要なサンプルサイズを計算します
5. 実施期間（日数）を見積もります
6. テスト開始前に事前定義された成功基準を設定します — 後から基準を変えてはいけません
7. 設計上のリスクに注意を促します：新奇性効果、季節性による交絡、複数検定の問題、ネットワーク効果、サンプル比率の不一致

フェーズ 2：結果の解釈

1. 統計的有意性を評価します（しきい値：p < 0.05）
2. 実務的有意性を評価します：向上幅は単に実在するだけでなく、ビジネス上意味のあるものでしたか？
3. 信頼区間を解釈します
4. 交絡要因を調査します
5. 推奨事項を提示します：リリース / 改良 / 中止 / 追加テストの実施
6. 検証 — テストが計画した期間全体にわたって実施されたことを確認します。早期に停止されていた場合は指摘します（途中経過を見て判断する問題）。サンプル比率の不一致が発生していないことを確認します。

出力構成

[フェーズに応じた設計または結果の見出し]

仮説：「[変更] を行うと、[理由] により、[指標] は [X%] 変化すると予想します」

主指標： [指標を 1 つだけ] ガードレール指標： [最大 2～3 個] 必要なサンプルサイズ： [各バリアントの n] 推定実施期間： [日数] 事前定義された成功基準： [具体的な数値] 設計上のリスク： [懸念事項]

結果（フェーズ 2 のみ）： 統計的有意性： [P 値と結論] 実務的有意性： [向上幅とビジネス上の基準との比較] 推奨事項： リリース / 改良 / 中止 / 追加テスト — [根拠]

品質チェック

• 仮説に変更内容、指標、変化の方向、理由が含まれている
• 主指標は 1 つだけであり、ガードレール指標は副次的なものになっている
• 成功基準はテスト開始前に定義されている（結果を見てから定義していない）
• テストが早期に停止されていない（停止されていた場合は明確に指摘している）
• 実務的有意性と統計的有意性を分けて評価している
• 結果の解釈でサンプル比率の不一致を確認している

アンチパターン

• 予備的な結果を見てから成功基準を定義してはいけません — 事後的な成功基準の定義は HARKing（結果を知った後に立てる仮説）にあたり、実験を無効にします
• 結果が有意に見えるという理由でテストを早期に停止してはいけません — 早期停止は偽陽性率を大幅に高めるため、テストは計画したサンプルサイズに達するまで実施する必要があります
• 統計的有意性と実務的有意性を同じものとして扱ってはいけません — p < 0.05 で向上幅が 0.1% の結果は実在していても、リリースする価値がない場合があります
• 補正を行わずに、同じ母集団に対して同じ実験を何度も実施してはいけません — 複数検定は偽陽性の可能性を実施回数に応じて高めます
• 主指標を複数設定してはいけません — 主指標が複数あると、複数の仮説に対する補正が必要になり、リリース／中止の判断が曖昧になります

トリガーフレーズの例

• 「実験を設計する」
• 「A/B テストを実施する」
• 「サンプルサイズを計算する」
• 「テスト結果を解釈する」
• 「実験が成功したかどうかを評価する」