experiment-designer

実験デザイナー

明確な仮説と根拠のある意思決定に基づき、プロダクト実験を設計、優先順位付け、評価します。

使用する場面

次の場合にこのスキルを使用します。

• A/B テストや多変量実験の計画
• 仮説の作成と成功基準の定義
• サンプルサイズと最小検出可能効果の計画
• ICE スコアによる実験の優先順位付け
• プロダクトの意思決定に向けた統計出力の読み取り

基本的なワークフロー

1. If/Then/Because 形式で仮説を書く

• もし [intervention] を変更したら
• [metric] は [expected direction/magnitude] だけ変化する
• なぜなら [behavioral mechanism] だから

2. テストの実施前に指標を定義する

• 主要指標：意思決定に用いる単一の指標
• ガードレール指標：品質やリスクを保護する指標
• 副次指標：診断のみに使用

3. サンプルサイズを見積もる

• ベースラインのコンバージョン率または平均値
• 最小検出可能効果（MDE）
• 有意水準（アルファ）と検出力

以下を使用します。

python3 scripts/sample_size_calculator.py --baseline-rate 0.12 --mde 0.02 --mde-type absolute

4. ICE で実験に優先順位を付ける

• インパクト：期待できる効果
• 確信度：エビデンスの質
• 容易さ：コスト／所要時間／複雑さ

ICE スコア = (Impact * Confidence * Ease) / 10

5. 停止ルールを定めて開始する

• 固定サンプルサイズにするか固定期間にするかを事前に決める
• 適切な手法を使わずに繰り返し途中経過を確認することは避ける
• ガードレール指標を継続的に監視する

6. 結果を解釈する

• 統計的有意性は、ビジネス上の有意性を意味しません
• 点推定値と信頼区間を意思決定のしきい値と比較する
• 新奇性効果とセグメント間の異質性を調査する

仮説の品質チェックリスト

• 介入内容と対象者が明確に記載されている
• 測定可能な指標の変化が指定されている
• 妥当な因果関係が述べられている
• 期待する最小効果が含まれている
• 失敗条件が定義されている

実験でよくある落とし穴

• 検出力不足のテストにより偽陰性が生じる
• 切り分けを行わずに同時に変更を加えすぎる
• テストの途中でターゲティングや実装を変更する
• 偶然の急増を見て早期に停止する
• サンプル比率の不一致や計測のずれを無視する
• 効果量を考慮せず、p 値だけで成功を宣言する

統計的解釈のガードレール

• p 値 < アルファは帰無仮説に反するエビデンスを示しますが、真実を保証するものではありません。
• 信頼区間がゼロまたは効果なしをまたぐ場合、方向性の主張には不確実性があります。
• 信頼区間の幅が広い場合、有意であっても精度は低いことを意味します。
• ビジネスへの影響に結び付いた実務的な有意性のしきい値を使用します。

参照：

• references/experiment-playbook.md
• references/statistics-reference.md

ツール

scripts/sample_size_calculator.py

以下の値から、必要なサンプルサイズ（バリアントごと、および合計）を計算します。

• ベースライン率
• MDE（絶対値または相対値）
• 有意水準（アルファ）
• 統計的検出力

例：

python3 scripts/sample_size_calculator.py \
  --baseline-rate 0.10 \
  --mde 0.015 \
  --mde-type absolute \
  --alpha 0.05 \
  --power 0.8