trustworthy-experiments

ドメインコンテキスト

このスキルでは、実績のあるプロダクトマネジメントのフレームワークを実装します。このアプローチは、業界をリードする企業のベストプラクティスを組み合わせ、日々のPM業務で実践できるよう設計されています。

入力要件

• プロダクト、機能、または課題に関するコンテキスト
• 関連するデータ、調査、または制約（推奨されますが、任意です）
• 達成しようとしていることの明確な説明

信頼できる実験

概要

信頼できる実験は、信頼性が高く、実際の行動につながる結果を生み出すための、対照実験（A/Bテスト）の実施フレームワークです。核心となる洞察は、ほとんどの実験は失敗し、「成功」したように見える結果の多くも、実際には偽陽性であるということです。

重要な転換点は、「実験で良い結果が出たか？」から「この結果を行動に移すのに十分なほど信頼できるか？」へと考え方を変えることです。

Microsoft、Amazon、Airbnbで実験プラットフォームを構築したRonny Kohaviは、次のことを明らかにしました。

• 実験の66〜92％は、対象指標の改善に失敗します
• 実験の8％は、サンプル比率の不一致だけが原因で無効な結果になります
• 基準となる成功率が8％の場合、P値が0.05でも、**偽陽性のリスクは26％**です

使用する場面

次のような場合に、信頼できる実験を使用してください。

• 有効で実際の行動につながる結果を生むA/Bテストを設計する
• 統計的検出力を得るためのサンプルサイズと実施期間を決める
• リリース可否を判断する前に実験結果を検証する
• 社内に実験文化を構築する
• 短期的な成果と長期的な価値のバランスを取る指標（OEC）を選ぶ
• 結果が疑わしく見える理由を診断する（Twymanの法則）
• 妥当性を損なうことなく実験を迅速化する

使用しない場面

次のような場合は、対照実験を使用しないでください。

• ユーザー数が足りない — 最低でも数万人が必要です
• 意思決定が一度限りである — 合併や買収はA/Bテストできません
• ユーザーに実質的な選択肢がない — 雇用主が使用を義務付けるソフトウェアなど
• すぐに意思決定する必要がある — 実験には時間がかかります
• 指標を測定できない — 観測可能な結果がなければ、実験はできません

リソース

書籍：

• Trustworthy Online Controlled Experiments（Ronny Kohavi、Diane Tang、Ya Xu著）