ab-test-designer

ドメインの背景

このスキルは、実証済みのプロダクトマネジメントフレームワークを実装しています。このアプローチは、業界をリードする企業のベストプラクティスを組み合わせ、日々のPM業務で実践的に活用できるよう設計されています。

入力要件

• プロダクト、機能、または課題に関するコンテキスト
• 関連データ、調査結果、または制約（推奨ですが任意です）
• 達成したいことを明確に説明した内容

A/Bテストの設計

使用する場面

• 新機能やデザインのバリエーションをテストするとき
• 全面的な展開の前に仮説を検証するとき
• コンバージョン率や主要指標を最適化するとき
• 複数のデザイン案から選択するとき
• 変更についてデータに基づく判断が必要なとき

このスキルでできること

明確な仮説、成功指標、サンプルサイズの計算、分析計画を含む、厳密なA/Bテストの設計を支援します。

手順

[機能／変更]のA/Bテストを設計してください。次の項目を含めてください。

1. 仮説

   • 現状と指標
   • 提案する変更
   • 期待される影響とその理由

2. テスト設計

   • 主要な成功指標
   • 副次指標
   • 必要なサンプルサイズ
   • テスト期間
   • 対象に含める／除外するユーザーセグメント

3. バリエーション

   • コントロール（A）：現在のエクスペリエンス
   • バリエーション（B）：新しいエクスペリエンス
   • その他のバリエーション（C、Dなど）

4. リスクと統制

   • 想定される悪影響
   • ガードレール指標
   • テストを早期終了するタイミング

5. 分析計画

   • 統計的有意性の基準
   • エッジケースへの対処方法
   • 判断基準

機能のコンテキスト： [テストしたい変更についてのコンテキストを追加してください]

ベストプラクティス

• 明確で反証可能な仮説から始めます
• 多重比較の問題を避けるため、主要指標は1つにします
• 期待される効果量に基づいて、事前にサンプルサイズを計算します
• 曜日の影響を考慮するため、テストは週単位のサイクルを最後まで実施します
• 最低テスト期間（通常1～2週間）を設定します
• テスト開始前に成功基準を定めます
• ガードレール指標（収益、エラー、パフォーマンス）を監視します

例

入力： 現在の3ステップのプロセスと新しいオンボーディングフローをテスト 出力： 仮説（新しい1ステップのフローによってコン...