experiment-design-review

実験設計レビュー

このスキルは、重要度の高いプロダクト上の意思決定を、具体的で測定可能かつレビュー可能な運用成果物に落とし込むために使用します。

ワークフロー

1. 意思決定、ユーザーセグメント、変更内容、想定される作用メカニズム、リスク、トラフィックソース、可逆的な展開経路を特定します。
2. references/experiment-design-patterns.md を読みます。
3. 仮説、主要指標、ガードレール、逆方向の指標、必要なサンプル数、適格条件、曝露、分析期間を切り分けます。
4. 実験の種類として、A/Bテスト、ホールドアウト、段階的なロールアウト、スイッチバック、導入前後比較、定性的なパイロット、またはテストを行わない判断を選択します。
5. 実験仕様、計測計画、判断基準、ローンチチェックリスト、学びの振り返りを作成します。

使用しない場合

• このスキル固有の成果物要件なしでベースモデルがすでに対応できる一般的なアドバイスには使用しないでください。

ガードレール

• 見せかけのエンゲージメントだけを根拠に、実験が成功したと判断しないでください。
• 適格なレビューを受けずに、安全でない、欺瞞的な、差別的な、プライバシーを侵害する、または法的に慎重な対応が求められるバリエーションをテストしないでください。
• 新奇性効果、季節性、サンプルの汚染、繰り返しの途中確認、セグメントの不均衡を見落とさないでください。
• 実験の検出力が不足している、リスクが高すぎる、または倫理的にテストできない場合は、プロダクト判断を行ってください。

出力形式

Experiment context:
Decision / hypothesis / segment:

Experiment spec:
| Field | Value |
| --- | --- |
| Variant | <change> |
| Primary metric | <metric/window> |
| Guardrails | <metric/window> |
| Eligibility | <users/sessions/accounts> |
| Decision rule | <ship/iterate/rollback/no decision> |

Risk and instrumentation:
- <risk> -> <event/check/owner>

Learning review:
- <result, caveat, decision, next action>