product-experimentation

プロダクト実験

前提のマッピングから、手法の選定、計測の導入、ガードレールの適用、プロダクトロードマップを更新する意思決定の結果報告まで、エンドツーエンドでプロダクト実験を行います。実験ワークフロー全体を担当し、統計設計とロールアウトの仕組みについては専門スキルに委ねます。

パイプライン

ASSUMPTIONS → [HYPOTHESIS] → [METHOD SELECT] → [INSTRUMENT] → [RUN] → [DECIDE] → [RECORD]
                  |                |                |           |          |           |
             Experiment       Qualitative       Tracking     Guardrail   Decision    Readout
               brief          Prototype          plan         monitor     rules      learning
                              Operational
                              Quantitative

読み込みガイド

タスクに関連するリファレンスまたはテンプレートだけを読み込んでください。すべてのファイルを一度に読み込まないでください。

ファイル	読み込むタイミング
references/discovery-brief.md	実験の概念が各スキルにどう対応するか、またこのスキルの境界がどこにあるかを把握する必要がある場合
references/method-selection.md	定性的、プロトタイプ、運用、定量の各テスト手法から選ぶ場合
references/guardrails-and-ethics.md	ガードレール指標、倫理的な境界、停止ルール、意思決定の責任者を定義する場合
references/experiment-readout.md	ロードマップまたは意思決定記録を更新する、意思決定への影響を示す結果報告を作成する場合
templates/experiment-brief.md	前提から構造化された実験概要を作成する場合
templates/assumption-map.md	実験を設計する前に、前提をリスク、エビデンス、検証可能性に対応づける場合
templates/guardrail-and-decision-rule.md	実験のガードレール、停止ルール、意思決定基準を記録する場合
templates/readout-learning-entry.md	実験結果を記録し、ロードマップ、意思決定ログ、またはライフサイクルのエビデンスを更新する場合

作業方法

1. 前提をマッピングする

提案された変更の根拠となる前提を洗い出します。それぞれについて、リスク（誤っていた場合に何が破綻するか）、エビデンスの強さ（すでにどのようなエビデンスがあるか）、検証可能性（検証できるか、またどの程度低コストでできるか）を分類します。templates/assumption-map.md を使用してください。

2. 仮説に変換する

最もリスクが高く、エビデンスが最も少ない前提を、反証可能な仮説に変換します。各仮説では、独立変数（何を変更するか）、従属変数（どの結果を測定するか）、予測する方向、意味のある最小効果を示します。templates/experiment-brief.md を使用してください。

3. 適切な手法を選ぶ

十分な確信度で仮説を反証できる、最も簡易な手法を選びます。最も簡易なものから順に並べた手法の段階は次のとおりです。

手法	最適な用途	コスト	統計的厳密性
定性的インタビュー	未知の未知を発見する、メンタルモデルを把握する、課題を検証する	最低	なし（記述的）
プロトタイプテスト	インタラクションフロー、ユーザビリティ、コンセプトの検証	低	なし（観察的）
コンシェルジュテスト	価値の提供、支払い意欲、運用上の実現可能性	低〜中	なし（手動）
フェイクドア	需要のシグナル、クリックやコミットの意欲	中	低（コンバージョン率のみ）
フィーチャーフラグ	運用上の安全性、段階的なロールアウト、キルスイッチ	中	中（制御されたロールアウト）
A/Bテスト	特定の変更が指標に与える因果関係の特定	高	高（ランダム化比較試験）

A/Bテストをデフォルトにしないでください。手法の段階の最初から始め、その段階では問いに答えられない場合にのみ次の段階へ進みます。定性的インタビューやプロトタイプテストが適切な場合はよくあります。手法選定の詳細なガイダンスは references/method-selection.md にあります。

4. 計測、ガードレール、倫理を定義する

実験を実施する前に、以下を定義します。

• 計測：追跡する指標、その算出方法、および利用可能なツールで測定できることを明確にします。測定契約については product-analytics-and-measurement に引き継ぎます。
• ガードレール：主要な結果にかかわらず実験を停止できる、必須の安全指標です。最低限、エラー率、レイテンシー／性能低下、およびドメイン固有の有害性指標を含めます。すべての実験で、少なくとも1つのガードレール指標を指定する必要があります。references/guardrails-and-ethics.mdを参照してください。
• 倫理的境界：ユーザーの同意、データの最小化、脆弱な集団への配慮、および機関審査との整合性を検討します。倫理に関するすべての判断を記録します。
• 停止ルール：ガードレールへの抵触、十分なエビデンスの獲得、または期間上限への到達など、実験を早期に停止する条件を定めます。
• 意思決定の責任者：実施可否を誰が判断するか、また、どのような情報（統計的エビデンス、ガードレールのエビデンス、定性的なシグナル、実務上の制約）を考慮するかを定めます。

これらの記録にはtemplates/guardrail-and-decision-rule.mdを使用します。

5. 露出と期間を決定する

対象集団、割り当て、最小検出効果を定義します。統計設計（検出力分析、サンプルサイズの算出、推定量の選択）は../data-scientist/SKILL.mdに引き継ぎます。検出力が不十分な実験、つまり重要となる最小の効果を検出できない実験は、妥当性の欠如に当たります。検出力が不十分なテストで帰無結果が得られても、それを根拠にリリースしてはいけません。

6. 実施してモニタリングする

実験を実施します。ガードレールを継続的にモニタリングします。本番環境への展開方法（機能フラグ、カナリア段階、段階的デリバリー）は../release-engineering/SKILL.mdに引き継ぎます。

7. 判断する

統計的有意性だけに頼らず、複数の基準を用いて実施可否を判断します。

基準	重要度	情報源
統計的エビデンス	必須	data-scientist
実務上の有意性	必須	効果は重要といえるほど大きいか？
ガードレールのエビデンス	拒否条件	すべてのガードレールを満たす必要があります
定性的なエビデンス	参考情報	ユーザーからのフィードバック、サポートチケット
可逆性	参考情報	間違っていた場合に元に戻せるか？
機会費用	参考情報	代わりにほかに何を構築できるか？

統計的に有意な結果でも、ガードレールを満たさない場合はリリース不可です。統計的に有意な結果でも、権限の境界（安全性、コンプライアンス、倫理など）を超える場合はリリース不可です。判断とその根拠を記録します。

8. 結果を記録する

得られた学びと、その結果として変わったことを記録します。結果の記録は、プロダクトロードマップ、バックログ、意思決定ログ、またはライフサイクルのエビデンスを更新します。引き継ぎ先：product-roadmapping-and-portfolio（ロードマップの更新）、product-adoption（採用のエビデンス）、product-lifecycle-learning（保持される学び）。templates/readout-learning-entry.mdとreferences/experiment-readout.mdを使用します。

トリガー条件

以下の場合にこのスキルを読み込みます。

• プロダクト実験の設計、実施、または判断を行う場合
• 定性的テスト、プロトタイプテスト、運用テスト、定量テストの手法から選ぶ必要がある場合
• 構築に着手する前に検証が必要な仮説がある場合
• 実験のガードレール、停止ルール、または判断基準を定義する必要がある場合
• 実験結果を解釈し、実施可否を判断する必要がある場合
• プロダクトの方向性を更新する実験結果を記録する必要がある場合

使用しない場合

• 統計的な設計（検出力分析、推定量の選択、有意性検定の詳細）— data-scientist に引き継ぎます。このスキルでは問いを整理して手法を選択し、統計的な手法の実務は data-scientist が担当します。
• 本番環境へのロールアウトの仕組み（フィーチャーフラグのインフラ、カナリア段階、CD パイプラインとの統合）— release-engineering に引き継ぎます。このスキルでは実験設計を定義し、安全なデリバリーは release-engineering が担当します。
• ユーザー調査とユーザビリティテスト — インタラクションに焦点を当てた調査については、product-design-and-ux に引き継ぎます。
• 価格設定に特化したテスト — 価格弾力性、支払い意思、価格ページの実験については、financial-modeling に引き継ぎます。
• オポチュニティ・ソリューション・ツリーの構築 — 実験を行う前に顧客ニーズと開発判断をつなげるには、product-methodology に引き継ぎます。
• 分析計測の実装のみ（トラッキング計画の設計、イベント分類、指標の定義）— 計測要件については product-analytics-and-measurement に引き継ぎます。

移植性

このスキルは、特定のホストに依存しないよう意図的に設計されています。プロファイルシステム、出力形式、スクリプト、外部サービスは必要ありません。ホストエージェントで通常使用するファイル読み込み方法を使って、参照資料とテンプレートをパスから直接読み込んでください。