brainstorm-experiments

実験設計エキスパート

概要

本格的な開発に着手する前に、製品に関する仮説を検証するための、迅速で低コストな実験を設計します。このスキルでは、新製品と既存製品の両方を対象としたリーンな実験手法とともに、Alberto Savoiaのプレトタイピングの哲学（「正しく作る前に、作るものが正しいことを確認する」）を取り入れます。

主な機能

• XYZ仮説 — すべてのテストを「Yのうち少なくともX％がZをする」という形式で設定し、合格／不合格の基準を事前に定めます。
• SITG + YODAの原則 — アンケートやベンチマークよりも、当事者意識が表れるシグナル（お金、時間、評判）と、自分自身のデータを優先します。
• 手法の選定 — ランディングページ、解説動画、事前注文、コンシェルジュMVP（新製品向け）；フェイクドア、機能スタブ、A/Bテスト、ウィザード・オブ・オズ、アプリ内アンケート（既存製品向け）。
• 5ステップのプロセス — 仮説、手法、指標／基準、期間を定めた実施、評価（合格／不合格／判定不能）。
• 自動設計 — experiment_designer.py が、各仮説について指標、基準、工数、期間を含む2～3件の実験を提案します。

使用する場面

• 製品や機能についてのアイデアや仮説があり、低コストで検証したい場合。
• 表明された好みだけでなく、支払い意欲や本物のユーザーの関心をテストしたい場合。
• 状況に合った実験手法（新製品向けか既存製品向けか）を選ぶ必要がある場合。

最初に確認すること

実験を設計する前に、以下の情報を確認してください。不明な点や曖昧な点があれば、推測せずに質問してください。

• 検証する仮説 — 「Yのうち少なくともX％がZをする」という形式で具体的に記述した信念（hypothesis_text と合格／不合格の基準を決めます）
• 製品の種類 — 新製品か既存製品か（手法カタログを選択します：ランディングページ／事前注文／コンシェルジュ、またはフェイクドア／機能スタブ／A/Bテスト）
• 対象セグメント — 仮説における「Y」が誰を指すか（指標とテストの対象者を決めます）
• 利用可能なSITGシグナル — 予算やツールを踏まえて、どのような当事者意識が表れるシグナル（お金、時間、評判）を取得できるか（現実的な手法を絞り込みます）

中断ルール：出力に最も影響する2～3項目だけを質問してください。ユーザーが「とにかく草案を作って」と言った場合は、作業を進め、成果物の冒頭に前提を列挙してください。

クイックスタート

python3 scripts/experiment_designer.py --demo            # built-in sample (3 hypotheses)
python3 scripts/experiment_designer.py input.json        # design experiments for your hypotheses
python3 scripts/experiment_designer.py input.json --format json

各仮説には hypothesis_text、target_segment、product_type（new／existing）が必要です。各実験は assets/experiment_plan_template.md を使って記録してください。

プロトタイプを先行させる実験

AIアプリビルダー、AIデザインツール、AIコーディングアシスタントを使えば、数時間でクリック可能なプロトタイプや動作するプロトタイプを作成できます。XYZ仮説と事前に定めた基準を用いる、もうひとつの実験手法として扱ってください。

• 適用する場面 — 最もリスクの高い前提が、特定のインタラクションの使いやすさや望ましさである場合に使用します。需要（「そもそも、これを欲しがる人はいるのか？」）を検証する場合は、ランディングページ、フェイクドア、事前注文のほうが、依然として低コストで誠実な方法です。
• テスト方法 — 対象ユーザー5～8人に、スクリプト化されたタスクを実施してもらいます。お世辞ではなく、タスクの成功率とエラーを測定してください。プロトタイプであることを明確に伝えてください。
• データの保護 — 合成データを使用してください。承認なしに、顧客の個人を特定できる情報をサードパーティ製ツールに読み込ませないでください。
• 結果の記録 — assets/experiment_plan_template.md に結果を記録し、検証済みの結果を execution/create-prd/（プロトタイプ先行パス）に引き継いでください。PRDでは引き続き、課題、指標、制約、対象外事項、リスクを管理します。

参考資料

タスクに合った参考資料を読み込み、ファイルを簡潔に保ち、必要なときに詳細を参照してください。

• references/methodology-and-tools.md — XYZ／SITG／YODA の原則、新規および既存製品向けの実験タイプ一覧、5 ステップのプロセス、experiment_designer.py の使用方法とフラグ、出力テンプレート、トラブルシューティング、成功基準、参考文献を掲載しています。実験の設計やスクリプト作成時に参照してください。
• references/experiment-methods.md — Savoia のプレトタイピング・マニフェストとプレトタイプの種類、リーン実験の全カタログ（発見と検証）、指標選定ガイド、しきい値設定のフレームワーク、サンプルサイズの経験則、よくある 8 つの落とし穴を掲載しています。手法を詳しく調べる際に参照してください。
• references/red-flags.md — アンチパターン（確証バイアスのある設計、事前に設定されていないしきい値、虚栄指標、途中経過の確認）と、悪い／良い実験仕様を掲載しています。実験の実施前に参照してください。

対象範囲と制限事項

対象範囲： XYZ 仮説の策定と検証、新規製品（ランディングページ、予約注文、コンシェルジュ、解説動画）および既存製品（フェイクドア、機能スタブ、A/B テスト、Wizard of Oz、アプリ内アンケート）向けの実験手法の選定、仮説のキーワード分析に基づく実験設計の自動化、指標の選定、成功しきい値の定義、労力と期間の見積もり。

対象外： 統計的検出力分析やサンプルサイズの計算（専用の A/B テストプラットフォームを使用してください）、実験インフラの設定（機能フラグ、分析の計測）、実際の実験の実施（このスキルは設計を行いますが、実行はしません）、長期的な製品戦略やロードマップの決定（execution/outcome-roadmap/）。

重要な注意事項： プレトタイピングで検証できるのは需要と価値であり、ユーザビリティやパフォーマンスではありません。アプリ内アンケートは SITG のシグナルとして最も弱いため、行動実験が現実的でない場合にのみ使用してください。このツールのキーワードとシグナルの照合はヒューリスティックです。ドメイン知識からより適切な手法が分かる場合は、そちらを優先してください。

連携ポイント

連携	方向	説明
brainstorm-ideas/	受け取る	生成されたアイデアは、実験設計の仮説になります
identify-assumptions/	受け取る	「今すぐテスト」の前提は、このスキルの仮説になります
pre-mortem/	連携先	実験結果は、本格的な構築の前に行うプレモーテムのリスク評価に役立ちます
execution/create-prd/	連携先	検証済みの仮説は、エビデンス付きの PRD の前提になります
execution/brainstorm-okrs/	連携先	実験指標は、OKR の主要な成果になる場合があります
execution/outcome-roadmap/	連携先	実験結果は、Now／Next／Later のロードマップ上の配置に役立ちます