experiment-design-kit

実験設計キットスキル

使用する場面

• 生のアイデアを、明確な成功指標を伴う検証可能な仮説に落とし込むとき。
• 実験概要にガードレール、計測設定、ロールアウトの詳細が含まれていることを確認するとき。
• 複数バリアントまたは複数サーフェスのテストに関するベストプラクティスをポッドに指導するとき。

フレームワーク

1. 問題の定義 – ユーザーの問題、ビジネスへの影響、ノーススターメトリクスを定義します。
2. 仮説の構成 – 前提条件を含め、「Y のペルソナに X を実施すれば、Z の変化が期待できる」という形にします。
3. 測定計画 – 主要指標、ガードレール、最小検出効果、検出力の計算。
4. バリアント戦略 – コントロールの定義、バリアントカタログ、ターゲティング、除外ルール。
5. 運用計画 – 担当者、スケジュール、依存関係、QA／ロールバック手順。

テンプレート

• 実験概要（コンテキスト、仮説、設計、指標、ローンチチェックリスト）。
• 閾値とアラートルールを含むガードレール一覧。
• サーフェス、メッセージ、状態のバリアントマトリクス。
• GTM Agents Growth Backlog Board – アイデアの記録 → 規模の見積もり → 優先順位スコアの算出（ICE／RICE） @puerto/README.md#183-212。
• Weekly Experiment Packet – KPI ガードレール、定性的なメモ、Marketing Director と Sales Director に向けた次の施策を含みます。
• Rollback Playbook – ライフサイクルマッピングの緊急停止手順に紐付いた、事前作成済みのチェックリスト。

ヒント

• 局所最適を避けるため、反対指標を用いて仮説を厳しく検証します。
• 構築時の手戻りを避けるため、データ上の制約を早い段階で文書化します。
• ローンチ前の承認を確実にするため、guardrail-scorecard と組み合わせます。
• GTM Agents の運用サイクルを適用します：月曜日にバックログを整理、水曜日に構築レビュー、金曜日に学びを共有します。
• 構築を承認する前に、各段階（アクティベーション、エンゲージメント、収益化）で KPI ガードレールを設定します。
• テストによって Sales の営業速度が損なわれるおそれがある場合は、GTM Agents のガバナンスに従い、承認経路に Sales Director を含めます。

GTM Agents の実験運用モデル

1. バックログの受付 – アイデアは GTM ポッドから寄せられます。Growth Marketer がテーマ、目的、期待される影響をタグ付けします。
2. 優先順位付け – RICE に定性的な「戦略適合性」の補正を加えてスコアを付け、週ごとに上位 3 件の施策を選定します。
3. 設計と計測設定 – Serena／Context7 を参照してコードにパッチを適用し、ドキュメントを確認します。
4. ローンチと監視 – guardrail-scorecard を使用して先行指標（解約、苦情、レイテンシ）を監視します。
5. 学習ループ – Sequential Thinking を使って振り返りを行い、仮説、結果、判断、フォローアップをバックログカードに記録します。

KPI ガードレール（GTM Agents リファレンス）

• Tier-1 セグメントのアクティベーション率の変化は、ベースラインの ±3% 以内に収める必要があります。
• 訪問者あたりの収益は、48 時間を超えて 2% 以上低下してはなりません。
• 実験のバリアントに関連するサポートチケットは、総件数の 5% 未満に維持する必要があります。

Weekly Experiment Packet の概要

Week Ending: <Date>

1. Portfolio Snapshot – tests live, status, KPI trend (guardrail vs actual)
2. Key Wins – hypothesis, uplift, next action (ship, iterate, expand)
3. Guardrail Alerts – what tripped, mitigation taken (rollback? scope adjust?)
4. Pipeline Impact – SQLs, ARR influenced, notable customer anecdotes
5. Upcoming Launches – dependencies, owners, open questions

GTM Agents の部門横断的なコミュニケーションのリズムに合わせて、Growth、Marketing Director、Sales Director、RevOps にパケットを共有します。

---