product-analytics-and-measurement

プロダクト分析と測定

意図したプロダクトの成果を、観測可能でガバナンスの効いたエビデンスに変えるための専用の運用方法です。このスキルでは、指標ツリーや先行指標・遅行指標を通じて成功の定義を行うところから、イベント分類とトラッキング計画を通じて成功の追跡方法を定めるところ、さらに計測設定が実際に想定どおりのデータを取得しているかを検証するところまで、測定のライフサイクル全体を扱います。

読み込みガイド

次のいずれかに該当するタスクでは、このスキルを読み込みます。

トリガー	読み込むもの
プロダクトの成果、North Star、または成功指標を定義する	SKILL.md + references/metric-tree.md
イベント分類またはトラッキング計画を設計する	SKILL.md + templates/tracking-plan.md
計測設定の品質を監査または QA する	SKILL.md + templates/instrumentation-qa-checklist.md
プロダクトファネル、パス分析、またはコホート定義を構築する	SKILL.md + references/metric-tree.md
ダッシュボードの契約または測定ガバナンスを設定する	SKILL.md + templates/outcome-review.md
チーム間で競合する指標定義を解決する	SKILL.md + references/discovery-brief.md（責任範囲）
プライバシーに配慮した測定戦略を設計する	SKILL.md

使用する場面

• プロダクト（SaaS、社内ツール、公共サービス、または消費者向け製品）の測定可能な成果、指標ツリー、先行指標・遅行指標を定義する必要がある場合。
• イベント、プロパティ、ID 解決、セッション境界、データ品質ルール、責任者を定めるトラッキング計画が必要な場合。
• 既存の計測設定が信頼できるデータを生成しているかを検証する必要がある場合。
• 指標定義、データソース、更新頻度、責任者を確定するダッシュボードの契約が必要な場合。
• 測定結果を意思決定に結び付ける、プロダクト成果レビューの実施頻度を定める必要がある場合。

使用しない場面

このスキルは、次のものを置き換えるものではありません。

• データアーキテクチャ — スキーマ設計、ストレージの選定、インフラレベルのデータモデリングは ../data-architect/SKILL.md の対象です。
• データエンジニアリング — パイプラインの実装、ETL/ELT、dbt モデル、運用レベルのデータ品質モニタリングは ../data-engineering/SKILL.md の対象です。
• 統計的推論 — 実験設計、仮説検定、因果推論、モデル選択は ../data-scientist/SKILL.md の対象です。
• オブザーバビリティ — システムの健全性、レイテンシ、エラーバジェット、インフラのモニタリングは ../site-reliability-engineering/SKILL.md の対象です。
• ビジネスインテリジェンス — ダッシュボードの作成、レポートの生成、それ自体を目的とするデータの可視化。このスキルが定めるのは、BI にデータを供給する測定の契約と指標定義であり、BI レイヤーそのものではありません。

また、このスキルは普遍的なベンチマークのしきい値も規定しません。出力に記載される指標の目標値、継続率の曲線、コンバージョン率には、いずれも文脈に応じた値であることを明記し、対象となる特定のプロダクト、市場、段階、ビジネスモデルに結び付けます。

コアコンセプト

指標ツリー

North Star または主要な成果を、それを構成する要因に階層的に分解したものです。ツリー内の各ノードは、次の条件を満たします。

• 観測可能 — 計測設定または定義済みのデータソースから測定できます。
• アクションにつながる — 指標の変化から、具体的なプロダクト上または運用上の対応が示唆されます。
• 担当が明確 — 定義、収集、解釈について、責任を負うチームまたは役割が一つだけあります。

指標ツリーでは、先行指標（変化を予測し、変化に敏感）と遅行指標（確認を目的とし、変化に時間がかかる）を区別し、すべての指標に少なくとも一つのカウンター指標（望ましくない副作用を検知するガードレール）を組み合わせます。references/metric-tree.md を参照してください。

イベントとトラッキング計画

イベントとは、タイムスタンプ、実行者、プロパティとともに記録されるアクションまたは状態の変化です。トラッキング計画とは、イベントの信頼性を担保する契約です。

• イベント名と分類体系 — 一貫した命名規則をバージョン管理し、標準イベントのカタログを用意します。
• プロパティ — 許容値、必須か任意か、デフォルトの動作を定めた型付きフィールドです。
• ID の解決 — セッション、デバイス、認証状態をまたいで実行者を識別する方法です（匿名 ID、ログイン済み ID、統合された ID）。
• セッションの定義 — タイムアウトのルール、アクティビティの境界、プラットフォームをまたいだセッションの継続性です。
• データ品質ルール — 検証チェック（NULL 率、鮮度、カーディナリティの上限と下限、分布のドリフト）です。
• 責任者 — イベントの定義者、計測の実装者、利用者、問題発生時の通知先を明確にします。

templates/tracking-plan.md を参照してください。

計測の QA

ダッシュボードに指標を表示する前に、その指標を生成する計測が正しく機能することを確認する必要があります。QA チェックリストには、以下が含まれます。

• クライアント側 — 正しいトリガーでイベントが発火すること、プロパティ値が UI の状態と一致すること、イベントが重複して発火しないこと、必須プロパティが欠落していないこと。
• サーバー側 — イベントの取り込み、変換の正確性、ID の紐付け、タイムスタンプの整合性。
• パイプライン — スキーマとの互換性、通知されないままデータが破棄されないこと、レイテンシが SLA の範囲内であること、重複排除の動作。
• エンドツーエンド — 生イベントから算出された指標が、製品を手動で一通り操作して確認した値と一致すること。

templates/instrumentation-qa-checklist.md を参照してください。

プライバシーに配慮した計測

すべての計測設計で、以下に対応する必要があります。

• 同意の境界 — 同意の前後で何を計測するか、何を決して計測しないか。
• 最小化 — 指標に必要なものだけを収集し、推測に基づくプロパティは避けます。
• 集計のしきい値 — コホートが最小サイズを満たす場合にのみ指標を報告します。
• 保持と削除 — 生イベントの保持期間、およびデータ削除のリクエスト後も計測を継続する方法。
• 管轄区域への配慮 — 指標の収集が規制上の境界を越える場合は記録します（GDPR、CCPA など）。

ダッシュボードの契約

契約のないダッシュボードは、いつでも議論の種になります。ダッシュボードの契約では、以下を明確にします。

• 指標の定義 — 正確な計算式、データソース、フィルター条件。
• 更新頻度 — ダッシュボードの更新頻度と、許容される古さ。
• 責任者 — 正確性に責任を持つ人と、数値が不正確に見える場合の連絡先。
• 対象者と意思決定 — このダッシュボードの利用者と、判断に役立てる内容。
• しきい値とアラート — 指標の値が調査のきっかけとなる条件（普遍的なベンチマークではなく、製品固有のしきい値です）。

意思決定の頻度

意思決定の頻度を定めない計測は、見せかけの計測です。このスキルでは、以下のリズムを指針とします。

• 毎日 — 運用指標、異常検知、自動アラート。
• 毎週 — 先行指標、実験結果の分析、ファネルの健全性。
• 毎月 — 成果のレビュー、指標ツリーの健全性、反対指標の確認。
• 四半期ごと — ノーススターメトリクスの再評価、指標ツリーの再構成、トラッキング計画の廃止。

作業方法

1. イベントではなく、成果から始めます。 成功の状態を定義し、トラッキングを設計する前に、指標ツリーへと分解します。
2. 取り組むと決める前に、測定可能か確認します。 利用可能なデータソース、または実現可能な計測を通じて観測できない指標は採用しません。計測上の制約を記録せずに、代替指標を捏造してはいけません。
3. トラッキング計画を契約として設計します。 各イベントには、定義されたオーナー、スキーマ、品質ルール、利用者が必要です。孤立したイベントを作ってはいけません。
4. ダッシュボードを信頼する前に、計測のQAを行います。 指標を意思決定の定例プロセスに組み込む前に、新規または変更されたすべてのイベントに対して計測QAチェックリストを実行します。
5. 各指標にカウンター指標を組み合わせます。 意思決定の根拠となる各指標について、望ましくない副作用を明らかにできるカウンター指標を少なくとも1つ定義します。
6. すべてのしきい値に、前提となる状況を明記します。 そのしきい値が想定するプロダクト、市場、段階、ビジネスモデルを示します。
7. 測定ガバナンスを定期的に見直します。 使われていないイベントを非推奨にし、古くなった指標を廃止し、プロダクト戦略の変化に応じて指標ツリーを更新します。

ファイル一覧

パス	読み込むタイミング
references/discovery-brief.md	オーナーシップの境界と、このスキルが既存のカタログ内スキルにどう関連するかを理解するとき
references/metric-tree.md	指標ツリーの作成またはレビュー、先行指標・遅行指標の定義、カウンター指標の選定を行うとき
templates/tracking-plan.md	イベント分類体系を設計するとき、またはトラッキング計画の契約を作成するとき
templates/instrumentation-qa-checklist.md	指標を信頼する前に、計測の品質を監査または検証するとき
templates/outcome-review.md	プロダクト成果のレビューを実施するとき、または測定に基づく意思決定の定例プロセスを設定するとき
evals/evals.json	代表的なシナリオを使って、このスキルの出力品質を評価するとき

関連スキル

連携先（解決可能な既存スキル）

• ../data-engineering/SKILL.md — パイプラインの実装、ETL/ELT、dbtモデル、運用レベルのデータ品質モニタリング向けです。
• ../data-scientist/SKILL.md — 統計的推論、実験設計、仮説検定、因果推論、モデル選択向けです。
• ../product-strategy/SKILL.md — North Starの定義、プロダクトビジョン、PMF評価、ロードマップの優先順位付け向けです。
• ../go-to-market/SKILL.md — 成長モデリング、CAC/LTV、チャネル別コホート分析、PLG/SLGのファネル指標向けです。
• ../financial-modeling/SKILL.md — ユニットエコノミクス、ARR/MRR、チャーン、NDR、SaaS運用指標の定義向けです。

接続先（まだ提供されていないスキルへの文章内での言及）

このスキルは、以下のスキルに引き継ぐ測定契約、指標ツリー、トラッキング計画を作成します。

• product-roadmapping-and-portfolio — 測定した成果に基づくロードマップの意思決定。
• product-experimentation — 信頼できる測定基盤に基づく実験設計と結果の分析。
• product-adoption — 導入ファネル、アクティベーション指標、価値実現までの時間の測定。
• conditional-customer-success — アカウントの健全性スコアと顧客成果のトラッキング。
• product-lifecycle-learning — リリース後の学習サイクルと、指標に基づく反復改善。