product-analytics

プロダクト分析

コア原則

• 虚栄指標よりもメトリクス — ビジネス成果に結び付いた、実際の行動につながるメトリクスに注力します
• データに基づく意思決定 — 仮説を立て、測定し、学び、改善を繰り返します
• ユーザー中心の測定 — ページビューだけでなく、行動を追跡します
• 統計的な厳密さ — 有意性を理解し、誤検出を避けます
• プライバシーを最優先 — ユーザーデータを尊重し、GDPR/CCPAを遵守します
• ノーススターフォーカス — すべてのチームを1つの主要メトリクスに沿わせます

---

厳守事項

これらのルールは必須です。違反すると、このスキルが正しく機能しません。

イベントにPIIを含めない

イベントに個人を特定できる情報を含めてはなりません。

// ❌ FORBIDDEN: PII in event properties
track('user_signed_up', {
  email: '[email protected]',     // PII!
  name: 'John Doe',              // PII!
  phone: '+1234567890',          // PII!
  ip_address: '192.168.1.1',     // PII!
  credit_card: '4111...',        // NEVER!
});

// ✅ REQUIRED: Anonymized/hashed identifiers only
track('user_signed_up', {
  user_id: hash('[email protected]'),  // Hashed
  plan: 'pro',
  source: 'organic',
  country: 'US',                       // Broad location OK
});

// Masking utilities
const maskEmail = (email) => {
  const [name, domain] = email.split('@');
  return `${name[0]}***@${domain}`;
};

Object_Action形式のイベント命名

すべてのイベント名は、object_actionのスネークケース形式に従う必要があります。

// ❌ FORBIDDEN: Inconsistent naming
track('signup');                    // No object
track('newProject');                // camelCase
track('Upload File');               // Spaces and PascalCase
track('user-created');              // kebab-case
track('BUTTON_CLICKED');            // SCREAMING_CASE

// ✅ REQUIRED: object_action snake_case
track('user_signed_up');
track('project_created');
track('file_uploaded');
track('payment_completed');
track('checkout_started');

実際の行動につながるメトリクスのみ

虚栄指標ではなく、意思決定につながるメトリクスを追跡します。

// ❌ FORBIDDEN: Vanity metrics without context
track('page_viewed');               // No insight
track('button_clicked');            // Too generic
track('app_opened');                // Doesn't indicate value

// ✅ REQUIRED: Actionable metrics tied to outcomes
track('feature_activated', {
  feature: 'dark_mode',
  time_to_activation_hours: 2.5,
  user_segment: 'power_user',
});

track('checkout_completed', {
  order_value: 99.99,
  items_count: 3,
  payment_method: 'credit_card',
  coupon_applied: true,
});

実験における統計的な厳密さ

A/Bテストでは、適切なサンプルサイズと有意性のしきい値を設定する必要があります。

// ❌ FORBIDDEN: Drawing conclusions too early
// "After 100 users, variant B has 5% higher conversion!"
// This is not statistically significant.

// ✅ REQUIRED: Proper experiment setup
const experimentConfig = {
  name: 'new_checkout_flow',
  hypothesis: 'New flow increases conversion by 10%',

  // Statistical requirements
  significance_level: 0.05,      // 95% confidence
  power: 0.80,                   // 80% power
  minimum_detectable_effect: 0.10, // 10% lift

  // Calculated sample size
  sample_size_per_variant: 3842,

  // Guardrails
  max_duration_days: 14,
  stop_if_degradation: -0.05,    // Stop if 5% worse
};

---

クイックリファレンス

ケースに応じた使い分け

シナリオ	フレームワーク／ツール	主要メトリクス
プロダクト全体の健全性	ノーススターメトリクス	リスニング時間（Spotify）、予約宿泊数（Airbnb）
成長の最適化	AARRR（海賊指標）	各段階のコンバージョン率
機能の検証	A/Bテスト	統計的有意性（p < 0.05）
ユーザーエンゲージメント	コホート分析	1日目／7日目／30日目の継続率
コンバージョンの最適化	ファネル分析	各ステップの離脱率
機能の影響	アトリビューションモデリング	マルチタッチアトリビューション
実験の成功	統計的検定	検出力、有意性、効果量

---

ノーススターメトリクス

定義

ノーススターメトリクスとは、プロダクトが顧客に提供する中核的な価値を最もよく表す唯一のメトリクスです。このメトリクスが持続的に伸びると、ビジネスは成功します。

優れたNSMの特徴

✓ Captures product value delivery
✓ Correlates with revenue/growth
✓ Measurable and trackable
✓ Movable by product/engineering
✓ Understandable by entire org
✓ Leading (not lagging) indicator

企業別の例

企業	ノーススターメトリクス	効果がある理由
Spotify	リスニング時間	中核的な価値＝音楽を楽しむこと
Airbnb	予約宿泊数	収益を生み、価値を提供する
Slack	日次アクティブチーム数	エンゲージメント＝プロダクトへの定着
Facebook	月間アクティブユーザー数	ネットワーク効果の基盤
Amplitude	週次ラーニングユーザー数	価値＝分析から得られるインサイト
Dropbox	ファイルを共有するアクティブユーザー数	中核となるプロダクト利用行動

NSMフレームワーク

North Star Metric
       ↓
┌──────┴──────┬──────────┬──────────┐
│             │          │          │
Input 1    Input 2   Input 3   Input 4
(Supporting metrics that drive NSM)

Example: Spotify
NSM: Time Spent Listening
├── Daily Active Users
├── Playlists Created
├── Songs Added to Library
└── Share/Social Actions

NSMの定義方法

1. 中核となる価値提案を特定する

   • プロダクトはユーザーのどのような課題を解決しますか？
   • ユーザーが「なるほど！」と感じるのはどのようなときですか？

2. その価値を表すメトリクスを見つける

   • 取引の完了？（例：予約宿泊数）
   • エンゲージメント時間？（例：リスニング時間）
   • コンテンツの作成？（例：送信メッセージ数）

3. ビジネスの成功との相関を検証する

   • NSMが上昇すると、収益も増加しますか？
   • プロダクトの変更によって、このメトリクスを動かせますか？

4. 支援する入力メトリクスを定義する

   • どのユーザー行動がNSMを押し上げますか？
   • 3～5個の主要な入力に分解します

---

AARRRフレームワーク（海賊指標）

概要

AARRRフレームワークでは、顧客のライフサイクルを次の5段階に分けて追跡します。

ACQUISITION → ACTIVATION → RETENTION → REFERRAL → REVENUE

各段階の定義

1. 獲得

ユーザーがプロダクトを知るとき

主な質問：

• ユーザーはどこから来ますか？
• どのチャネルが最も質の高いユーザーを獲得していますか？
• 顧客獲得単価（CPA）はいくらですか？

メトリクス：

• Website visitors
• App installs
• Sign-ups per channel
• Cost per acquisition (CPA)
• Channel conversion rates

イベントの例：

// Landing page view
track('page_viewed', {
  page: 'landing',
  utm_source: 'google',
  utm_medium: 'cpc',
  utm_campaign: 'brand_search'
});

// Sign-up started
track('signup_started', {
  source: 'homepage_cta'
});

2. 活性化

ユーザーがプロダクトの中核的な価値を体験するとき

主な質問：

• ユーザーが「なるほど！」と感じる瞬間はどこですか？
• 最初の価値を得るまでにどのくらいかかりますか？
• 活性化に至る割合はどれくらいですか？

メトリクス：

• Time to first action
• Activation rate (% completing key action)
• Setup completion rate
• Feature adoption rate

「なるほど！」と感じる瞬間の例：

Slack:     Send 2,000 messages in team
Twitter:   Follow 30 users
Dropbox:   Upload first file
LinkedIn:  Connect with 5 people

イベントの例：

// Activation milestone
track('activated', {
  user_id: 'usr_123',
  activation_action: 'first_project_created',
  time_to_activation_hours: 2.5
});

3. 継続

ユーザーが継続して利用する状況

主な質問：

• 1日目／7日目／30日目の継続率はどのくらいですか？
• 継続率が最も高いコホートはどれですか？
• 解約の要因は何ですか？

指標：

• Day 1/7/30 retention rate
• Weekly/Monthly active users (WAU/MAU)
• Churn rate
• Usage frequency
• Feature stickiness (DAU/MAU)

継続率の計算：

Day X Retention = Users returning on Day X / Total users in cohort

Example:
Cohort: 1000 users signed up Jan 1
Day 7: 300 returned
Day 7 Retention = 300/1000 = 30%

イベント例：

// Daily engagement
track('session_started', {
  user_id: 'usr_123',
  session_count: 42,
  days_since_signup: 15
});

4. 紹介

ユーザーが製品を他の人に勧める状況

主な質問：

• バイラル係数（Kファクター）はどのくらいですか？
• 最も多く紹介するユーザーはどのような人ですか？
• どのような紹介インセンティブが効果的ですか？

指標：

• Viral coefficient (K-factor)
• Referral rate (% users referring)
• Invites sent per user
• Invite conversion rate
• Net Promoter Score (NPS)

バイラル係数：

K = (% users who refer) × (avg invites per user) × (invite conversion rate)

Example:
K = 0.20 × 5 × 0.30 = 0.30

K > 1: Viral growth (each user brings >1 new user)
K < 1: Need paid acquisition

イベント例：

// Referral actions
track('invite_sent', {
  user_id: 'usr_123',
  channel: 'email',
  recipients: 3
});

track('referral_converted', {
  referrer_id: 'usr_123',
  new_user_id: 'usr_456',
  channel: 'email'
});

5. 収益

ユーザーがビジネス価値を生み出す状況

主な質問：

• 顧客生涯価値（LTV）はどのくらいですか？
• LTV:CAC比率はどのくらいですか？
• 最も収益化できているセグメントはどれですか？

指標：

• Monthly Recurring Revenue (MRR)
• Average Revenue Per User (ARPU)
• Customer Lifetime Value (LTV)
• LTV:CAC ratio
• Conversion to paid
• Revenue churn

LTVの計算：

LTV = ARPU × Gross Margin / Churn Rate

Example:
ARPU: $50/month
Gross Margin: 80%
Churn: 5%/month

LTV = $50 × 0.80 / 0.05 = $800

Healthy LTV:CAC ratio: 3:1 or higher

イベント例：

// Revenue events
track('subscription_started', {
  user_id: 'usr_123',
  plan: 'pro',
  mrr: 29.99,
  billing_cycle: 'monthly'
});

track('upgrade_completed', {
  user_id: 'usr_123',
  from_plan: 'basic',
  to_plan: 'pro',
  mrr_change: 20.00
});

AARRR指標ダッシュボード

## Acquisition
- Total visitors: 50,000
- Sign-ups: 2,500 (5% conversion)
- Top channels: Organic (40%), Paid (30%), Referral (20%)

## Activation
- Activated users: 1,750 (70% of sign-ups)
- Time to activation: 3.2 hours (median)
- Activation funnel drop-off: 30% at setup step 2

## Retention
- Day 1: 60%
- Day 7: 35%
- Day 30: 20%
- Churn: 5%/month

## Referral
- K-factor: 0.4
- Users referring: 15%
- Invites per user: 4.2
- Invite conversion: 25%

## Revenue
- MRR: $125,000
- ARPU: $50
- LTV: $800
- LTV:CAC: 4:1
- Conversion to paid: 25%

---

拡張リファレンス

このスキルを簡潔に保つため、## Key Metrics & Formulas 以降の詳細資料は reference/extended.md に移動しました。移動された例、コマンド一覧、チェックリスト、プラットフォームの詳細、実装テンプレートが必要なタスクでは、このリファレンスを読み込んでください。