metrics-review

メトリクスレビュー

見慣れないプレースホルダーがある場合や、接続されているツールを確認する必要がある場合は、CONNECTORS.md をご覧ください。

プロダクトのメトリクスをレビューして分析し、傾向を特定して、実行可能なインサイトを提示します。

使用方法

/metrics-review $ARGUMENTS

ワークフロー

1. メトリクスデータを収集する

~~プロダクトアナリティクス が接続されている場合：

• 対象期間の主要なプロダクトメトリクスを取得します
• 比較データ（前期間、前年の同期間、目標）を取得します
• 可能であれば、セグメント別の内訳を取得します

アナリティクスツールが接続されていない場合は、ユーザーに次の情報を提供してもらいます：

• メトリクスとその値（表の貼り付け、スクリーンショット、または説明）
• 比較データ（前期間、目標）
• 最近の変更（ローンチ、インシデント、季節性）に関する背景情報

ユーザーに次のことを確認します：

• どの期間をレビューしますか？（先週、先月、前四半期）
• どのメトリクスに注目しますか？それとも、プロダクトメトリクス全体をレビューしますか？
• 比較対象となる具体的な目標やゴールはありますか？
• 変化の原因として考えられる既知の出来事（ローンチ、障害、マーケティングキャンペーン、季節性）はありますか？

2. メトリクスを整理する

メトリクス階層を使ってレビューを構成します。最上位にノーススターメトリクスを置き、L1 の健全性指標（獲得、アクティベーション、エンゲージメント、リテンション、収益、満足度）、さらにドリルダウン用の L2 診断メトリクスを配置します。定義の詳細は、以下の プロダクトメトリクス階層 をご覧ください。

ユーザーがメトリクス階層を定義していない場合は、作業を進める前にノーススターと主要な L1 メトリクスの特定を支援します。

3. 傾向を分析する

主要な各メトリクスについて：

• 現在の値：今日のメトリクスはいくつですか？
• 傾向：前期間と比べて上昇、下降、横ばいのどれですか？どの期間で見た傾向ですか？
• 目標との比較：ゴールや目標と比べてどうですか？
• 変化率：傾向は加速していますか、それとも減速していますか？
• 異常：急な変化、急増、急落はありますか？

相関関係を特定します：

• あるメトリクスの変化は、別のメトリクスの変化と相関していますか？
• 遅行指標の変化を予測する先行指標はありますか？
• セグメント別の内訳から、集計された傾向が特定のコホートによって引き起こされていることが分かりますか？

4. レビューを作成する

概要

2～3文で、プロダクト全体の健全性、最も注目すべき変化、重要なポイントをまとめます。

メトリクススコアカード

すばやく確認できる表形式：

メトリクス	現在	前回	変化	目標	状態
[メトリクス]	[値]	[値]	[+/- %]	[目標]	[順調 / 要注意 / 未達]

傾向分析

議論する価値のある各メトリクスについて：

• 何が起きたのか、またその変化はどの程度重要なのか
• 起きた可能性が高い理由（既知の出来事、相関するメトリクス、セグメント分析に基づく要因分析）
• 一時的な出来事なのか、持続的な傾向なのか

好調な点

うまくいっていること：

• 目標を上回るメトリクス
• 維持すべき好ましい傾向
• 高い成果を示しているセグメントや機能

懸念事項

対応が必要なこと：

• 目標未達、または悪化傾向にあるメトリクス
• 問題になる前に察知すべき早期警告の兆候
• 可視性や理解が不足しているメトリクス

推奨アクション

分析に基づく具体的な次のステップ：

• 実施する調査（懸念される傾向をさらに掘り下げる）
• 開始する実験（メトリクスを改善できる要因について仮説を検証する）
• 行う投資（うまくいっている施策にさらに注力する）
• 設定するアラート（メトリクスをより注意深く監視する）

背景情報と留意点

• 既知のデータ品質上の問題
• 比較可能性に影響する出来事（障害、祝日、ローンチ）
• 追跡すべきだが、まだ追跡できていないメトリクス

5. フォローアップする

レビューを作成した後：

• さらに詳しく調査する必要があるメトリクスがあるか確認します
• 継続的なモニタリングのためのダッシュボード仕様の作成を提案します
• 懸念事項に対処する実験案の作成を提案します
• 定期的に利用するメトリクスレビューテンプレートの設定を提案します

プロダクトメトリクス階層

North Star Metric

プロダクトがユーザーに提供する中核的な価値を最もよく表す単一の指標です。次の条件を満たす必要があります。

• 価値との整合性：ユーザーがプロダクトからより多くの価値を得ると、指標も変化する
• 先行性：長期的なビジネスの成功（収益、継続率）を予測する
• 実行可能性：プロダクトチームが取り組みを通じて指標に影響を与えられる
• 理解しやすさ：社内の誰もが、その指標の意味と重要性を理解できる

プロダクトの種類別の例：

• コラボレーションツール：3 人以上が投稿する週間アクティブチーム数
• マーケットプレイス：週間取引完了数
• SaaS プラットフォーム：中核となるワークフローを完了した週間アクティブユーザー数
• コンテンツプラットフォーム：週間の読書・視聴エンゲージメント時間
• 開発者向けツール：そのツールを使用した週間デプロイ数

L1 指標（健全性指標）

プロダクトの健全性を総合的に把握するための、5～7 個の指標です。ユーザーのライフサイクルにおける主要な段階に対応します。

獲得：新規ユーザーはプロダクトを見つけられていますか？

• 新規登録数またはトライアル開始数（件数と推移）
• 登録コンバージョン率（訪問者から登録者への転換率）
• チャネル構成（新規ユーザーの流入元）
• 顧客獲得単価（有料チャネルの場合）

アクティベーション：新規ユーザーは価値を実感する段階に到達していますか？

• アクティベーション率：継続率を予測する重要なアクションを完了した新規ユーザーの割合
• アクティベーションまでの時間：登録からアクティベーションまでにかかる時間
• セットアップ完了率：オンボーディングの手順を完了したユーザーの割合
• 初めて価値を実感する瞬間：ユーザーが初めてプロダクトの中核的な価値を体験するタイミング

エンゲージメント：アクティブユーザーは価値を得ていますか？

• DAU／WAU／MAU：各期間におけるアクティブユーザー数
• DAU／MAU 比（定着度）：月間ユーザーのうち、毎日戻ってくるユーザーの割合
• 中核アクションの頻度：最も重要なアクションをユーザーが実行する頻度
• セッションの深さ：1 回のセッションでユーザーが行うことの量
• 機能の利用状況：主要機能を利用しているユーザーの割合

継続率：ユーザーは戻ってきていますか？

• D1、D7、D30 継続率：1 日後、7 日後、30 日後に戻ってくるユーザーの割合
• コホート継続率曲線：登録コホートごとの継続率の推移
• チャーン率：期間ごとに失われたユーザーまたは収益の割合
• 復帰率：チャーンしたユーザーのうち戻ってくるユーザーの割合

収益化：価値は収益につながっていますか？

• コンバージョン率：無料から有料への転換率（フリーミアムの場合）
• MRR／ARR：月次または年次の経常収益
• ARPU／ARPA：ユーザーまたはアカウントあたりの平均収益
• 拡大収益：既存顧客からの収益の伸び
• 純収益継続率：拡大と縮小を含む収益の継続率

満足度：ユーザーはプロダクトをどう感じていますか？

• NPS：ネット・プロモーター・スコア
• CSAT：顧客満足度スコア
• サポートチケット数と解決までの時間
• アプリストアの評価とレビューの感情

L2 指標（診断用）

L1 指標の変化を調査するために使用する詳細な指標です。

• 各ステップにおけるファネルのコンバージョン率
• 機能ごとの利用状況と導入状況
• セグメント別の内訳（プラン、企業規模、地域、ユーザーの役割別）
• パフォーマンス指標（ページ読み込み時間、エラー率、API レイテンシ）
• コンテンツごとのエンゲージメント（エンゲージメントを促す機能、ページ、コンテンツの種類）

一般的なプロダクト指標

DAU／WAU／MAU

測定対象：1 日、1 週間、または 1 か月の間に、条件を満たすアクションを実行したユニークユーザー数です。

主な判断事項：

• 何を「アクティブ」とみなしますか？ログインですか？ページビューですか？中核的なアクションですか？慎重に定義してください。定義が異なれば、示される状況も異なります。
• どの期間が最も重要ですか？毎日利用するプロダクト（メッセージング、メール）には DAU、毎週利用するプロダクト（プロジェクト管理）には WAU、利用頻度が低いプロダクト（税務ソフトウェア、旅行予約）には MAU が適しています。

活用方法：

• DAU／MAU 比（定着度）：0.5 を超える値は毎日の習慣を示します。0.2 を下回る場合は、利用頻度が低いことを示唆します。
• 絶対値よりも推移が重要です。アクティブな利用は増加していますか、横ばいですか、それとも減少していますか？
• ユーザーの種類別に分類します。パワーユーザーとカジュアルユーザーでは、行動が大きく異なります。

リテンション

測定内容：期間 X に利用を開始したユーザーのうち、期間 Y でもアクティブなユーザーの割合は何％ですか？

一般的なリテンションの期間：

• D1（翌日）：最初の体験は、また利用したいと思えるものでしたか？
• D7（1週間後）：ユーザーは習慣を確立しましたか？
• D30（1か月後）：ユーザーは長期的に定着していますか？
• D90（3か月後）：このユーザーは継続的に利用していますか？

リテンションの活用方法：

• コホートごとにリテンション曲線を描きます。初期の離脱（アクティベーションの問題）、継続的な低下（エンゲージメントの問題）、または横ばい（良好です。安定した定着ユーザー層があります）に注目します。
• コホートを時系列で比較します。新しいコホートは以前のコホートよりも定着していますか？それは、プロダクトの改善が機能していることを意味します。
• アクティベーション行動ごとにリテンションをセグメント化します。オンボーディングを完了したユーザーと、完了していないユーザーを比較します。機能 X を使用したユーザーと、使用していないユーザーを比較します。

コンバージョン

測定内容：ある段階から次の段階へ進んだユーザーの割合です。

一般的なコンバージョンファネル：

• 訪問者からサインアップへ
• サインアップからアクティベーションへ（重要な価値を実感する瞬間）
• 無料から有料へ（トライアルからのコンバージョン）
• トライアルから有料サブスクリプションへ
• 月額プランから年額プランへ

コンバージョンの活用方法：

• ファネル全体を図示し、各ステップのコンバージョンを測定します
• 最も大きな離脱ポイントを特定します。そこが改善の効果を最も得やすい機会です
• 流入元、プラン、ユーザータイプごとにコンバージョンをセグメント化します。セグメントによってコンバージョン率は大きく異なります。
• コンバージョンを時系列で追跡します。ユーザー体験を反復改善するにつれて、コンバージョンは向上していますか？

アクティベーション

測定内容：プロダクトの中核的な価値を初めて体験する瞬間に到達した新規ユーザーの割合です。

アクティベーションの定義：

• 定着したユーザーと離脱したユーザーを比較します。定着したユーザーが行い、離脱したユーザーが行わなかったアクションは何ですか？
• アクティベーションイベントは、長期的なリテンションを強く予測するものである必要があります
• 最初のセッション中、または最初の数日以内に達成できるものである必要があります
• 例：最初のプロジェクトを作成する、チームメイトを招待する、最初のワークフローを完了する、インテグレーションを接続する

アクティベーションの活用方法：

• サインアップしたすべてのコホートについて、アクティベーション率を追跡します
• アクティベーションまでの時間を測定します。ほとんどの場合、短いほど良好です
• ユーザーをアクティベーションの瞬間へ導くオンボーディングフローを構築します
• アクティベーションフローを A/B テストし、アクティベーション率だけでなく、リテンションへの影響を測定します

目標設定のフレームワーク

OKR（目標と主要な結果）

目標：達成したいことを表す、定性的で意欲的な目標です。

• 人を鼓舞し、記憶に残る
• 期限が設定されている（四半期または年単位）
• 方向性を示すものであり、特定の指標に結び付けるものではない

主要な結果：目標を達成できたかどうかを示す、定量的な指標です。

• 具体的で測定可能
• 明確な目標値と期限が設定されている
• アウトプットではなく、成果に基づいている
• 目標ごとに主要な結果を 2〜4 個設定する

例：

Objective: Make our product indispensable for daily workflows

Key Results:
- Increase DAU/MAU ratio from 0.35 to 0.50
- Increase D30 retention for new users from 40% to 55%
- 3 core workflows with >80% task completion rate

OKR のベストプラクティス

• 野心的でありながら達成可能な OKR を設定します。挑戦的な OKR の達成率は 70％を目標とします。
• 主要な結果では、アウトプット（リリースした機能、完了したタスク）ではなく、成果（ユーザーの行動、ビジネスの結果）を測定します。
• OKR を増やしすぎないようにします。目標が 2〜3 個、それぞれに KR が 2〜4 個あれば十分です。
• OKR は簡単ではないものにします。すべて達成できると確信しているなら、十分に野心的ではありません。
• 期間の中間時点で OKR を見直します。一部の KR が明らかに計画から遅れている場合は、取り組みの配分を調整します。
• 期間の終了時に OKR を正直に評価します。0.0〜0.3 = 未達、0.4〜0.6 = 進捗あり、0.7〜1.0 = 達成。

指標の目標値を設定する

• ベースライン：現在の値はいくつですか？目標を設定する前に、信頼できるベースラインが必要です。
• ベンチマーク：類似するプロダクトはどの程度の数値を達成していますか？業界のベンチマークが判断材料になります。
• 推移：現在の傾向はどうですか？指標がすでに月 5％の割合で改善しているなら、6％の目標では十分に野心的とは言えません。
• 取り組み：この目標にどれだけの投資を行っていますか？大きな賭けには、より野心的な目標が適しています。
• 確信度：目標を達成できる確信はどの程度ありますか？「コミット」（達成の確信度が高い目標）と「ストレッチ」（野心的な目標）を設定します。

指標のレビュー頻度

週間指標チェック

目的：問題をすばやく発見し、実験を監視して、プロダクトの健全性を把握します。 所要時間：15〜30分。 参加者：プロダクトマネージャー、場合によってはエンジニアリングリード。

確認項目：

• ノーススターメトリクス：現在値、前週比
• 主要な L1 指標：注目すべき変動がないか
• 実施中の実験：結果と統計的有意性
• 異常：予期しない急増や急減がないか
• アラート：監視アラートが発生していないか

アクション：気になる点があれば調査します。そうでなければ記録して次に進みます。

月次指標レビュー

目的：傾向、目標に対する進捗、戦略的な意味合いを詳しく分析します。 所要時間：30〜60分。 参加者：プロダクトチーム、主要なステークホルダー。

確認項目：

• 前月比の傾向を含む、L1 指標の総合スコアカード
• 四半期 OKR 目標に対する進捗
• コホート分析：新しいコホートのパフォーマンスは向上しているか
• 機能の採用状況：最近リリースした機能のパフォーマンスはどうか
• セグメント分析：ユーザーセグメント間に差が生じていないか

アクション：調査または投資を行う領域を1〜3個特定します。指標から新たな情報が得られた場合は、優先順位を更新します。

四半期ビジネスレビュー

目的：プロダクトのパフォーマンスを戦略的に評価し、次の四半期の目標を設定します。 所要時間：60〜90分。 参加者：プロダクト、エンジニアリング、デザイン、リーダーシップ。

確認項目：

• 四半期の OKR 評価
• 四半期を通じたすべての L1 指標の傾向分析
• 前年同期比
• 競争環境：市場の変化と競合他社の動向
• うまくいったこと、うまくいかなかったこと

アクション：次の四半期の OKR を設定します。データが示す内容に基づいて、プロダクト戦略を調整します。

ダッシュボード設計の原則

効果的なプロダクトダッシュボード

優れたダッシュボードは、「プロダクトの状況はどうか」という問いにひと目で答えます。

原則：

1. データではなく、問いから始める。このダッシュボードはどのような意思決定を支援するのでしょうか。その意思決定から逆算して設計します。

2. 情報の階層化。最も重要な指標を最も目立つように表示します。ノーススターを最上部に、次に L1 指標を配置し、詳細表示では L2 指標を確認できるようにします。

3. 数値よりもコンテキストを重視する。コンテキストのない数値には意味がありません。必ず、現在値、比較対象（前の期間、目標、ベンチマーク）、傾向を示します。

4. 指標を絞り、洞察を深める。50個の指標を並べたダッシュボードでは、誰の役にも立ちません。重要な5〜10個に絞ります。それ以外は詳細レポートにまとめます。

5. 期間を統一する。ダッシュボード上のすべての指標で同じ期間を使用します。日次指標と月次指標を混在させると混乱を招きます。

6. 視覚的なステータス表示。色を使って、状況をひと目で示します。

   • 緑：順調、または改善中
   • 黄：注意が必要、または横ばい
   • 赤：未達、または悪化中

7. アクションにつながること。ダッシュボード上のすべての指標は、チームが働きかけられるものである必要があります。対処できない指標は、プロダクトダッシュボードに含めません。

ダッシュボードのレイアウト

最上段：傾向線と目標を添えたノーススターメトリクス。

2段目：L1 指標のスコアカード — 主要な各指標の現在値、変化、目標、ステータス。

3段目：主要なファネルまたはコンバージョン指標 — 各段階での離脱を示す視覚的なファネル。

4段目：最近の実験とリリース — 実施中の A/B テスト、最近リリースした機能の初期指標。

最下段／詳細表示：調査用の L2 指標、セグメント別の内訳、詳細な時系列データ。

ダッシュボードのアンチパターン

• 見栄えだけの指標：常に上昇するものの、健全性を示さない指標（累計登録者数、累計ページビュー数など）
• 指標が多すぎる：確認するのにスクロールが必要なダッシュボードです。1画面に収まらない場合は、指標を減らしてください。
• 比較がない：背景情報のない実数（前の期間や目標との比較がない現在値）
• 更新されていないダッシュボード：何か月も更新や確認がされていない指標
• アウトプットのダッシュボード：ユーザーやビジネスの成果ではなく、チームの活動（クローズしたチケット数、マージした PR 数など）を測定します。
• すべての対象者に同じダッシュボード：経営幹部、PM、エンジニアにはそれぞれ異なるビューが必要です。万人に合うものはありません。

アラート

すぐに対応が必要な指標にはアラートを設定します。

• しきい値アラート：指標が重要なしきい値を下回る、または上回る場合（エラー率 > 1％、コンバージョン率 < 5％）
• トレンドアラート：指標が複数日または複数週間にわたって継続的に低下する場合
• 異常アラート：指標が想定範囲から大きく外れる場合

アラートの適切な管理：

• すべてのアラートは対応可能なものであるべきです。何もできないなら、そのアラートは設定しないでください。
• アラートを定期的に見直し、調整してください。誤検知が多すぎると、すべてのアラートが無視されるようになります。
• 各アラートの担当者を決めてください。アラートが発生したとき、誰が対応しますか？
• 適切な重大度を設定してください。すべてが P0 ではありません。

出力形式

スコアカードには表を使用してください。ステータスを明確に示してください。要約は簡潔にまとめ、読者が 30 秒で重要な内容を把握できるようにしてください。

ヒント

• 最初に「それが何を意味するのか」を示してください。この指標レビューで最も重要なことは何ですか？まずそれを伝えましょう。
• 背景情報のない実数には意味がありません。必ず比較対象（前の期間、目標、ベンチマーク）を示してください。
• 要因の特定には注意してください。相関関係は因果関係を意味しません。指標が変化した場合は、その理由に不確実性があることを明記してください。
• セグメント分析によって、集計指標が重要な差異を覆い隠していることが明らかになる場合があります。全体の数値が横ばいでも、あるセグメントが成長し、別のセグメントが縮小している可能性があります。
• すべての指標の変動が重要なわけではありません。小さな変動はノイズです。意味のある変化に注目してください。
• 指標が目標に届かなかった場合、未達を報告するだけでなく、どう対応すべきかを提案してください。
• 指標レビューは意思決定につながるべきです。少なくとも 1 つのアクションにつながらないレビューは、有用ではありません。