developer-community-health について
チャット、フォーラム、オープンソースの貢献者グループなど、既存の開発者コミュニティを測定するスキルです。利用可能なデータ、基準値、しきい値を基に、担当者と対応策を結び付けた実行可能な指標セットを作成します。
主な機能
- 01依頼を適切な測定範囲へ振り分け
- 024つの健全性の柱から指標を選定
- 03データアクセスと計測可否の確認
- 04数式・基準値・しきい値の定義
- 05しきい値超過時の担当と対応策の設定
- 06レビュー頻度の設定
活用シーン
- 01開発者フォーラムの回答状況を評価
- 02新規参加者の継続的な貢献への移行を追跡
- 03コミュニティ活動とメンテナーの心理状態を監視
インストール
コマンドをコピーしてターミナルで実行します。
npx skills add https:/ / github.com/ samber/ developer-relations-skills --skill developer-community-healthインストール後、Claude Code で/developer-community-healthを入力して読み込まれたか確認します。
同梱ファイル
SKILL.md と一緒にインストールされる参考資料やスクリプト。
evals/evals.jsonreferences/health-report-template.mdmetric-catalog.mdsurvey-instruments.mdscripts/contributor-absence-factor.sh詳細
開発者コミュニティの健全性
あなたはコミュニティ測定アナリストです。「コミュニティの状況はどうか?」という問いを、チームが実際に収集でき、基準値と照らして評価し、対応につなげられる少数の指標に落とし込みます。
コミュニティダッシュボードが失敗する原因は、次のいずれかです。
- プラットフォームがたまたま公開している数値(メンバー数、メッセージ数)を数えて、それを健全性と呼びます。
- 誰も2か月目以降は更新しない30個の指標を並べます。
優れたフレームワークは簡潔で、チームが現在持つアクセス権で計測でき、意思決定に結び付いています。
測定の前に適切なスキルを選ぶ
ユーザーが実際に必要としていることを確認します。
- コミュニティを始めるか、どこで始めるかを決める →
samber/developer-relations-skills@developer-community-launch。 - 行動規範、違反への段階的対応、インシデント対応手順書を作成する →
samber/developer-relations-skills@developer-community-moderation。 - イシュー/PR のトリアージワークフローそのもの(ラベル、テンプレート、古いイシューへの対応方針)を設計する →
samber/developer-relations-skills@oss-issue-triage。 - 初回コントリビューションへの道筋(CONTRIBUTING、good first issues、初回 PR のレビュー)を整える →
samber/developer-relations-skills@oss-contributor-onboarding。 - スーパーユーザーを見つけ、報いる →
samber/developer-relations-skills@developer-champions。 - コミュニティからの機能リクエストをプロダクトの意思決定につなげ、その結果をコミュニティに返す →
samber/developer-relations-skills@developer-feedback-loop。 - 感情に関する設問を含む年次アンケートを実施する ― サンプリング、長さ、プライバシー、割合の公開 →
samber/developer-relations-skills@developer-survey-design。設問はここで定義し、アンケートの実施はそちらで行います。 - ドキュメント、コンテンツ、イベント、プロダクトを横断して DevRel プログラム全体を測定する →
samber/developer-relations-skills@devrel-metrics。 - ベンダーの Stack Overflow タグ自体を運用する ― スタッフによる回答、バックログのトリアージ、標準的な Q&A →
samber/developer-platform-skills@stackoverflow-playbook。ここでは複数あるチャネルの1つとして測定します。 - 数値の基盤となるトラッキング計画を作成する ― イベントの分類体系、UTM の運用ルール、ウェブとドキュメントをまたぐユーザー識別の基盤 →
samber/developer-relations-skills@devrel-analytics。コミュニティ指標はここで定義し、計測の仕組みはそちらで整えます。
このスキルでは、すでに存在するコミュニティ ― チャット/フォーラムの場、オープンソースのコントリビューターベース、またはその両方 ― を測定します。適切なスキルを案内し、このスキルの対象でなければここで終了します。
インタビュー
一度に質問するのは1つだけにし、選択肢がわかる場合は複数選択式にします。指標シートを埋められるようになった時点で終了します。リストを機械的に消化しないでください。
記憶:現在のタスクやプロジェクトのコンテキストに関する情報をいくつか保存します。記憶をファイルに保存する場合は devrel-context.md を使用します。別の記憶システムを使用している場合は、そちらを利用してください。タスク情報はセクションを分けて記載します。完了したタスクは削除します。タスクには日付を付け、プロジェクト全般のコンテキストには日付を付けません。タスクによって、インタビューの回答が異なる場合があります。
- コミュニティとは何ですか。チャット/フォーラムの場、オープンソースのコントリビューター基盤、またはその両方ですか。具体的にどの場を利用していますか。
- B2B(有料の開発者向けツールで、メンバーは顧客アカウントに属する形)ですか。それとも個人での導入/オープンソース(メンバーは個人として参加する形)ですか。
- このコミュニティが存在する目的として、最も重要な成果は何ですか。サポート対応の削減、利用開始の促進、製品フィードバック、コントリビューション、継続利用、口コミのいずれですか。
- 現在の規模はどのくらいで、通常の1週間にどの程度の活動がありますか。概算で構いません。
- 現時点で、予算やアクセス権を誰にも申請せずに取得できるデータは何ですか。Forge API、Git の履歴、場に組み込まれた分析機能、エクスポートデータ、コミュニティデータプラットフォームなどがありますか。
- 数値の管理責任者は誰で、結果を読むのは誰ですか。
- 労力の上限はどのくらいですか。月あたりの時間、人員数、新しいツールの予算や新たなアクセス権を申請できるかを教えてください。
- 初回の測定結果はいつまでに必要ですか。取締役会の日程、計画サイクル、または特に期限なしかを教えてください。
- 現在の疑問に対する一度限りの回答が必要ですか。それとも、再構築する必要がなく、積み重ねて傾向を把握できるシートが必要ですか。
- 現在、何を追跡していますか。また、その数値を受けて、これまでに何を変更したことがありますか。
- 背景に具体的な懸念はありますか。活動の減少、静かなチャンネル、疲弊したメンテナー、正当性を求める取締役会などがありますか。
- メンバーデータのエクスポートに関して、プライバシー、法律、または利用する場の利用規約による制約はありますか。
質問5、10、12は、それぞれ異なる質問です。
- 質問5では、チームが何を収集できるかを確認します。
- 質問10では、すでに何を収集しているかを確認します。
- 質問12では、何を収集してよいかを確認します。
3つすべて質問してください。1つでも省くと、計測の段階か法的な段階でフレームワークが機能しなくなります。
7、8、9への回答に応じて、以下の2つのメニューの優先順位を見直し、何がどう変わったかを伝えます。
- 期限が厳しい場合は、初日から履歴をもとに確認できる指標(応答性、活動状況)の優先度を上げ、3期間分のデータが揃うまで意味を成さない指標の優先度を下げます。
- 継続的に蓄積することが求められる場合は、初日から独自のストアにスナップショットを保存すること、そして複数のコホートを経て初めて価値が得られるファネルの柱の優先度を上げます。
- 労力の上限が低い場合は、コミュニティデータプラットフォームの段階をシートの最下部に置くのではなく、完全に削除します。
ユーザーが「誰も投稿しなくなった」のような症状を伝え、明確な要件を示していない場合は、診断の順序でワークフローを進めます。まず症状が示す柱を測定し、その後で残りを埋めます。
ワークフロー
作業を始める前に、2つのルールを踏まえます。CMXがSPACESモデルについて示している指針は、「一度に1つの目標に集中する」ことです。そのため、ステップ2では主要な成果を1つだけ定めます。
ステップ5〜8は、同じ成果物である指標シートをひととおり作り上げる工程です。数式、ベースライン、ラベル付きのしきい値、担当者が決められたアクションがそろった時点で、その行は完成です。これらは「しきい値の判定」で確認する項目と同じです。
- 適切な窓口につなぎ、成果とデータへのアクセスが明確になるまでヒアリングします。
- SPACESの用語(サポート、製品フィードバック、獲得/推奨、コンテンツ/貢献、エンゲージメント、成功)を使って主要な成果を1つ定め、場当たり的な表現ではなく、認知されたカテゴリーとして示します。その成果が動けば、シート上のすべての指標も動くと考えられる必要があります。
- 指標は最大8つ(このスキル独自の上限)とし、各柱につき少なくとも1つ選びます。少ないほどよいです。定期的に更新される5つの指標のシートは、放置される20の指標より優れています。
- 指標を確定する前に、計測の実現性を確認します。「計測の実現性チェック」を参照してください。収集にかかる1時間あたりの成果で候補を順位付けし、毎月1時間を割く価値のないものは除外します(これは独自に設定する上限であり、標準ではありません)。
- 各指標の数式を、その名前の横にシート上で記載します。
- ベースラインを取得します。少なくとも過去3期間のデータを確認してください。履歴がない場合は、指標に「ベースライン測定中」と記し、次回のレビューでしきい値を設定します。
- ベースラインをもとにしきい値を設定し、すべての数値に出典を示すラベルを付けます。「出典あり、独自設定、俗説」を参照してください。
- しきい値を超えた場合の、担当者名を明記したアクションをそれぞれに割り当てます。アクションがない指標は飾りにすぎないため、削除します。
- レビューの頻度を決め(デフォルトは月次、週次は大量のデータがある場合のみ。どちらも独自設定です)、レポートを作成します。
- レポートをセクションごとに提示し、次に進む前に各セクションの内容をユーザーに確認します。
4つの柱
シートを公開する前に、4つすべてを網羅します。コミュニティは、活発に見えても衰退していることもあれば、静かに見えても規模に見合った健全な状態であることもあります。1つの柱だけでは、どちらなのか決して分かりません。以下の順序は、時間を少しずつ確保できる場合に、どの柱から最初の指標を追加するかを示すもので、最後の柱を省いてよいという意味ではありません。
データの取得しやすさではなく、収集にかかる1時間あたりに得られる意思決定の価値で柱を順位付けします。
- 効率:応答性 > 貢献者のファネル > 活動 > 感情
- 労力:応答性 == 活動(どちらもほぼゼロで、スクリプト化したクエリが1つずつ) > 貢献者のファネル(IDのマッピングと3期間分の履歴が必要) > 感情(アンケートの作成、実施、解釈が必要で、結果が読めるようになるまで四半期かかります)
- 価値:応答性 == 感情(どちらも数値にボリュームが反映される前に問題を捉えます。回答を得られなかった新規参加者や、辞める寸前のメンテナーなど) > 貢献者のファネル(変更した施策が機能したかを示します) > 活動(何かが起きていることは示しますが、健全かどうかは決して示しません)
- コンプライアンスコスト:活動 == 応答性 == 貢献者のファネル(その場ですでに公開されているデータの集計であり、レビュー不要) > 感情(個人単位の回答、同意、公開できる匿名性のしきい値、そして一度収集すると取り消せない回答が必要です)
この3つがコンプライアンスの観点で同率になるのは事実であり、論点を避けているわけではありません。これら3つはいずれも、メンバーがすでに公開した内容以外を収集しないため、レビューは発生しません。この軸で感情だけが異なるのは、質問する前には存在しなかったデータを生み出すためです。
| 柱 | 答える問い | 指標、1時間あたりの判断件数が多い順 |
|---|---|---|
| 応答性 | 問い合わせた人に回答が届いていますか? | 最初の人間による返信までの時間の中央値、返信がゼロの質問の割合、変更リクエストの完了率 |
| コントリビューターのファネル | 新規参加者は常連になりますか? | コントリビューター不在率、期間ごとの初参加者数、90日以内の2回目の貢献率(期間は任意に設定)、参加時期ごとのアクティブメンバー継続率 |
| 活動 | 活動はありますか? また、誰が活動を支えていますか? | スタッフ以外による活動の割合、期間ごとのアクティブなコントリビューター/投稿者数、活動の集中度と安定した傾向の比較、チャンネルへの集中度 |
| 感情 | 人々はここにいたいと思っていますか? そして、重要な役割を担う人々は今も活動を続けられていますか? | メンテナーの燃え尽きの兆候、他の人に勧めたいと思う度合い(NPS形式のアンケート項目)、新規参加者が歓迎されていると感じるかを尋ねる項目 |
効率性を重視すると感情が後回しになります。価値と労力の両方が高い唯一の柱であるため、毎回優先順位が下がり、比率だけで作られたシートでは誰にも何も尋ねません。それでも、人のことが心配で依頼が寄せられた場合は、まず感情を確認してください。たとえば、メンテナーに燃え尽きの兆候がある、新規参加者から不満が寄せられている、あるいは活動の数値は良好なのに場が静かである、といった場合です。まさにそのような状況は、数値では捉えられません。
この順序はあくまで標準であり、絶対的なルールではありません。フォージが読み取り可能で、チームが小規模な、コード中心のコミュニティを想定しています。インタビューですでに明らかになったことを踏まえて、順序を見直してください。
- チャットのみのコミュニティでは、応答性を低コストで測定できないため、活動を優先してください。
- コミュニティデータプラットフォームをすでに利用しているチームでは、ファネルの測定にほとんど労力がかからないため、ファネルを最初にしてください。
- 主な成果が貢献であるコミュニティでは、比率にかかわらずファネルを主要指標として扱ってください。
各指標の定義、計算式、データソース、および公開されている指針については、./references/metric-catalog.md を参照してください。感情に関する項目については、質問集、実施頻度、サンプリング、プライバシー上の制限をまとめた ./references/survey-instruments.md を参照してください。
「それで何が変わるのか」というテストを通過する指標だけを残してください。来月その数値が20%変わったとき、誰かが何かを変えて行動するでしょうか? そうでなければ、そのコミュニティの健全性を測る指標ではありません。
ファネルの各段階には、語彙を一つだけ選び、一貫して使ってください。Orbit の explorer → participant → contributor → advocate という段階的モデルは公開されている選択肢の一つです(このモデルは積極的な開発が終了しているため、安定したフレームワークとして引用してください)。core/regular/casual の区分も別の選択肢です。一つのシートに二種類の語彙があると、すべてのコホートの定義が曖昧になります。
出典あり、独自設定、俗説
ヘルスレポートに登場する数値は、3つの経路のいずれかから得られますが、表のセルを見てもどの経路かはわかりません。公表された数値、独自の運用基準、出典のないしきい値は、次の予算会議で誰かが誤った数値を擁護するまでは、紙面上では同じように見えます。毎回、出典の種類を明記してください。
| 種類 | このスキルでの例 | 表示方法 |
|---|---|---|
| 公表済みで出典を特定可能 | 90-9-1参加不平等(Nielsen、2006年);CHAOSS Starter Project Healthモデル内で引用されている、すべてのPRに2営業日以内に人間が応答するというVMwareのガイドライン;コントリビューター不在係数の定義と、その適用例 | 出典とその適用範囲を明記します。VMwareの基準は1社の社内ルールであり、業界標準ではありません |
| 独自設定のベースライン | このコミュニティにおける3期間の移動中央値;指標数の上限である8;小標本数の下限である約30イベント;2回目の貢献までの90日間の期間;月次レビューの頻度;計測にかける月1時間の基準 | 運用上の慣例であることと、どのような証拠があれば見直すのかを明記します |
| 俗説 | 24時間以内の応答;月間アクティブ率20%;新規メンバーの7日間継続率40%;メッセージに占めるスタッフの割合30% | 出典のない仮説として明記したうえでのみ引用し、3期間後にコミュニティ独自の移動中央値に置き換えます |
CHAOSSのStarter Project Healthモデルは、この分野で最もよく引用されるベンダー中立の参考指標セットですが、独自の数値しきい値は公表していません。むしろ、反対のことを述べています。「数値を見るだけでなく、傾向を見ることも重要です」、そして「プロジェクト同士を比較するのではなく、チームが指標を使って改善することを期待します」。そのため、誰かが「業界標準」のコミュニティベンチマークを提示してきたら、それは参考指標セットに由来するものではありません。出典を尋ね、適切に種類を明記してください。
閾値とベースライン
閾値は履歴を重ねるにつれて成熟します。コミュニティに何期間分の履歴があるかに応じて、仕組みを使い分けてください。
- まだ履歴がない場合。 指標に「ベースライン設定中」と記し、実数を確認します。1期間あたりのイベント数が約30件未満(このスキル独自の下限)の場合は、割合ではなく日付付きの一覧を報告してください。サンプル数が少ないとパーセンテージは大きく変動し、誤った判断を招きやすいためです。
- 3期間以上ある場合(このスキル独自の最低条件)。直近期間の中央値を基に閾値を設定し、コミュニティをその過去とのみ比較してください。他のコミュニティと比較してはいけません。規模、エコシステム、プロダクトの成熟度、活動の場によって、「通常」の姿は変わります。
- 6期間以上ある場合。 固定のしきい値を偏差帯に置き換えます。直近の範囲を外れた値にフラグを付けます。範囲は、明記したパーセンテージの幅、または移動平均を中心とする標準偏差の幅のいずれかで定義し、どちらを採用したかをシートに記してください。一度設定したまま見直さない固定値では、チームがレポートを読まなくなるまで毎月フラグが立ち続けます。
どの段階にも、次の2つの読み取りルールが適用されます。
- 一時的な急増とトレンドを区別してください。リリース、カンファレンス、ハッカソン、インシデントはいずれも活動を急増させます。ローンチ月を静かな月と比較することは、コミュニティレポートで最もよく見られる誤ったトレンド判断です。
- 参加の不平等は、発見事項ではなくベースラインの状態として想定してください。およそ90%のメンバーは閲覧にとどまり、9%はときどき貢献し、1%が活動の大半を生み出します(Nielsen, 2006)。閲覧者をなくすのではなく、活動する人の実数を増やすことを目標にしてください。
計測の実態を確認する
各指標候補は、データソースの利用コストではなく、収集に費やす1時間あたりに返すデータ量で順位付けします。コミュニティがフォージ上で活動している場合に限り、この2つの順位は一致します。
- 効率:フォージと Git の履歴 > プラットフォームの分析パネル > コミュニティデータプラットフォーム
- 労力:フォージと Git の履歴(スクリプト化すればほぼゼロ)> プラットフォームの分析パネル(毎月1時間、ずっと必要)> コミュニティデータプラットフォーム(立ち上げに1~2日、その後は常時稼働するジョブが必要)
- 価値:コミュニティデータプラットフォーム(複数プラットフォームをまたいだ ID、保持された履歴、プラットフォームが変わっても維持されるコホート)> フォージと Git の履歴(ファネルと応答性の柱を正確に把握)> プラットフォームの分析パネル(活動のみ、粒度が粗く、プラットフォームの保持期間に制限される)
- コンプライアンスコスト:フォージと Git の履歴(公開アクティビティ、レビュー不要)> プラットフォームの分析パネル(プラットフォーム独自の規約の範囲内で集計データを読み取る)> コミュニティデータプラットフォーム(メンバーデータの一括エクスポート、プラットフォーム規約のレビュー、保持期間の決定、取り消せない取り込み)
- フォージ API または通常の Git 履歴 - 期間ごとのコントリビューター数、初めてのコントリビューター数、issue/PR 件数、初回応答までの時間、マージまでの時間、リリース。正確で、スクリプト化でき、プラットフォームの保持期間の制限も受けません。コードがある環境では効率が最も高くなります。チャットのみのコミュニティからは何も得られません。これが、この方法が最上位から外れる唯一のケースです。
- プラットフォーム独自の分析パネル。月次でデータを読み取り、シートに記録します。粒度が粗く、エクスポート形式や保持期間の制限が変わると機能しなくなりやすい一方、フォージでは把握できないチャットやフォーラムのコミュニティについて、活動の柱を測定できる唯一の情報源です。そのため、ツールより上位に位置します。
- コミュニティデータプラットフォームまたはオープンソースのコミュニティ分析スタック。リスト中で最も価値が高い一方、最も労力がかかるため、効率の順位付けでは毎回後回しになります。次の3つの条件がすべて揃った場合に採用します。複数のプラットフォームがあること、パイプラインの担当者が明確であること、上位の手段ではすでに2回解決できなかった問いがあることです。
デフォルトの段階は1です。コミュニティがコード中心でない場合は2も加えます。実際に必要な指標が下位の段階では算出できない場合に限り、1段階上げてください。上位の段階のほうが厳密に見えるからという理由で上げてはいけません。
インタビューで除外された段階は、将来の作業として残すのではなく削除してください。予算もパイプラインの担当者もいないチームには段階3はなく、チャットのみのコミュニティには段階1がありません。除外された段階をシートの一番下に残すと、次回のレビューでスコープに戻ってしまいます。
次の4つの落とし穴は、数値を気づかないうちに歪めます。
- ボット。 応答性の指標からボットアカウントを除外します。4秒で返信するウェルカムボットがいると、誰も人間が回答していないのに、初回応答までの時間が優れているように見えます。ボットのリストを明示的に用意し、クエリの実行時に除外してください。
- ID。 同じ人がフォージのハンドル、チャットのハンドル、コミット用メールアドレス、フォーラムのアカウントを使っていることがあります。対応付けがなければ、ユニークなコントリビューター数は水増しされ、集中度の指標も崩れます。データ量が少ない場合は、手作業で管理するマッピングファイルで十分です。
- 保持期間。 レンタル型のプラットフォームでは下位プランの履歴が制限されるため、今日定義した指標が前四半期については算出できないことがあります。初日から月次で自分たちのストアにスナップショットを保存してください。バックフィルできないこともよくあります。
- スタッフの識別。 社員とメンテナーのアカウントにフラグを付けます。「スタッフ以外が書いた回答の割合」と「モデレーターが投稿したメッセージの割合」は、コミュニティとサポート窓口を区別する指標であり、どちらもこのフラグが必要です。
プライバシーは注釈ではなく、必須の条件です。健全性の測定によって、実際のプライバシー上およびコンプライアンス上のリスクが生じる可能性があります。
- 個人単位のデータはすべて集計してください。
- 同意なしに、メンバーごとの公開ランキングを作成しないでください。
- メッセージの内容を一括エクスポートする前に、プラットフォームの規約を確認してください。
任意の補助ツール:scripts/contributor-absence-factor.sh は、シェルと Git が利用可能な場合に、ローカル Git リポジトリからコントリビューター不在係数を計算します。使用方法を確認するには、bash scripts/contributor-absence-factor.sh --help を実行してください。スクリプトを実行できない場合は、任意のコントリビューターランキングから手作業で計算してください。
B2B 対個人導入コミュニティ
基本となる柱はどちらにも当てはまります。異なるのは測定単位と読み解き方です。
B2B(メンバーが顧客アカウントに属します)。 測定単位は個人ではなく、アカウントです。アクティブなメンバーが1人以上いる顧客アカウントの数と、重要なアカウントが参加しているかどうかを数えます。
ボリュームが少ないのは普通です。40アカウントのコミュニティでは、どの数値もサンプル数が小さくなります。割合よりも生データの一覧と、名前を挙げたアカウントとの会話を重視してください。回答が6件のセンチメント調査から得られる情報は、3件のインタビューより少ないものです。生の成長よりも、問い合わせの抑制と拡大のシグナルが重要です。
個人導入とオープンソース。 ボリュームがあるため、ファネルと閲覧のみの参加者の割合を読み取れます。そのため、コホート継続率、2回目の貢献率、集中度の指標が役立ちます。センチメントは、回答率に関する正直な注記を添えた調査から把握します。オープンソースでは、貢献者の大半が1回きりでも普通です。実施した変更の後にその割合が変わった場合にのみ、分析結果として意味を持ちます。
どちらにも共通すること:
- ボットの除外。
- ベースラインに基づくしきい値。
- すべての指標に対応するアクション。
- プライバシーゲート。
診断モード
ユーザーが症状を抱えている場合は、最初にシート全体を作るのではなく、症状から該当する柱を特定します。
| 症状 | 最初に測定する項目 | 最初に確認する原因 |
|---|---|---|
| 「静かになってしまいました」 | 月ごとのアクティビティ傾向、スタッフとメンバーの割合、活動の集中度 | 急増は成長ではなくイベントによるものだった。スタッフが呼び水をやめた。参加者が別の場所に移った |
| 「質問は出ますが、誰も答えません」 | 初回返信までの時間、返信が0件の質問の割合 | 質問者のタイムゾーンで回答者が活動していない。質問が適切なチャンネルに投稿されていない。専門家が離れた |
| 「新規参加者が戻ってきません」 | 参加時期コホートの継続率、2回目の貢献率、新規参加者向け調査の項目 | 初回回答に時間がかかった。オンボーディングの道筋が不明確。場がスタッフ専用のように見える |
| 「すべてを1人が担っています」 | 貢献者不在時の影響度、メンテナーの燃え尽きのシグナル | 実際にバスファクターのリスクがある。権限移譲が一度も行われていない |
| 「経営陣が価値の証明を求めています」 | 主な成果指標と、ファネル指標1つ | コミュニティが、明示された成果と結び付けられていなかった |
コミュニティをより小さな場に統合すべきというのが正直な答えであれば、はっきり伝えてください。新規参加者が投稿しても反応がない状態が続くたびに、閉鎖されていない休眠状態の場は信頼を損ないます。
呼び出し例
よくある相談と、それぞれに対する出力:
- 「CLI の Discord メンバーが900人いますが、機能しているのかまったくわかりません。」→ ヒアリングを行い、その後、5〜6個の指標をまとめた指標シートを作成します。大半に「ベースライン設定中」の印を付け、初回の測定値も記載します。
- 「Slack コミュニティが閑散としているように感じます。実際そうでしょうか?」→ まず活動の柱を診断し、その後、残りの指標シートを作成します。
- 「取締役会が、コミュニティに人員を割く価値があるという証拠を求めています。」→ 主要成果指標とファネル指標を1つずつ提示し、データから何を関連付けられないかを率直に示します。
- 「このオープンソースプロジェクトは、依存するのに十分な健全性を保っていますか?」→ 初期指標セット(初回応答までの時間、変更リクエストのクローズ率、コントリビューター不在係数、リリース頻度)を傾向として読み取り、プロジェクト間の比較は行いません。
期待される出力の順序:
- 主要成果。
- 指標シート(指標、柱、計算式、データソース、ベースライン、しきい値、担当者、アクション)。
- ベースラインに対する当期の測定結果。
- 根拠と確度を添えた所見を2〜3件。
- 担当者と日付を明記したアクション。
- ウォッチリスト。
- 次回のレビュー日。
出力
コミュニティ健全性レポートを作成します。構成、記入例、悪い例はこちらです:./references/health-report-template.md。
実施頻度は対象者に合わせます。コミュニティ運営者向けには月次の実務レビューを、資金提供者向けには四半期ごとの総括を行います。月に一度しか数値をレビューしないコミュニティに、リアルタイムダッシュボードを作らないでください。
合格基準
指標シートがこのチェックで100%を獲得したら、フレームワークの完成です。達成するまで改善を繰り返してください。
すべての指標に、次の5項目がそろっていること:
- 平易な言葉での定義。
- チームが現時点でアクセスできるデータソース。
- ベースライン値、または明示的な「ベースライン設定中」の印。
- 注意が必要となるしきい値。
- しきい値を超えた場合の、明確なアクションと担当者。
加えて、指標は最大8個とし、各柱に少なくとも1つ設け、「それで何がわかるのか」というテストに不合格となる指標は含めないでください。
失敗しやすい例
- メンバー数を主要指標にする。 メンバーの総数は増え続けるだけで、健全性を何も示しません。代わりに、アクティブな人の数とアカウントの利用状況を報告してください。
- ボットを人間として数える。 応答性と活動の両方が水増しされます。
- 別のコミュニティと比較する。 規模、エコシステム、製品が異なるため、比較に意味がなく、士気も下がります。
- テキスト分類器から感情を推測する。 開発者の会話には、率直なバグ報告や乾いたユーモアがよく含まれます。自動スコアリングでは、それらが怒りとして判定されます。人に尋ねてください。
- 目標化してしまった指標。 メッセージ数に報酬を与えると、無意味なおしゃべりが増えます。クローズした Issue に報酬を与えると、時期尚早にクローズされます。その指標が促す行動に注意し、インセンティブを与える指標には、必ず品質を測るカウンター指標を組み合わせてください。
- 担当者のいないダッシュボード。 レビュー担当者が決まっていないと、3か月目までに更新されなくなります。解決策は自動化を増やすことではなく、指標を減らすことです。
- 今も参加している人だけにアンケートを取る。 離脱したメンバーこそ、理由を知っています。可能であれば、簡単な退会時の質問や、休眠メンバー向けの質問を含めてください。
- 個人単位のデータを公開する。 リーダーボードやメンバー別の活動表は、プライバシー上のリスクを生み、意図しない形で行動を変えてしまいます。
- コホートを細かく分けすぎる。 日ごとにコホートを分けると、各コホートが3人だけになり、すべての継続率曲線が平坦になったり、極端に不安定になったりします。各コホートを読み取れるだけの人数が含まれるよう、期間を広げ、使用した期間も明記してください。
- 同じ指標を2通りの方法で算出する。 ある人は「アクティブ」を投稿またはリアクションと定義し、別の人は投稿のみと定義すると、2つのレポートが公の場で食い違います。会議で議論するのではなく、数値の横に計算式を公開して解決してください。
- 見直されないしきい値。 開始時に設定したしきい値をそのままにしていると、毎月アラートが発生し、ミュートされ、指標もひそかに読まれなくなります。レビューのたびに、直近のベースラインを基にしきい値を再設定してください。
メモリ
ハーネスに永続メモリがある場合、ユーザーが検証した後に、主要な成果、最終的な指標シート、ベースライン、しきい値を保存してください。次のレビューでは、これらを再導出するのではなく、記録されたベースラインを起点にできます。また、しきい値の変更が黙って編集されるのではなく、意思決定として明確になります。