pm-okr-metric-validity-audit

OKR 与指标有效性审计技能

此技能相较于默认行为的变化

默认情况下，Claude 会通过润色措辞并认可结构来审查 OKR——它很少质疑关键结果是否可证伪、指标是否只是虚荣指标、某个“目标”是否只是伪装成目标的功能发布，或达成目标是否可能实际损害产品。本审计强制执行四项要求：每项发现都指出被违反的原则；每项指标都经过决策实用性检验（“如果这个数字发生变化，我们会采取什么不同做法？”）；每项目标优化都要检查其被操纵的风险和防护措施；发现结果都必须标注严重程度并附上具体改写，而不是泛泛鼓励。

这是一项评估型技能：只要正在审查或生成的内容中包含 OKR、KPI 或成功指标，就会自动运行。

范围约束。 直接调用时（用户明确指定了此审计），只审查这一项关注点——不要引入相关的其他审计。只有在 pm-product-review 编排器或生成型技能依据 docs/orchestration-policy.md 调用时，它才会与其他视角一同运行；此时它属于特定产物视角——（定义了指标/OKR 时）提供。明确指定的范围始终优先。

---

框架——检查内容及违规表现

1. 结果，而非产出

产出是团队交付的事物（功能、版本、发布）。结果是用户行为或业务成果的变化。关键结果和指标必须衡量结果；统计已交付的事项是“功能工厂”的典型特征。

标记条件： KR 或指标统计交付物、发布、已关闭的工单或已执行的活动；目标规定了解决方案（“在 Q3 前发布移动应用”）。

• ❌ KR：“本季度发布 12 项功能” · 目标：“启动推荐计划”
• ✅ KR：“将第 4 周留存率从 22% 提高到 30%” · 目标：“让我们的注册流程成为业内最简单的流程”

2. 可证伪性（SMART 检验）

每项关键结果都应能明确判断是否达成——包括数字、单位、基线、目标值和时间范围。如果理性的人可能对是否达成产生分歧，那它就是愿望，而不是关键结果。

标记条件： 没有基线或目标值；没有单位；没有时间范围；使用“改善”“优化”“提升”等动词，却没有对应的可衡量指标。

• ❌ “提升用户满意度”／“显著降低流失率”
• ✅ “在 Q3 末前将 NPS 从 42 提高到 50”／“在 12 月前将月流失率从 4.1% 降至 3.0%”

3. 虚荣指标风险

虚荣指标会随着时间推移或营销投入而增长，却无法为任何决策提供依据：页面浏览量、展示次数、下载量、关注者数量、注册总数。检验方法是：这个数字变化时，哪些决策会随之改变？ 无法回答 → 虚荣指标。

标记条件： 将累计量或关注度指标作为成功标准；使用“活跃用户”却不说明活跃的定义；增长数字与价值转化没有关联（8 万名访客，仍然只有 8 笔销售）。

• ❌ “下载量达到 20 万”（掩盖了实际只有 3,000 名活跃用户）
• ✅ “将 12% 的下载用户转化为第 2 周活跃用户”

4. 目标质量

目标指明方向；关键结果衡量进展。目标应简洁、定性、富有挑战性且令人印象深刻——而不是充斥官样文章，也不是任务清单。

标记条件： 目标读起来像任务或解决方案；使用含糊的企业语言（“优化客户获取效率”）；每个团队每季度周期有超过约 1 个重点目标；KR 实际上无法证明其目标。

• ❌ “发挥协同效应，优化转化漏斗”＋一个团队设定 9 个目标
• ✅ 一个季度，一个重点目标＋3–5 项能够证明该目标的 KR

5. 与价值的因果关联

每项指标都必须通过可验证的因果关系，证明它与用户价值和业务成功相关。层级如下：北极星指标（用一个数字同时体现用户价值和公司成功）→ KPI/一级驱动因素 → 团队输入指标。没有关联到上层任何指标的孤立指标，只是噪声。

以下情况应标记： 北极星指标纯粹反映业务（收入）或纯粹反映活动（网站停留时间），却没有体现用户价值的机制；没有人能追溯到上一级指标的指标；没有层级结构的“测量一切”仪表板（30 项以上指标）。

• ❌ 北极星指标：“注册用户总数”——会无限增长，却无法说明交付了什么价值
• ✅ 北极星指标：“收听时长”（Spotify）/“已送达且获好评的订单数”——用一个数字体现价值和成功

6. 指标操纵风险与护栏（古德哈特定律）

当一个指标成为目标，它就不再是好的指标。对于每个优化目标，都要问：一个愤世嫉俗的团队会如何在让产品变得更差的同时，达成这个数字？ 如果答案很简单，而且没有护栏指标，就应将其列为问题。

以下情况应标记： 可以通过增加摩擦或上瘾机制达成的互动度/时长目标；可以通过隐瞒信息达成的转化目标（→ 暗黑模式范畴）；积极的增长目标没有配套护栏阈值（质量、支持工单、易用性、主动退出）。

• ❌ “将平均会话时长提高 20%”——没有质量护栏
• ✅ 同一目标 + 护栏：“任务完成时间不增加；支持请求数量保持不变”

7. 领先指标与滞后指标的平衡

滞后指标（收入、流失率）只能确认已经发生的情况；领先指标（激活、早期互动、入门流程完成情况）则能帮助及时调整方向。如果一组指标全是滞后指标，就只能事后报告失败。

以下情况应标记： 每项关键结果（KR）都是滞后的业务结果，没有领先驱动因素；或全是领先指标，却没有关联到滞后指标进行确认。

• ❌ 季度 OKR 只用 MRR 和流失率衡量
• ✅ MRR 目标 + 领先驱动因素：试用转付费转化率、前 2 周的互动情况

权衡提示： 进取性与可证伪性——OKR 应具有挑战性（约 70% 的达成率是健康的），因此不要仅因目标进取就将其标记；应标记无法衡量、缺乏关联或容易被操纵的目标。严谨性与聚焦度——不要试图通过要求更多指标来解决指标泛滥问题；通常应减少指标，并让它们更紧密地关联起来。

---

严重程度评级

根据决策损害对每项发现评级——即指标保持现状会导致团队采取什么行动：

严重程度	含义
严重	按照当前写法优化该指标会损害用户或业务（没有护栏且容易被操纵的目标、虚荣型北极星指标、仅关注产出的 OKR 将团队引向功能工厂模式）
重大	无法如实评估进展（无法证伪的关键结果、没有基线、孤立指标、全是滞后指标）
轻微	影响体系质量的规范问题（缺少时间范围、每个目标超过 5 项关键结果、轻微的指标泛滥、目标表述含糊）
外观	措辞润色；不要为了凑数而把这些列入报告

重叠项：为达成某项指标而设计的操纵性 UI 属于 ux-dark-patterns-audit——本审计标记指标与护栏之间的缺口，该审计标记界面。规范层面的需求质量属于 pm-spec-quality-audit。

---

输出格式

## OKR & Metric Validity Audit — [Target]
Context: [team/product · cycle · business model, if known]

### Critical
- [Issue] — what's wrong → concrete rewrite. (Principle)
### Major
- …
### Minor
- …
### Working well ✓
- …

**Top 3 priorities:** the highest decision-damage fixes, with suggested rewrites.

结尾务必列出按优先级排序的首要问题——平铺列表无法帮助任何人采取行动。

---

如何进行有效的审计

1. 先了解背景——商业模式（SaaS 与电商的指标不同）、产品阶段（早期关注激活度和参与度；成熟期关注留存率和营收），以及审计的层级（公司级 NSM 还是团队 OKR）。
2. 只指出实际存在的问题——不够完美但诚实的指标，胜过纸面上完美却无人能收集的指标。先问清楚实际有哪些数据。
3. 尊重目标与挑战之间的张力——挑战性目标是 OKR 的特点，不是缺陷。
4. 确定优先级，而非罗列问题——三个会损害决策的发现，胜过十五条吹毛求疵的意见。
5. 提出具体的修正方案——重写 KR；明确护栏指标；提出北极星指标候选项。切勿只说“让它更可衡量”。

---

常见的应做与不应做

❌ 不应做	✅ 应做
润色 OKR 的措辞，就称之为评审	针对每项指标，检验其可证伪性、虚荣指标属性、可操纵性和价值关联
把“20 万次下载”赞誉为增长势头	询问这个数字能为哪些决策提供依据；揭示活跃用户的真实情况
接受“发布 X”作为关键结果	将其改写为发布应带来的行为或业务变化
要求每个鼓舞人心的目标都精准量化	目标负责鼓舞人心；KR 负责衡量——分别按各自的作用审计
将挑战性目标标为“不切实际”	指出不可衡量、缺少关联或可操纵的问题，而非目标有挑战性
建议再增加 10 项指标	采用更少、层级关联明确的指标，并设置护栏指标
对具有操纵性的 UI 重复进行暗黑模式审计	指出指标与护栏指标之间的缺口；将界面问题交由 ux-dark-patterns-audit 处理
不分优先级地罗列问题	按对决策的损害程度划分严重性，并列出优先级最高的 3 项及其改写方案

---

来源学习材料（Uxcel）

• OKR、KPI 与北极星指标
• 好指标（与坏指标）的构成
• 虚荣指标与可操作指标
• 以成果为导向，而非以功能为导向
• 选择有效的产品指标
• 暗黑模式与护栏指标的重要性