measure

衡量——定义并跟踪成功

概述

如果无法定义成功，就无法围绕成功进行设计。如果衡量的指标不对，优化的结果也会偏离目标。

UX 衡量将设计决策与可观察的证据联系起来——我们构建的东西是否真的帮上了忙？这项技能定义了要衡量什么、如何衡量，以及如何根据所得信息做出决策。它连接了“我们已发布”和“它确实有效”之间的鸿沟。

但衡量并非中立。你选择的每个指标都会影响优化方向。衡量网站停留时间，你就会得到无限滚动；衡量点击量，你就会得到标题党；衡量转化率，你就会得到暗黑模式——除非你也衡量这些指标给用户带来的代价。这项技能可防止衡量沦为操纵，确保指标激励的是真正的价值，而非人为制造的参与度。

**何时启用这项技能：**为新功能定义成功标准、设计实验、构建衡量框架、分析漏斗表现、审查现有指标是否衡量了正确的内容，或在“数据看起来不错”但体验感觉不对时启用。

---

技能家族

Measure 与完整的 Intent 技能体系协同工作：

• /strategize：其假设需要可衡量的成功标准。每项战略押注都应关联一个指标，用以判断押注是否奏效。/strategize 提出假设；/measure 定义何时假设成立。当指标与战略假设相矛盾时，Measure 会反馈并重新审视战略——同时设有防护措施（见下文“衡量结果促使重新审视战略时”）。
• /investigate：定性研究可补充定量衡量。当数据表明用户在第 3 步流失时，investigate 会告诉你原因。当满意度分数在重新设计后下降时，investigate 会通过访谈了解数字背后的体验。切勿仅凭指标做出重大的设计决策。
• /evaluate：UX 评估会生成分数和发现，为衡量工作提供依据。评估会发现可用性问题；衡量则会跟踪修复是否真正解决了这些问题。
• /specify：将设计打包以供构建；如果项目制定了衡量框架，它也会随设计包一起交付，以便构建者埋点记录成功的衡量方式。
• /philosopher：一种贯穿各环节的认知模式，用于在指标成为目标之前对其提出质疑。在以下情形调用：某项指标似乎太容易被操纵，仪表板一片绿但用户仍在抱怨，你不确定衡量的是用户成功还是对用户的榨取，或你需要提出这样的问题：“如果衡量这件事会改变我们试图衡量的行为呢？”

---

核心能力

1. 指标选择：HEART 框架

Google 的 HEART 框架为选择 UX 指标提供了一种结构化方法。应针对每项功能分别应用，而不是全局应用——不同的功能需要不同的指标。

Happiness — 主观满意度：

• NPS（净推荐值）：推荐意愿，采用 0-10 分制。虽然比较直接，但适合用于观察趋势。
• CSAT（客户满意度）：对特定交互的满意度，通常采用 1-5 分制。与 NPS 相比，更适合用于功能级决策。
• SUS（系统可用性量表）：包含 10 个问题的标准化可用性问卷。适合用于对比不同版本。
• 自定义调查：针对具体功能设计的问题。“你觉得找到所需内容有多容易？”比“你有多满意？”更有用。

Engagement — 行为深度：

• 频率：用户回访的频次（日活跃用户、周活跃用户、月活跃用户）
• 强度：每次会话的使用深度（使用的功能、消费的内容、执行的操作）
• 广度：用户接触的功能数量（关注采用广度，而不只是深度）
• 最近使用时间：上次交互是什么时候（可作为流失的早期预警）

Adoption — 新用户使用情况：

• 新用户激活：完成关键引导里程碑的用户百分比
• 功能采用率：尝试新功能的符合条件用户百分比
• 引导完成率：用户通过首次使用体验的转化漏斗
• 达成价值所需时间：新用户多快能获得第一个有意义的结果

Retention — 持续使用：

• 回访率：D1、D7、D30 留存率（1、7、30 天后回访的用户百分比）
• 流失率：某一时期内停止使用产品的用户百分比
• 重新激活：离开后又回来的用户（是什么让他们回来？）
• 群组留存：按注册群组划分的留存曲线（较新的用户留存得更好吗？）

Task success — 任务有效性：

• 完成率：完成已开始任务的用户百分比
• 错误率：导致错误的尝试所占百分比
• 任务耗时：完成任务所需时间（通常越短越好，但并非总是如此）
• 效率：任务完成情况与最优路径长度的对比

**并非每项功能都需要涵盖全部五个维度。**选择 2-3 个与功能目标最相关的维度。结账流程最关注任务有效性和满意度。内容信息流最关注参与度和留存率。新功能发布最关注采用率。

**反向指标：**对于每个要优化的指标，都要指出可能受损的指标。如果参与度上升，但满意度下降，这是一个危险信号。如果转化率提高，但支持工单增加，那就说明出了问题。反向指标就是矿井里的金丝雀。

2. 目标-信号-指标映射

GSM 框架可以避免你在尚未了解真正想要弄清楚什么时，就直接跳到指标。

目标： 你想要实现什么用户或业务成果？请具体说明。“改善用户体验”不是目标。“用户无需过多浏览就能快速找到相关内容”才是目标。

信号： 哪种可观察到的用户行为能够表明目标正在取得进展？这是意图与数据之间的桥梁。“用户直接导航到相关内容”是一个信号。“用户在网站上花费更多时间”不一定是成功信号——他们可能只是迷路了。

指标： 如何量化该信号？需明确具体公式、数据来源、测量频率和成功阈值。“通过分析工具每周测量，第 80 百分位会话的点击至内容中位数少于 3 次”就是一个指标。

GSM 链示例：

• 目标：用户能够顺畅完成结账
• 信号：用户逐步完成结账流程，不会中途放弃或返回
• 指标：对于已将商品加入购物车的用户，结账完成率 > 75%；结账时间中位数低于 90 秒；结账期间的返回导航率 < 10%

上线前，为每项主要功能构建 GSM 链。 如果你无法清楚表述目标，就不知道成功是什么样子。如果你无法识别信号，就只能猜测该测量什么。如果你无法定义指标，就无法从已发布的内容中学习。

3. A/B 测试设计

实验能帮助你了解设计变更是否真正有效。但设计不当的实验会让你产生错误的信心。

假设结构： “如果我们[进行具体变更]，那么[具体指标]会因为[因果推理]而[朝某个方向变化]，变化幅度约为[估计幅度]。”

示例：“如果我们将搜索栏从页眉移到首屏区域，那么搜索使用率将提高 15%，因为用户浏览页面时会更早看到它，从而减少向上滚动进行搜索的阻力。”

最小可检测效应（MDE）： 值得检测的最小变化是多少？转化率提高 0.1% 可能不值得投入工程资源，而提高 5% 则值得。在测试开始前设定 MDE，而不是测试结束后再设定。这决定了所需的样本量。

样本量计算： 取决于：基线转化率、MDE、统计功效（通常为 80%）、显著性水平（通常为 95% / alpha = 0.05）。不要猜测——请使用公式或计算器。

常见场景速查表（双侧检验、80% 功效、95% 显著性、两个变体）：

基线比率	MDE（相对值）	每个变体的样本量
5%	20%（5% → 6%）	~25,000
10%	10%（10% → 11%）	~14,500
10%	20%（10% → 12%）	~3,800
25%	10%（25% → 27.5%）	~4,800
50%	5%（50% → 52.5%）	~6,000

基线比率越低、MDE 越小，所需流量就会大幅增加。如果所需样本量超过月流量，可以提高 MDE（只检测较大的效果）、延长测试时长，或者接受 A/B 测试并非合适的方法，改用定性研究。统计功效不足的测试会产生无法得出结论的结果，浪费时间。

时长： 至少运行 1-2 个完整的每周周期，以考虑星期几带来的影响。对于季节性业务，测试时间要更长。即使提前达到样本量，也绝不要少于一周——用户行为模式会随星期几而变化。

细分： 检查不同用户群体的效果差异：新用户与回访用户、移动端与桌面端、地理区域、套餐类型。总体中性的结果可能掩盖某个群体的显著正向效果和另一个群体的显著负向效果。

护栏指标： 明确哪些指标绝不能变差。如果测试新的结账流程，护栏指标可能包括：每位用户带来的收入、支持工单量、退货率。如果测试变体提高了转化率，却增加了退货，那么测试就失败了。

常见错误：

• 测试达到统计显著性之前就查看结果（会抬高假阳性率）
• 未针对多重比较进行调整，就运行过多变体
• 忽略新奇效应（新事物仅仅因为新鲜就会获得更多点击——应等待效果趋于稳定）
• 因为早期结果“看起来很明确”而过早停止测试
• 多项测试同时运行时，未考虑交互效应
• 测试外观上的变更，而真正的问题其实在于结构

4. 漏斗分析

漏斗可以揭示用户在哪些环节中途退出了目标流程。但价值不在数字本身，而在于理解背后的原因。

精确定义步骤： “加入购物车”是指点击按钮，还是确认添加？“结账”是指打开付款表单，还是提交表单？步骤定义不精确会导致转化率产生误导。请将每个步骤定义为具体、可观测且明确无歧义的事件。

衡量每个步骤之间的转化情况： 步骤 1 → 步骤 2：有多少比例的用户会继续？有多少比例会返回上一步？有多少比例会完全离开？每种转化都说明了不同情况。

找出流失最多的环节： 重点关注转化率最低的步骤衔接。“查看商品”到“加入购物车”之间流失 40%，与“输入付款信息”到“确认订单”之间流失 40%，是两种不同的问题。

按所有维度细分： 用户类型（新用户与回访用户）、设备、流量来源、地理位置、一天中的时段、一周中的日期。汇总漏斗会掩盖有效信号。整体转化率为 30% 的漏斗，对回访的桌面端用户来说可能是 50%，对新移动端用户来说则可能是 10%——这完全是两个不同的问题。

结合定性研究： 发现用户流失后，你就知道用户在哪个环节遇到了困难。要了解原因，可以结合 /investigate，查看会话录制、开展可用性测试，或在用户遇到阻碍时进行问卷调查。缺少背景信息的数据会导致错误的干预措施。

基准比较： 比较不同时段的漏斗（最近一次发布是带来了帮助还是造成了影响？）、不同细分群体的漏斗（谁遇到的困难最大？），并谨慎对照行业基准（适合进行数量级检查，但不适合设定具体目标）。

5. 定性与定量交叉验证

数字告诉你发生了什么，定性研究告诉你为什么。仅凭其中一种，都不足以支撑设计决策。

何时进行交叉验证：

• 指标显示用户流失，但你不知道原因 → 在用户遇到阻碍的环节开展可用性测试
• 改版后满意度评分下降 → 采访用户，了解他们的体验发生了什么变化
• A/B 测试未显示统计学上的差异 → 定性研究发现两个变体都存在相同的根本可用性问题
• 功能采用率低 → 是不易发现、实用性不足，还是可用性问题？只有定性研究才能区分。

如何进行交叉验证：

• 先通过定量研究找出发生了什么以及问题出在哪里
• 再通过定性研究了解原因
• 然后回到定量研究，验证干预措施是否解决了问题
• 重复以上步骤

绝不要仅凭一种数据类型做出重大设计决策。 一项显示“转化率提高了 5%”的指标，并不能说明这一提升究竟源自真正创造了价值，还是因为给替代路径增加了阻碍。5 名参与者在可用性测试中遇到困难，也不能说明问题有多普遍。两者结合起来才能揭示真实情况。

6. 道德衡量

指标会塑造团队、产品和用户的行为。谨慎衡量。

古德哈特定律： “当一项衡量标准变成目标时，它就不再是好的衡量标准。”这不是理论上的担忧。当团队的激励与用户停留时长挂钩时，他们就会设计无限滚动和自动播放。当激励与注册量挂钩时，他们就会设计具有欺骗性的注册墙。当激励与互动度挂钩时，他们就会发送垃圾通知。失效的不是指标——而是指标取代了目标本身，不再只是目标的替代衡量标准。

互动度不等于价值： 高互动度可能意味着上瘾，而非满意。每天查看手机 200 次的用户互动度很高，但他们也可能焦虑、分心且不快乐。除了互动度指标，还要纳入满意度指标。如果互动度上升而满意度下降，你打造的就是老虎机，而不是有用的产品。

需要留意的暗黑指标模式：

• 将通过默认勾选框成功订阅新闻简报的人数计入“成功”注册量
• 将用户点击关闭烦人通知的行为计为“互动”
• 将实际由取消服务阻力造成的“留存”当作成绩庆祝
• 将通过误导性按钮标签或紧迫性倒计时促成的行为报告为“转化”
• 跟踪由令人困惑的导航造成的“网站停留时长”

与 Intent 反模式目录的关联： 任何能通过实施暗黑模式而改善的指标，都衡量错了对象。在庆祝指标提升之前，先问：这种提升能否通过暗黑模式实现？如果可以，就要核实它并非由此造成。

道德衡量替代框架： 在衡量每项业务指标的同时，也衡量用户满意度、任务完成情况和所付出的努力。构建一个包含两列的衡量仪表板：业务成果和用户成果。如果业务指标提升而用户体验指标下降，这就是暗黑模式的信号——即使没人有意为之。

• 业务指标：转化率 → 配对的用户指标：购买后满意度
• 业务指标：互动度（DAU）→ 配对的用户指标：用户报告的价值
• 业务指标：留存 → 配对的用户指标：取消服务的便捷程度
• 业务指标：每用户收入 → 配对的用户指标：感知到的性价比

---

当衡量结果指向策略时

衡量不仅是策略的下游环节。当证据与策略假设相矛盾时，它也能促使我们重新审视策略。以下触发条件针对衡量环节；一般性的回溯规则——人工检查点、循环预算、书面退出条件——见 /intent 中的“回溯与退出条件”。

根据指标重新开启 /strategize 的触发条件

• **受众矛盾。**细分分析显示，主要使用该产品的受众并非策略假设的目标受众。
• **功能验证失败。**采用率指标显示，某个被认为是核心的功能无人使用，而某个被认为是次要的功能却被大量使用。
• **解决方案适配失败。**流失并非发生在你优化的流程中，而是在流程之前。用户触达产品的方式与策略假设不符。
• **触发古德哈特定律。**主要指标有所改善，反向指标却恶化了，且定性研究证实用户的处境变差。
• **机会规模估算错误。**实际测得的付费意愿、使用频率或覆盖范围比策略估算低了一个数量级。

不属于触发条件——常见误报

• 结果略低于预期——方向比幅度更重要。
• 受新鲜感或季节性影响的早期指标——等待 2+ 个每周周期后再判断是否稳定。
• 某个细分群体表现不佳——可能只需针对该细分群体采取措施，而非全面重审策略。

如何负责任地重新审视策略

1. 指出指标所反驳的战略假设。 不要说“用户没有转化”，而要说“我们假设 [具有 Y 动机的 X 受众] 是主要受众，但数据表明是 [Z]。”
2. 提供证据，而非结论。 指标、反向指标、定性信号和原始假设。让 /strategize 重新构建策略框架，不要预先设定结论。
3. 请用户授权重新审视策略。 衡量结果可能表明策略有误；只有了解业务背景的人才能决定是否必须改变策略。

停止条件

每个项目迭代中，根据上线后指标最多重新审视一次策略。第二次重新审视表明框架构建存在用户必须解决的问题——停止分析，直接指出这一矛盾。

---

输出格式

将交付成果写入工作目录中的文件，或写入用户指定的位置；文件名应包含其类型和主题（metrics-larkspur-refills.md）。文件承载工作成果；对话承载你对成果的说明。文件从第一个章节开始，不要添加介绍文件本身的文字。

衡量框架（GSM 映射）

为每个主要功能或计划制定目标-信号-指标链，包括反向指标和伦理考量。

A/B 测试计划模板

假设、变体、主要指标、护栏指标、样本量计算、持续时间、细分计划、决策标准（不同结果分别意味着什么行动）。

漏斗分析模板

步骤定义、转化率、细分维度、流失分析、针对主要阻碍点的定性研究计划。

指标仪表板规范

包含哪些指标、如何展示、更新频率、警报阈值、受众（谁会查看这些指标，以及他们会据此做出什么决策）。

学习计划

上线后的衡量节奏：第 1 天、第 1 周、第 1 个月、第 1 个季度要衡量什么。何时回访、要关注什么、何时判定成功或调整方向。

---

语气与方法

准确说明数据能证明什么、不能证明什么。给出区间，不要含糊其辞：“转化率上升 1 到 3 个百分点（95% CI），n=4,100。”统计显著性不代表实际意义。p 值低于 0.05 表示结果不太可能由偶然因素导致，但不代表结果具有实际意义。

工作中的局限应以数字呈现：n 值、区间、细分群体。在对话中指出并记录选择偏差、幸存者偏差和混杂变量。坦诚的不确定性比虚假的信心更有用。

避免虚假的确定性。在对话中说明数据无法确定什么，以及哪些研究可以给出答案。在工作成果中，用区间和 n 值说明。最危险的指标，是看似结论明确、实则并非如此的指标。

倡导衡量对用户真正重要的内容，而不只是容易追踪的内容。点击量容易统计，满意度更难衡量。任务完成情况有实际意义，网站停留时间则含义模糊。应倡导反映用户成功的指标，即使这些指标更难埋点。

---

范围边界

此技能负责：

• 指标选择和衡量框架设计
• A/B 测试设计和实验方法
• 漏斗分析方法和模板
• 伦理衡量指导和反向指标定义
• GSM 映射和学习计划制定

此技能不负责：

• 分析实现和埋点（工程）
• 定性研究执行（/investigate）
• 战略框架构建和假设生成（/strategize）
• UX 评估和启发式评估（/evaluate）
• 仪表板视觉设计（视觉设计）
• 统计分析执行（数据科学）