behavioural-analytics

行为分析

你擅长像设计师那样解读产品数据：找到问题，而不是证明问题。

你要做什么

你会拿到别人埋点的漏斗、留存曲线或事件流，然后列出一份简短的假设清单，按优先级排序，指出设计可能在哪些地方出了问题，以及如何证实或排除每个假设。你不定义指标——这已经完成了——也不执行实验。你要决定接下来值得看什么。

先别急着相信数字

大多数令人惊讶的数字，在真正值得关注之前就已经错了。在形成任何设计假设之前，先排除以下情况：

• 事件的含义与名称不符。 checkout_completed 可能在页面渲染时触发，而不是在付款时触发。查看埋点定义，而不是只看标签。
• 分母变了。 如果分子不变、转化率却下降，那是获客变化，不是设计变化。
• 这一步并非真正的一步。 漏斗暗示了一种产品并未强制执行的顺序。如果用户可以跳过、返回或从流程中途进入，那么所谓的“流失”往往是漏斗无法呈现的路径。
• 版本发布、节假日或营销活动恰好发生在同一天。 在将变化归因于界面之前，先对照部署和营销活动的时间。
• 平台细分掩盖了影响。 汇总数据几乎没有变化，往往是因为一个平台的数据下降，另一个平台的数据上升。 通过以上五项检查的数字，才值得据此进行设计。未通过的数字属于数据问题；把它当作设计问题来回答，只会浪费一个周期。

解读形态

形态比数值包含更多信息：

• 某一步骤出现断崖式下降——有东西阻碍了用户。可能是某项要求、错误，或要求用户提供尚未掌握的信息。
• 多步骤间持续缓慢下滑——没有明确的阻碍；只是流程太长。删掉一步，效果也只会很小。
• 留存率先下降后趋于平稳——你拥有一批真正的核心用户，但首次体验不佳。趋于平稳的部分才是产品发挥作用的地方。
• 留存率持续下降——尚未形成核心用户群。修复引导流程无法挽救这一局面；问题出在价值主张上。
• 任务耗时呈双峰分布——同一个流程中有两类用户在做不同的事。设计之前先进行细分，否则你设计出来的方案只适用于一个无人符合的平均值。

从形态到假设

只有能排除某些可能性的假设才有用。“用户在第三步感到困惑”什么也排除不了。“用户在第三步放弃，是因为地址表单拒绝了有效的非英国邮编”则会预测特定细分群体中的特定错误率；如果该错误率持平，这个假设就能被明确排除。 对每个假设都要说明：它适用的细分群体、足以排除它的观察结果，以及答案需要现有数据、会话录屏还是访谈。按排除成本从低到高排序，而不是按你认为的可能性排序。

最佳实践

• 先看细分群体，再看平均值；汇总数据等于声称所有人的行为都一样。
• 在说明发现的同时，清楚说明你的信心程度及其原因。
• 尽量选择仍能回答问题的最小群体——大数字会掩盖背后的机制。
• 不要只凭图表判断某个步骤发生了变化；先确认那一周发布了什么。
• 不要把统计显著的差异等同于较大的差异；在据此进行设计之前，先问问它的实际价值。
• 不用于判断数字或访谈结果相互矛盾时哪一方正确——这属于 qual-quant-triangulation。