product-analytics

产品分析

将原始产品数据转化为发布／延长／终止决策的框架。涵盖 A/B 测试、群组留存、漏斗分析，以及做出可靠决策所需的统计学基础。

快速参考

类别	规则	影响	使用时机
A/B 测试评估	1	HIGH	比较变体、衡量显著性、做出发布决策
群组留存	1	HIGH	功能采用曲线、第 N 天留存、参与度评分
漏斗分析	1	HIGH	诊断流失、优化转化、映射阶段
统计学基础	1	HIGH	解读 p 值、确定样本量、置信区间

总计：4 个类别，共 4 条规则

A/B 测试评估

加载 rules/ab-test-evaluation.md 查看完整框架。快速模式：

## Experiment: [Name]

Hypothesis: If we [change], then [primary metric] will [direction] by [amount]
  because [evidence or reasoning].

Sample size: [N per variant] — calculated for MDE=[X%], power=80%, alpha=0.05
Duration: [Minimum weeks] — never stop early (peeking bias)

Results:
  Control:   [metric value]  n=[count]
  Treatment: [metric value]  n=[count]
  Lift:      [+/- X%]        p=[value]  95% CI: [lower, upper]

Decision: SHIP / EXTEND / KILL
  Rationale: [One sentence grounded in numbers, not gut feel]

决策规则：

• 发布 — p < 0.05，置信区间不包含零，且护栏指标没有退化
• 延长 — 趋势为正但统计功效不足（增加运行时间，而不是重新分析）
• 终止 — 结果为零效应，或护栏指标退化

有关样本量公式、SRM 检查和常见陷阱列表，请参阅 rules/ab-test-evaluation.md。

群组留存

加载 rules/cohort-retention.md 查看完整方法。快速模式：

-- Day-N retention cohort query
SELECT
  DATE_TRUNC('week', first_seen)  AS cohort_week,
  COUNT(DISTINCT user_id)         AS cohort_size,
  COUNT(DISTINCT CASE
    WHEN activity_date = first_seen + INTERVAL '7 days'
    THEN user_id END) * 100.0
    / COUNT(DISTINCT user_id)     AS day_7_retention
FROM user_activity
GROUP BY 1
ORDER BY 1;

留存基准（SaaS）：

• 第 1 天：40–60% 属于健康水平
• 第 7 天：20–35% 属于健康水平
• 第 30 天：10–20% 属于健康水平
• 第 30 天后曲线趋于平稳 = 产品与市场契合度的信号

有关基于行为的群组、功能采用曲线和参与度评分，请参阅 rules/cohort-retention.md。

漏斗分析

加载 rules/funnel-analysis.md 查看完整方法。快速模式：

## Funnel: [Name] — [Date Range]

Stage 1: [Aware / Land]     → [N] users    (entry)
Stage 2: [Activate / Sign]  → [N] users    ([X]% from stage 1)
Stage 3: [Engage / Use]     → [N] users    ([X]% from stage 2)  ← biggest drop
Stage 4: [Convert / Pay]    → [N] users    ([X]% from stage 3)

Overall conversion: [X]%
Biggest drop-off:  Stage 2→3 ([X]% loss) — investigate first

优化顺序： 优先修复流失最大的环节。高流量环节提升 5 个百分点，价值高于低流量环节提升 20 个百分点。

有关细分漏斗、微转化跟踪和优先级排序模式，请参阅 rules/funnel-analysis.md。

统计学基础

用通俗语言解释每位 PM 都需要了解的统计概念。加载 references/stats-cheat-sheet.md 查看公式和快速查询内容。

通俗解释 p 值： 如果改动没有任何效果，观察到当前结果或更极端结果的概率。p=0.03 表示你观察到的结果有 3% 的概率只是随机噪声。它并不意味着“改动有效的概率是 97%”。

通俗解释置信区间： 真实效果可能所在的范围。“提升 = +8%，95% 置信区间 [+2%，+14%]”表示你有较高把握认为真实提升在 2% 到 14% 之间。如果置信区间包含零，就不能宣称成功。

最小可检测效应（MDE）： 你关注的最小可检测提升。将 MDE 设得过小，会导致所需样本量大到难以实际执行。应根据业务价值设定 MDE——如果 2% 的提升不值得发布，就将 MDE 设为 5%。

统计显著性与实际显著性： 结果可能具有统计显著性（p < 0.05），但在实际中毫无意义（提升 = 0.01%）。务必同时检查两者。若 0.01% 的提升需要投入 6 周工程时间，就不算成功。

常见陷阱

1. 过早查看结果 — 因结果看起来不错而提前结束实验，会抬高假阳性率。实验开始前就确定运行时长。
2. 多重比较 — 以 p < 0.05 检验 10 项指标，因偶然因素导致的假阳性约为 1 项。应用 Bonferroni 校正，或预先登记主要指标。
3. 样本比例不匹配（SRM） — 如果变体组的样本量与预期分配比例相差 > 1%，说明实验存在问题。分析结果前先修复。
4. 新奇效应 — 新功能在第 1 周的参与度会虚高。实验运行时间要足够长，以观察稳定后的行为（至少覆盖 2 个完整业务周期）。
5. 辛普森悖论 — 汇总结果在按群组细分后可能出现反转。务必按关键群组（设备、套餐级别、地理区域）检查结果。

发布 / 延长 / 终止框架

信号	决策	操作
p < 0.05，置信区间不包含零，护栏指标正常	发布	全面推出，更新成功指标
呈正向趋势，但统计效能不足（p = 0.10–0.15）	延长	延长运行时间，不要再次查看结果
p > 0.15，趋势平缓或为负	终止	回滚，记录经验教训，重新提出假设
护栏指标退化，不论 p 值如何	终止	立即回滚，不受主要指标影响
检测到 SRM	无效	修复分配错误，重新启动实验

相关技能

• ork:product-frameworks — OKR、KPI 树、RICE 优先级排序、PRD 模板
• ork:monitoring-observability — 指标定义、告警和漂移监控
• ork:brainstorm — 生成假设和实验构想
• ork:assess — 评估产品质量和风险

参考资料

• rules/ab-test-evaluation.md — 假设、样本量、显著性、决策矩阵
• rules/cohort-retention.md — 群组类型、留存曲线、SQL 模式
• rules/funnel-analysis.md — 阶段映射、流失识别、优化
• references/stats-cheat-sheet.md — 公式、检验选择、效能分析

---

版本： 1.0.0（2026 年 3 月）