experiment-design-kit

实验设计工具包技能

适用场景

• 将原始想法转化为可测试的假设，并设定明确的成功指标。
• 确保实验简报包含护栏指标、埋点和发布详情。
• 指导各小组遵循多变体或多界面测试的最佳实践。

框架

1. 问题界定——明确用户问题、业务影响和北极星指标。
2. 假设结构——“如果我们为 Y 类用户执行 X，预计会带来 Z 的变化”，并列出相关假设。
3. 衡量计划——主要指标、护栏指标、最小可检测效应、统计功效计算。
4. 变体策略——对照组定义、变体目录、定向规则和排除规则。
5. 执行计划——负责人、时间线、依赖项、QA／回滚步骤。

模板

• 实验简报（背景、假设、设计、指标、发布检查清单）。
• 包含阈值和告警规则的护栏指标登记表。
• 界面、消息和状态的变体矩阵。
• GTM Agents 增长待办看板——记录想法 → 评估规模 → 优先级评分（ICE/RICE）@puerto/README.md#183-212。
• 每周实验资料包——包含 KPI 护栏指标、定性备注，以及提交给市场总监和销售总监的下一步计划。
• 回滚手册——预先构建的检查清单，与生命周期映射的紧急中止流程关联。

提示

• 使用反向指标对假设进行压力测试，避免陷入局部最优。
• 尽早记录数据限制，避免构建期间返工。
• 搭配 guardrail-scorecard 使用，确保发布前获得批准。
• 按照 GTM Agents 的节奏推进：周一梳理待办、周三评审构建、周五同步经验。
• 授权构建前，要求为每个阶段（激活、互动、变现）设定 KPI 护栏指标。
• 如果测试可能影响销售推进速度，应按照 GTM Agents 治理流程，将销售总监纳入审批流程。

GTM Agents 实验运营模式

1. 待办收集——想法来自 GTM 小组；增长营销人员标记主题、目标和预期影响。
2. 优先级排序——使用 RICE 评分，并加入定性的“战略契合度”修正项；每周列出排名前三的计划。
3. 设计与埋点——参考 Serena/Context7 修改代码并确认文档。
4. 发布与监控——使用 guardrail-scorecard 监测先行指标（流失、投诉、延迟）。
5. 学习闭环——使用 Sequential Thinking 进行复盘；在待办卡片中记录假设、结果、决策和后续行动。

KPI 护栏指标（GTM Agents 参考）

• Tier-1 细分群体的激活率变化必须保持在基线的 ±3% 以内。
• 每位访客带来的收入在超过 48 小时的时间内，降幅不得超过 2%。
• 与实验变体相关的支持工单必须低于总量的 5%。

每周实验资料包大纲

Week Ending: <Date>

1. Portfolio Snapshot – tests live, status, KPI trend (guardrail vs actual)
2. Key Wins – hypothesis, uplift, next action (ship, iterate, expand)
3. Guardrail Alerts – what tripped, mitigation taken (rollback? scope adjust?)
4. Pipeline Impact – SQLs, ARR influenced, notable customer anecdotes
5. Upcoming Launches – dependencies, owners, open questions

将资料包分享给增长团队、市场总监、销售总监和 RevOps，以体现 GTM Agents 的跨职能沟通节奏。

---