brainstorm-experiments

实验设计专家

概述

在投入完整开发之前，设计快速、低成本的实验来验证产品假设。这项技能将 Alberto Savoia 的预验证理念（“在把事情做好之前，先确保做的是对的事情”）与适用于新产品和现有产品的精益实验方法相结合。

核心能力

• XYZ 假设 — 将每项测试表述为“至少有 X% 的 Y 会做 Z”，并预先设定通过／失败阈值。
• SITG + YODA 准则 — 优先采用投入切身利益（资金、时间、声誉）的信号，以及你自己的数据，而不是调查和基准。
• 方法选择 — 落地页、讲解视频、预购、礼宾式 MVP（新产品）；假门、功能桩、A/B 测试、绿野仙踪法、应用内调查（现有产品）。
• 5 步流程 — 假设、方法、指标／阈值、限时运行、评估（通过／失败／无法得出结论）。
• 自动化设计 — experiment_designer.py 会针对每项假设建议 2-3 个实验，并提供指标、阈值、工作量和时长。

适用场景

• 你有一个产品创意或功能假设，需要以低成本进行验证。
• 你想测试用户是否愿意付费或是否真正感兴趣，而不只是表达偏好。
• 你需要根据具体情境（新产品还是现有产品）选择合适的实验方法。

先澄清

设计实验前，请确认以下信息。如果有任何一项未知或含糊不清，请询问，不要自行假设：

• 待测试的假设 — 具体表述为“至少有 X% 的 Y 会做 Z”的信念（决定 hypothesis_text 和通过／失败阈值）
• 产品类型 — 新产品还是现有产品（决定方法目录：落地页／预购／礼宾式 MVP，还是假门／功能桩／A-B 测试）
• 目标群体 — 假设中的“Y”指谁（决定指标，以及向谁展示测试）
• 可用的 SITG 信号 — 根据预算／工具条件，你能采集哪些投入切身利益的信号（资金、时间、声誉）（缩小实际可行的方法范围）

停止规则：只询问对结果影响最大的 2-3 项。如果用户说“直接起草”，就继续，并在文档开头列出你的假设。

快速开始

python3 scripts/experiment_designer.py --demo            # built-in sample (3 hypotheses)
python3 scripts/experiment_designer.py input.json        # design experiments for your hypotheses
python3 scripts/experiment_designer.py input.json --format json

每项假设都需要 hypothesis_text、target_segment 和 product_type（new／existing）。使用 assets/experiment_plan_template.md 记录每项实验。

原型优先实验

AI 应用构建器、AI 设计工具和 AI 编码助手可以在数小时内制作出可点击或可运行的原型。将其视为一种额外的实验方法，并采用相同的 XYZ 假设和预设阈值：

• **适用场景：**风险最高的假设是某个具体交互是否易用或是否受欢迎。对于需求问题（“到底有没有人想要这个？”），落地页、假门或预购仍然更便宜，也更诚实。
• **测试方式：**让 5-8 名目标用户完成预先编写的任务；衡量任务完成情况和错误，而不是称赞。明确说明这是原型。
• **保护数据：**使用合成数据；未经批准，不要将客户个人身份信息（PII）载入第三方工具。
• **记录结果：**将结果记入 assets/experiment_plan_template.md，然后将已验证的结果带入 execution/create-prd/（原型优先路径）——PRD 仍负责问题、指标、约束、非目标和风险。

参考资料

加载与任务匹配的参考资料 — 保持此文件精简，按需查阅详细内容：

• references/methodology-and-tools.md — XYZ/SITG/YODA 原则、新产品和现有产品的实验类型目录、5 步流程、experiment_designer.py 的用法和标志、输出模板、故障排查、成功标准和参考文献。设计或编写实验脚本时阅读。
• references/experiment-methods.md — Savoia 的预原型验证宣言和预原型类型、完整的精益实验目录（探索和验证）、指标选择指南、阈值设定框架、样本量经验法则，以及 8 个常见陷阱。需要深入了解方法时阅读。
• references/red-flags.md — 反模式（确认偏差设计、未预设阈值、虚荣指标、频繁查看结果），附有错误和正确的实验规范示例。运行实验前阅读。

范围与限制

范围内： XYZ 假设的制定与验证；新产品（落地页、预购、礼宾式服务、解说视频）和现有产品（假入口、功能占位、A/B 测试、绿野仙踪法、应用内调查）的实验方法选择；基于假设关键词分析的自动化实验设计；指标选择、成功阈值定义，以及工作量／时长估算。

范围外： 统计功效分析或样本量计算（使用专用 A/B 测试平台）；实验基础设施搭建（功能标志、分析埋点）；运行实际实验（此技能用于设计，而非执行）；长期产品战略或路线图决策（execution/outcome-roadmap/）。

重要注意事项： 预原型验证的是需求和价值，而非可用性或性能；应用内调查是最弱的 SITG 信号 — 仅在行为实验不可行时使用；工具将关键词匹配到信号的方式基于启发式规则 — 如果领域知识表明有更好的方法，请覆盖此匹配结果。

集成点

集成项	方向	描述
brainstorm-ideas/	接收自	生成的创意将成为实验设计的假设
identify-assumptions/	接收自	“立即测试”的假设将成为此技能的假设
pre-mortem/	输入至	实验结果会在全面构建前为事前验尸风险评估提供依据
execution/create-prd/	输入至	已验证的假设将成为有证据支撑的 PRD 假设
execution/brainstorm-okrs/	输入至	实验指标可能成为 OKR 关键结果
execution/outcome-roadmap/	输入至	实验结果为 Now/Next/Later 路线图的安排提供依据