experimentation-and-ab-testing

experimentation-and-ab-testing

因果引擎——在受控条件下改变一个变量，了解究竟是什么推动了 KPI。这项技能负责设计测试并起草变体；scheduling-and-queue → WoopSocial负责发布；analytics-and-reporting负责读取结果。

核心观点：看证据，不凭感觉

社交媒体上的大多数“测试”都只是凭感觉——发两条内容，扫一眼点赞数，就宣布胜出者，什么也没学到。真正的实验会把猜测变成证据：改变一个变量，控制其他所有因素，在发布前设定决策规则，并进行足够长、足够频繁的测试，以区分信号和噪声。有机内容无法实现严格的统计显著性（样本量小，且算法介入其中），因此要通过更严格的控制、约 20% 以上的效果阈值、护栏指标和 3–5 次重复来弥补——并将单条爆款视为噪声，而非策略。

请先阅读

1. brand-profile——变体的语气和格式限制。
2. goals-and-kpis——测试需要推动的 KPI／主要指标。

框架：TEST

（详细说明：references/the-test-framework.md。）

• **T — 锁定一个变量：**提出明确的假设；只改变一个元素（开场／首帧／说明文字／CTA／时间／格式），其他内容保持一致；选择杠杆效应最大的变量。
• E — 先确定决策规则：发布前设定主要指标 + 胜出阈值 + 护栏（“若触达量 +15% 且收藏／触达比没有变差，则 B 胜出”）；不要事后找理由。
• S — 设定控制条件 + 样本：平台／格式／主题／长度／时间窗口保持一致；至少运行 7 天（小账号运行 2–4 周）；根据约 20% 以上且一致的效果做判断（打平 = “换个方向测试”）。
• **T — 统计、重复、扩展：**形成“最佳实践”前进行 3–5 组配对重复测试；记录每次测试；将胜出方案纳入操作手册（content-recycling），淘汰其余方案。

测试什么（杠杆效应最大且在你掌控之中）

开场／首帧（短视频）→ 发布时间（简单）→ 格式 → 说明文字／CTA → 缩略图 → 话题标签——始终与 KPI 挂钩；测试你能掌控的因素，而非依赖算法的因素。开展为期 30 天的冲刺，始终保持一项测试在运行。优先级列表、设计模板、冲刺计划、测试日志和示例：references/what-to-test-and-recipes.md。完整方法和规则：references/experimentation-2026-reality.md。

诚实的适用范围（绝不违反）

• 有机内容不是实验室级别的测试——结果只能作为方向性参考；应通过控制条件、效果量和重复测试来弥补，而不是玩弄 p 值。
• WoopSocial 没有 A/B／受众拆分界面 → 有机内容测试 = 受控的顺序发布；Agent 负责设计、起草变体和安排发布时间；主要指标从原生分析数据中读取（analytics-and-reporting）。唯一真正的原生拆分测试是 YouTube 的 Test & Compare（YouTube Studio，适用于长视频，不适用于 Shorts）——最多可测试 3 个标题、缩略图或标题 + 缩略图组合；测试 YouTube 标题／缩略图时使用该功能，而非顺序发布。（每季度核验）
• 禁止 p-hacking／HARKing／挑选性报告——预先设定决策规则；多变量变化不能归因于某个单独元素；单条帖子／单天的数据都是噪声。绝不捏造结果；打平也是有效结果。（适用范围、循环中的角色和关联：references/scope-and-connections.md。）

与相关技能的区别（正确分流）

experimentation（本技能） = 改变一个变量以确立因果关系 · analytics-and-reporting = 观察／衡量发生了什么 · goals-and-kpis = 设定目标／主要指标 · content-recycling = 扩大已验证胜出方案的应用 · viral-reverse-engineering = 解释过去的帖子（事后分析），而非向前测试

关联内容

首先阅读：brand-profile、goals-and-kpis。通过以下工具起草不同版本：hook-writer、caption-writer、 reels-script/tiktok-script、carousel-writer、image-prompt/ideogram/nano-banana、 thumbnail-design。查看结果：analytics-and-reporting（原生分析）。扩展/规划： content-recycling、social-strategy、content-calendar/batch-content-plan、所有 *-growth 技能。发布不同版本：scheduling-and-queue → WoopSocial（按受控顺序逐条发布）。

完成标准

提出清晰的假设，测试与某项 KPI 相关的一个变量；保持上下文一致并加以控制；发布前设定主要指标、 胜出阈值和护栏指标；测试时长 ≥7 天（小型账号为 2–4 周），进行 3–5 组配对重复测试；从原生分析中读取 结果，并根据约 20% 以上且稳定的效果作出判断（注明平局情况）；记录胜出方案并扩展到内容再利用/策略中； 说明有机内容的限制，不得捏造数据或进行 P 值操纵，并与 analytics-and-reporting 和 goals-and-kpis 正确区分。