messaging-ab-tester

消息 A/B 测试器

别再争论哪条消息更好——直接测试。生成不同版本的消息，通过真实渠道发布，并衡量哪种表达方式真正能打动你的 ICP。

**核心原则：**在种子轮/Series A 阶段，你没有足够的流量来进行网站 A/B 测试。但你有足够的 LinkedIn 展示量和冷邮件发送量，可以快速测试不同的消息角度。

何时使用

• “我们应该重点宣传这些价值主张中的哪一个？”
• “测试我们的消息角度，告诉我哪种有效”
• “我无法在 [消息 A] 和 [消息 B] 之间做决定”
• “什么样的消息最能打动 [ICP]？”
• “为 [产品/功能] 进行消息测试”

阶段 0：信息收集

测试内容

1. 核心价值主张 — 你想测试的主张或定位（例如，“我们帮助增长团队将外呼效率提升 10 倍”）
2. 测试目标 — 你要做出什么决定？（网站标题、冷邮件角度、LinkedIn 内容策略、广告文案方向）
3. ICP — 你希望打动谁？（职位、公司类型、发展阶段）
4. 当前消息 — 你现在使用的是什么？（需要超越的基准）

测试渠道

5. 在哪里测试：
   • LinkedIn 自然流量 — 在连续几天发布不同版本的帖子，比较互动情况
   • 冷邮件 — 通过 Smartlead 对主题行或开场内容进行 A/B 测试
   • 两者都用 — 并行运行，以最快获取信号
6. 可用样本量：
   • LinkedIn：粉丝数/每篇帖子的典型展示量
   • 邮件：可用于测试的列表规模

限制条件

7. 版本数量 — 建议 3-5 个（越多，获取信号越慢）
8. 测试时长 — 运行多久？（默认：LinkedIn 测试 1 周，邮件测试 3-5 天）

阶段 1：生成不同版本的消息

创建 3-5 个版本，测试不同的角度，而不只是替换不同的词。每个版本都应代表一个独特的策略押注：

版本类型

类型	测试内容	示例
结果导向	重点突出结果	“30 天内将你的销售管道扩大 3 倍”
痛点导向	重点突出问题	“厌倦了每天花 4 小时手动开发潜在客户？”
身份认同导向	重点突出他们的身份	“专为行动迅速的增长团队打造”
证据导向	重点突出证据	“[Customer] 如何将每月演示次数从 10 次提升到 50 次”
对比导向	重点突出你不是什么	“不是又一个 CRM，而是一台外呼引擎。”

版本模板

对每个版本：

VARIANT [N]: [Type — e.g., "Outcome-driven"]

Hypothesis: This framing will resonate because [reasoning tied to ICP psychology]

LinkedIn post version:
---
[Full post copy — 100-200 words, native LinkedIn format]
---

Email subject line version:
[Subject line — max 50 chars]

Email opening hook version:
[First 2 sentences of an email]

Headline version:
[Website headline — max 10 words]

阶段 2：发布测试

选项 A：LinkedIn 自然流量测试

设置：

1. 将不同版本安排为连续发布的帖子（每天 1 篇，每天在同一时间发布）
2. 每篇帖子的长度和格式应相似（控制帖子结构）
3. 不要推广任何帖子——仅使用自然流量，确保比较结果不受干扰

衡量指标（每篇帖子发布 48 小时后）：

• 展示量
• 表情回应（赞、庆祝等）
• 评论
• 评论情绪（正面/负面/中性）
• 个人主页访问量（如可追踪）
• 收到的、提及该帖子的私信

选项 B：冷邮件 A/B 测试

通过你的外联工具设置（Smartlead、Instantly、Lemlist，或任何支持 A/B 测试的工具）：

1. 创建包含所有版本 A/B 测试序列的营销活动
2. 将列表平均分配给各个版本（每个版本至少 50 人，才能获取有效信号）
3. 发送时间、发件人和 CTA 均保持一致——只改变消息内容

衡量指标（5 天后）：

• 打开率（测试主题行）
• 回复率（测试完整消息的共鸣度）
• 正面回复率（测试转化质量）
• 点击率（如包含链接）

选项 C：两者都用（推荐）

并行运行 LinkedIn 和邮件测试。不同渠道可能会得出不同的胜出版本——这能提供有价值的信号，帮助你了解每条消息在哪种渠道效果最好。

阶段 2B：收集结果

测试按计划运行完毕后，收集结果：

如何提供数据：

• 粘贴指标 — 将打开率、回复率和互动数据直接复制到聊天中
• CSV 导出 — 从外联工具导出营销活动分析数据并分享文件
• 截图 — 截取仪表板/分析页面并分享
• 手动输入 — 直接告诉 Agent 数据：“变体 A 的打开率为 45%，回复率为 3%；变体 B 的打开率为 52%，回复率为 5%”

LinkedIn 测试： 打开帖子分析页面（点击每篇帖子的“查看分析”），并分享每篇帖子的展示次数、表情回应、评论和个人主页访问量。

电子邮件测试： 导出或截取营销活动的变体/A-B 测试结果，显示每个变体的发送数、打开数和回复数。

Agent 会将你提供的任何格式的数据整理为下方评分框架所需的格式。

阶段 3：分析结果

评分框架

指标	权重（LinkedIn）	权重（电子邮件）
互动率	30%	—
评论质量	30%	—
打开率	—	30%
回复率	—	40%
正面回复率	—	30%
展示次数	20%	—
个人主页访问量 / 点击量	20%	—

统计显著性检查

对于电子邮件测试：

• 每个变体的最低发送数： 50（用于判断趋势），200+（用于做出可靠决策）
• 判定胜出者所需的最小差异： 主要指标的相对差异 >20%

对于 LinkedIn 测试：

• 每个变体的最少帖子数： 1（测试数据有限，请将结果视为趋势）
• 最低展示次数： 每篇帖子 500 次，才能进行比较

胜出者选择

WINNER: Variant [N] — [Type]

Primary metric: [X] (vs average of [Y] across other variants)
Relative improvement: [Z%] over baseline

Why it won:
[1-2 sentences on what this tells us about ICP messaging preferences]

Runner-up: Variant [N]
[1 sentence on when this might work better — different channel, different segment]

阶段 4：输出格式

# Messaging A/B Test Results — [DATE]
Value prop tested: [description]
ICP: [target audience]
Test duration: [dates]

---

## Test Design

| Variant | Type | Hypothesis |
|---------|------|-----------|
| A | [Type] | [Hypothesis] |
| B | [Type] | [Hypothesis] |
| C | [Type] | [Hypothesis] |

---

## Results

### LinkedIn Test

| Variant | Impressions | Reactions | Comments | Engagement Rate | Score |
|---------|------------|-----------|----------|----------------|-------|
| A | [N] | [N] | [N] | [X%] | [weighted] |
| B | [N] | [N] | [N] | [X%] | [weighted] |
| C | [N] | [N] | [N] | [X%] | [weighted] |

### Email Test

| Variant | Sends | Opens | Open Rate | Replies | Reply Rate | Positive | Score |
|---------|-------|-------|-----------|---------|------------|----------|-------|
| A | [N] | [N] | [X%] | [N] | [X%] | [N] | [weighted] |
| B | [N] | [N] | [X%] | [N] | [X%] | [N] | [weighted] |
| C | [N] | [N] | [X%] | [N] | [X%] | [N] | [weighted] |

---

## Winner: Variant [N] — "[Headline]"

**Why it won:** [Analysis — what does this tell us about how our ICP thinks?]

**Recommended deployment:**
- Website headline: "[adapted version]"
- Sales deck opening: "[adapted version]"
- LinkedIn bio: "[adapted version]"
- Cold email default: "[adapted version]"

---

## Variant Details & Copy

### Variant A: [Full copy used in test]
### Variant B: [Full copy used in test]
### Variant C: [Full copy used in test]

---

## What to Test Next

Based on these results, the next messaging test should explore:
1. [Angle suggested by results — e.g., "test more specific proof points since proof-driven won"]
2. [Segment test — e.g., "test winning message against different ICP segment"]

保存到当前工作目录或用户指定的位置。

费用

组件	费用
变体生成	免费（大模型推理）
LinkedIn 发帖	免费（自然流量）
电子邮件测试	包含在外联工具的套餐中
结果分析	免费（大模型推理）
总计	免费

所需工具

无需工具。变体生成、测试设计和结果分析均通过推理完成。用户通过自己的工具部署测试：

• LinkedIn 自然流量 — 手动发布变体或使用排期工具
• 冷邮件 — 在所用的外联工具（Smartlead、Instantly、Lemlist 等）中设置 A/B 测试
• 结果 — 用户提供指标（截图、CSV 导出文件或手动输入），供分析使用

触发短语

• “测试哪种沟通角度最适合 [ICP]”
• “为 [价值主张] 运行沟通 A/B 测试”
• “我们应该优先使用这些消息中的哪一条？”
• “帮我在这些定位方案中做决定”