prompt-test

/digital-marketing-pro:prompt-test

脚本位置。 如果你的宿主未设置 ${CLAUDE_PLUGIN_ROOT}，脚本位于此插件的 scripts/ 文件夹中，与 skills/ 并列。请使用 Python 3.10 或更高版本运行：python；如果找不到 python，则使用 python3（macOS 和许多 Linux 系统）。

用途

通过比较不同提示词方法、标题风格、CTA 措辞或完整内容策略的质量评分，对内容输出变体进行 A/B 测试。创建命名测试，记录各变体及其评估评分，并确定哪种方法能带来最佳质量结果。

此命令让内容创作更具实验严谨性。与其猜测哪种标题风格、邮件主题行方法或内容结构效果最好，不如进行结构化测试：定义实验，记录各变体及其质量评分，并获取有统计依据的建议，确定应采用哪种方法。适用于测试邮件主题行风格（激发好奇心与突出优势）、标题方法（疑问句、陈述句或操作指南）、CTA 措辞（紧迫感、价值或社会认同）、语气变化（正式或对话式），或完整的内容策略 A/B 对比。

所需输入

用户必须提供（或将收到提示以提供）：

• 操作：要执行的操作 — create（设置新测试）、log（向现有测试添加变体）、results（获取对比结果和胜出方案）或 list（显示所有测试）
• 测试名称：描述性实验名称（例如“Q1 邮件主题行风格”“主页标题方法”）——create、log 和 results 必填
• 变体标签：此变体的标识（例如“A”“B”“C”“对照组”“激发好奇心”“突出优势”）——log 必填
• 变体内容：要评估的实际内容——可直接输入文本、提供文件路径或粘贴内容块——log 必填
• 变体说明：简要说明此变体代表的方法或策略（例如“利用好奇心缺口，不提及产品”“以量化优势开篇”）——log 必填
• 内容类型：要测试的内容类型（邮件主题行、标题、广告文案、CTA、完整文章等）——可选；评估时会据此调整各维度的权重
• 证据文件：为测试假设提供依据的数据或研究资料——可选；评估时会将其作为背景信息传入

流程

1. 加载品牌上下文：读取 ~/.claude-marketing/brands/_active-brand.json 获取当前启用的 slug，然后加载 ~/.claude-marketing/brands/{slug}/profile.json。应用品牌语气、目标市场的合规规则（skills/context-engine/compliance-rules.md）和行业背景。检查 ~/.claude-marketing/brands/{slug}/guidelines/_manifest.json 中是否有指南；如果有，加载限制要求和相关类别文件（语气与风格规则、信息层级、渠道风格指南）。检查 ~/.claude-marketing/brands/{slug}/templates/ 中是否有自定义模板。检查 ~/.claude-marketing/sops/ 中是否有代理机构标准作业程序。如果没有品牌，请询问：“要先设置品牌吗（/digital-marketing-pro:brand-setup）？”——也可以使用默认设置继续。
2. 对于 create 操作：运行 python "${CLAUDE_PLUGIN_ROOT}/scripts/prompt-ab-tester.py" --brand {slug} --action create-test --test-name "{name}"，创建新的测试。这会初始化测试记录及其元数据（创建日期、品牌、内容类型），并为记录变体做好准备。确认测试已创建，并提醒用户使用 /digital-marketing-pro:prompt-test 的 log 操作记录变体。
3. 对于 log 操作：首先运行 python "${CLAUDE_PLUGIN_ROOT}/scripts/eval-runner.py" --brand {slug} --action run-quick --text "{content}" --content-type "{type}"，评估变体内容的质量（如果变体是文件，则使用 --file "{path}" 代替 --text）。此操作会为三个快速评估维度（hallucination、content_quality、readability）分别评分，并给出综合评分。注意：run-quick 会忽略证据文件；如果提供了证据文件，且本次测试需要核验声明，请改用 --action run-full --evidence "{evidence_path}"。然后运行 python "${CLAUDE_PLUGIN_ROOT}/scripts/prompt-ab-tester.py" --brand {slug} --action log-variant --test-name "{name}" --variant "{label}" --data '{"description":"{description}","scores":{scores_json}}'，连同评分一起记录变体。立即向用户展示该变体的各项评分，让用户在记录其他变体前了解其表现。
4. 对于 results 操作：运行 python "${CLAUDE_PLUGIN_ROOT}/scripts/prompt-ab-tester.py" --brand {slug} --action get-results --test-name "{name}"，获取完整对比结果。分析结果：
   • 根据综合评分确定获胜变体
   • 计算胜出幅度（获胜者与第二名之间的百分比差异）
   • 评估统计显著性——如果变体之间的差异在 5% 以内，标记为“难分高下”，并建议追加测试或采用决胜标准
   • 分解各维度的表现，展示每个变体的优势与不足（例如，变体 A 在 brand_voice 上胜出，但变体 B 在 readability 上胜出）
   • 找出获胜方案的具体优势，以便应用于未来的内容
   • 将低于已配置的自动拒绝阈值（默认为 40，通过 eval-config-manager.py 设置）的变体标记为不适用
5. 对于 list 操作：运行 python "${CLAUDE_PLUGIN_ROOT}/scripts/prompt-ab-tester.py" --brand {slug} --action list-tests，显示该品牌的所有测试、其状态（进行中、已完成）、变体数量和创建日期。
6. 清晰地给出结果和建议：以便于决策的形式总结发现——说明获胜者、解释获胜原因、量化优势、指出注意事项，并具体建议今后采用哪种方案。如果获胜方案体现出某种模式（例如，以利益为导向的标题对该品牌而言始终优于以好奇心为导向的标题），请将其作为可复用的经验指出。

输出

结构化测试报告，包含：

• 测试摘要：测试名称、内容类型、变体数量、日期范围
• 各变体评分卡：每个变体的标签、描述、综合得分，以及各维度的细分得分（content_quality、brand_voice、hallucination_risk、claim_verification、output_structure、readability）
• 获胜者声明：获胜变体、领先幅度，以及该幅度在统计意义上是否显著
• 维度分析：各个单独维度上领先的变体——揭示不同方面之间的权衡（例如：“变体 B 的 content_quality 得分更高，但变体 A 的 brand_voice 更出色”）
• 置信度：高置信度（领先幅度 >15%）、中等置信度（领先幅度为 5–15%）或低置信度（领先幅度 <5%，建议进一步测试）
• 具体建议：明确说明应采用哪种方法及其原因，并指导如何将获胜方法应用于未来内容
• 可复用洞见：本次测试中显现、可为整体内容策略提供参考的模式或原则
• 自动拒绝标记：得分低于质量阈值的变体及其具体原因

使用的 Agent

• quality-assurance —— 从多个维度评估各变体的内容质量，确保评分一致性，识别质量问题，并确保评估标准符合品牌规范
• content-creator —— 如果用户要求生成 AI 创作的备选内容以便与其自有版本进行测试，则负责生成额外的变体内容，并为生成的变体应用品牌语气