creative-testing-framework

/digital-marketing-pro:creative-testing-framework

脚本位置。 如果宿主未设置 ${CLAUDE_PLUGIN_ROOT}，脚本位于此插件的 scripts/ 文件夹中，与 skills/ 并列。请使用 Python 3.10 或更高版本运行：python；如果找不到 python，则使用 python3（macOS 和许多 Linux 系统）。

目的

设计一套系统化的创意测试框架，在严谨遵循统计原则的同时，最大限度地提升学习速度，适用于各类广告平台。生成完整的测试手册，涵盖变量优先级、样本量要求、迭代节奏和文档标准，以实现持续的创意优化。

所需输入

用户必须提供（或将被提示提供）：

• 广告平台：广告投放平台——Google Ads、Meta Ads、LinkedIn Ads、TikTok Ads、程序化 DSP、Pinterest、X/Twitter，或多个平台
• 可用的创意类型：可制作的格式——静态图片、视频（短视频/长视频）、轮播图、纯文本、响应式展示广告、HTML5、Playable，或合集广告
• 用于测试的月度广告预算：专门用于创意实验的预算，相对于已验证效果广告的预算
• 当前表现最佳的创意：对当前投放中表现最佳的广告进行描述或提供参考，并包含其关键指标
• 学习目标：需要优化的创意元素——标题、图像、CTA 文案、视频开场、配色方案、优惠呈现方式、社会认同、格式类型或广告文案长度
• 测试受众细分：可用于测试的受众群体——潜在客户开发、再营销、相似受众、兴趣受众、人口统计受众或自定义细分
• 广告系列目标：广告优化目标——认知度（展示次数/触达人数）、考量度（点击量/视频观看量）或转化（潜在客户/购买量/ROAS）
• 历史创意表现数据：可选——过去的测试结果、创意疲劳模式、季节性表现差异，以及已知的优胜/落败创意
• 品牌指南限制：影响创意制作速度的视觉识别规范、信息限制、强制免责声明或审批瓶颈
• 测试时间线：测试计划应持续的时间——单次冲刺（2-4 周）、季度路线图或持续运行的常青计划

流程

1. 加载品牌背景信息：读取 ~/.claude-marketing/brands/_active-brand.json 获取当前启用的 slug，然后加载 ~/.claude-marketing/brands/{slug}/profile.json。应用品牌语调、目标市场的合规规则（skills/context-engine/compliance-rules.md）和行业背景信息。同时检查指南：查看 ~/.claude-marketing/brands/{slug}/guidelines/_manifest.json 是否存在；如果存在，加载限制和相关类别文件。检查 ~/.claude-marketing/brands/{slug}/templates/ 中是否有自定义模板。检查 ~/.claude-marketing/sops/ 中是否有代理机构 SOP。如果没有品牌，请询问：“先设置一个品牌？（/digital-marketing-pro:brand-setup）”——或者使用默认设置继续。
2. 定义测试变量：列出所有可测试的创意元素——标题文案、正文文案长度、CTA 文本和颜色、主视觉图片主题、图片风格（照片、插画或 UGC）、视频钩子（前 3 秒）、视频长度、广告格式（静态、轮播或视频）、配色方案、优惠呈现方式（折扣、价值或紧迫感）、社会认同类型（客户评价、统计数据或徽章）以及版式构图。
3. 按预期影响和实施难度确定变量优先级：在 2×2 矩阵中，按预期效果影响（高/低）和制作工作量（高/低）为每个变量评分。排列变量优先级，让团队优先测试影响高、工作量低的元素。可用时，使用历史数据和平台基准来估算影响。
4. 设计测试矩阵：建立变量与变体的网格——针对每个优先变量，定义 2–4 个变体，与当前对照版本进行测试。确保测试彼此独立（每项测试只测试一个变量），除非有意开展多变量实验。将每项测试对应到适当的受众细分群体和平台。
5. 计算每个变体的样本量和最低预算：使用 python "${CLAUDE_PLUGIN_ROOT}/scripts/sample-size-calculator.py" --baseline-rate {rate} --mde {mde} --mde-type relative --significance 0.95 --power 0.80 计算每个变体所需的转化次数（“相对提升 10–20%”对应 --mde 0.10–0.20 和 --mde-type relative；如果目标以百分点表示，则使用 --mde-type absolute——当基准值为 5% 时，两种类型的结果相差约 40 倍）。根据当前 CPM/CPC 费率，将样本量换算为每项测试的最低预算。
6. 定义留出组对照结构：设计对照框架——将测试预算的 10–20% 分配给不变的对照创意，作为稳定基准。定义何时应更新对照（每季度一次，或表现低于阈值时），以及新胜出版本如何晋升为新对照。
7. 设定统计显著性阈值：定义判定胜出版本所需的置信水平（方向性决策采用 90%，重大创意调整采用 95%）。指定使用频率学派（p 值）还是贝叶斯（成为最佳方案的概率）方法。记录最低观察周期（至少 7 天，以考虑一周内不同日期的影响）和防止窥视数据的规范。
8. 制定迭代节奏：设计测试节奏——高流量账号每周更新创意，中等流量账号每两周更新一次，低流量账号每月更新一次。定义流程：简报（第 1 天）、制作（第 2–3 天）、审核与批准（第 4 天）、上线（第 5 天）、监测（第 6–14 天）、分析与迭代（第 15 天）。使节奏与品牌审批工作流保持一致。
9. 制定胜出版本的选择标准：定义如何判定胜出版本——主要指标（根据目标选择 CTR、转化率、ROAS 或 CPA）、最低置信水平、达到最低样本量，以及不得恶化的护栏指标（例如，标题虽然提升了 CTR，却导致转化率大幅下降，就不能算胜出）。宣布胜出前，使用 python "${CLAUDE_PLUGIN_ROOT}/scripts/significance-tester.py" --control-visitors {n} --control-conversions {n} --variant-visitors {n} --variant-conversions {n} --confidence 0.95 确认候选胜出版本具有统计显著性。还需规定如何处理平局和结果不确定的情况。
10. 创建结果与经验记录模板：设计标准化测试卡模板，记录以下内容：假设、测试变量、变体、受众、平台、日期范围、样本量、主要指标结果、次要指标、统计显著性、胜出版本判定、关键经验以及下一项测试建议。随着时间推移，这将逐步建立创意知识库。

输出

结构化的创意测试框架，包含：

• 测试变量优先级排序 — 按影响力与投入精力构建矩阵，对所有可测试元素进行评分、排序，并按顺序纳入测试路线图
• 测试矩阵 — 按变量与变体划分的网格，展示每项测试、其对照组、变体、目标受众和平台，并明确隔离各项变量
• 各变体的样本量要求 — 根据当前表现数据、期望的 MDE 和置信水平计算最低样本量
• 每项测试的最低预算 — 根据样本量要求，结合当前平台 CPM/CPC 费率换算，并列出测试预算总分配
• 留出对照组设计 — 分配 10-20% 的预算，制定对照组更新标准，以及从测试到常青创意的获胜方案晋级流程
• 统计显著性阈值与方法论 — 置信水平、频率学派与贝叶斯方法、最短观察期和防止提前窥探的规则
• 迭代节奏日历 — 按周或冲刺周期制定测试计划，并列出简报、制作、上线和分析日期
• 获胜方案遴选标准 — 主要指标、置信水平、最低提升阈值、护栏指标、平局决胜规则，以及结果不明确时的处理流程
• 每个变体的创意简报模板 — 标准化简报格式，确保每个变体都能与对照组及其他变体形成明确差异
• 创意追踪命名规范 — 系统化命名结构（platform_audience_variable_variant_date），便于跨平台进行清晰的效果分析
• 结果与经验记录模板 — 测试卡格式，用于记录假设、结果、显著性、经验和后续步骤，并存入可搜索的知识库
• 创意疲劳指标与更新触发条件 — 用于判断获胜创意是否正在失去效果的指标（CTR 下降、频次阈值、互动量下降），并提供建议的更新措施
• 平台专属测试最佳实践 — Meta Advantage+ 创意注意事项（包括 Advantage+ Leads，该功能将于 2026 年 5 月面向全球开放）、Google 响应式广告测试细节、LinkedIn 创意规格、TikTok 原生内容要求、Threads 纯图片版位（将于 2026 年 5 月完成全球推广），以及平台专属最低预算
• AI 创意变体制作 — 大规模测试变体时，使用 Nano Banana Pro 制作高保真静态变体，并保持品牌角色一致性（图中文字渲染能力一流）；使用 Veo 3.1 或 Gemini Omni 制作短视频变体；当需要音频与画面同步时，专门使用 Veo 3.1。所有投放至欧盟版位的 AI 生成测试变体，都必须在上线前通过 /digital-marketing-pro:c2pa-metadata 添加 C2PA 签名——发布前检查工具（/digital-marketing-pro:check）会拦截未签名的、投放至欧盟目标广告组的 AI 素材。在最低预算计算中，将 AI 生成的单个变体成本视为新的“创意制作成本”底线
• 季度测试路线图 — 制定为期 12 周的计划，展示各变量的测试顺序、预算分阶段安排、里程碑评审，以及每季度的战略学习目标

使用的 Agent

• cro-specialist — 测试方法设计、统计严谨性框架、样本量计算、显著性阈值、获胜方案遴选标准、留出对照组结构和文档规范
• media-buyer — 平台专属测试配置、每项测试的预算分配、创意格式建议、受众细分映射、命名规范、疲劳监测和季度路线图规划