eval-suite

/digital-marketing-pro:eval-suite

脚本位置。 如果你的宿主未设置 ${CLAUDE_PLUGIN_ROOT}，脚本位于此插件的 scripts/ 文件夹中，与 skills/ 并列。请使用 Python 3.10 或更高版本运行：python；如果找不到 python，则使用 python3（macOS 和许多 Linux 系统）。

用途

对多篇内容进行批量评估，生成作品集层面的质量评估。一次性评估整个内容库、某个营销活动中的所有素材，或一组交付物。与逐篇评估不同，此命令会一并处理所有内容，并提供全面的内容质量概览。

输出包括内容排名、各维度分析、整体质量分布、这组内容中的常见问题，以及按优先级排列的修订清单。营销活动发布前（在素材上线前找出薄弱环节）、内容审计期间（评估内容库的健康状况）或制作冲刺结束后（一次性对所有交付物进行质量检查），都可以使用此命令。每次评估都会记录到质量跟踪器中，以便进行长期趋势分析。

所需输入

用户必须提供（或系统会提示用户提供）：

• 内容来源：提供以下一种或多种内容：
  • 文件路径列表（例如：“评估这 5 个文件：email-v1.txt、email-v2.txt、landing-page.html、ad-copy-fb.txt、ad-copy-google.txt”）
  • 目录路径（例如：“评估 /campaign-q1-assets/ 中的所有内容”）——将纳入该目录中的所有文本文件
  • 多个带标签的内联内容块（例如：“评估以下内容：[标签：主页主视觉] 内容……[标签：邮件主题] 内容……”）
• 内容类型：可选——适用于所有内容（例如：“这些都是邮件主题行”），也可以逐项指定。若未指定，评估器会根据内容特征推断类型
• 证据文件：可选——共享的上下文文档（简报、策略文档、受众调研），适用于所有评估，以便给出更相关的评分
• 评估深度：可选——quick（默认值，对单项评估速度更快）或 full（全面评估，并对每项内容逐维度提供详细说明）。内容超过 10 项时，建议使用 quick；重要营销活动素材则建议使用 full
• 自动拒绝阈值：可选——低于此综合评分的内容将被标记为必须修订（默认值：60）
• 比较基线：可选——之前一次 eval-suite 运行的 ID，用于对比每篇内容的提升或退步

流程

1. 加载品牌背景：读取 ~/.claude-marketing/brands/_active-brand.json，获取当前使用的 slug，然后加载 ~/.claude-marketing/brands/{slug}/profile.json。应用品牌语气、目标市场的合规规则（skills/context-engine/compliance-rules.md）和行业背景。检查 ~/.claude-marketing/brands/{slug}/guidelines/_manifest.json 中是否有指南；如果有，加载限制条件和相关类别文件（语气与风格、信息传达、渠道风格）。检查 ~/.claude-marketing/brands/{slug}/templates/ 中是否有自定义模板。检查 ~/.claude-marketing/sops/ 中是否有代理机构 SOP。如果没有品牌，请询问：“先设置品牌（/digital-marketing-pro:brand-setup）？”——也可以使用默认设置继续。
2. 枚举所有内容项：将提供的来源解析为内容项列表。对于目录路径，扫描基于文本的文件（.txt、.md、.html、.csv 行）。对于内联内容，解析标签和内容块。为每个内容项分配一个标签（文件名、提供的标签或自动生成的索引）。继续之前，向用户报告内容项总数；如果数量超过 25 项，请确认用户是否要继续，以便说明处理时间预期。
3. 评估每个内容项：对于集合中的每个内容项，文件项运行 python "${CLAUDE_PLUGIN_ROOT}/scripts/eval-runner.py" --brand {slug} --action run-quick --file "{path}" --content-type "{type}"（内联内容块使用 --text "{content}" 代替 --file；如果用户要求全面深入评估，则使用 --action run-full）。如果提供了证据文件，则传入 --evidence "{evidence_path}"。收集每个内容项各维度的分数（content_quality、brand_voice、hallucination_risk、claim_verification、output_structure、readability）和综合分数。
4. 记录每项评估：对于每个已评估的内容项，运行 python "${CLAUDE_PLUGIN_ROOT}/scripts/quality-tracker.py" --brand {slug} --action log-eval --content-type "{type}" --data '{"label": "{label}", "scores": {scores_json}, "suite_id": "{suite_run_id}"}'，以便长期跟踪结果。suite-id 用于将本批次的所有内容项归为一组。
5. 汇总结果：计算作品集层面的统计数据：
   • 所有内容项的平均综合分数
   • 分数分布——统计各等级区间的内容项数量（90+：优秀，80–89：强，70–79：良好，60–69：需要改进，<60：自动拒绝）
   • 各维度的作品集平均分——找出整个集合中持续表现强或弱的质量维度
   • 标准差，用于评估一致性（标准差高表示质量不均）
6. 排列所有内容项：按综合分数从高到低排列。提供完整排名列表，包含分数、等级和内容类型标签。
7. 找出常见问题：分析所有内容项的各维度分数，找出规律——例如：“12 项中有 7 项的 claim_verification 分数低于 70”，或“hallucination_risk 分数持续比 content_quality 分数低 15 分以上”。这类系统性规律表明问题可能出在流程或模板，而非个别内容。
8. 生成按优先级排序的修订清单：根据潜在影响排列需要修订的内容项。优先考虑以下内容项：(a) 低于自动拒绝阈值；(b) 曝光度高的内容类型（落地页、广告），且分数低于平均值；或 (c) 某个维度拉低了原本较高的综合分数。对于清单中的每个内容项，说明应重点关注的维度以及所需的改进类型。
9. 与基线对比（如果有）：如果用户提供了之前的套件运行 ID，使用 python "${CLAUDE_PLUGIN_ROOT}/scripts/quality-tracker.py" --brand {slug} --action get-summary 获取当前套件周期和基线套件周期的分数。然后通过标签和内容类型匹配两次运行中的内容项，并自行计算各内容项和作品集层面的分数差值。逐项及整体说明结果是有所改善、退步还是保持不变。

输出

结构化的作品集质量评估，包含：

• 作品集摘要：作品总数、综合平均分、等级分布（优秀／强／良好／需改进／自动拒绝的数量）、作品集总体等级、一致性评分（基于标准差）
• 内容排名列表：按质量从高到低列出所有项目，每项包含标签、内容类型、综合分数、等级和一句话质量摘要
• 表现最佳的项目：得分最高的 3 个项目，并具体说明其优势所在——可用作内部基准或模板
• 各维度作品集分析：统计全体项目各维度的平均分（content_quality、brand_voice、hallucination_risk、claim_verification、output_structure、readability），指出最强和最弱的维度，并提供具体观察（例如：“brand_voice 在所有项目中的平均分为 88，说明团队很好地遵循了品牌语调指南。claim_verification 的平均分为 62，说明经常缺少来源和佐证。”）
• 常见问题报告：指出多个项目中反复出现的问题模式——这类问题表明应在模板或简报阶段修复流程层面的问题，而不是逐项修改内容
• 优先修订列表：按影响程度排列最需要修订的项目，并具体说明需要改进的维度和所需修改类型
• 自动拒绝列表：列出低于阈值的项目，并说明具体原因及必须修订的标记
• 基准对比（如适用）：各项目的差异，以及作品集层面的改进／退步指标
• 建议：可执行的后续步骤——优先修订哪些项目、哪些流程改进可以提升整个作品集的质量，以及是否有持续表现不佳的内容类型（这可能说明简报或模板存在问题）

使用的 Agent

• quality-assurance -- 评估每篇内容的所有质量维度，确保批次内评分一致，识别系统性的质量模式，生成作品集层面的洞察，并提出优先修订建议