eval-config

/digital-marketing-pro:eval-config

脚本位置。 如果你的宿主未设置 ${CLAUDE_PLUGIN_ROOT}，脚本位于此插件的 scripts/ 文件夹中，与 skills/ 并列。请使用 Python 3.10 或更高版本运行：python；如果找不到 python，则使用 python3（macOS 和许多 Linux 系统）。

目的

为品牌配置评估系统。为各维度设置最低质量阈值，根据行业优先级和内容策略调整评分权重，配置自动拒绝阈值以防止不合格内容通过评估，并定义针对不同内容类型的质量标准，让不同格式适用不同的要求。

评估配置决定了内容评分的严格程度，以及品牌的质量标准。医疗保健公司可能会重点关注幻觉风险和声明验证，同时放宽面向专业受众的内容的可读性阈值。消费品牌可能会优先考虑品牌语气和可读性，同时接受用于品牌认知内容的较宽松声明验证。管理多个品牌的代理机构可以为每个品牌设置不同的配置。此命令会明确这些权衡，并让它们可以调整，而不是将其隐藏在默认设置中。

所需输入

用户必须提供（或将收到提示以提供）：

• 配置操作：要执行的操作 — view（通过 get-config 显示当前设置）、set-threshold（更改某个维度的最低分数；添加 --content-type 可将覆盖设置限定为一种内容类型）、set-weights（更改各维度的权重分布；添加 --content-type 可设置特定类型的覆盖值）、set-auto-reject（更改内容自动判定失败的综合分数阈值）、recommend（仅进行分析——获取适合行业的设置建议）或 reset（将所有设置恢复为默认值）。没有单独的 set-content-type 操作——传入 --content-type 到 set-threshold / set-weights 即可应用内容类型覆盖设置。
• 维度名称（用于 set-threshold）：要配置的维度 — content_quality、brand_voice、hallucination_risk、claim_verification、output_structure、readability 或 composite
• 阈值（用于 set-threshold）：指定维度可接受的最低分数（0-100）。内容在任何维度上的得分低于此阈值时，都会被标记为该维度不合格
• 权重（用于 set-weights）：将维度名称映射到对应权重的 JSON 对象 — 例如，{"content_quality": 0.25, "brand_voice": 0.20, "hallucination_risk": 0.20, "claim_verification": 0.15, "output_structure": 0.10, "readability": 0.10}。权重总和必须约为 1.0（四舍五入容差为 +/- 0.02）
• 自动拒绝分数（用于 set-auto-reject）：无论各维度得分如何，低于此综合分数的内容都会自动判定为不合格 — 根据品牌标准，通常为 40-60
• 内容类型（可选，用于通过 --content-type 执行 set-threshold / set-weights）：要配置覆盖设置的内容类型，以及覆盖设置本身 — 仅适用于该内容类型的自定义阈值或权重

流程

1. 加载品牌上下文：读取 ~/.claude-marketing/brands/_active-brand.json 以获取当前启用的 slug，然后加载 ~/.claude-marketing/brands/{slug}/profile.json。生成建议时应用行业背景——不同行业的质量优先级各不相同。还要检查 ~/.claude-marketing/brands/{slug}/guidelines/_manifest.json 中是否有指南；如果有，留意其中定义的、应纳入阈值建议的质量要求。检查 ~/.claude-marketing/sops/ 中是否有代理机构 SOP。如果不存在品牌，则询问：“先设置品牌（/digital-marketing-pro:brand-setup）？”——也可以使用默认值继续。
2. 获取当前配置：执行 python "${CLAUDE_PLUGIN_ROOT}/scripts/eval-config-manager.py" --brand {slug} --action get-config，以获取所有当前设置——全局阈值、维度权重、自动拒绝阈值，以及任何特定内容类型的覆盖设置。识别哪些设置是自定义的（由用户设置），哪些是默认值。
3. 展示当前设置：以清晰易读的格式显示所有配置：
   • 全局阈值：每个维度的最低分数及其当前值，并注明是自定义值还是默认值
   • 维度权重：每个维度在综合分数计算中的权重，同时显示小数和百分比，并用视觉标记表示相对重要性
   • 自动拒绝阈值：综合分数下限及其当前值
   • 内容类型覆盖设置：显示具有自定义设置的内容类型，并说明其与全局配置的差异
   • 有效评分示例：展示在当前配置下假设评估的结果，例如：“按这些权重，一篇内容质量得分为 90、幻觉风险得分为 50 的内容，其综合分数为 X”
4. 处理配置更改：根据请求的操作进行处理：
   • set-threshold：验证阈值在 0 到 100 之间。执行 python "${CLAUDE_PLUGIN_ROOT}/scripts/eval-config-manager.py" --brand {slug} --action set-threshold --dimension {dimension} --threshold {value}（添加 --content-type {type} 可将设置限定于一种内容类型）。展示更改前后的对比，并说明对评分严格程度的影响
   • set-weights：验证所有权重都在 0 到 1 之间，且总和约为 1.0。如果总和不符合要求，指出差额并提出归一化建议。执行 python "${CLAUDE_PLUGIN_ROOT}/scripts/eval-config-manager.py" --brand {slug} --action set-weights --weights '{weights_json}'。展示更改前后的对比，并举例说明相同内容在新旧权重下的评分差异
   • set-auto-reject：验证分数在 0 到 100 之间。执行 python "${CLAUDE_PLUGIN_ROOT}/scripts/eval-config-manager.py" --brand {slug} --action set-auto-reject --threshold {score}。说明影响——品牌最近的评估中，有多少条会在新阈值下被自动拒绝，与旧阈值下的数量有何差异
   • 内容类型覆盖（无独立操作）：在 set-threshold 或 set-weights 中添加 --content-type {content_type}，即可应用单个类型的阈值或权重——例如 python "${CLAUDE_PLUGIN_ROOT}/scripts/eval-config-manager.py" --brand {slug} --action set-threshold --dimension hallucination_risk --threshold 80 --content-type ad_copy。说明该内容类型的有效配置现在与全局配置有何不同
   • recommend：分析品牌所在行业、受众、内容策略和合规要求，建议适当的设置。参考 skills/context-engine/eval-framework-guide.md 中针对特定行业的建议。说明建议及其理由——例如：“医疗保健品牌应将幻觉风险的权重设为 0.25 以上，因为未经核实的健康声明会带来监管风险”
   • reset：执行 python "${CLAUDE_PLUGIN_ROOT}/scripts/eval-config-manager.py" --brand {slug} --action reset。说明当前自定义配置恢复为默认值后会有哪些变化，并在执行前确认
5. 验证配置完整性：每次更改后，验证配置在内部是否一致：
   • 权重总和约为 1.0
   • 阈值不高于 100，也不低于 0
   • 自动拒绝阈值低于各维度阈值的平均值（否则几乎所有内容都会被自动拒绝）
   • 内容类型覆盖设置不会导致不可能的评分情形
   • 如果验证失败，解释问题并提出修正建议
6. 展示更改前后对比：每次更改配置时，都要清晰并列展示旧设置和新设置，并用具体示例说明评分行为的变化——“按旧配置，[示例内容] 得分为 72（C）。按新配置，由于幻觉风险的权重更高，其得分将为 68（D+）。”
7. 建议相关调整：如果用户更改了一项设置，建议可能适用的相关更改——例如，如果用户提高了幻觉阈值，可建议同时提高声明核实阈值，因为这两个维度相关。这些仅为建议，不会自动更改设置。

输出

结构化配置报告，包含：

• 当前配置展示：以清晰的表格形式列出所有阈值、权重、自动拒绝阈值和内容类型覆盖项，并标注每项设置是自定义还是默认，以及每项自定义设置的最后修改日期
• 变更前后对比（如果进行了变更）：通过并排表格展示新旧值，并突出显示具体变更。包含一个评分影响示例，展示同一内容在新旧配置下的评分差异
• 历史影响分析（如果进行了变更）：分析品牌最近 30 天的评估中，有多少条在新配置下会产生不同结果（通过／未通过／需审核），并量化此次变更的实际影响
• 行业建议（如有请求或相关）：结合品牌所在行业，提供建议设置及每项建议的理由，指出具体的质量风险和优先事项。包含当前设置与建议设置的对比
• 配置验证：确认配置内部一致，包括权重总和正确、阈值在有效范围内且不存在冲突规则。如发现任何问题，会标出并提供建议修正方案
• 有效评分参考：提供速查表，展示每种内容类型的有效配置，包括全局设置和任何内容类型覆盖项，让用户一目了然地了解各处适用的质量标准
• 后续步骤：提供配置完成后的建议，例如对一份样例内容运行 /digital-marketing-pro:eval-content，查看新配置的实际效果；运行 /digital-marketing-pro:quality-report，查看历史评估如何对应新标准；或配置其他内容类型覆盖项

使用的 Agent

• quality-assurance — 通过 eval-config-manager.py 检索和修改评估配置、验证配置（权重归一化、阈值范围检查、一致性验证）、基于历史评估数据进行变更前后影响分析、参考 eval-framework-guide.md 提供符合行业特点的设置建议，以及管理特定内容类型的覆盖项