mcpField
E
eval-triggers

eval-triggers

github.com/datocms测试与质量3118 次安装6 天前更新
代码仓库

关于 eval-triggers

这项技能通过 Claude Code 和 Codex 两种轨道评估用户请求是否会触发相应技能，面向明确执行触发评估的用户。它汇总各技能的精确率、召回率、F1、门槛结论及相关警告。

主要功能

  1. 01Claude Code、Codex 或双轨评估
  2. 02支持 frontmatter、metadata 和 combined 来源
  3. 03生成跨技能评估汇总
  4. 04报告精确率、召回率与 F1
  5. 05可选比较基线与候选结果

适用场景

  1. 01评估技能触发描述是否准确
  2. 02检查技能的精确率、召回率和 F1
  3. 03汇总评估门槛与缺失结果
  4. 04比较当前结果与基线摘要

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/datocms/agent-skills --skill eval-triggers

安装后在 Claude Code 中输入/eval-triggers确认已加载。

详细介绍

**重要：**此技能开销很大（会调用许多 LLM API）。仅在用户明确要求时运行。切勿主动运行。

运行前，询问用户要运行哪个轨道，除非用户已在 $ARGUMENTS 中指定：

  • 仅 Claude Code — --track claude
  • 仅 Codex — --track codex
  • 两者 — 依次运行两个轨道

除非用户要求使用 metadata 或 combined，否则使用 --source frontmatter（默认值）。用户指定 --model 和 --effort 时，传入相应参数（Codex 的仓库基准为 --model gpt-6-luna --effort medium）；未指定 --model 时，Codex 结果不会记录模型；未指定 --effort 时，Codex 运行会使用模型自身的默认 effort。以下每个步骤都使用相同的 --track 和 --source。

步骤 1 — 分类：

运行器会将结果写入规范目录结构 evals/results/trigger/<skill>/<track>/<source>/results.json。无需传入输出目录。

python3 evals/scripts/run_trigger_eval.py --track <track> --source <source> [--model <model>] [--effort <effort>]

步骤 2 — 分析：

python3 evals/scripts/analyze_trigger_results.py --track <track> --source <source>

这会将跨技能汇总写入 evals/results/trigger/_summary/<track>/<source>/summary.{json,md}。报告以下内容：

  • 门槛判定：仅当每项技能的结果均达到或高于 F1 0.90 时才算通过。列出低于门槛的技能，以及没有结果的技能。
  • 各技能的精确率、召回率和 F1。
  • 任何警告（模型不同、结果早于当前描述），以及值得注意的假阴性／假阳性。

步骤 3 — 比较（可选）：

如果用户提供了基线汇总，或你有之前运行的汇总：

python3 evals/scripts/compare_trigger_runs.py \
  --baseline <baseline-summary>.json \
  --candidate evals/results/trigger/_summary/<track>/<source>/summary.json \
  --output-markdown local/comparison.md

总结退步和改进；如果两次运行使用了不同模型或未记录模型，请说明。对于不应提交的临时基线，请将其存放在 local/ 下（已被 git 忽略）。

评论

支持 Markdown