mcpField
E
eval-triggers

eval-triggers

github.com/datocmsテスト・品質3118 回インストール5 日前に更新
リポジトリ

eval-triggers について

ユーザーの依頼に対するスキルの発動を、Claude Code と Codex のトラックで評価するスキルです。明示的に評価を実行するユーザー向けに、スキルごとの適合率、再現率、F1、ゲート判定、警告をまとめます。

主な機能

  1. 01Claude Code、Codex、または両方で評価
  2. 02frontmatter、metadata、combined のソース指定
  3. 03スキル横断の評価サマリー生成
  4. 04適合率、再現率、F1 の報告
  5. 05任意のベースライン比較

活用シーン

  1. 01スキルの発動条件の精度評価
  2. 02スキルごとの適合率・再現率・F1確認
  3. 03評価ゲートと結果のないスキルの集計
  4. 04今回の結果とベースラインの比較

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/datocms/agent-skills --skill eval-triggers

インストール後、Claude Code で/eval-triggersを入力して読み込まれたか確認します。

詳細

重要： このスキルはコストが高く（LLM API を多数呼び出します）、ユーザーから明示的に依頼された場合にのみ実行してください。先回りして実行してはいけません。

実行する前に、ユーザーが $ARGUMENTS で指定していない場合は、どのトラックを実行するかユーザーに確認してください。

  • Claude Code のみ — --track claude
  • Codex のみ — --track codex
  • 両方 — 両方のトラックを順に実行します

ユーザーから metadata または combined の指定がない限り、--source frontmatter（デフォルト）を使用してください。ユーザーが --model と --effort を指定した場合は、それらを渡してください（Codex のリポジトリ標準設定は --model gpt-6-luna --effort medium です）。--model を指定しない場合、Codex の結果にはモデルが記録されません。--effort を指定しない場合、Codex の実行ではモデル独自のデフォルトの effort が使用されます。以下の各ステップには、同じ --track と --source を指定してください。

ステップ 1 — 分類：

ランナーは標準の配置先 evals/results/trigger/<skill>/<track>/<source>/results.json に書き込みます。出力ディレクトリは指定しません。

python3 evals/scripts/run_trigger_eval.py --track <track> --source <source> [--model <model>] [--effort <effort>]

ステップ 2 — 分析：

python3 evals/scripts/analyze_trigger_results.py --track <track> --source <source>

スキル横断の概要が evals/results/trigger/_summary/<track>/<source>/summary.{json,md} に書き込まれます。次の内容を報告してください。

  • ゲートの判定：すべてのスキルの F1 が 0.90 以上の場合にのみ合格します。基準未満のスキルと、結果のないスキルを列挙してください。
  • スキルごとの precision、recall、F1。
  • 警告（異なるモデル、現在の説明より古い結果）と、注目すべき偽陰性／偽陽性。

ステップ 3 — 比較（任意）：

ユーザーからベースラインの概要が提供された場合、または以前の実行結果がある場合：

python3 evals/scripts/compare_trigger_runs.py \
  --baseline <baseline-summary>.json \
  --candidate evals/results/trigger/_summary/<track>/<source>/summary.json \
  --output-markdown local/comparison.md

リグレッションと改善点を要約し、2 回の実行で異なるモデルが使われた場合や、モデルが記録されていない場合はその旨を伝えてください。コミットしないアドホックなベースラインは、local/（gitignore 対象）に保存してください。

コメント

Markdown 対応