mcpField
S
skill-eval-scaffolder

skill-eval-scaffolder

github.com/wyattowalsh测试与质量535 次安装8 周前更新
代码仓库

关于 skill-eval-scaffolder

skill-eval-scaffolder 用于为仓库技能创建符合架构的最小评估清单,面向准备技能测试的维护者,并防止未经批准覆盖文件或运行实时行为评估。

主要功能

  1. 01生成评估清单脚手架
  2. 02检查现有清单有效性
  3. 03支持预览与应用模式
  4. 04要求包含显式调用用例

适用场景

  1. 01创建技能评估清单初稿
  2. 02验证现有技能评估文件
  3. 03写入前预览脚手架

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/wyattowalsh/agents --skill skill-eval-scaffolder

安装后在 Claude Code 中输入/skill-eval-scaffolder确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

evals/
evals.json
scripts/
check.py
scaffold_evals.py
scripts/asset_toolkit/
validate_hooks.py

详细介绍

技能评测脚手架

为仓库技能创建最简且符合架构的评测清单。

**范围:**仅搭建评测脚手架。除非维护者明确批准,否则不要运行实时行为评测。

分派

$ARGUMENTS操作
<name>预览 skills/<name>/evals/evals.json 脚手架
<name> --apply文件不存在或用户批准覆盖时,写入脚手架
check <name>验证现有评测清单
空显示用法示例集和清单架构概要

工作流

  1. 确认 skills/<name>/SKILL.md 存在。
  2. 运行附带的脚手架脚本:
uv run python skills/skill-eval-scaffolder/scripts/scaffold_evals.py <name>
  1. 在声称覆盖充分之前,添加显式、隐式和负向对照用例。
  2. 使用附带的检查脚本进行验证。

清单结构

每个 evals/evals.json 都包含:

  • skill_name — kebab-case 目录名
  • evals — 包含 id、prompt、expected_output 以及可选 files、assertions 的非空用例列表

验证约定

uv run python skills/skill-eval-scaffolder/scripts/check.py

关键规则

  1. 未经用户明确批准,绝不覆盖现有评测清单。
  2. 在新脚手架中至少包含一个显式调用用例。
  3. 在声明脚手架已完成之前,运行 validate_evals.py。
  4. 将实时评测执行交由 skill-creator 的 eval 模式或维护者的 CI 工作流处理。
  5. 提示词须以技能分派表和“不适用”边界为依据。

评论

支持 Markdown