关于 skill-eval-scaffolder
skill-eval-scaffolder 用于为仓库技能创建符合架构的最小评估清单,面向准备技能测试的维护者,并防止未经批准覆盖文件或运行实时行为评估。
主要功能
- 01生成评估清单脚手架
- 02检查现有清单有效性
- 03支持预览与应用模式
- 04要求包含显式调用用例
适用场景
- 01创建技能评估清单初稿
- 02验证现有技能评估文件
- 03写入前预览脚手架
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ wyattowalsh/ agents --skill skill-eval-scaffolder安装后在 Claude Code 中输入/skill-eval-scaffolder确认已加载。
包含的文件
除 SKILL.md 外,安装时一起下载的参考资料和脚本。
evals/evals.jsonscripts/check.pyscaffold_evals.pyscripts/asset_toolkit/validate_hooks.py详细介绍
技能评测脚手架
为仓库技能创建最简且符合架构的评测清单。
**范围:**仅搭建评测脚手架。除非维护者明确批准,否则不要运行实时行为评测。
分派
| $ARGUMENTS | 操作 |
|---|---|
<name> | 预览 skills/<name>/evals/evals.json 脚手架 |
<name> --apply | 文件不存在或用户批准覆盖时,写入脚手架 |
check <name> | 验证现有评测清单 |
| 空 | 显示用法示例集和清单架构概要 |
工作流
- 确认
skills/<name>/SKILL.md存在。 - 运行附带的脚手架脚本:
uv run python skills/skill-eval-scaffolder/scripts/scaffold_evals.py <name>
- 在声称覆盖充分之前,添加显式、隐式和负向对照用例。
- 使用附带的检查脚本进行验证。
清单结构
每个 evals/evals.json 都包含:
skill_name— kebab-case 目录名evals— 包含id、prompt、expected_output以及可选files、assertions的非空用例列表
验证约定
uv run python skills/skill-eval-scaffolder/scripts/check.py
关键规则
- 未经用户明确批准,绝不覆盖现有评测清单。
- 在新脚手架中至少包含一个显式调用用例。
- 在声明脚手架已完成之前,运行
validate_evals.py。 - 将实时评测执行交由 skill-creator 的
eval模式或维护者的 CI 工作流处理。 - 提示词须以技能分派表和“不适用”边界为依据。
评论
支持 Markdown