关于 skill-eval-designer
skill-eval-designer 帮助技能作者检验技能是否会在真实任务中改变 Agent 行为。它设计正向与负向提示、行为断言、产物检查和后续测试计划。
主要功能
- 01界定行为边界
- 02编写正向与负向提示
- 03添加行为断言和产物检查
- 04覆盖边缘情况与失败模式
- 05生成测试样例和后续测试计划
适用场景
- 01检验技能是否在合适情境触发
- 02检查输出是否存在不安全或泛化问题
- 03通过静态示例以外的方式评估技能行为
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/skill-eval-designer确认已加载。
附带文件agents/openai.yamlreferences/skill-eval-systems.md
详细介绍
技能评估设计器
使用此技能，在真实任务中验证某项技能是否会改变 Agent 的行为。
工作流
- 确定技能的用途、触发边界、预期产物、失败模式和目标 Agent 行为。
- 阅读
references/skill-eval-systems.md。 - 创建正向提示词、负向提示词、预期行为断言和产物检查项。
- 针对过度触发、触发不足、不安全建议、缺少参考资料和输出泛泛无奇等情况，添加边界案例。
- 制作评估夹具、行为示例和前向测试计划。
不适用场景
- 不要用它来编写技能流程本身、设计整个市场，或仅凭静态示例断言质量。
- 如果行为完全确定，且单元测试、契约测试、属性测试或快照测试能提供更有力的判据，就不要创建评估。
防护措施
- 不要只评估是否出现技能名称。
- 不要在提示词中泄露预期答案。
- 添加负向提示词，确保技能不会在所有场景中都触发。
输出格式
Skill under eval:
Behavior boundary:
Positive prompts:
- <prompt> -> expected behavior
Negative prompts:
- <prompt> -> why skill should not trigger
Assertions:
- <observable behavior>
Forward-test plan:
- task, artifact, pass/fail evidence
评论
支持 Markdown