关于 write-code-eval
用于为已发现的 Agent 失败模式编写代码评测器的 Skill，适合需要在项目语言和评测框架中实现检查的团队。它指导定义规则、实现检查，并用成功、失败及边界样例验证结果。
主要功能
- 01将失败模式转为检查规则
- 02确定所需 traces 字段或参考数据
- 03按项目语言与评测框架实现
- 04测试成功、失败和边界样例
- 05检查结果并与人工标签比较
适用场景
- 01检查输出结构或必需字段
- 02匹配缺失或禁止的文本
- 03验证引用来源或工具调用
- 04将输出值与参考值比较
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/write-code-eval确认已加载。
附带文件agents/openai.yaml
详细介绍
编写代码评估器
从错误分析中发现的一种失败模式入手。针对该失败模式编写一项检查，类似于单元测试，断言每条轨迹都应满足的条件。
- 说明规则，并指出检查所需的轨迹字段或参考数据。如果规则需要解释判断，请使用
write-judge-prompt。 - 使用项目的语言和评估框架实现检查。按框架要求的格式返回结果和原因。
- 测试已知的通过和失败案例，包括边界情况。在可用轨迹上运行检查，并检查误判。如果规则使用代理指标代替人工判断，请将检查结果与人工标签进行比较。
示例
| 失败模式 | 可能的检查 |
|---|---|
| 输出结构无效 | 解析输出并检查必需字段 |
| 缺少或包含禁止文本 | 匹配字符串或模式 |
| 引用内容不在检索到的文档中 | 将引用的 ID 与检索到的 ID 进行比较 |
| 工具调用错误 | 根据工具架构检查参数，或在安全的测试环境中运行调用 |
| 值错误 | 将输出与参考值进行比较 |
根据失败规则选择检查方式。对于同时包含客观和解释性部分的失败，用代码检查客观部分，其余部分交由评判器处理。
评论
支持 Markdown