关于 evals-start
用于将评测请求分流到对应专项 Skill 的路由插件。它根据用户已有的 traces、评测流程和目标，指出应加载的 Skill；具体工作流程由目标 Skill 提供。
主要功能
- 01按评测情境选择专项 Skill
- 02覆盖错误分析与评测审计
- 03支持代码评测和 LLM 判分
- 04涵盖合成数据与 RAG 评测
- 05遇到不明确情境时建议询问
适用场景
- 01根据已有 traces 选择错误分析流程
- 02检查现有评测流水线的可信度
- 03为已知失败模式选择代码或 LLM 评测
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/evals-start确认已加载。
附带文件agents/openai.yaml
详细介绍
评估入门
此插件将评估工作拆分为针对性的技能。你的任务很简单：在下表中找到与用户情况相符的一行，告诉用户你要加载哪个技能以及原因，然后加载该技能，并从头到尾遵循其工作流，不要自行发挥。
| 情况 | 要加载的技能 |
|---|---|
| 有追踪记录，想找出故障模式，但尚无既定分类体系 | error-discovery |
| 有现成的评估流水线，想知道它是否值得信赖 | eval-audit |
| 已知某种故障模式可通过代码检查（例如格式、架构、正则表达式、执行情况） | write-code-eval |
| 已知某种故障模式，希望用大模型评判 | write-judge-prompt |
| 已有大模型评判器或评估器，想检查其质量 | validate-evaluator |
| 还没有可供审查的追踪记录 | generate-synthetic-data，然后是 error-discovery |
| 想为其他标注任务定制标注界面 | build-review-interface |
| 想评估 RAG 流水线 | evaluate-rag |
大多数提到基于现有追踪记录进行错误分析的请求，都意味着需要使用 error-discovery。有现成流水线的新用户通常应先使用 eval-audit。此文件仅用于路由。如不确定哪一行符合情况，请询问用户，不要猜测。工作流位于对应的技能中。
评论
支持 Markdown