关于 start
用于按用户的评测任务选择对应技能，并要求加载和完整执行其工作流。涵盖轨迹错误分析、评测审计、裁判提示词、评估器验证、合成数据、标注界面和 RAG 评测。
主要功能
- 01按任务路由到评测技能
- 02支持基于轨迹发现错误
- 03涵盖评测流程审计
- 04支持裁判与评估器工作流
- 05适用于 RAG 和标注任务
适用场景
- 01分析轨迹并查找失败模式
- 02审计现有评测流程
- 03创建或验证 LLM 裁判
- 04评测 RAG 流程
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/start确认已加载。
详细介绍
开始
此插件会将评测工作拆分为针对性技能。你在这里的任务很简单：找到下方与用户情况相符的行，告诉用户你要加载哪项技能以及原因，然后加载该技能，并从头到尾遵循其工作流，而不是自行发挥。
| 情况 | 要加载的技能 |
|---|---|
| 有追踪记录，想要找出失败模式，但尚无既定分类体系 | error-discovery |
| 已有评测流水线，想知道它是否可信 | eval-audit |
| 已知某种失败模式，想为其创建 LLM 裁判 | write-judge-prompt |
| 已有 LLM 裁判或评估器，想检查其质量 | validate-evaluator |
| 还没有可供审查的追踪记录 | generate-synthetic-data，然后加载 error-discovery |
| 想要为其他标注任务构建自定义标注界面 | build-review-interface |
| 想要评估 RAG 流水线 | evaluate-rag |
大多数提到要分析已有追踪记录中的错误的请求，都意味着要使用 error-discovery。已有流水线的新用户通常应先使用 eval-audit。此文件仅用于路由。如不确定哪一行适用，请向用户提问，而不要猜测。工作流位于相应的技能中。
评论
支持 Markdown