关于 evaluations
evaluations 是用于分流评估请求的兼容性 Skill,会将请求交给合适的 Langwatch Skill。它区分数据集测试与线上流量评估,并在意图不明确时先询问。
主要功能
- 01将请求转交给 experiments 或 online-evaluations
- 02区分数据集测试与线上流量评估
- 03意图不明时先询问
- 04针对明确的验证错误重试
适用场景
- 01将基准测试请求转交给 experiments
- 02将生产监控请求转交给 online-evaluations
- 03澄清未具体说明的评估请求
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ langwatch/ skills --skill evaluations安装后在 Claude Code 中输入/evaluations确认已加载。
详细介绍
路由评估请求
这是一项兼容性技能。请勿使用此技能构建实验、监控或护栏。
对用户意图进行分类:
| 意图 | 正确的技能 |
|---|---|
| 批量测试数据集、比较提示词或模型、进行基准测试、创建 CI 质量门禁 | experiments |
| 对实时轨迹或会话评分、监控生产环境质量、创建护栏 | online-evaluations |
如果查看上下文后仍无法确定请求意图(例如,仅说“帮我做个评估”,既未提及数据集,也未提及实时流量),请暂时不要创建任何内容。选择要测试的对象应由用户决定,而不是采用默认选项。请将其作为问题卡片提出并停止;用户会在下一条消息中回答。
在 Langy 中,使用 question 工具提出这个问题并停止;选项应是具体的备选项,例如“部署前测试数据集”和“实时生产流量”。在其他地方,请用一行简短的文字提出同样的问题。
被拒绝的字段值不属于这类选择。如果创建操作随后失败,并返回 validation_error,且原因指出了字段和 expected 列表,请根据列表修正该字段,然后重试一次。切勿把可修正的 slug 变成一个问题让用户回答。
然后移交:
-
如果存在正确的配套技能,请加载该技能并遵循其指引,不要继续执行此处的内容。
-
如果缺少
experiments,请告知用户通过以下方式安装:npx [email protected] add langwatch/skills/experiments -
如果缺少
online-evaluations,请告知用户通过以下方式安装:npx [email protected] add langwatch/skills/online-evaluations
不要凭记忆重现配套技能的指引。请加载专门的技能,以使用其当前的工作流、安全检查和验证步骤。
评论
支持 Markdown