mcpField
E
evaluations

evaluations

github.com/langwatch测试与质量3138 次安装1 天前更新
代码仓库

关于 evaluations

evaluations 是用于分流评估请求的兼容性 Skill,会将请求交给合适的 Langwatch Skill。它区分数据集测试与线上流量评估,并在意图不明确时先询问。

主要功能

  1. 01将请求转交给 experiments 或 online-evaluations
  2. 02区分数据集测试与线上流量评估
  3. 03意图不明时先询问
  4. 04针对明确的验证错误重试

适用场景

  1. 01将基准测试请求转交给 experiments
  2. 02将生产监控请求转交给 online-evaluations
  3. 03澄清未具体说明的评估请求

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/langwatch/skills --skill evaluations

安装后在 Claude Code 中输入/evaluations确认已加载。

详细介绍

路由评估请求

这是一项兼容性技能。请勿使用此技能构建实验、监控或护栏。

对用户意图进行分类:

意图正确的技能
批量测试数据集、比较提示词或模型、进行基准测试、创建 CI 质量门禁experiments
对实时轨迹或会话评分、监控生产环境质量、创建护栏online-evaluations

如果查看上下文后仍无法确定请求意图(例如,仅说“帮我做个评估”,既未提及数据集,也未提及实时流量),请暂时不要创建任何内容。选择要测试的对象应由用户决定,而不是采用默认选项。请将其作为问题卡片提出并停止;用户会在下一条消息中回答。

在 Langy 中,使用 question 工具提出这个问题并停止;选项应是具体的备选项,例如“部署前测试数据集”和“实时生产流量”。在其他地方,请用一行简短的文字提出同样的问题。

被拒绝的字段值不属于这类选择。如果创建操作随后失败,并返回 validation_error,且原因指出了字段和 expected 列表,请根据列表修正该字段,然后重试一次。切勿把可修正的 slug 变成一个问题让用户回答。

然后移交:

  1. 如果存在正确的配套技能,请加载该技能并遵循其指引,不要继续执行此处的内容。

  2. 如果缺少 experiments,请告知用户通过以下方式安装:

    npx [email protected] add langwatch/skills/experiments
    
  3. 如果缺少 online-evaluations,请告知用户通过以下方式安装:

    npx [email protected] add langwatch/skills/online-evaluations
    

不要凭记忆重现配套技能的指引。请加载专门的技能,以使用其当前的工作流、安全检查和验证步骤。

评论

支持 Markdown