mcpField
M
model-evaluation

model-evaluation

github.com/awslabs测试与质量932136 次安装3 周前更新
代码仓库

关于 model-evaluation

用于生成代码、评估 SageMaker 无服务器模型定制所支持的基础模型或微调模型的技能。它会逐步选择并验证评估方式，再转入相应工作流。

主要功能

  1. 01面向 OSS 模型的 LLM-as-Judge 评估
  2. 02适用于 OSS 和 Nova 的 Custom Scorer
  3. 03逐步选择评估类型
  4. 04检查模型支持情况和数据集要求

适用场景

  1. 01使用 LLM 评判模型回答
  2. 02通过数学、代码或自定义逻辑评分

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/awslabs/agent-plugins --skill model-evaluation

安装后在 Claude Code 中输入/model-evaluation确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

code_templates/
custom_scorer_evaluator.py
llmaaj_evaluator.py
references/
code_output_guide.md
create-reward-function.md
custom-lambda-scorer.md
custom-scorer-evaluation.md
evaluation-type-guide.md
llmaaj-builtin-evaluation.md
llmaaj-custom-evaluation.md
llmaaj-evaluation.md
supported-judge-models.md
scripts/
nova_reward_function_source_template.py
reward_function_source_template.py
validate_custom_metrics.py

详细介绍

模型评估

生成用于评估 SageMaker 模型的代码。

前提条件

  • 已验证 SDK 环境（SDK 版本、区域、执行角色）。如果尚未完成，请先激活 sdk-getting-started 技能。

原则

  1. 一次只处理一件事。 每次回复只推进一个决策。绝不要在同一轮中提出多个问题。
  2. 继续前先确认。 等待用户同意后再进入下一步。
  3. 需要时再读取文件。 只有到达需要参考文件的步骤时，才读取这些文件。
  4. 不要询问已知信息。 如果答案已在对话历史记录、workflow_state.json、plan.md 或已读取的任何文件中，就使用该答案。如不确定，可以确认，但不要重复询问。
  5. 不做过程说明。 只告知结果并提出问题。保持简短。
  6. 不重复内容。 如果在调用工具前说过某件事，调用后就不要再重复。

范围

此技能支持 SageMaker Serverless Model Customization 的评估功能。它可评估 SageMaker 无服务器模型定制所支持的任何基础模型或微调模型，包括 OSS 模型（Llama、Mistral、Qwen 等）和 Nova 模型。

激活此技能时，告知用户：

"我可以帮助评估 SageMaker 无服务器模型定制所支持的任何基础模型或微调模型。"

如果用户请求评估 SageMaker 无服务器模型定制不支持的模型，请说明此技能不支持该模型。

评估类型

评估有两种类型：

  • LLM-as-Judge — 使用大模型为模型的响应评分。（仅适用于 OSS 模型，不支持 Nova。）
  • Custom Scorer — 通过 Lambda 函数进行程序化评估（包含内置的数学和代码评分器）。适用于 OSS 和 Nova 模型。

工作流

第 1 步：确定评估类型

你是否已经知道要使用哪种评估类型？

检查对话历史记录、plan.md、workflow_state.json 或其他已读取的内容。

如果知道： 向用户确认。

"你似乎想运行 [evaluation type]。是这样吗？"

⏸ 等待确认。如果用户确认 → 转到第 2 步。

如果不知道： 询问。

"你想运行哪种评估？我支持：

  1. LLM-as-Judge — 使用大模型为模型的响应评分
  2. Custom Scorer — 进行程序化评分（数学、代码或自定义逻辑）

请选择一种；如果不确定，可以说“帮我决定”。"

⏸ 等待用户回复。

  • 如果用户选择了一种 → 转到第 2 步。
  • 如果用户表示不确定，例如说“帮我决定”“你看着办”或“我不确定” → 读取 references/evaluation-type-guide.md 并遵循其中的说明。该文件会引导用户做出选择，然后返回此处。 在未读取 references/evaluation-type-guide.md 的情况下，绝不能向用户推荐评估类型。
第 2 步：验证并移交至评估工作流

读取参考文件前，先验证所选评估类型是否适用于用户的情况。你可能已从对话上下文中知道这些答案；如果不需要，就不要询问。

LLM-as-Judge 验证
  1. 我们要评估哪种类型的模型？ Nova 模型不支持 LLM-as-Judge。若尚不知道模型类型，请按以下方式确定：
    • 如果有训练任务名称或 ARN，请对训练任务 ARN 使用 AWS MCP 工具 list-tags，并查找 sagemaker-studio:jumpstart-model-id 标签。包含 "nova" → Nova。其他情况 → OSS。
    • 如果有模型包 ARN，请使用 AWS MCP 工具 describe-model-package，并检查模型描述或来源标签。
    • 如果两者都没有，请询问用户。
  2. 用户是否有评估数据集？ LLM-as-Judge 需要评估数据集。
自定义评分器验证
  1. 用户是否有评估数据集？ 自定义评分器需要评估数据集。（支持 OSS 和 Nova 模型，但 Nova 仅支持自定义 lambda。）

如果验证失败，请告知用户哪些要求未满足，并提供替代方案：

“[评估类型] 无法使用，因为[原因]。”

如果失败原因是缺少评估数据集，则无计可施。请告知用户：

“很遗憾，所有受支持的评估类型都需要评估数据集。我无法帮助你进行模型评估。”

如果失败原因是其他问题，请主动帮助用户选择其他评估类型。

⏸ 等待用户。

如果用户表示确实需要帮助选择其他评估类型 → 阅读 references/evaluation-type-guide.md。

如果验证通过，请阅读相应的参考文件：

用户选择阅读
LLM-as-Judgereferences/llmaaj-evaluation.md
自定义评分器references/custom-scorer-evaluation.md

从头开始遵循参考文件中的说明。

评论

支持 Markdown