mcpField
F
finetuning-setup

finetuning-setup

github.com/awslabs开发93279 次安装3 周前更新
代码仓库

关于 finetuning-setup

finetuning-setup 是一项根据用例帮助用户选择基础模型和微调方法的技能，供在 SageMaker Hub 上规划微调的人使用。它会先核对可用模型与许可证，再依据用例推荐 SFT、DPO 或 RLVR，并确认所选模型支持该方法。

主要功能

  1. 01发现区域内的 SageMaker Hub
  2. 02列出模型及其许可证
  3. 03按用例推荐微调方法
  4. 04核验模型支持的训练方法

适用场景

  1. 01为微调项目挑选基础模型
  2. 02比较模型许可证后再选择
  3. 03确定模型支持的微调方法

MCP 相关

该技能通过 aws___call_aws 工具调用 SageMaker ListHubs API，并运行脚本查询可用模型与训练方案。

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/awslabs/agent-plugins --skill finetuning-setup

安装后在 Claude Code 中输入/finetuning-setup确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

references/
finetune_technique_selection_guide.md
model-licenses.md
model-selection.md
references/benchmarks/
agenticIndex.md
codingIndex.md
gpqa.md
hle.md
ifbench.md
intelligenceIndex.md
mmmuPro.md
tau2.md
scripts/
get_model_names.py
get_recipes.py

详细介绍

微调设置

引导用户根据用例选择基础模型和微调技术。

适用场景

  • 用户询问应使用哪种微调技术
  • 用户想选择或更换基础模型
  • 用户提到模型名称或系列（例如，“Llama”“Mistral”）——仍需确定确切的 Hub 模型 ID

前置条件

  • 存在 use_case_spec.md 文件。如果不存在，请先启用用例规范技能来生成该文件。

工作流

步骤 1：发现 Hub

  1. 使用 aws___call_aws 工具调用 SageMaker ListHubs API，列出用户所在区域的所有可用 SageMaker Hubs。

  2. 从结果中过滤掉 HubDescription 包含“AI Registry”的 Hub——这些 Hub 不包含 JumpStart 模型。

  3. 其余 Hub 均符合条件（例如，SageMakerPublicHub 和任何私有 Hub）。

  4. 如果恰好有一个符合条件的 Hub，则自动使用它——无需询问用户。

  5. 如果有多个符合条件的 Hub，则向用户展示并询问要使用哪一个。示例：

    I found the following model hubs:
- SageMakerPublicHub — SageMaker Public Hub
- Private-Hub-XYZ — Private Hub models
Which hub would you like to use?

  6. 保存所选 Hub 名称，以供后续步骤使用。

步骤 2：选择基础模型

首先，运行以下命令，获取所有可用的 SageMaker Hub 模型名称：python finetuning-setup/scripts/get_model_names.py <hub-name>。

在提出任何建议前，向用户展示所有可用模型及其许可证。将模型列表与 references/model-licenses.md 交叉核对，并将每个模型显示为 <model name> - [<license>](<url>)。例如：“Qwen3-4B - Apache 2.0”。

如果你已知用户想使用的模型（根据对话上下文或规划文件），请确认它在列表中，显示其许可证，然后继续下一步。否则，按照 references/model-selection.md 中的说明帮助用户选择模型。 **重要：**帮助用户选择模型时，务必记住此可用模型列表。不要推荐用户无法使用的模型。

步骤 3：确定微调技术
  1. 参考 references/finetune_technique_selection_guide.md，根据用例推荐最合适的技术（SFT、DPO 或 RLVR）。向用户说明推荐结果和理由。
  2. 询问用户是否采用此推荐，或更倾向于其他技术。
  3. 用户确认技术后，运行以下命令，获取所选模型支持的微调技术：python finetuning-setup/scripts/get_recipes.py <model-name> <hub-name>
    • 此命令仅返回模型实际支持的技术，并筛选出 SFT、DPO 和 RLVR。仅支持这三种技术——即使模型的配方中包含其他技术，也请忽略。
  4. 如果模型支持所选技术，则继续步骤 4。
  5. 如果模型不支持所选技术，请说明该模型在 SageMaker 上不支持此技术，并询问用户是否返回步骤 2，选择一个支持所选技术的其他模型。
步骤 4：确认选择

向用户展示摘要：

Here's what we've selected:
- Base model: [model name]
- Fine-tuning technique: [SFT/DPO/RLVR]

参考资料

  • references/model-selection.md — 模型选择说明和基准测试描述
  • references/finetune_technique_selection_guide.md — 技术指南
  • references/model-licenses.md — 模型选择期间展示的模型许可证信息

评论

支持 Markdown