mcpField
T
tao-train-single-step

tao-train-single-step

github.com/nvidia开发3.8k1.6k 次安装今天更新
代码仓库

关于 tao-train-single-step

tao-train-single-step 是 TAO 中常规监督式微调工作流的技能,面向将兼容的 TAO 模型适配到标注数据集。它组织训练、可选评估和导出,并依据模型配置和 AutoML 策略选择训练路径。

主要功能

  1. 01监督式模型微调
  2. 02可选数据集评估
  3. 03按需导出模型
  4. 04根据 AutoML 配置路由训练
  5. 05确认运行平台与容器镜像

适用场景

  1. 01将预训练模型适配到新标注数据集
  2. 02训练后使用评估数据集检查结果
  3. 03训练完成后按需导出模型
  4. 04确认执行平台和训练容器后启动任务

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/nvidia/skills --skill tao-train-single-step

安装后在 Claude Code 中输入/tao-train-single-step确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

BENCHMARK.md
skill-card.md
skill.oms.sig
config/
skillspector-baseline.yaml
evals/
evals.json
references/
skill_info.yaml

详细介绍

常规训练

单独安装? 如果此会话并非由 TAO 技能库插件初始化,请先运行 tao-setup 技能(主机预检、凭据、跨技能发现)。

标准监督微调:在带标签的数据集上训练模型,可选择进行评估,然后可选择导出。这是将预训练模型适配到新数据集时最常见的 TAO 工作流。

步骤

  1. train — 当所选模型的 automl_enabled: true 且 automl_policy 为 on 时,通过 AutoML 执行; 若要进行普通的单次训练,请设置 automl_policy=off
  2. eval — 如果已解析 eval_dataset_uri,则执行
  3. export — 可选,在训练后根据用户请求执行

前置条件

所选模型技能中已解析的 container_image 是默认训练运行时。除非用户明确请求相应执行模式,否则不要将其替换为主机 venv、uv 环境、通用训练镜像或手写训练器。SDK/控制器 Python 环境仅用于控制平面;模型操作仍由容器执行。

必需
  • model:兼容的 TAO 模型(例如 clip、nvdinov2、grounding_dino)
  • train_dataset_uri:训练数据集的 URI(例如 s3://bucket/train/)
  • platform:从已安装的平台技能中发现执行平台(tao-run-on-docker / -slurm / -kubernetes / -brev,以及任何外部平台);如果运行时仅提供核心路由技能,请读取 skills/platform/tao-run-on-*/SKILL.md frontmatter。
  • 容器镜像确认:从所选模型/操作配置中解析默认镜像,并展示给用户;在创建运行器文件或提交训练之前,必须获得用户确认或指定 image=<override>。
可选
  • eval_dataset_uri:某些模型技能会将其标记为必需项——请先检查已解析的模型技能,再将其视为可选项。
  • base_checkpoint:如果未提供,则默认使用模型技能中列出的 NGC 预训练检查点;如果不存在 NGC 检查点,则从头开始训练。
  • automl_policy:默认为 on;设置为 off 可在本次运行中绕过模型级 AutoML,同时保持模型元数据不变。新的启动设置中仅使用 on / off。
  • 镜像覆盖:查看已解析的默认镜像后,使用 image=<override> 固定指定的 TAO 工具包版本。

启动信息收集

用户确认要使用此标准训练/评估/导出工作流后, 询问他们打算在哪个受支持的平台上运行。通过已安装的平台技能(tao-run-on-docker / -slurm / -kubernetes / -brev,以及任何外部平台)确定执行平台;如果运行时只显示核心路由技能,则读取 skills/platform/tao-run-on-*/SKILL.md 的 frontmatter。

创建普通训练运行器之前,先使用 scripts/list_tao_models.py --scope automl --format json 检查所选模型的元数据,或读取 skills/models/<network>/references/skill_info.yaml。如果 automl_enabled 为 true,且 helper 报告该模型有有效的训练 schema,则默认通过 skills/applications/tao-run-automl 执行训练阶段。只有当 automl_policy=off、用户明确要求不使用 HPO/AutoML,或 AutoML 已启用但因模型的训练 schema 尚未打包而无法运行时,才使用普通训练路径。

还要询问是否继续启用长时间运行监控,以及状态更新的间隔分钟数。默认值:启用,每隔 5 分钟更新一次。

确认模型和操作后,运行 scripts/resolve_tao_image.py --model <network> --action train --format text,并询问使用解析出的镜像还是使用 image=<override>。确认镜像之前,不要创建 tao-train-single-step 运行器。

选择平台后,读取所选平台技能的 ## Credentials 部分和 references/skill_info.yaml(required_credentials / credential_groups),并且只询问该平台所需的凭据,以及所选模型所需的凭据。不要询问无关的平台凭据。

评论

支持 Markdown