tao-train-action-recognition

动作识别

从视频序列中识别动作。支持 RGB、光流和关节（多流）输入类型，用于对视频片段中的时序动作进行分类。

设置 model.pretrained_model_path 以指定预训练骨干网络权重。

数据类架构

生成的 TAO Core 架构打包在 schemas/<action>.schema.json 中，schemas/manifest.json 列出了可用的动作。每个生成的架构还会根据架构顶层的 default 字段生成 references/spec_template_<action>.yaml。AutoML 是否启用由 references/skill_info.yaml 中模型层级的 automl_enabled 声明。要实际运行 AutoML，还需要 schemas/train.schema.json 和 references/spec_template_train.yaml 存在且可解析。请使用打包的训练架构获取 automl_default_parameters、automl_disabled_parameters、默认值、最小/最大边界、枚举、选项权重、数学条件、依赖项和常用参数。运行时不要依赖 ~/tao-core；维护者应在打包 skill bank 之前重新生成架构/模板。

训练动作策略

此模型在模型层级启用了 AutoML。处理任何训练阶段请求前，请读取 references/skill_info.yaml，并根据显式的 automl_policy 值或用户的工作流请求确定本次运行的策略。将“关闭 AutoML”“禁用 AutoML”“不使用 HPO”或“普通训练”等说法视为仅对本次运行设置 automl_policy: off；否则默认为 auto。当 automl_policy: auto、automl_enabled: true，且已打包 schemas/train.schema.json 和 references/spec_template_train.yaml 时，默认通过 tao-skill-bank:tao-run-automl 执行训练动作，并传入此模型的 skill_dir。保留工作流/应用对数据集、规格文件、输出目录、GPU/平台设置、父检查点和 automl_policy 的覆盖设置。仅当 automl_policy: off 或缺少已打包的训练架构/模板时，才直接训练模型；若缺少架构，应报告 AutoML 已启用，但在为此模型生成架构之前无法运行。

evaluate、inference、export 和部署流程等非训练动作仍在此模型 skill 中执行。每次运行的 automl_policy 覆盖不会更改模型元数据。

训练要求

• 数据集类型： action_recognition
• 格式： 默认
• 监控指标： val_acc

各动作的数据集要求

动作	Spec 键	来源	文件	列表？
evaluate	evaluate.test_dataset_dir	train_datasets	test.tar.gz	否
inference	inference.inference_dataset_dir	train_datasets	test/smile.tar.gz	否
train	dataset.train_dataset_dir	train_datasets	train.tar.gz	否
train	dataset.val_dataset_dir	train_datasets	test.tar.gz	否

典型规格覆盖项

每个动作都必须覆盖数据源——Agent 必须根据上方“各动作的数据集要求”表构造数据源路径，并将其包含在 spec_overrides 中。

S3_TRAIN = "s3://bucket/data/train"

train（必需的数据源）：

{
    "train.num_epochs": 30,
    "train.checkpoint_interval": 10,
    "train.validation_interval": 10,
    "train.num_gpus": 1,
    "dataset.label_map": {
        "catch": 0,
        "smile": 1
    },
    "dataset.batch_size": 2,
    "dataset.train_dataset_dir": f"{S3_TRAIN}/train.tar.gz",
    "dataset.val_dataset_dir": f"{S3_TRAIN}/test.tar.gz",
}

evaluate（必需的数据源）：

{
    "evaluate.test_dataset_dir": f"{S3_TRAIN}/test.tar.gz",
}

inference（必需的数据源）：

{
    "inference.inference_dataset_dir": f"{S3_TRAIN}/test/smile.tar.gz",
}

评估数据集

可选。测试数据集以 test.tar.gz 的形式单独提供，与训练数据集分开。

重要参数

• model.model_type：输入类型：rgb、of（光流）或 joint（多流）。
• model.backbone：默认为 resnet_18。用作空间特征提取器。
• dataset.label_map：将类别名称映射到索引的字典。
• model.rgb_seq_length：RGB 输入每个片段的帧数。
• model.of_seq_length：光流输入的帧数。
• train.optim.lr：学习率。默认值为 5e-4。

多 GPU / 多节点

**启动方式：**由 Lightning 管理（单个 python 进程，由 Lightning 启动工作进程）。

Spec 键	描述	默认值
train.num_gpus	GPU 数量	1
train.gpu_ids	GPU 设备索引	[0]

• 策略：auto（Lightning 自动选择最佳策略）
• 无需显式配置 num_nodes 或 distributed_strategy——面向单节点

硬件

至少需要 1 个 GPU，建议使用 2 个 GPU。每个 GPU 的 VRAM 至少为 16GB。内存需求取决于序列长度和输入分辨率。对于视频数据，batch_size=2 是较为保守的设置。

错误模式

序列长度不匹配：确保视频片段的帧数足以满足配置的 rgb_seq_length 或 of_seq_length。

Spec 参数 / 父模型推断

特定于模型的推断映射应放在此 MD 文件中，而不是 config.json 中。生成的运行器应读取本节，并在调用 create_job() 前使用 SDK 助手应用这些映射。这与旧版微服务的 infer_params.py 流程一致。

来自 TAO Core action_recognition.config.json 的推断映射：

操作	Spec 字段	推断函数	含义
evaluate	encryption_key	key	加密密钥
evaluate	evaluate.checkpoint	parent_model	从父作业结果文件夹推断出的模型文件
evaluate	results_dir	output_dir	当前作业结果目录
export	encryption_key	key	加密密钥
export	export.checkpoint	parent_model	从父作业结果文件夹推断出的模型文件
export	export.onnx_file	create_onnx_file	输出 ONNX 路径
export	results_dir	output_dir	当前作业结果目录
inference	encryption_key	key	加密密钥
inference	inference.checkpoint	parent_model	从父作业结果文件夹推断出的模型文件
inference	results_dir	output_dir	当前作业结果目录
train	encryption_key	key	加密密钥
train	model.of_pretrained_model_path	ptm_if_no_resume_model	不存在恢复检查点时使用的 PTM
train	model.rgb_pretrained_model_path	ptm_if_no_resume_model	不存在恢复检查点时使用的 PTM
train	results_dir	output_dir	当前作业结果目录
train	train.resume_training_checkpoint_path	resume_model	从当前作业结果文件夹推断出的模型文件

对于 parent_model 或 parent_model_folder，请将上游 train/export/AutoML 子作业 ID 作为 parent_job_id 传入。SDK 会列出父作业结果文件夹、筛选检查点制品，并返回选定的模型文件或文件夹。不要将这些映射加回 config.json，也不要修改生成的运行器脚本来猜测检查点路径。