mcpField
T
tao-convert-dataset-format

tao-convert-dataset-format

github.com/nvidia数据与数据库3.8k1.6k 次安装今天更新
代码仓库

关于 tao-convert-dataset-format

此 TAO skill 使用 `tao-daft convert` CLI，将 DAFT 数据集转换为已安装版本支持的格式。它依据 CLI 帮助信息选择源格式、目标格式和参数。

主要功能

  1. 01在支持的格式间转换 DAFT 数据集
  2. 02接受单个数据集或上级目录
  3. 03通过 CLI 帮助查询格式和参数
  4. 04说明转换结果

适用场景

  1. 01转换 DAFT 数据集以用于 VLM 训练
  2. 02转换包含多个 DAFT 数据集的目录
  3. 03转换前确认支持的格式组合

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/nvidia/skills --skill tao-convert-dataset-format

安装后在 Claude Code 中输入/tao-convert-dataset-format确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

BENCHMARK.md
skill-card.md
skill.oms.sig
config/
skillspector-baseline.yaml
evals/
evals.json

详细介绍

转换 TAO DAFT 数据集

独立安装？ 如果此会话并非由 TAO 技能库插件初始化，请先运行 tao-setup 技能（主机预检、凭据、跨技能发现）。

快速开始

tao-daft convert <source-format> <target-format> --path <input> --output <output>

源格式和目标格式是位置子命令；--path 和 --output 是标志。 通过叶级 --help 查看支持的格式和每种格式组合的标志 （见下文“CLI 约定”）。

预检

python -c "import nvidia_tao_daft" 2>/dev/null || {
  echo "MISSING: tao-daft not installed. Run:"
  echo "  pip install nvidia-tao-daft"
  exit 1
}

快速开始

选择格式标识前，先查看已安装 CLI 的功能，然后使用明确指定的 --path 和 --output 标志运行叶级转换命令：

tao-daft --version
tao-daft convert --help
tao-daft convert <source-format> --help
tao-daft convert <source-format> <target-format> --path /path/to/daft --output /path/to/converted

用途

调用 tao-daft convert，在支持的格式之间转换 DAFT 数据集（或 一组 DAFT 数据集）。实际转换由 CLI 完成；此技能会选择合适的 源格式/目标格式组合和标志，然后说明结果。

触发场景：转换 DAFT 数据集、为 VLM 训练打包 DAFT QA / 摘要 / 时序任务、生成 meta.json 风格的训练集，或使用 命令 tao-daft convert。不要在非 DAFT → DAFT 转换 （COCO、YOLO、Data Factory JSONL）时触发——请转到上游 nvidia-tao-daft 仓库的转换器技能。

如果用户的需求不明确，先运行几条 --help 命令。

前提条件

  • 已安装 nvidia-tao-daft（仅安装 wheel，不安装源代码仓库）。 使用 tao-daft --version 确认。
  • 本地磁盘上有一个 DAFT 数据集，或包含多个数据集的父目录。

说明

CLI 约定

tao-daft 使用嵌套的 argparse 子命令。即使格式名称或标志发生 变化，以下约定在不同版本中也保持稳定，因此始终通过 --help 发现当前功能，不要依赖本文中提到的名称。

  1. 源格式和目标格式都是位置子命令，不是 --from/--to：tao-daft convert <source> <target> [flags]。 格式标识会随版本变化，使用小写字母，以点分隔 （metropolis-v3.0、cosmos-reason-v1.0 等）。
  2. 路径和输出是标志——--path PATH（源）， --output OUTPUT（目标）。叶级命令中两者均为必填项； 以位置参数传入会失败。
  3. --path 支持两种粒度——单个场景/数据集，或父目录； 转换器会遍历目录树。
  4. 每种格式组合的标志位于叶级命令中——不同目标的标志集 不同（例如媒体处理方式）。务必查看叶级 --help。

操作流程：

  1. tao-daft --version——确认安装，并在报告中注明版本。
  2. tao-daft convert --help——列出支持的源格式。
  3. tao-daft convert <source> --help——列出该源格式支持的目标格式。
  4. 根据目录结构推断源格式（与 tao-validate-dataset-format 技能中“格式推断”一节所列的目录标记相同）。如果无法推断， 或未指定目标格式，请询问用户。
  5. tao-daft convert <source> <target> --help——根据 用户的意图（任务子集、媒体复制或引用、元数据）选择标志。
  6. 执行转换，然后解读结果（见下文）。
阅读输出

每个场景的进度会打印到 stdout；失败时退出码非零。转换后的 数据集会写入 --output 指定的位置——训练前，使用 tao-validate-dataset-format 技能抽查数据集。对于大型目录树，请捕获 完整输出；如果输出过大，则分段读取。

限制

  • 仅支持 DAFT 支持的源格式。对于非 DAFT 目录结构，请使用 上游仓库的转换器技能。
  • 支持的格式组合以已安装版本的 --help 输出为准——不要传入 未经确认的组合。
  • 源格式和目标格式为位置参数；--path / --output 是标志。
  • 仅支持 convert——validate 和 info 各有对应的技能。
  • 不要用 Python 重新实现转换；CLI 才是规范。

故障排除

  • tao-daft: command not found — 未安装 wheel；运行 pip install nvidia-tao-daft，并使用 tao-daft --version 验证。
  • error: argument --path/--output is required — 参数是按位置传入的；将其移到标志后面。
  • invalid choice: '<format>' — 此版本尚未接入该 slug。重新运行相关的 --help。
  • tao-daft validate 拒绝输出 — 通过子命令的 --help 重新检查每对参数（媒体处理、任务子集）；参数设置错误通常会生成结构有效但语义错误的目标。

评论

支持 Markdown