mcpField
T
tao-convert-dataset-format

tao-convert-dataset-format

github.com/promptingcompany数据与数据库039 次安装17 周前更新
代码仓库

关于 tao-convert-dataset-format

用于通过 `tao-daft convert` 转换 DAFT 数据集的技能，适合整理视觉语言模型训练数据的用户。它根据已安装版本的 CLI 帮助信息选择支持的源格式、目标格式和参数。

主要功能

  1. 01转换受支持的 DAFT 格式
  2. 02处理单个数据集或目录树
  3. 03按格式对选择转换参数
  4. 04检查转换命令帮助信息

适用场景

  1. 01将 DAFT 数据集转换为训练所需格式
  2. 02批量转换目录中的多个数据集
  3. 03为视觉语言模型准备 QA 或摘要数据
  4. 04转换后检查数据集结构

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/promptingcompany/nv-skills --skill tao-convert-dataset-format

安装后在 Claude Code 中输入/tao-convert-dataset-format确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

BENCHMARK.md
skill-card.md
skill.oms.sig
evals/
evals.json

详细介绍

转换 TAO DAFT 数据集

快速开始

tao-daft convert <source-format> <target-format> --path <input> --output <output>

源格式和目标格式是位置子命令；--path 和 --output 是标志。 通过叶级 --help 查看支持的格式和每种格式组合对应的标志 （参见下文“CLI 约定”）。

预检

python -c "import nvidia_tao_daft" 2>/dev/null || {
  echo "MISSING: tao-daft not installed. Run:"
  echo "  pip install nvidia-tao-daft"
  exit 1
}

快速开始

先查看已安装 CLI 支持的命令，再选择格式标识，然后运行带有明确 --path 和 --output 标志的叶级转换命令：

tao-daft --version
tao-daft convert --help
tao-daft convert <source-format> --help
tao-daft convert <source-format> <target-format> --path /path/to/daft --output /path/to/converted

用途

调用 tao-daft convert，在支持的格式之间转换 DAFT 数据集（或多个数据集组成的目录树）。实际转换由 CLI 完成；此技能负责选择正确的源格式／目标格式组合和标志，然后说明转换结果。

触发场景：转换 DAFT 数据集；为 VLM 训练打包 DAFT QA／摘要／时序任务；生成 meta.json 风格的训练集；或使用 tao-daft convert 命令。不要在非 DAFT → DAFT 转换（COCO、YOLO、Data Factory JSONL）场景触发——请转到上游 nvidia-tao-daft 仓库中的转换技能。

如果用户的请求含糊不清，先运行几次 --help。

前置条件

  • 已安装 nvidia-tao-daft（仅安装 wheel，不使用源代码仓库）。 使用 tao-daft --version 确认。
  • 本地磁盘上有 DAFT 数据集，或包含多个数据集的父目录。

说明

CLI 约定

tao-daft 使用嵌套的 argparse 子命令。即使格式名称或标志发生变化，以下约定在各版本间仍保持稳定，因此始终通过 --help 查看当前支持的命令，不要依赖本文中提到的名称。

  1. 源格式和目标格式都是位置子命令，而非 --from/--to：tao-daft convert <source> <target> [flags]。 格式标识采用带版本号的小写点分隔形式 （metropolis-v3.0、cosmos-reason-v1.0 等）。
  2. 路径和输出是标志——--path PATH（源）， --output OUTPUT（目标）。在叶级命令中二者都是必需项； 以位置参数传入会失败。
  3. --path 支持两种粒度——单个场景／数据集 或父目录；转换器会遍历目录树。
  4. 每种格式组合对应的标志位于叶级命令中——不同目标格式的标志集可能不同（例如媒体处理方式）。始终查看叶级 --help。

操作步骤：

  1. tao-daft --version——确认已安装，并在任何报告中注明版本。
  2. tao-daft convert --help——列出支持的源格式。
  3. tao-daft convert <source> --help——列出该源格式的有效目标格式。
  4. 根据目录结构推断源格式（使用 tao-validate-dataset-format 技能“格式推断”一节中相同的目录标记）。如果无法推断或未指定目标格式，请询问用户。
  5. tao-daft convert <source> <target> --help——根据用户意图（任务子集、媒体复制或引用、元数据）选择标志。
  6. 执行转换，然后解读结果（见下文）。
解读输出

每个场景的进度会输出到 stdout；失败时会返回非零退出码。转换后的数据集会写入 --output 指定的位置——训练前使用 tao-validate-dataset-format 技能进行抽查。对于大型目录树，保存完整输出；如果输出过大，则分段读取。

限制

  • 仅支持 DAFT 支持的源格式。对于非 DAFT 格式的目录结构，请使用上游仓库的转换技能。
  • 支持的格式组合以已安装版本的 --help 输出为准——不要传入未经确认的组合。
  • 源格式和目标格式是位置参数；--path / --output 是标志。
  • 仅支持 convert——validate 和 info 有各自的技能。
  • 不要用 Python 重新实现转换；CLI 即为规范。

故障排除

  • tao-daft: command not found — 未安装 wheel；运行 pip install nvidia-tao-daft，并使用 tao-daft --version 验证。
  • error: argument --path/--output is required — 参数是按位置传入的；将其移到标志后面。
  • invalid choice: '<format>' — 此版本尚未接入该 slug。重新运行相关的 --help。
  • tao-daft validate 拒绝输出 — 通过子命令的 --help 重新检查每对参数（媒体处理、任务子集）；参数设置错误通常会生成结构有效但语义错误的目标。

评论

支持 Markdown