mcpField
T
tao-validate-dataset-format

tao-validate-dataset-format

github.com/nvidia数据与数据库3.8k1.6k 次安装今天更新
代码仓库

关于 tao-validate-dataset-format

用于验证 NVIDIA TAO DAFT 数据集或目录树的技能,通过 `tao-daft validate` 检查格式并解释结果。它依据已安装 CLI 的帮助信息选择格式和参数,仅适用于 DAFT。

主要功能

  1. 01验证 DAFT 数据集格式
  2. 02支持单个数据集或目录树
  3. 03从 CLI 帮助发现格式与参数
  4. 04根据目录标记推断格式
  5. 05支持严格模式处理警告

适用场景

  1. 01检查 DAFT 数据集结构
  2. 02验证目录树中的多个数据集
  3. 03定位模式或交叉引用错误
  4. 04在 CI 中将警告视为失败

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/nvidia/skills --skill tao-validate-dataset-format

安装后在 Claude Code 中输入/tao-validate-dataset-format确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

BENCHMARK.md
skill-card.md
skill.oms.sig
config/
skillspector-baseline.yaml
evals/
evals.json

详细介绍

验证 TAO DAFT 数据集

独立安装? 如果此会话并非由 TAO 技能库插件初始化,请先运行 tao-setup 技能(主机预检、凭据、跨技能发现)。

快速开始

tao-daft validate <format> --path <dataset-or-parent-dir>

<format> 是一个位置子命令(例如 metropolis-v3.0、cosmos-reason-v1.0); --path 为必需参数。通过 tao-daft validate --help 和叶子命令的 --help(见下文“CLI 约定”)发现支持的格式和各格式的标志。

预检

python -c "import nvidia_tao_daft" 2>/dev/null || {
  echo "MISSING: tao-daft not installed. Run:"
  echo "  pip install nvidia-tao-daft"
  exit 1
}

快速开始

选择格式标识前,先查看已安装的验证器格式,然后通过 --path 传入目标以 运行验证:

tao-daft --version
tao-daft validate --help
tao-daft validate <format> --help
tao-daft validate <format> --path /path/to/daft-dataset

用途

对 DAFT 数据集(或包含多个数据集的目录树)运行 tao-daft validate。 CLI 是规范;此技能负责选择子命令和标志,并解释 结果。

当用户提到“TAO DAFT”、“DAFT 格式”、验证 DAFT 数据集、架构/交叉引用错误或 tao-daft validate 时触发。 对于非 DAFT 布局(COCO、YOLO、Data Factory JSONL),或 tao-daft info / tao-daft convert,不要触发——这些命令有各自的技能。

如果用户一开始的描述含糊,先运行几个 --help 命令以了解情况, 然后再回来确认任务。

先决条件

  • 已安装 nvidia-tao-daft(pip install nvidia-tao-daft;仅需 wheel,无需源代码仓库)。通过 tao-daft --version 确认。
  • 本地磁盘上有一个 DAFT 数据集,或包含多个数据集的父目录。

说明

CLI 约定

tao-daft 使用嵌套的 argparse 子命令。命令名称和标志会随版本变化, 因此应从 --help 发现当前可用项,不要 依赖本文中的列表。

  1. 格式是位置子命令,不是 --format: tao-daft validate <format> [flags]。通过 tao-daft validate --help 查看当前格式;标识类似于 metropolis-v3.0、 cosmos-reason-v1.0。
  2. 目标参数是 --path PATH,不是位置参数。它接受单个 数据集/场景或一个父目录——验证器会遍历目录树。
  3. 标志因格式而异;选择标志前,先运行叶子命令的帮助,例如 tao-daft validate metropolis-v3.0 --help。 不要假设一种格式的标志也适用于另一种格式。

因此流程为:tao-daft --version → tao-daft validate --help → 选择格式(如果未指定,则推断,见下文)→ tao-daft validate <format> --help → 运行 → 解读。

格式推断

根据目录标记判断,而不是文件名:

  • meta.json 与 media/ 和 text/ 位于同一目录 ⇒ cosmos-reason-v1.0。
  • 包含 contextual/ 的目录(或嵌套目录),通常还包含 raw/ 和 task/ ⇒ metropolis-v3.0。
  • 两种标记均不存在 ⇒ 询问用户;不要猜测。
阅读错误

CLI 每次运行结束时都会输出 VALIDATION RESULTS 区块,然后是 ✅ VALIDATION PASSED 或 ❌ VALIDATION FAILED;失败时会以非零状态码退出 (可安全地在脚本中串联执行)。

目录树较大时,输出可能会很长——将完整输出保存到文件, 分段读取,而不要在终端中滚动查看。

限制

  • 仅验证 DAFT。非 DAFT 布局(COCO、YOLO、Data Factory JSONL 等)应使用上游转换器技能。
  • 支持的格式以已安装版本的 tao-daft validate --help 所报告的内容为准;旧格式标识可能已停用。
  • 仅涵盖 validate。tao-daft info 和 tao-daft convert 请使用专用技能。
  • 不要用 Python 重新实现验证;CLI 是规范。

故障排除

  • tao-daft: command not found — 当前环境中未安装 wheel。运行 pip install nvidia-tao-daft;使用 tao-daft --version 验证。
  • error: argument --path is required — 路径以位置参数形式传入。将它移到 --path 后面。
  • invalid choice: '<format>' — 此版本尚未支持该 slug。重新运行 tao-daft validate --help,并从列表中选择。
  • 自动检测(原始类型 / 上下文集合)有误 — 使用相应格式的范围限制标志进行覆盖;通过叶级 --help 查找标志名称。
  • CI 要求警告导致失败 — 添加 --strict。

评论

支持 Markdown