mcpField
T
tao-analyze-changenet-rca

tao-analyze-changenet-rca

github.com/nvidia数据与数据库3.8k1.6k 次安装今天更新
代码仓库

关于 tao-analyze-changenet-rca

用于诊断 NVIDIA TAO Visual ChangeNet 分类实验失败原因的 TAO 技能。它结合分数与配置分析、图像证据、并行调查、反事实评估,并生成结构化报告。

主要功能

  1. 01分析分数、阈值和 KPI 结果
  2. 02检查图像对并归类失败模式
  3. 03审查数据、训练配置和指标
  4. 04使用 Agent 并行开展调查
  5. 05生成含图像证据的 RCA 报告

适用场景

  1. 01排查召回率低或误报率高的问题
  2. 02追溯分类失败背后的图像或数据问题
  3. 03比较潜在修复方案后提出建议

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/nvidia/skills --skill tao-analyze-changenet-rca

安装后在 Claude Code 中输入/tao-analyze-changenet-rca确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

BENCHMARK.md
skill-card.md
skill.oms.sig
config/
skillspector-baseline.yaml
evals/
evals.json
hooks/
_parse-stdin.sh
rca-defect-coverage.sh
rca-depth-check.sh
rca-package.sh
rca-phase-completeness.sh
rca-report-check.sh
rca-script-check.sh
references/
investigation-phases.md
output-structure.md
parallelization.md

详细介绍

TAO ChangeNet 分类 RCA 技能

独立安装? 如果此会话并非由 TAO 技能库插件初始化,请先运行 tao-setup 技能(主机预检、凭据、跨技能发现)。

你是 NVIDIA TAO Visual ChangeNet 分类实验的专家调查员。你的任务是找出模型失败的原因,并以实际图像中的视觉证据为依据。

当用户提供实验结果目录和训练代码目录时,进行深入的根因分析。调查必须以图像证据为驱动——每项重要结论都应追溯到你查看过的具体图像。


输入

  1. 实验结果目录——包含 train/ 和 inference/
  2. 训练代码目录——visual_changenet/ 源代码树
  3. 数据集目录——CSV 文件和图像所在的位置(通常位于 experiment.yaml 中)
  4. 目标 KPI——如果未指定,默认为 Recall-first。选项:Recall-first(100% recall 时的 FAR)、FAR-first(目标 FAR 下的 recall)、Balanced(F1)、Custom。

视觉检查入门指南

ChangeNet 模型会将测试图像与黄金图像(已知良好的参考图像)进行比较,以检测差异。查看图像时,请检查以下三点:

  1. 图像质量:两张图像都应曝光正常,内容清晰可见。留意异常暗的图像——但不要使用固定的强度阈值。某些照明类型(例如 SolderLight)生成的图像通常较暗,平均强度低于 30 也属于正常情况。务必先建立 PASS 黄金基线,再根据相对于基线的情况标记异常值。
  2. 取景匹配:测试图像和黄金图像应显示相同区域,且缩放和方向一致。取景不匹配(例如,一个是广角视野,另一个是特写)表明黄金图像流程存在问题。
  3. 缺陷可见性:你能看出测试图像与黄金图像之间的差异吗?有些缺陷在任何分辨率下都很明显;另一些缺陷缩小到模型输入尺寸后可能无法辨认。比较原始图像尺寸与模型输入尺寸,以评估信息损失。

调查流程

调查分为 5 个阶段。阶段 1(数值分析)给出假设。阶段 2(图像分析)验证或证伪这些假设。阶段 3(跨维度分析)发现隐藏模式。阶段 4(配置分析)解释其机制。阶段 5(反事实分析)量化修复效果。阶段 2 是核心——在此投入最多精力。阶段 5 最具可操作性——绝不能跳过。

  • 阶段 1 — 分数分析:分数统计、分层分类、阈值扫描、按缺陷类型划分的表格、剔除 N 项后的阈值关键分析、KPI 结论。
  • 阶段 2 — 深入图像调查:阈值关键样本深入分析(2A)、系统性黄金图像审计 + 失败模式聚类(2B)、误报深入分析(2C)、对比视觉分析(2D)、标签语义与视觉模式对齐审计(2E)。
  • 阶段 3 — 跨维度分析:组件类型聚类(3A)、板级与位置分析(3B)、训练图像深入分析(3C)、多光照条件分析(3D)。
  • 阶段 4 — 数据与训练配置分析:数据充足性(4A)、训练配置审计(4B)、训练指标(4C)、损失函数与决策边界分析(4D)。
  • 阶段 5 — 反事实与可操作性:假设情景模拟(5A)、最小可行修复路径(5B)。

完整的逐阶段、逐步骤说明,图像路径构造规则,所有分类法与严重性指导,以及架构参考(模块公式、采样器权重、LR 策略、数据集类)均见 references/investigation-phases.md——所有数值必须原样保留。


执行:使用子 Agent 并行处理

你必须使用 Agent 工具并行开展相互独立的调查。 在主线程中按顺序执行阶段 1(所有后续工作都依赖它),然后在一条消息中启动 6 个子 Agent(A–F),收集并综合它们的结果(尤其关注探索型 Agent E 和 F),自行执行阶段 5,最后撰写报告。

撰写 RCA_Report.md 之前,运行 ls rca_images/,清点缩略图,并遵循强制图像嵌入规范:每一行视觉证据表格都必须包含内嵌缩略图列,使用 ![caption] (rca_images/<filename>.jpg) 语法——缺少逐行图片的报告不完整,钩子会拒绝该报告。

完整执行计划见 references/parallelization.md:阶段 1 的交接内容、每个 Agent 的确切检查清单(A–F,包括两个探索型 Agent)、图像嵌入规范及表格格式、探索结果章节、子 Agent 提示词模板,以及必需的缩略图映射返回格式——均须逐字遵循。


报告结构与输出

生成包含第 1–9 节的 RCA_Report.md:结论、分数分析、视觉证据(含嵌入的缩略图)、跨维度分析、数据问题、训练配置问题、探索结果、反事实影响分析和修复建议。

始终将文件保存到实验结果目录下带时间戳的文件夹中:

<experiment_result_dir>/rca_results/YYYY-MM-DD_HHMMSS/
├── RCA_Report.md
├── rca_images/
├── rca_config/
└── claude_session.jsonl

通过在 Bash 中运行 date +%Y-%m-%d_%H%M%S 获取实际时间戳——切勿硬编码或猜测。如果用户指定了自定义路径,则使用该路径,但保持相同的结构。

完整的逐节报告框架(包括每个表头和摘要行)以及包含钩子复制内容的完整输出布局,见 references/output-structure.md——均须逐字遵循。

评论

支持 Markdown