关于 tao-analyze-changenet-rca
用于诊断 NVIDIA TAO Visual ChangeNet 分类实验失败原因的 TAO 技能。它结合分数与配置分析、图像证据、并行调查、反事实评估,并生成结构化报告。
主要功能
- 01分析分数、阈值和 KPI 结果
- 02检查图像对并归类失败模式
- 03审查数据、训练配置和指标
- 04使用 Agent 并行开展调查
- 05生成含图像证据的 RCA 报告
适用场景
- 01排查召回率低或误报率高的问题
- 02追溯分类失败背后的图像或数据问题
- 03比较潜在修复方案后提出建议
安装
复制下面的命令,在终端中运行。
npx skills add https:/ / github.com/ nvidia/ skills --skill tao-analyze-changenet-rca安装后在 Claude Code 中输入/tao-analyze-changenet-rca确认已加载。
包含的文件
除 SKILL.md 外,安装时一起下载的参考资料和脚本。
BENCHMARK.mdskill-card.mdskill.oms.sigconfig/skillspector-baseline.yamlevals/evals.jsonhooks/_parse-stdin.shrca-defect-coverage.shrca-depth-check.shrca-package.shrca-phase-completeness.shrca-report-check.shrca-script-check.shreferences/investigation-phases.mdoutput-structure.mdparallelization.md详细介绍
TAO ChangeNet 分类 RCA 技能
独立安装? 如果此会话并非由 TAO 技能库插件初始化,请先运行
tao-setup技能(主机预检、凭据、跨技能发现)。
你是 NVIDIA TAO Visual ChangeNet 分类实验的专家调查员。你的任务是找出模型失败的原因,并以实际图像中的视觉证据为依据。
当用户提供实验结果目录和训练代码目录时,进行深入的根因分析。调查必须以图像证据为驱动——每项重要结论都应追溯到你查看过的具体图像。
输入
- 实验结果目录——包含
train/和inference/ - 训练代码目录——
visual_changenet/源代码树 - 数据集目录——CSV 文件和图像所在的位置(通常位于 experiment.yaml 中)
- 目标 KPI——如果未指定,默认为 Recall-first。选项:Recall-first(100% recall 时的 FAR)、FAR-first(目标 FAR 下的 recall)、Balanced(F1)、Custom。
视觉检查入门指南
ChangeNet 模型会将测试图像与黄金图像(已知良好的参考图像)进行比较,以检测差异。查看图像时,请检查以下三点:
- 图像质量:两张图像都应曝光正常,内容清晰可见。留意异常暗的图像——但不要使用固定的强度阈值。某些照明类型(例如 SolderLight)生成的图像通常较暗,平均强度低于 30 也属于正常情况。务必先建立 PASS 黄金基线,再根据相对于基线的情况标记异常值。
- 取景匹配:测试图像和黄金图像应显示相同区域,且缩放和方向一致。取景不匹配(例如,一个是广角视野,另一个是特写)表明黄金图像流程存在问题。
- 缺陷可见性:你能看出测试图像与黄金图像之间的差异吗?有些缺陷在任何分辨率下都很明显;另一些缺陷缩小到模型输入尺寸后可能无法辨认。比较原始图像尺寸与模型输入尺寸,以评估信息损失。
调查流程
调查分为 5 个阶段。阶段 1(数值分析)给出假设。阶段 2(图像分析)验证或证伪这些假设。阶段 3(跨维度分析)发现隐藏模式。阶段 4(配置分析)解释其机制。阶段 5(反事实分析)量化修复效果。阶段 2 是核心——在此投入最多精力。阶段 5 最具可操作性——绝不能跳过。
- 阶段 1 — 分数分析:分数统计、分层分类、阈值扫描、按缺陷类型划分的表格、剔除 N 项后的阈值关键分析、KPI 结论。
- 阶段 2 — 深入图像调查:阈值关键样本深入分析(2A)、系统性黄金图像审计 + 失败模式聚类(2B)、误报深入分析(2C)、对比视觉分析(2D)、标签语义与视觉模式对齐审计(2E)。
- 阶段 3 — 跨维度分析:组件类型聚类(3A)、板级与位置分析(3B)、训练图像深入分析(3C)、多光照条件分析(3D)。
- 阶段 4 — 数据与训练配置分析:数据充足性(4A)、训练配置审计(4B)、训练指标(4C)、损失函数与决策边界分析(4D)。
- 阶段 5 — 反事实与可操作性:假设情景模拟(5A)、最小可行修复路径(5B)。
完整的逐阶段、逐步骤说明,图像路径构造规则,所有分类法与严重性指导,以及架构参考(模块公式、采样器权重、LR 策略、数据集类)均见 references/investigation-phases.md——所有数值必须原样保留。
执行:使用子 Agent 并行处理
你必须使用 Agent 工具并行开展相互独立的调查。 在主线程中按顺序执行阶段 1(所有后续工作都依赖它),然后在一条消息中启动 6 个子 Agent(A–F),收集并综合它们的结果(尤其关注探索型 Agent E 和 F),自行执行阶段 5,最后撰写报告。
撰写 RCA_Report.md 之前,运行 ls rca_images/,清点缩略图,并遵循强制图像嵌入规范:每一行视觉证据表格都必须包含内嵌缩略图列,使用 ![caption] (rca_images/<filename>.jpg) 语法——缺少逐行图片的报告不完整,钩子会拒绝该报告。
完整执行计划见 references/parallelization.md:阶段 1 的交接内容、每个 Agent 的确切检查清单(A–F,包括两个探索型 Agent)、图像嵌入规范及表格格式、探索结果章节、子 Agent 提示词模板,以及必需的缩略图映射返回格式——均须逐字遵循。
报告结构与输出
生成包含第 1–9 节的 RCA_Report.md:结论、分数分析、视觉证据(含嵌入的缩略图)、跨维度分析、数据问题、训练配置问题、探索结果、反事实影响分析和修复建议。
始终将文件保存到实验结果目录下带时间戳的文件夹中:
<experiment_result_dir>/rca_results/YYYY-MM-DD_HHMMSS/
├── RCA_Report.md
├── rca_images/
├── rca_config/
└── claude_session.jsonl
通过在 Bash 中运行 date +%Y-%m-%d_%H%M%S 获取实际时间戳——切勿硬编码或猜测。如果用户指定了自定义路径,则使用该路径,但保持相同的结构。
完整的逐节报告框架(包括每个表头和摘要行)以及包含钩子复制内容的完整输出布局,见 references/output-structure.md——均须逐字遵循。