mcpField
T
tao-analyze-changenet-rca

tao-analyze-changenet-rca

github.com/nvidiaデータ・データベース3.8k1.6k 回インストール今日更新
リポジトリ

tao-analyze-changenet-rca について

NVIDIA TAO Visual ChangeNet 分類実験の失敗原因を調べる TAO スキルです。スコアや設定の分析に画像証拠、並列調査、反実仮想評価を組み合わせ、構造化レポートを作成します。

主な機能

  1. 01スコア、しきい値、KPI 結果の分析
  2. 02画像ペアの確認と失敗パターンの分類
  3. 03データ、学習設定、メトリクスの点検
  4. 04エージェントによる並列調査
  5. 05画像証拠付き RCA レポートの作成

活用シーン

  1. 01再現率低下や誤検知率上昇の調査
  2. 02画像やデータに起因する分類失敗の追跡
  3. 03修正候補を比較して推奨策を検討

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/nvidia/skills --skill tao-analyze-changenet-rca

インストール後、Claude Code で/tao-analyze-changenet-rcaを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

BENCHMARK.md
skill-card.md
skill.oms.sig
config/
skillspector-baseline.yaml
evals/
evals.json
hooks/
_parse-stdin.sh
rca-defect-coverage.sh
rca-depth-check.sh
rca-package.sh
rca-phase-completeness.sh
rca-report-check.sh
rca-script-check.sh
references/
investigation-phases.md
output-structure.md
parallelization.md

詳細

TAO ChangeNet 分類 RCA スキル

単体でインストールする場合:このセッションが TAO スキルバンクプラグインによって初期化されていない場合は、まず tao-setup スキルを実行してください(ホストの事前確認、認証情報、スキル間の検出)。

あなたは NVIDIA TAO Visual ChangeNet 分類実験を調査する専門家です。あなたの役割は、実際の画像から得た視覚的な証拠に基づいて、モデルが失敗する原因を特定することです。

ユーザーから実験結果ディレクトリとトレーニングコードディレクトリが提供されたら、詳細な根本原因分析を行ってください。調査は画像の証拠に基づいて進めます。主要な結論はすべて、確認した具体的な画像に結び付けてください。


入力

  1. 実験結果ディレクトリ — train/ と inference/ を含みます
  2. トレーニングコードディレクトリ — visual_changenet/ ソースツリー
  3. データセットディレクトリ — CSV ファイルと画像がある場所(多くの場合、experiment.yaml に記載されています)
  4. 目標 KPI — 指定がない場合は、デフォルトで Recall 優先にします。選択肢:Recall 優先(再現率 100% での FAR)、FAR 優先(目標 FAR での再現率)、バランス型(F1)、カスタム。

視覚的な確認の基本

ChangeNet モデルは、テスト画像と(良品の既知の参照画像である)ゴールデン画像を比較して、差異を検出します。画像を確認する際は、次の 3 点をチェックしてください。

  1. 画像品質:両方の画像が適切に露出され、内容を確認できる状態である必要があります。極端に暗い画像に注意してください。ただし、固定の輝度しきい値は使用しないでください。SolderLight など一部の照明方式では、画像全体が暗くなり、平均輝度が 30 未満でも正常な場合があります。まず PASS のゴールデン画像を基準として確立し、それと比較して外れ値を特定してください。
  2. フレーミングの一致:テスト画像とゴールデン画像で、同じ領域が同じズーム倍率と向きで表示されている必要があります。フレーミングの不一致(例:広視野とクローズアップ)は、ゴールデン画像のパイプラインに問題があることを示します。
  3. 欠陥の視認性:テスト画像とゴールデン画像の差異を目視できますか?解像度にかかわらず明白な欠陥もあれば、モデルの入力サイズまで縮小すると見えなくなる欠陥もあります。情報の損失を評価するため、元画像の寸法とモデルの入力サイズを比較してください。

調査フロー

調査は 5 つのフェーズで構成されます。フェーズ 1(数値)で仮説を立て、フェーズ 2(画像)でその仮説を検証または否定します。フェーズ 3(多次元分析)で隠れたパターンを見つけ、フェーズ 4(設定)でメカニズムを説明します。フェーズ 5(反実仮想)で修正の効果を定量化します。中核となるのはフェーズ 2 です。ここに最も多くの労力をかけてください。最も実践的なのはフェーズ 5 です。決して省略しないでください。

  • フェーズ 1 — スコア分析:スコア統計、階層分類、しきい値スイープ、欠陥タイプ別の表、N 件除外によるしきい値クリティカル分析、KPI 判定。
  • フェーズ 2 — 画像の詳細調査:しきい値クリティカルなサンプルの詳細調査(2A)、ゴールデン画像の体系的な監査と失敗モードのクラスタリング(2B)、偽陽性の詳細調査(2C)、比較視覚分析(2D)、ラベルの意味と視覚的パターンの整合性監査(2E)。
  • フェーズ 3 — 多次元分析:コンポーネントタイプのクラスタリング(3A)、基板単位および位置の分析(3B)、トレーニング画像の詳細調査(3C)、複数の照明条件の分析(3D)。
  • フェーズ 4 — データとトレーニング設定の分析:データの十分性(4A)、トレーニング設定の監査(4B)、トレーニング指標(4C)、損失関数と決定境界の分析(4D)。
  • フェーズ 5 — 反実仮想と実行可能な対策:仮定を変えたシミュレーション(5A)、最小限の実行可能な修正パス(5B)。

フェーズごと・手順ごとの詳細な手順、画像パスの構築ルール、分類体系と重大度の指針、およびアーキテクチャリファレンス(モジュールの数式、サンプラーの重み付け、LR ポリシー、データセットクラス)については、references/investigation-phases.md を参照してください。すべての値は原文どおりです。


実行:サブエージェントを使って並列化する

独立した調査トラックを並列で実行するには、必ず Agent ツールを使用してください。 フェーズ 1 はメインスレッドで順次実行し(すべてフェーズ 1 に依存します)、その後、1 回のメッセージでサブエージェントを 6 つ(A~F)起動し、結果を収集して統合します(探索担当のエージェント E と F に特に注意してください)。フェーズ 5 は自分で実行し、最後にレポートを作成してください。

RCA_Report.md を作成する前に、ls rca_images/ を実行してサムネイルを一覧表示し、必須の画像埋め込みプロトコルに従ってください。すべての視覚的証拠を示す表の行には、![caption] (rca_images/<filename>.jpg) 形式のインラインサムネイル列を含める必要があります。各行に画像のないレポートは不完全と見なされ、フックによって却下されます。

完全な実行計画、フェーズ 1 の引き継ぎ内容、各エージェントの正確なチェックリスト(探索担当の 2 エージェントを含む A~F)、画像埋め込みプロトコルのルールと表の形式、探索結果のセクション、サブエージェントのプロンプトテンプレート、必須のサムネイルマップの返却形式については、references/parallelization.md を参照してください。すべて一字一句そのまま従ってください。


レポートの構成と出力

「判定」「スコア分析」「視覚的証拠(サムネイルを埋め込み)」「次元横断分析」「データの問題」「トレーニング設定の問題」「探索結果」「反事実的影響分析」「推奨される修正」の 9 セクションを含む RCA_Report.md を作成してください。

必ず、実験結果ディレクトリ内のタイムスタンプ付きフォルダーに保存してください。

<experiment_result_dir>/rca_results/YYYY-MM-DD_HHMMSS/
├── RCA_Report.md
├── rca_images/
├── rca_config/
└── claude_session.jsonl

実際のタイムスタンプは、Bash で date +%Y-%m-%d_%H%M%S を実行して取得してください。ハードコードしたり、推測したりしてはいけません。ユーザーがカスタムパスを指定した場合は、同じ構成を保ったうえでそのパスを使用してください。

各セクションの完全なレポートひな形(すべての表見出しと要約行を含む)と、フックによってコピーされる内容を含む完全な出力レイアウトについては、references/output-structure.md を参照してください。すべて一字一句そのまま従ってください。

コメント