physical-ai-neural-reconstruction

Physical AI Neural Reconstruction (NuRec) ルーター

目的

これは、NVIDIA Neural Reconstruction（NuRec）のリクエストに対応する薄いルーターです。上流の nurec-index スキル（https://github.com/NVIDIA/nurec-skills）と、関連するスキル（physical-ai-datasets、ncore、nre、asset-harvester、nurec-fixer）を案内します。このスキルは、次の用途に使用します。

• NuRec に関する質問に回答する上流の関連スキルを特定します。
• 正規の nurec-skills チェックアウトを見つけ、クローンまたは更新します。
• 上流のレシピを開く前に、複数ステップから成る NuRec ワークフロー（データ → 変換 → トレーニング → レンダリング → クリーンアップ）の順序を整理します。

正規のレシピ（トレーニング、レンダリング、データ変換、データセットのダウンロード、オブジェクトの収集、フレームのクリーンアップ）は、上流の関連スキルにあります。ここにコマンドをコピーしたり、再構成したりしないでください。

このスキルは、次の用途には使用しないでください。

• CAD またはソースメッシュの SimReady パッケージング → omniverse-cad-to-simready を使用してください。
• NuRec に関連しない一般的な USD パフォーマンスのチューニング → omniverse-usd-performance-tuning を使用してください。
• AKS／OSMO／NIM Operator のインフラストラクチャのセットアップ → physical-ai-infrastructure-setup-and-resilient-scaling を使用してください。

使用するタイミング

ユーザーが次のいずれかに言及した場合は、最初にこのスキルを読んでください。

nurec、nurec router、nurec index、neural reconstruction、 neural reconstruction engine、NRE、3DGUT、3DGRT、USDZ、 NCore V4、sensorsim、sensor sim、novel view synthesis、 PhysicalAI-Autonomous-Vehicles-NuRec、PhysicalAI-Robotics-NuRec、 PhysicalAI-NuRec-PPISP、Cosmos-Drive-Dreams、asset harvester、 nurec fixer、DiffusionHarmonizer、harmonizer、difix、 difix3d、carline adaptation、serve-grpc、render-grpc、 warm serve-grpc、nre thin client、batch_render_rgb、 nurec teardown、「NuRec は何から始めればよいですか」、「X にはどの NuRec スキルを使えばよいですか？」

質問に回答する上流の関連スキルを判断して取得し（上流スキルを見つけて取得するを参照）、そのスキルの本文に従ってください。

前提条件

このルーター自体は、上流を取得するための git 以外に、実行時の前提条件はありません。下流の関連スキルには、Linux x86_64、NVIDIA GPU（Ampere 以降、CUDA 12.8、VRAM 24 GB 以上）、Docker と NVIDIA Container Toolkit、NGC API キー、関連するゲート付きライセンスへの同意が済んでいる Hugging Face トークン、Python 3.10 以降が必要です。

スキルごとの詳細（ドライバーの最低要件、コンテナー名、キーの解決順序、ゲート付きの Hugging Face アセット、およびシークレットを出力せずに検証する方法）については、references/prerequisites.mdを参照してください。手動でチェックを記述するより、各関連スキルの scripts/validate_setup.py を優先してください。

NuRec とは？

NuRec（NVIDIA Omniverse Neural Reconstruction）は、カメラ、LiDAR、レーダー、またはステレオ録画（通常は自動運転車やロボットで撮影されたもの）を、あらゆる視点から再レンダリングできる 3D シーンに変換します。一般的なプロジェクトは 3 段階で進めます。入力を用意し（録画を ncore で変換するか、physical-ai-datasets で既製のデータセットをダウンロードします）、再構成をトレーニングし（nre が USDZ を出力します）、新しい視点をレンダリングします（nre）。NVIDIA がすでに公開しているシーンを使用するだけのプロジェクトでは、トレーニング段階を省略します。

NRE と NuRec、USDZ、NCore V4、3DGUT／3DGRT の用語については、references/what-is-nurec.mdを参照してください。

スキルを選ぶ

左列でユーザーの目的に合う項目を選び、右列に記載されたアップストリームスキルを開きます。矢印は「この順番で実行」を意味します。

目的	アップストリームスキル
NVIDIA が公開した NuRec データセットを見つける、またはダウンロードする	physical-ai-datasets
自分で録画したカメラ／LiDAR／レーダー／深度／ステレオ映像を NCore V4 に変換する	ncore
未対応のセンサー構成（ドローン、RGB-D、ROS 2 bag、COLMAP、ScanNet++）向けに新しいコンバーターを作成する	ncore
NCore クリップから 3D 再構成を学習する	ncore → nre
NRE に必要な追加入力（セグメンテーションマスク、深度、エゴマスク、DINOv2、LiDAR セグメンテーションの可視性）を生成する	nre（nre-tools-ga コンテナを使用）
元のカメラ位置に沿って USDZ をレンダリングする	nre
フル解像度／最高品質でレンダリングする	nre（「Quality presets」を参照）
ずらした軌道に沿ってレンダリングする（例：車を左に 3 m 移動）	nre
既存の USDZ を拡張された対象車両リグに適合させる（車種適合）	nre（export-custom-rig-trajectory → render）→ nurec-fixer
サーバー経由でレンダリングし、CARLA／Isaac Sim／AlpaSim／カスタムシミュレーターからフレームを要求できるようにする	nre（serve-grpc）
Python から同じ USDZ を連続して何度もレンダリングし、呼び出しごとのレイテンシーを最小限にする	nre（serve-grpc をウォームアップし、薄い Python クライアント／batch_render_rgb を使用）
USDZ から LiDAR スイープ（点群）をレンダリングする	nre（render-grpc --lidar）
学習を省略し、NVIDIA がすでに構築した NuRec シーンをレンダリングする	physical-ai-datasets → nre
学習を省略し、事前構築された屋内ロボット用シーンを使用する	physical-ai-datasets → nre（続いて Isaac Sim 5.1）
運転クリップから個々の 3D オブジェクト（車、歩行者）を抽出する	asset-harvester
NuRec シーン内の車／歩行者を追加、削除、または置き換える	asset-harvester → nre
レンダリングしたフレームを修正または調和させる（ゴースト、浮遊物、ちらつき、照明／影）	nurec-fixer、または インラインレンダリング用に nre 内で --enable-difix を指定
シーンを PLY、メッシュ、深度マップ、エゴマスクなどとしてエクスポートする	nre
古い USDZ をアップグレードし、新しい NRE バージョンでより速く読み込めるようにする	nre（upgrade-artifact）
USDZ または PLY をブラウザービューアーで開く	nre（viewer／ply_viewer）
グラウンドトゥルースと比較してレンダリング品質（PSNR、SSIM、LPIPS）を測定する	nre（eval-rendering-metrics）
同じシーンで異なる再構成手法をベンチマークする	physical-ai-datasets（PhysicalAI-NuRec-PPISP）→ nre
複数の GPU または SLURM で学習する	nre

よくあるワークフロー

エンドツーエンドのワークフローを 7 つ、references/workflows.md に記載しています。アップストリームの nurec-index ワークフロー ID に合わせて、各項目に文字を付けています。

• A. 自分で録画した映像から NuRec シーンを作成する。
• B. NVIDIA がすでに学習した NuRec シーンを使用する。
• C. 屋内ロボットシミュレーションに NuRec を使用する。
• D. シーン内の 3D オブジェクトを追加、削除、または置き換える。
• E. レンダリングしたフレームを修正する。
• F. 再構成品質をベンチマークする。
• G. NuRec をシミュレーターに接続する。

ユーザーのタスクが複数の関連スキルにまたがる場合は、このファイルを開いてください。

同系列スキル（上流）

同系列スキルは名前で参照してください。これが移植可能な識別子です。 フォルダー列は、リポジトリ名が記載されている場合を除き、ローカルの nurec-skills チェックアウト内での配置場所を示します。asset-harvester は独自の製品リポジトリから提供されます。

名前	上流フォルダー	機能
physical-ai-datasets	skills/physical-ai-datasets/	Hugging Face 上にあるすべての NVIDIA Physical AI データセット（自動運転、ロボティクス、マニピュレーション、NuRec シーン、ベンチマーク）のカタログとダウンロード手順を提供します。
ncore	skills/ncore/	あらゆるセンサー記録を NCore V4（NRE が必要とする形式）に変換します。上流リリースは 2026.04 です。新しいコンバーターの作成方法も扱います。
nre	skills/nre/	Neural Reconstruction Engine 自体（nvcr.io/nvidia/nre/nre-ga、nvcr.io/nvidia/nre/nre-tools-ga、NRE 26.04 — イメージタグは 26.04.01 / 26.04 / latest）です。トレーニング、車種別適応、レンダリング（ローカル、ウォーム状態の serve-grpc と薄い Python クライアント／batch_render_rgb 経由、または外部シミュレーターへの出力）、メッシュ／点群／深度のエクスポート、アクターの編集、品質評価を行います。
asset-harvester	NVIDIA/asset-harvester → skills/asset-harvester/	オープンソースの Apache-2.0 パイプライン（SparseViewDiT + TokenGS）です。自動運転クリップ内の疎なビューから個々の 3D オブジェクトを抽出し、.ply ガウススプラットとして保存します。NuRec への受け渡し用に metadata.yaml を任意で出力することもできます。
nurec-fixer	skills/nurec-fixer/	単体で使える NVIDIA DiffusionHarmonizer ワークフローです。以前の Fixer／Difix3D+ レシピの公開後継版で、レンダリングされたフレームをクリーンアップし、挿入されたアクターを調和させ、PSNR／LPIPS を評価し、必要に応じてモデルをファインチューニングします。

名称の混同（NRE と Fixer、ncore と nre、AV-NuRec と Cosmos-Drive-Dreams、NuRec と SimReady）については、 references/mix-ups.md を参照してください。

上流スキルを見つけて取得する

まず次の順序でローカルディスクを確認してください。ランタイムにすでにインストールされている同系列スキルがあれば、ネットワーク経由での取得より優先します。これは nurec-skills がホストする同系列スキルに適用されます。asset-harvester は独自のリポジトリから取得します（references/upstream-fetch.md を参照）。

1. .agents/skills/<name>/SKILL.md（Cursor、Codex、NemoClaw）
2. .claude/skills/<name>/SKILL.md（Claude Code）
3. .cursor/skills/<name>/SKILL.md（プロジェクトスコープ）
4. ~/.cursor/skills/<name>/SKILL.md（個人用スキル）
5. 共有上流ルートにある既存の nurec-skills クローン。

この順序が対象とするのは、nurec-skills がホストする同系列スキルのみです。 asset-harvester は対象外です。詳しくは references/upstream-fetch.md を参照してください。

いずれも存在しない場合に限り、クローンする前にユーザーの明示的な同意を求めてください。 git clone は、外部リポジトリをネットワーク経由で取得し、ローカルファイルシステムに書き込む操作です。組織のネットワークポリシーに違反する可能性があり、サプライチェーンリスクも伴います。実行予定の内容をユーザーに示し、承諾を待ってください。

簡単な手順（固定コミットのレイアウトを含む完全版は references/upstream-fetch.md にあります）：

UPSTREAM_ROOT="${NUREC_SKILLS_UPSTREAM_ROOT:-${PHYSICAL_AI_SKILL_HUB_UPSTREAM_ROOT:-$HOME/.physical-ai-skill-hub/upstreams}}"
mkdir -p "$UPSTREAM_ROOT"
if [ -d "$UPSTREAM_ROOT/nurec-skills/.git" ]; then
  git -C "$UPSTREAM_ROOT/nurec-skills" fetch --tags
  git -C "$UPSTREAM_ROOT/nurec-skills" checkout main
  git -C "$UPSTREAM_ROOT/nurec-skills" pull --ff-only
else
  # Only after the user has agreed. Prefer --branch <tag-or-sha> over HEAD.
  git clone --depth 1 https://github.com/NVIDIA/nurec-skills.git \
    "$UPSTREAM_ROOT/nurec-skills"
fi
test -f "$UPSTREAM_ROOT/nurec-skills/skills/nurec-index/SKILL.md"

上流ツリーのルートは skills/<name>/SKILL.md です。 .agents/skills は skills/ へのシンボリックリンクなので、どちらのパスでも解決できます。変更を伴うコマンドを実行する前に、上流スキルを読んでください。

cat "$UPSTREAM_ROOT/nurec-skills/skills/nurec-index/SKILL.md"  # upstream router
cat "$UPSTREAM_ROOT/nurec-skills/skills/<folder>/SKILL.md"     # sibling

付属ファイル（references/、scripts/、assets/）は、このルーターの隣ではなく、スキル定義と同じ同系列スキル自身のディレクトリ内に含まれています。

厳守事項

• ルーターのみです。上流の NuRec レシピをここに重複して記載しないでください。変更を伴うコマンドを実行する前に、上流の兄弟スキルの本文を読んでください。
• 兄弟スキルはリポジトリのパスではなく、name:（例：nre）で参照してください。フォルダー構成は変わることがありますが、名前は変わりません。
• ユーザーの明示的な同意なしに、上流リポジトリを git clone しないでください。 nurec-skills の兄弟スキルについては、ローカルの検索順を最後まで確認し、正確なコマンドを提示してから、ユーザーが同意したパスにのみクローンしてください。/tmp への暗黙のクローンは決して行わないでください。~/Codes のような開発用ワークスペースを広範囲にスキャンしたり、無関係な古いクローンを再利用したりしないでください。
• GA コンテナチャンネルを使用してください：nvcr.io/nvidia/nre/nre-ga および nvcr.io/nvidia/nre/nre-tools-ga。サフィックスのない nvcr.io/nvidia/nre/nre / nre-tools はレガシーチャンネルです。キャッシュ済みのバージョン固定には引き続き有効ですが、新しいワークフローで pull するものではありません。
• NGC キーは ${NGC_CLI_API_KEY:-${NGC_API_KEY:-}} として解決し、docker login nvcr.io --username '$oauthtoken' --password-stdin でログインしてください。キーを出力してはいけません。
• physical-ai-datasets は、アクセス制限付きの Hugging Face データセットを対象とします。データセットのライセンス条項を回避してはいけません。ダウンロード前に、ユーザーが Hugging Face で PhysicalAI-* のアクセス制限付きライセンスに同意し、トークンを提供する必要があります。
• Asset Harvester は USDZ へのパッケージ化より前に実行します。ユーザーから Asset Harvester を省略するよう明示的に求められない限り、手作業で作成した .ply ファイルに対して nre の export-external-assets を呼び出さないでください。
• アーティファクトのクリーンアップには、nre の組み込み --enable-difix パスを優先してください。公開コードやモデルカード、ペア評価、ファインチューニング、またはレンダリング済みフレームの修正が必要な場合にのみ、スタンドアロンの nurec-fixer に振り分けてください。
• NRE / NCore / DiffusionHarmonizer のコマンドを記憶に頼って作り出してはいけません。上流の兄弟スキルを読み直してください。バージョンの更新は頻繁です（NRE 26.04 — nvcr.io/nvidia/nre/nre-ga:26.04.01 または :26.04 を pull してください。リリース名の release_26.04 は有効なイメージタグではありません。NCore 2026.04 が現在のバージョン固定です）。
• このルーターはインフラストラクチャをデプロイしません。AKS / OSMO / NIM Operator のセットアップは physical-ai-infrastructure-setup-and-resilient-scaling に振り分けてください。

制限事項

• ルーターのみです。 このスキルは、変更を伴う NuRec コマンドを実行しません。トレーニング、レンダリング、変換、ハーモナイゼーションはすべて上流の兄弟スキルで行います。
• 上流のバージョンに依存します。 レシピの大半は https://github.com/NVIDIA/nurec-skills にあります。asset-harvester は、このリポジトリとは別に進化する https://github.com/NVIDIA/asset-harvester にあります。古いクローンは上流と食い違う可能性があります。兄弟スキルを利用する前に、必ず上流を最新の状態にしてください。
• 手作業で整備するカタログです。 新しく追加された上流の兄弟スキルは、誰かがテーブルを編集するまでここでは見つかりません（references/maintenance.md を参照）。
• アクセス制限付きコンテンツ。 nvidia/PhysicalAI-*、nvidia/Harmonizer、nvidia/Cosmos-Predict2-0.6B-Text2Image を利用するには、ユーザーが事前に Hugging Face でライセンス条項に同意する必要があります。asset-harvester では、オプションの DINOv3、Llama Guard、SAM 3D Body モデルのみがアクセス制限付きです。このルーターで回避することはできません。
• 大きな容量を使用します。 NuRec ワークフローを最後まで実行すると、ディスク容量を 150 GB 以上使用することがあります。references/teardown.md を参照してください。
• NVIDIA 専用のスタックです。 Linux x86_64 と NVIDIA GPU、および NVIDIA Container Toolkit が必要です。aarch64 / AMD / Intel / Apple Silicon はサポートされていません。
• Omniverse / Isaac Sim の統合手順はありません。 USDZ を Isaac Sim 5.1 に渡す手順（ワークフロー C）は Isaac Sim のドキュメントに記載されており、NuRec スキルファミリーには含まれていません。
• SimReady パイプラインではありません。 NuRec は録画データからレンダリング可能な USDZ を生成します。CAD やソースメッシュの SimReady パッケージ化は別のパイプラインです（omniverse-cad-to-simready を参照）。

トラブルシューティング

ルーティングレベルの症状――上流クローンの欠落、アクセス制限付きアセットの 403、NGC ログインの失敗、NRE イメージでの manifest unknown、キャッシュに残った古いスキル名――は、このスキルとともに提供されるトラブルシューティング用の補足ファイルにまとめられています。 兄弟スキル固有のコマンドに関する症状は、その兄弟スキルに記載されています。

スキル横断のクリーンアップ

NuRec のワークフローを完了すると、コンテナーイメージ、モデルの重み、コードのクローン、conda 環境、出力ディレクトリにより、ディスク上に 150 GB 以上のデータが残ることがあります。各兄弟スキルには専用の Teardown セクションがあります。ワークフローが不要になったら、references/teardown.md に記載された順序で確認してください。漏えいした場合を除き、クリーンアップの一環として NGC_API_KEY / HF_TOKEN を無効化しないでください。

このルーターを最新の状態に保つ

新しい兄弟スキルの追加、名前の変更、上流 URL の変更手順は、references/maintenance.md に記載されています。上流の nurec-index（https://github.com/NVIDIA/nurec-skills/blob/main/skills/nurec-index/SKILL.md）を、ルーティング分類とワークフローの順序に関する正式な情報源として扱ってください。このスキルに反映されるのは、選択テーブル、ワークフローの順序、上流から取得する手順のみです。asset-harvester の正式な情報源ではありません。同スキルは https://github.com/NVIDIA/asset-harvester で管理されています。