physical-ai-neural-reconstruction

Physical AI Neural Reconstruction（NuRec）路由器

目的

这是用于 NVIDIA Neural Reconstruction（NuRec）请求的轻量路由器。它指向上游的 nurec-index 技能，地址为 https://github.com/NVIDIA/nurec-skills，以及其同级技能 （physical-ai-datasets、ncore、nre、asset-harvester、 nurec-fixer）。使用此技能可以：

• 确定哪个上游同级技能可以解答 NuRec 问题。
• 定位、克隆或更新规范的 nurec-skills 检出版本。
• 在打开上游操作指南前，为多步 NuRec 工作流排序（数据 → 转换 → 训练 → 渲染 → 清理）。

规范操作指南（训练、渲染、数据转换、数据集下载、对象采集、帧清理） 都位于上游同级技能中。切勿在此处复制或重构其中的命令。

请勿将此技能用于：

• CAD 或源网格的 SimReady 打包 → 使用 omniverse-cad-to-simready。
• 与 NuRec 无关的通用 USD 性能调优 → 使用 omniverse-usd-performance-tuning。
• AKS / OSMO / NIM Operator 基础设施设置 → 使用 physical-ai-infrastructure-setup-and-resilient-scaling。

适用场景

每当用户提及以下任一内容时，请首先阅读此技能：

nurec、nurec router、nurec index、neural reconstruction、 neural reconstruction engine、NRE、3DGUT、3DGRT、USDZ、 NCore V4、sensorsim、sensor sim、novel view synthesis、 PhysicalAI-Autonomous-Vehicles-NuRec、PhysicalAI-Robotics-NuRec、 PhysicalAI-NuRec-PPISP、Cosmos-Drive-Dreams、asset harvester、 nurec fixer、DiffusionHarmonizer、harmonizer、difix、 difix3d、carline adaptation、serve-grpc、render-grpc、 warm serve-grpc、nre thin client、batch_render_rgb、 nurec teardown、"where do I start with NuRec"、"which NuRec skill should I use for X?"。

确定哪个上游同级技能可以解答问题，获取该技能（参见定位并获取上游技能）， 然后按照该技能正文操作。

先决条件

路由器本身除获取上游内容所需的 git 外，没有其他运行时先决条件。下游同级技能需要 Linux x86_64、NVIDIA GPU（Ampere+、CUDA 12.8、≥ 24 GB VRAM）、Docker 和 NVIDIA Container Toolkit、NGC API 密钥、已接受相关受限许可的 Hugging Face 令牌，以及 Python 3.10+。

各技能的完整详情——驱动版本下限、容器名称、密钥解析顺序、哪些 Hugging Face 资产受限，以及如何在不回显机密的情况下验证密钥——请参阅 references/prerequisites.md。优先使用各同级技能的 scripts/validate_setup.py，而不要手动编写检查。

什么是 NuRec？

NuRec（NVIDIA Omniverse Neural Reconstruction）可将摄像头、 LiDAR、雷达或立体录制内容（通常来自自动驾驶汽车或机器人）转换为可从任意 视点重新渲染的 3D 场景。典型项目分为三个阶段：获取输入（使用 ncore 转换录制内容，或使用 physical-ai-datasets 下载现成数据集），训练重建模型（使用 nre，生成 USDZ），然后渲染新视图（使用 nre）。如果项目只想使用 NVIDIA 已发布的场景，则可跳过训练阶段。

关于相关术语——NRE 与 NuRec、USDZ、NCore V4、3DGUT / 3DGRT——的背景信息请参阅 references/what-is-nurec.md。

选择技能

在左列中找到与用户目标匹配的内容，并打开右列所列的上游技能。箭头表示“按顺序执行”。

我想要……	上游技能
查找或下载 NVIDIA 发布的 NuRec 数据集	physical-ai-datasets
将自己的摄像头 / LiDAR / 雷达 / 深度 / 立体录制转换为 NCore V4	ncore
为不受支持的传感器配置（无人机、RGB-D、ROS 2 bag、COLMAP、ScanNet++）编写新的转换器	ncore
从 NCore 片段训练 3D 重建	ncore → nre
生成 NRE 所需的额外输入（分割掩码、深度、ego 掩码、DINOv2、LiDAR 分割可见性）	nre（使用 nre-tools-ga 容器）
沿原始摄像头位置渲染 USDZ	nre
以全分辨率 / 最高质量渲染	nre（参见“质量预设”）
沿偏移后的轨迹渲染（例如，车辆向左移动 3 m）	nre
将现有 USDZ 调整为增强型目标车辆配置（车型适配）	nre（export-custom-rig-trajectory → render）→ nurec-fixer
通过服务进行渲染，以便 CARLA / Isaac Sim / AlpaSim / 自定义模拟器可以请求帧	nre（serve-grpc）
在 Python 中连续多次渲染同一个 USDZ，并尽可能降低每次调用的延迟	nre（预热 serve-grpc + 轻量 Python 客户端 / batch_render_rgb）
从 USDZ 渲染 LiDAR 扫描（点云）	nre（render-grpc --lidar）
跳过训练，直接渲染 NVIDIA 已构建的 NuRec 场景	physical-ai-datasets → nre
跳过训练并使用预先构建的室内机器人场景	physical-ai-datasets → nre（然后使用 Isaac Sim 5.1）
从驾驶片段中提取单个 3D 对象（汽车、行人）	asset-harvester
在 NuRec 场景中添加、移除或替换汽车 / 行人	asset-harvester → nre
清理或协调渲染帧（重影、漂浮物、闪烁、光照 / 阴影）	nurec-fixer，或在 nre 中使用 --enable-difix 进行内联渲染
将场景导出为 PLY、网格、深度图、ego 掩码等	nre
升级旧版 USDZ，以便较新版本的 NRE 更快加载	nre（upgrade-artifact）
在浏览器查看器中打开 USDZ 或 PLY	nre（viewer / ply_viewer）
对照真实数据衡量渲染质量（PSNR、SSIM、LPIPS）	nre（eval-rendering-metrics）
在相同场景上对不同重建方法进行基准测试	physical-ai-datasets（PhysicalAI-NuRec-PPISP）→ nre
在多 GPU 或 SLURM 上训练	nre

常见工作流

references/workflows.md 中记录了七种端到端工作流，并按字母编号，与上游 nurec-index 工作流 ID 相对应：

• A. 根据自己的录制内容创建 NuRec 场景。
• B. 使用 NVIDIA 已训练好的 NuRec 场景。
• C. 使用 NuRec 进行室内机器人模拟。
• D. 在场景中添加、移除或替换 3D 对象。
• E. 清理渲染帧。
• F. 对重建质量进行基准测试。
• G. 将 NuRec 连接到模拟器。

如果用户的任务涉及多个同类技能，请打开该文件。

同级技能（上游）

使用同级技能的名称来引用它，也就是使用可移植的标识符。 “文件夹”列表示它在本地 nurec-skills 检出目录中的位置， 除非列出了仓库名——asset-harvester 来自其独立的 产品仓库。

名称	上游文件夹	功能
physical-ai-datasets	skills/physical-ai-datasets/	为 Hugging Face 上所有 NVIDIA Physical AI 数据集（驾驶、机器人、操作、NuRec 场景、基准测试）提供目录和下载方法。
ncore	skills/ncore/	将任意传感器录制数据转换为 NCore V4（NRE 所需的格式），上游版本为 2026.04。也介绍如何编写新的转换器。
nre	skills/nre/	Neural Reconstruction Engine 本身（nvcr.io/nvidia/nre/nre-ga、nvcr.io/nvidia/nre/nre-tools-ga、NRE 26.04——镜像标签 26.04.01 / 26.04 / latest）。可用于训练、车辆线适配、渲染（本地渲染、通过 warm serve-grpc + 轻量 Python 客户端 / batch_render_rgb 渲染，或渲染到外部模拟器）、导出网格 / 点云 / 深度图、编辑 Actor、评估质量。
asset-harvester	NVIDIA/asset-harvester → skills/asset-harvester/	开源 Apache-2.0 流水线（SparseViewDiT + TokenGS），可从驾驶片段的稀疏视角中提取单个 3D 对象，并将其保存为 .ply Gaussian splat，还可选择生成 metadata.yaml，用于移交给 NuRec。
nurec-fixer	skills/nurec-fixer/	独立的 NVIDIA DiffusionHarmonizer 工作流，是较早的 Fixer / Difix3D+ 方法的公开后继方案，可清理渲染帧、协调插入的 Actor、评估 PSNR/LPIPS，并可选择微调模型。

关于名称上的易混淆项（NRE 与 Fixer、ncore 与 nre、AV-NuRec 与 Cosmos-Drive-Dreams、NuRec 与 SimReady），请参阅 references/mix-ups.md。

定位并获取上游技能

先按以下顺序检查本地磁盘——运行环境中已安装的同级技能优先于网络获取。这适用于由 nurec-skills 托管的同级技能；asset-harvester 则从其独立仓库获取（参见 references/upstream-fetch.md）：

1. .agents/skills/<name>/SKILL.md（Cursor、Codex、NemoClaw）
2. .claude/skills/<name>/SKILL.md（Claude Code）
3. .cursor/skills/<name>/SKILL.md（项目范围）
4. ~/.cursor/skills/<name>/SKILL.md（个人技能）
5. 共享上游根目录下已有的 nurec-skills 克隆。

此顺序仅适用于由 nurec-skills 托管的同级技能。 asset-harvester 不在其中——请参阅 references/upstream-fetch.md。

只有在以上路径均不存在时，才应先征得用户明确同意， 再进行克隆。git clone 会从外部仓库获取内容并写入本地 文件系统；这可能违反组织的网络政策，也会带来供应链风险。向用户展示 你打算运行的命令，并等待用户确认。

快速操作指南（完整版本，包括固定提交的目录布局，见 references/upstream-fetch.md）：

UPSTREAM_ROOT="${NUREC_SKILLS_UPSTREAM_ROOT:-${PHYSICAL_AI_SKILL_HUB_UPSTREAM_ROOT:-$HOME/.physical-ai-skill-hub/upstreams}}"
mkdir -p "$UPSTREAM_ROOT"
if [ -d "$UPSTREAM_ROOT/nurec-skills/.git" ]; then
  git -C "$UPSTREAM_ROOT/nurec-skills" fetch --tags
  git -C "$UPSTREAM_ROOT/nurec-skills" checkout main
  git -C "$UPSTREAM_ROOT/nurec-skills" pull --ff-only
else
  # Only after the user has agreed. Prefer --branch <tag-or-sha> over HEAD.
  git clone --depth 1 https://github.com/NVIDIA/nurec-skills.git \
    "$UPSTREAM_ROOT/nurec-skills"
fi
test -f "$UPSTREAM_ROOT/nurec-skills/skills/nurec-index/SKILL.md"

上游树以 skills/<name>/SKILL.md 为根目录； .agents/skills 是指向 skills/ 的符号链接，因此两种路径 均可解析。运行任何会修改内容的命令前，请先阅读上游技能：

cat "$UPSTREAM_ROOT/nurec-skills/skills/nurec-index/SKILL.md"  # upstream router
cat "$UPSTREAM_ROOT/nurec-skills/skills/<folder>/SKILL.md"     # sibling

配套文件（references/、scripts/、assets/）位于 同级技能自己的技能目录内，与其技能定义放在一起—— 不在此路由器旁边。

硬性规则

• 仅作为路由器——不要在此处重复上游 NuRec 配方。运行任何会修改内容的命令前，先阅读上游同级技能的正文。
• 通过同级技能的 name: 引用它们（例如 nre），而不是使用仓库路径。文件夹布局可能会变化；名称具有可移植性。
• 未经用户明确同意，绝不 git clone 上游仓库。 对于 nurec-skills 同级技能，先穷尽本地查找顺序，显示确切命令，并且只克隆到用户同意的路径——绝不悄悄克隆到 /tmp。不要扫描 ~/Codes 等范围较大的开发工作区，也不要复用无关的旧克隆。
• 使用 GA 容器通道：nvcr.io/nvidia/nre/nre-ga 和 nvcr.io/nvidia/nre/nre-tools-ga。不带后缀的 nvcr.io/nvidia/nre/nre / nre-tools 是旧通道——仍可用于缓存的版本固定项，但不应在新工作流中拉取。
• 按 ${NGC_CLI_API_KEY:-${NGC_API_KEY:-}} 的顺序解析 NGC 密钥，并使用 docker login nvcr.io --username '$oauthtoken' --password-stdin 登录。绝不回显密钥。
• physical-ai-datasets 涵盖受限的 Hugging Face 数据集。不要绕过数据集许可条款；用户必须先在 Hugging Face 上接受 PhysicalAI-* 受限许可，并提供令牌，然后才能下载。
• Asset Harvester 必须在打包为 USDZ 之前运行。除非用户明确要求跳过 Asset Harvester，否则不要对手工制作的 .ply 文件调用 nre 的 export-external-assets。
• 清理伪影时，优先使用 nre 内置的 --enable-difix 路径。只有用户需要公开代码／模型卡、配对评估、微调，或修复先前渲染的帧时，才路由到独立的 nurec-fixer。
• 不要凭记忆编造 NRE / NCore / DiffusionHarmonizer 命令。重新阅读上游同级技能——版本更新很快（NRE 26.04——拉取 nvcr.io/nvidia/nre/nre-ga:26.04.01 或 :26.04；发行名称 release_26.04 不是有效的镜像标签——NCore 2026.04 是当前固定版本）。
• 此路由器不部署基础设施。将 AKS / OSMO / NIM Operator 设置请求路由到 physical-ai-infrastructure-setup-and-resilient-scaling。

限制

• 仅作为路由器。 此技能绝不执行会修改内容的 NuRec 命令。所有训练、渲染、转换和协调都在上游同级技能中完成。
• 固定到上游版本。 大多数配方位于 https://github.com/NVIDIA/nurec-skills；asset-harvester 位于 https://github.com/NVIDIA/asset-harvester，其演进独立于本仓库。过时的克隆可能会偏离；依赖同级技能前，务必先更新上游。
• 手工维护的目录。 新增的上游同级技能不会自动在此处显示，必须有人编辑表格（参见 references/maintenance.md）。
• 受限内容。 nvidia/PhysicalAI-*、nvidia/Harmonizer 和 nvidia/Cosmos-Predict2-0.6B-Text2Image 要求用户先在 Hugging Face 上接受许可条款。对于 asset-harvester，只有可选的 DINOv3、Llama Guard 和 SAM 3D Body 模型受限。路由器无法绕过此要求。
• 占用空间大。 完整的 NuRec 工作流可能会在磁盘上占用 150 GB 以上。参见 references/teardown.md。
• 仅限 NVIDIA 技术栈。 需要 Linux x86_64、NVIDIA GPU 和 NVIDIA Container Toolkit。不支持 aarch64 / AMD / Intel / Apple Silicon。
• 不包含 Omniverse / Isaac Sim 集成步骤。 将 USDZ 交给 Isaac Sim 5.1（工作流 C）的说明记录在 Isaac Sim 文档中，而非 NuRec 技能系列中。
• 不是 SimReady 流水线。 NuRec 根据录制内容生成可渲染的 USDZ；CAD 或源网格的 SimReady 打包属于不同的流水线（参见 omniverse-cad-to-simready）。

故障排查

路由层面的症状——上游克隆缺失、受限资源的 403 错误、NGC 登录失败、NRE 镜像上的 manifest unknown，以及缓存的技能名称过期——已汇总在与此技能一同提供的故障排查配套文件中。 某个同级技能自身命令的特定症状，请参阅该技能。

跨技能清理

完整的 NuRec 工作流可能会在磁盘上留下 150 GB+ 的内容，包括容器镜像、模型权重、代码克隆、conda 环境和输出目录。每个同级技能都有专门的 Teardown 部分——当用户不再需要该工作流时，请按照 references/teardown.md 中记录的顺序阅读。除非 NGC_API_KEY / HF_TOKEN 已泄露，否则清理时不要撤销它们。

让此路由器保持最新

添加新的同级技能、重命名或更改上游 URL 的流程见 references/maintenance.md。 路由分类和工作流顺序应以上游 nurec-index 为准： https://github.com/NVIDIA/nurec-skills/blob/main/skills/nurec-index/SKILL.md； 此技能仅同步选择器表格、工作流顺序和上游获取流程。对于 asset-harvester，此技能并非权威来源；该技能由 https://github.com/NVIDIA/asset-harvester 维护。