关于 neural-reality-capture
Neural Reality Capture 是一项从重叠影像重建真实对象的制作技能,面向需要规划采集与交付的团队。它根据最终用途和限制,帮助选择摄影测量网格、NeRF 或 3D Gaussian splat。
主要功能
- 01按交付需求选择表示形式
- 02规划对象与环境的影像采集
- 03说明网格、NeRF 与 splat 的取舍
- 04标注证据类型与制作经验
适用场景
- 01规划游戏道具的网格采集
- 02为虚拟场地漫游选择表示形式
- 03准备文化遗产对象的影像采集
安装
复制下面的命令,在终端中运行。
npx skills add https:/ / github.com/ calesthio/ generative-media-skills --skill neural-reality-capture安装后在 Claude Code 中输入/neural-reality-capture确认已加载。
附带文件EVAL.md
详细介绍
神经现实采集
神经现实采集是一种制作工艺,通过大量相互重叠的观测来重建或渲染真实对象。在这项技能中,交付成果分为以下三类:
- 带纹理的摄影测量网格,通常用于游戏、VFX、GIS、文化遗产、电商或交接至 DCC;
- NeRF 或相关神经辐射场,通常用于根据已知相机姿态进行高质量新视角渲染;
- 3D Gaussian Splat 场景,通常用于呈现辐射场外观的实时自由视点播放。
保持独立于供应商。根据证据、限制和交接需求选择工具,不要因品牌习惯而选用工具。除非请求包含测量控制点、经过校准的采集、不确定性报告以及合格的测量工作流,否则不要承诺计量精度。不要扩展到文本生成 3D、生成式重新雕刻、动画绑定、超出采集交接范围的材质外观开发,或属于下游流程的广泛后期制作。
证据标签
在计划、评审和故障排查中使用以下标签:
- 论文事实:来自同行评审论文或原始技术报告的论断,例如原始 NeRF 或 3D Gaussian Splatting 论文。
- 标准事实:来自规范或标准的论断,例如 Khronos glTF 或 OpenUSD 文档。
- 官方文档事实:来自相关组织维护的工具、采集或制作文档的论断。
- 实证观察:来自有记录的测试或重建运行的结果。
- 制作经验法则:通常有助于改善采集或交接的实用规则,但不构成保证。
当用户询问建议时,明确结合事实和经验法则:“标准事实:glTF 2.0 使用米作为单位,并采用右手坐标系。制作经验法则:轻量级网页评审交付 GLB,分层 VFX 或 DCC 组装则交付 USD。”
表示形式选择
根据最终用途选择表示形式,而非采集的新颖性。
摄影测量网格
当资产必须可编辑、可减面、可烘焙、可进行碰撞测试、可实际摆放、可在明确说明限制的前提下进行测量、可进行 3D 打印,或作为常规几何体交付至引擎和 DCC 工具时,使用网格。
优势:
- 明确的拓扑、UV、纹理、法线和材质通道;
- 可通过 OBJ、FBX、Alembic、glTF/GLB 和 USD 实现成熟的格式互通;
- 兼容清理、重拓扑、碰撞、LOD、烘焙和引擎导入;
- 可借助标记、比例尺、GCP 或测量控制点进行缩放和地理配准。
风险:
- 反光、透明、毛发状、纤薄、重复或无纹理的表面往往难以重建;
- 未经清理的拓扑和 UV 通常不适合生产使用;
- 烘焙纹理可能掩盖几何缺陷;
- 高精度需要受控采集、校准、控制点和 QA,而不仅仅是拍摄大量照片。
NeRF
当写实的新视角渲染比网格可编辑性更重要时,尤其是针对有界、向内拍摄的场景、视角相关外观、类似透明效果,以及快速网格烘焙难以处理的复杂光泽外观,应使用 NeRF。
论文事实:NeRF 的原始论文《Representing Scenes as Neural Radiance Fields for View Synthesis》(ECCV 2020)使用空间位置和观察方向构成的连续 5D 函数表示场景,并输出体密度和视角相关的辐射度。它根据具有已知相机位姿的输入图像进行优化,并通过沿相机射线进行可微体渲染来生成图像。已于 2026-07-11 根据作者的项目页面和论文核实。
优势:
- 对捕获到的辐射度具有出色的新视角外观;
- 比许多简单的纹理烘焙更能处理视角相关效果;
- 适用于虚拟漫游、主视觉渲染、体积预览和参考回放。
风险:
- 相机位姿和图像一致性仍然很重要;
- 动态物体、曝光变化、卷帘快门、运动模糊和焦点变化都会变成学习到的伪影;
- 在某些工作流中可以提取网格,但网格不是其主要表示形式,且可能存在噪声;
- 与网格交付相比,其交付方式的标准化程度较低,运行时支持取决于目标平台。
3D Gaussian splat
当实时自由视点回放捕获场景是首要目标,且目标查看器支持 splat 时,应使用 Gaussian splat。对于房间、街道、文化遗址、外观复杂的产品和地点预览,如果交互式查看比可编辑拓扑更重要,它通常是很好的选择。
论文事实:2023 年 SIGGRAPH 论文《3D Gaussian Splatting for Real-Time Radiance Field Rendering》从相机标定过程中生成的稀疏点开始,使用经过优化的 3D Gaussian 表示场景,采用交错优化和密度控制,并使用具备可见性感知能力的 splatting 渲染器,在论文评估条件下实现高质量实时渲染。已于 2026-07-11 根据作者的 Inria 项目页面和论文核实。
优势:
- 与许多神经场渲染器相比,交互式查看速度更快;
- 能很好地保留复杂捕获场景的外观;
- 最终交付内容是沉浸式查看器而非可编辑几何体时,效果很好。
风险:
- splat 不是常规的实体网格;
- 碰撞、CAD、3D 打印和 DCC 编辑需要进行转换,或使用单独的网格;
- 与交付 glTF 网格相比,文件格式、压缩和引擎支持仍不稳定;
- 对于细薄、闪亮、移动或观测不足的内容,漂浮伪影和半透明光晕可能很严重。
快速决策表
| 约束 | 首选表示形式 | 原因 |
|---|---|---|
| 游戏道具需要碰撞、重新拓扑和 LOD | 网格 | 几何体可编辑,且采用标准引擎流水线 |
| 博物馆房间需要类似浏览器的自由视点漫游 | 3DGS 或 NeRF | 视图合成能保留捕获到的外观 |
| 带 GCP 和尺寸检查的建筑测量 | 网格加测量记录 | 常规几何体和 QA 产物都可检查 |
| 用于转台预览的反光零售商品 | 尝试 NeRF/3DGS;如有需要,也进行受控的网格捕获 | 视角相关外观可能胜过快速纹理烘焙 |
| 资产必须以 GLB 格式交付给电商平台 | 网格 | glTF/GLB 是运行时资产交付格式,不是 NeRF 容器 |
| VFX 布局需要分层场景组装 | 网格,或 USD 包中的点云/splat 参考 | USD 擅长组合、负载、变体和资产引用 |
捕获规划
捕获规划是以最低成本预防重建失败的环节。应从目标用途、主体类型、权利、日程安排、天气或照明、比例策略以及所需交付物着手。
通用拍摄要求
官方文档事实:COLMAP 是用于有序和无序图像集合的通用运动恢复结构(Structure-from-Motion)与多视图立体视觉流程。该信息于 2026-07-11 根据 COLMAP 文档核实。这意味着拍摄必须支持相机姿态恢复和多视图对应关系。
生产实践建议:
- 在条件允许时,固定曝光、白平衡和焦点。
- 避免自动对焦反复调整、变焦、滚动快门快速摇摄、运动模糊和图像防抖跳变。
- 将 ISO 保持在足够低的水平,以保留精细纹理;使用补光或三脚架,而不是接受噪点或模糊的图像。
- 在流程支持的情况下,拍摄 RAW 或高质量静态图像;保留未经畸变校正的原始图像。
- 保持比例尺和焦距分组一致。如果变焦镜头改变了焦距,请根据 EXIF 或拍摄片段拆分校准组。
- 使用漫射且稳定的照明。避免移动阴影、镜面眩光、闪光灯亮度衰减和屏幕闪烁。
- 围绕拍摄对象绕圈拍摄,而不是只在一个全景位置拍摄。全景通常不利于 3D 重建,因为相机中心几乎没有平移。
- 每个可见表面至少要出现在两张高质量图像中;对于几何形状复杂或存在遮挡的对象,视角越多越好。
- 由粗到细地拍摄:先拍摄覆盖整个对象或整个房间的环绕照片,再补拍细节,同时确保与更大范围的图像集保持重叠。
- 仍在现场时记录拍摄日志:相机/镜头、设置、路线、比例尺参照物、许可、天气、照明和已知盲区。
来自 Agisoft 和 RealityScan 拍摄指南的官方文档事实,于 2026-07-11 核实:建议使用高分辨率;图像清晰度很重要;低 ISO 可降低噪点;Agisoft 指南通常建议使用 f/8 到 f/11 的光圈以获得较大景深;慢速快门可能造成模糊;航拍指南通常要求约 80% 的前向重叠和 60% 的侧向重叠;RealityScan 指南提醒,相邻照片之间的视点变化不要超过约 30 度,并建议围绕对象完整绕圈拍摄。应将这些视为官方拍摄指南,而非普遍适用的物理定律。
重叠、曝光、对焦和运动
重叠不只是一个百分比。有效重叠是指主体中清晰、曝光适当、具有纹理且与相邻视角共有的部分。
生产实践建议:
- 对于物体:至少围绕主体拍摄两到三圈,并在条件允许时补拍顶部和低角度照片。
- 对于室内场景:沿房间边界和岛台绕圈拍摄,再补拍穿过门口和被遮挡角落的过渡照片。
- 对于室外场景和立面:拍摄广角全景、斜向视角和近距离细节条带。
- 对于类似航测的拍摄:先按照任务规划的重叠率拍摄,再针对植被、低纹理表面、斜向立面、高度变化或 GNSS 信号较弱的情况增加重叠。
- 仅在流程能够稳定处理或合并包围曝光图像时才使用包围曝光。否则,应选择能保留主体纹理的稳定曝光设置。
- 如果无法控制运动,请分多次拍摄,并在训练/重建时遮罩或移除运动对象。
对于存在严重模糊、重要纹理高光溢出、焦点呼吸造成不匹配、雨滴、镜头污渍、滚动快门畸变、人物穿过主体或严重 JPEG 伪影的照片,应予以舍弃或单独隔离。
物体采集
物体采集适用于道具、文物、家具、食品、产品、服装、雕塑和标本。
制作经验:
- 优先选择有纹理、表面哑光且不会移动的对象,并使用无重复图案的背景,除非计划进行遮罩处理。
- 如果对象具有反光表面或没有纹理,可使用可去除的哑光喷剂、交叉偏振光、投影纹理;或者在文物保护和权利限制允许的情况下,优先交付 NeRF/3DGS 成果。
- 使用尺子、比例尺、编码靶标或经过测量的转台场景来记录比例。不要把唯一的比例标记放在可能被裁掉的表面上。
- 如果使用转台,请保持相机、灯光和背景一致,并了解求解器预期移动的是对象还是相机。当对象相对于背景旋转时,应对静态背景进行遮罩处理。
- 只有在确有需要且能够以足够的重叠度配准时,才采集底面和接触面。
环境与室内采集
环境采集适用于房间、街道、文化遗址、布景、景观和施工环境。
制作经验:
- 构建相互连通的环线。每个侧室、走廊、楼梯或庭院都需要与主路径重叠连接。
- 在人眼高度以及较低或较高的位置进行采集,以覆盖被遮挡的表面。
- 对于 NeRF/3DGS,避免窗户和室内之间出现大幅曝光变化;如果查看者需要检查这两处,可考虑分开采集或控制照明。
- 尽早记录坐标用途:本地艺术坐标、建筑坐标、GIS/地理空间坐标或测量控制坐标。
- 从多个角度清晰拍摄控制点、标记和比例参考物。
航拍采集
航拍采集适用于屋顶、地形、采石场、立面、工业场地、农业用地以及大型文化或建筑遗址。
制作经验:
- 如果垂直面、立面或挑檐很重要,应结合垂直向下和倾斜角度的影像。
- 尽可能保持相对于地表的飞行高度一致;地形变化可能需要采用自适应飞行规划。
- 如果地理配准或精度评估很重要,应在重建区域内布设 GCP/检查点,包括边缘和高程变化处。
- 飞行前,应遵守航空法规、场地许可要求、隐私规定,以及敏感基础设施、野生动物或文化遗址相关限制。
- 不要将无人机 EXIF GNSS 数据单独作为测量级精度的依据。
人员与表演采集
只有在获得明确同意、做好隐私规划且用途明确的情况下,才进行人员采集。人员采集难度较高,因为面部、头发、衣物褶皱和细微动作都很重要。
制作经验:
- 对于全身/头部采集,优先使用多相机同步设备;单相机环绕拍摄有表情变化和身体晃动的风险。
- 使用柔和、均匀的照明;避免闪烁的高光和移动的阴影。
- 除非有特定表情要求,否则应采集中性姿势和表情。
- 生物特征数据、面部扫描、纹身、具有辨识度的服装以及未成年人数据,均应视为高风险权利与隐私数据。
校准、尺度与坐标
没有尺度信息的采集结果通常在视觉上有用,但在物理尺寸上含糊不清。
官方文档事实:Agisoft 指南指出,可靠的 EXIF 信息有助于相机自动校准;缺少 EXIF 信息可能迫使软件采用假设;鱼眼/球面/柱面相机需要设置合适的相机类型;裁剪或对原始图像进行几何变换可能影响自动校准。已于 2026-07-11 核实。
生产工作流:
- 保留原始文件及其 EXIF 信息。切勿覆盖源图像。
- 按机身、镜头、焦距、对焦设置、传感器模式和预处理状态对相机分组。
- 如果尺度很重要,应在求解前添加实测比例尺、标记点间距、测量目标或 GCP。
- 评估几何精度时,使用与控制点分开的检查点。
- 在交付前确定坐标系:局部原点、以主体为中心的原点、建筑坐标、GIS CRS 或 DCC/引擎轴约定。
- 记录单位、上轴、前轴、原点、尺度来源、地理配准来源,以及导出时应用的任何变换。
除非工作流包含独立检查数据和实测误差报告,否则不要声称“精度达到 X mm”。如果实际情况如此,应说明“根据两根 500 mm 的比例尺进行缩放;不保证独立精度”。
重建或训练工作流
网格工作流
典型的网格流程:
- 导入原始文件和元数据。
- 筛除不可用图像并拆分相机组。
- 检测特征并匹配图像。
- 使用 SfM 估算相机姿态和稀疏点。
- 添加或改进校准、尺度、标记和控制信息。
- 进行稠密重建或深度图估算。
- 构建网格或点云。
- 清理、裁剪、仅填补有充分依据的孔洞、简化、展开 UV 并贴图。
- 仅在交付要求时烘焙法线、环境光遮蔽、置换或纹理变体。
- 验证几何、纹理、尺度、坐标和打包内容。
官方文档事实:COLMAP 在其 SfM 和 MVS 流程中引用了 Structure-from-Motion Revisited(CVPR 2016)和 Pixelwise View Selection for Unstructured Multi-View Stereo(ECCV 2016)。已于 2026-07-11 根据 COLMAP 文档核实。
NeRF 工作流
典型的 NeRF 流程:
- 导入源图像或帧。
- 估算或导入相机姿态。
- 移除模糊、不一致、重复以及受动态物体干扰的帧。
- 设置边界、遮罩、近远范围和尺度归一化。
- 使用留出视图进行训练,以便进行 QA。
- 渲染验证路径并与源视图进行比较。
- 仅当目标平台支持时,才导出运行时包、渲染视频、深度、点云或网格提取结果。
论文事实:在原始形式中,NeRF 需要已知相机姿态才能进行优化。如果用户只有无序图像,姿态估算就是工作流的一部分,并非可有可无的魔法。
3D Gaussian splat 工作流
典型的 3DGS 流程:
- 估算相机姿态和稀疏点,通常借助 SfM 工具。
- 归一化场景尺度和边界。
- 通过密度控制训练/优化高斯体。
- 检查漂浮点、重影、边缘过度透明、背景泄漏、曝光伪影和覆盖不足的孔洞。
- 根据目标查看器进行裁剪、修剪、压缩或转换。
- 打包查看器/运行时,并保留源文件、姿态和训练设置。
论文事实:原始 3DGS 工作使用相机校准过程中生成的稀疏点进行初始化。生产层面的影响:姿态估算不佳或稀疏重建质量较差,通常会损害 splat 效果。
遮罩、动态对象与难处理表面
现实采集需要足够且一致的静态证据。任何不匹配都会变成噪点、重影、漂浮物、模糊纹理或扭曲几何体。
以下情况应使用遮罩:
- 背景在移动,或与旋转的主体不一致;
- 人物、车辆、屏幕、反射、植被、水或阴影在场景中移动;
- 必须将主体与转台、支架、支撑物或文物保护安装件分离;
- NeRF 或 3DGS 应忽略暂时性遮挡物。
生产启发:
- 如果遮罩内容会影响相机求解或密度,应在重建/训练前应用遮罩。
- 保持遮罩一致;仅当工具需要软 Alpha 时才使用羽化。对于几何求解器,硬遮罩通常更安全。
- 不要遮掉姿态估计所需的所有共用场景信息。
- 对于反射,要么通过物理方式加以控制,要么接受辐射场可能会表示依赖视角的外观,而网格可能会失败。
- 对于透明物体,应规划特殊采集方式,或选择不宣称提供实体几何体的交付成果。
清理、减面、压缩与 LOD
清理必须保护证据。要区分修正性清理与创意性修改。
此技能允许的操作:
- 裁剪至主体或约定的边界;
- 移除漂浮物、断开的噪点、背景碎片、三脚架残留和遮罩掉的支撑物;
- 在填补结果显而易见且已标注时,填补小孔洞;
- 在检查误差的前提下减面;
- 仅在有交付需求时,进行最低限度的重拓扑;
- 生成 LOD、法线、纹理图集和压缩交付包;
- 保留未经编辑的高分辨率母版。
完成基于采集的交付后,完整重拓扑、UV/PBR 重建、骨骼就绪处理、游戏 LOD 制作、引擎导入收尾和生产资产打包均属于 3d-asset-production。
不在范围内:
- 风格化重新设计;
- 将缺失证据生成式替换,并伪装成采集到的事实;
- 超出基于采集生成的贴图范围,进行完整的游戏就绪材质制作;
- 骨骼绑定和动画。
生产启发:
- 保留三个层级:源档案、重建母版、交付衍生版本。
- 对于网格 LOD,每次减面后都要比较轮廓、法线偏差、纹理可读性和缩放比例。
- 对于 splat,压缩前先清除漂浮物并裁剪边界;然后检查边缘透明度和近相机表现。
- 对于 NeRF/3DGS,应将训练好的表示和相机路径导出文件与任何渲染视频分开保存。
坐标、互操作与交付
glTF/GLB
Khronos glTF 2.0 的标准事实,经核验于 2026-07-11:
- glTF 是用于 3D 内容的 API 中立型运行时资产交付格式。
- glTF 2.0 使用右手坐标系,Y 轴正向朝上、Z 轴正向朝前,线性距离单位为米。
- GLB 是 glTF 的二进制容器形式。
- glTF 定义网格、节点、相机、材质、纹理、动画、缓冲区和扩展;它不是创作格式,也不是流式传输格式。
- glTF 2.0 使用金属度-粗糙度 PBR 材质参数;基础颜色纹理采用 sRGB 编码,而金属度-粗糙度纹理值为线性值,并将粗糙度打包在 G 通道、金属度打包在 B 通道。
在 Web、移动端、电商、游戏预览和轻量审阅中使用 GLB/glTF。仅包含目标运行时支持的扩展。记录纹理尺寸、压缩选项、坐标变换,以及原点是否已移动。
OpenUSD
OpenUSD 文档中的标准事实,已于 2026-07-11 核实:
- USD 是一个高性能、可扩展的平台,用于协作构建动画 3D 场景,以及可靠地交换和增强由资产组成的 3D 场景。
- USD 将数据组织为分层的 prim,属性、关系和元数据存储在各个层中。
- USD 组合机制包括 subLayers、references、payloads、variantSets、inherits 和 specializes。
- USD 支持资产引用、AssetInfo 元数据、payload 工作集、render/proxy/guide 等用途、验证,以及原生 crate
.usdc和文本.usda格式。 - USD 不是绑定系统,也不使用 GUID 作为核心身份标识机制。
如果交付需要分层组装、VFX 流水线集成、变体、payload、资产引用、代理/渲染分离或更丰富的场景打包,请使用 USD。在适用情况下,使用 usdchecker 或 USD 验证。
其他交付格式
- OBJ 简单且可读性广泛,但在材质、单位、层级和现代运行时交付方面较弱。
- FBX 常用于 DCC/游戏流水线,但实现方式存在差异;务必在目标应用程序中测试导入效果。
- Alembic 适用于烘焙几何体或 VFX 交换,尤其适用于时间采样几何体,但并非材质丰富的运行时包。
- PLY 适用于点云、某些工作流中的 splat 和重建诊断;不要假设最终查看器支持它。
- E57、LAS/LAZ、GeoTIFF 和相关地理空间格式适用于按需进行的测绘/GIS 交付,但此技能不保证达到测绘级精度。
QA:视觉、几何和交付
在表示层和交付层执行 QA。
视觉 QA
- 将渲染视图与留出的源图像进行比较。
- 检查接缝、纹理游移、重影、烘焙阴影、色偏、眩光和曝光过渡。
- 在中性光照和目标光照下检查。
- 对于 NeRF/3DGS,缓慢穿行检查遮挡显露、浮点伪影、透明边缘光晕以及近远裁剪。
- 对于网格,检查着色、线框、法线、UV、纯纹理和比例参照视图。
几何 QA
- 检查对齐残差和相机位姿异常值。
- 存在控制点和独立检查点时,对其进行比较。
- 测量已知比例尺或物体尺寸。
- 检查拓扑密度、非流形几何体、反转法线、断开区域、退化三角形和孔洞。
- 在目标应用程序中检查坐标变换、单位、上轴和原点。
交付 QA
- 至少在一个目标查看器中打开最终包,而不只是使用创作工具。
- 确认纹理已按预期链接或嵌入。
- 确认目标运行时支持所需扩展。
- 检查 LOD 切换、边界、随包提供的碰撞网格或代理网格,以及包大小。
- 发布前确认许可、权限和脱敏处理。
归档记录
每次真实场景捕获交付都应包含足够的记录,以便未来复用和解决争议。
最低归档内容:
- 源图像/视频帧及校验和;
- 捕获日志,包含日期、地点、设备、镜头、设置、路线、光照、权限和工作人员;
- 相机标定组和位姿文件;
- 适用时提供比例尺、GCP、检查点、测量距离、CRS/地理配准说明;
- 遮罩和动态物体说明;
- 可用时提供重建/训练软件、版本、设置和随机种子;
- 主模型或训练后的表示;
- 附带导出设置的交付衍生文件;
- QA 报告和已知限制;
- 权利文件包:物业/地点许可、人物同意、文化许可、无人机/航空许可、许可条款和发布限制。
不要用含糊的措辞掩盖限制。好的归档说明会写明:“窗墙在 3DGS 中视觉上看似可信,但几何上不可靠;已遮罩移动行人;比例尺基于两根比例尺设置;没有独立检查点。”
权利、隐私与文化限制
现实采集记录真实世界的事实,因此涉及权利和安全方面的义务。
采集前和交付前请检查:
- 财产与地点:所有权、进入许可、拍摄/扫描授权、场地特定限制、门票条款、租户隐私、敏感基础设施、安全系统、艺术品、标识、商标和商业外观。
- 人员:同意、肖像权、生物特征相关影响、未成年人、工作人员、旁观者、纹身、徽章、车牌、地址以及健康/安全数据。
- 文化遗产:圣地、墓地、原住民文化财产、博物馆限制、保护要求、归还相关问题、盗掘风险,以及公开发布 3D 内容是否可能造成危害。
- 航拍:航空法规、禁飞区、当地许可、隐私、地理围栏、保险和场地安全。
- 数据处理:加密、访问控制、保留期限、下架途径,以及是否可以与第三方处理方共享原始采集数据。
如果权利不明确,请勿发布,也不要使用采集数据训练公共查看器。请提供受限的内部审核包,或申请授权。
完整示例
示例:作为 GLB 网格的电商椅子
制作意图:家具品牌需要一个可通过网页查看的椅子资产,其外观和比例精度足以用于 AR,但无需达到制造要求。
输入和限制:
- 允许在摄影棚内使用 DSLR 拍摄静态照片,时长为四小时。
- 哑光织物、半光泽木质椅腿,无人员入镜。
- 网页 GLB 文件不超过 25 MB,3 个 LOD,2K 纹理。
- 必须注明比例方面的注意事项,不得声称达到计量精度。
建议工作流:
- 在站立、坐姿、低角度和俯视角度完整拍摄椅子,并固定曝光、白平衡和焦点。
- 在地面上放置两根已测量的比例尺,并在椅腿高度附近放置一把可见的尺子。
- 使用大型柔光箱;如果木材眩光过强,则加入偏振控制。
- 求解 SfM/MVS,创建高分辨率网格,清理地面/背景,并保留主版本。
- 将拓扑重新布线或进行抽稀以生成 LOD0/1/2;仅使用采集到的几何体烘焙法线和环境光遮蔽。
- 导出 GLB,使用 +Y 向上、单位为米,将原点置于地面接触点的中点,并使用目标查看器支持的纹理压缩。
- 在电商查看器和中立的 glTF 验证器/查看器中进行 QA。
采用这种结构的原因:最终交付物需要常规几何体和运行时交付,因此网格加 glTF/GLB 比 NeRF 或 3DGS 更合适。
预期结果:一个外观忠实、比例准确的椅子模型,可用于 AR/网页放置,并附有记录在案的限制。
可能的故障模式:光泽椅腿出现拖影,底部不完整,织物纹理出现混叠,LOD 轮廓变化过大,GLB 纹理压缩导致颜色偏移。
有意义的变体:如果品牌只需要电影感转台效果,可测试 NeRF/3DGS 查看器或渲染路径;如果需要 CAD 级尺寸,则应采用测量/计量工作流。
示例:以 USD 和 splat 审阅历史庭院
制作意图:VFX 团队需要一处历史庭院,作为布局和场景扩展的参考。他们希望为导演提供轻量级交互式查看器,并为艺术家提供分层 USD 包。
输入和限制:
- 现场拍摄一天,有游客在场,未获准使用无人机。
- 文化遗址限制公开发布,并禁止扫描某些铭文。
- VFX 交付倾向使用 USD,但导演希望能自由视角导航。
推荐工作流:
- 拍摄前确认场地协议、文化限制和需遮盖内容清单。
- 以固定曝光分段拍摄庭院边缘、建筑细节、门道和高差处的连贯环绕路径。
- 在许可区域放置临时比例尺参考物;记录无法标记的区域。
- 在重建/训练前遮挡游客和受限铭文。
- 构建用于布局/代理的网格,并训练 3DGS,以供自由视角视觉审阅。
- 打包 USD,包含组件结构、代理/渲染用途分离、assetInfo、比例说明,以及随附记录中的受限用途元数据。
- 导出带访问控制和区域遮盖的私有 splat 查看器包。
- 分别进行 QA:确认 USD 能在目标 DCC 中打开,且 splat 查看器不显示受限细节或明显的动态重影。
采用这种结构的原因:USD 用于分层 VFX 组装;splat 用于快速视觉审阅。两者都不能取代权利审查。
预期结果:艺术家获得带比例的布局/参考包,导演获得沉浸式预览,同时保留发布限制。
可能的故障模式:移动的游客产生重影,光滑石材产生漂浮伪影,受限铭文泄露到纹理/splat 中,打包后 USD 引用失效。
有意义的变体:如果之后获准使用无人机,可增加俯视/倾斜拍摄,以覆盖屋顶和上层立面;如果需要公开发布,则创建经过严格遮盖的衍生版本。
示例:结合航空和地面网格的小型发掘区域
制作意图:考古团队需要一份发掘沟的 3D 记录,用于内部分析和教育用途的静帧渲染。
输入和限制:
- 允许在低空使用无人机。
- 可使用地面控制点和比例尺。
- 公开发布时必须避免包含精确位置元数据。
- 除非检查点提供支持,否则不得声称达到测量级精度。
推荐工作流:
- 拍摄高重叠率的垂直向下航空网格,并补拍发掘沟壁的倾斜角度影像。
- 在重要发现和地层结构周围进行地面近距离拍摄。
- 在发掘沟周围布设 GCP/检查点,并将坐标系与公开衍生版本的元数据分开记录。
- 保留 RAW/静帧、EXIF、GCP 文件和现场笔记。
- 重建网格、纹理和正射渲染图。制作带比例的主版本;如获批准,再制作经抽稀/遮盖的公开 GLB。
- 使用独立检查点和已知比例距离进行 QA。报告残差和限制。
- 归档受限主版本、公开衍生版本、权利说明、文化许可和位置遮盖选择。
采用这种结构的原因:交付物是一份记录,而传统网格便于检查、归档和衍生静帧。
预期结果:获得一份带比例、控制信息有据可查的内部模型,以及风险较低的公开衍生版本。
可能的故障模式:太阳移动导致阴影变化,松散土壤缺少纹理,发掘沟壁仍存在遮挡,坐标元数据意外泄露位置信息。
有意义的变体:如果只需教育用途的视觉素材,可简化为视觉网格并跳过地理配准;如果需要用于法律用途的测量,则应聘请合格的测量团队支持。
示例:用于交互式展厅的亮面摩托车
制作意图:一家代理机构希望在浏览器中展示摩托车的交互式采集成果,且镀铬和漆面效果逼真。
输入和限制:
- 无法对物体进行涂层处理。
- 镀铬、黑色漆面、玻璃和细辐条都很显眼。
- 最终用途是视觉探索,而非碰撞检测或制造。
推荐工作流:
- 在受控的大面积照明下进行采集,并尽可能避免出现可见的工作人员倒影。
- 在多个高度拍摄密集的环绕影像,并额外拍摄辐条、发动机、后视镜以及透明或光亮部件。
- 记录网格基线,但尽早测试 3DGS 和 NeRF,因为与纹理烘焙相比,视角相关的外观可能更能保留主体效果。
- 尽可能遮罩工作人员、拍摄设备、转台以及破坏一致性的倒影。
- 如果 QA 结果表明浮点伪影和边缘表现可以接受,则交付私有 3DGS 查看器;如有需要,仅附带用于粗略边界参考的简化网格。
- 说明该查看器仅用于视觉展示,并非实体工程模型。
采用这种结构的原因:该主体恰好具有传统摄影测量难以处理的表面属性,而辐射场类表示可能更适合保留其视觉效果。
预期结果:可进行可信的交互式视觉审查,但需注意几何结构和反光表面方面的局限。
可能的失效模式:镀铬表面产生幽灵环境,辐条碎裂为浮点伪影,玻璃变得浑浊,查看器无法在移动设备上流畅运行。
有意义的变体:如果用于游戏,应另行制作建模或重新拓扑的资产,并使用艺术家创作的材质。
来源说明(已于 2026-07-11 核实)
- Mildenhall 等人,NeRF:将场景表示为神经辐射场以合成视图,ECCV 2020,作者的项目页面和论文:https://www.matthewtancik.com/nerf。
- Kerbl 等人,用于实时辐射场渲染的 3D Gaussian Splatting,ACM Transactions on Graphics/SIGGRAPH 2023,作者的 Inria 项目页面和论文:https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/。
- COLMAP 文档,项目概览及 SfM/MVS 引用:https://colmap.github.io/。
- AliceVision/Meshroom 官方网站,介绍开源摄影测量软件。
- Agisoft Metashape 官方图像采集建议,涵盖分辨率、焦距、ISO、光圈、快门模糊、重叠、标记、比例尺、EXIF、相机类型以及避免对图像进行几何变换:https://agisoft.freshdesk.com/support/solutions/articles/31000149337。
- RealityScan/RealityCapture 官方《如何拍摄照片》指南,涵盖环绕拍摄、视点变化、图像数量、移动方式和精度注意事项:https://rshelp.capturingreality.com/en-US/tutorials/takingpictures.htm。
- Khronos glTF 2.0 规范,版本 2.0.1,涵盖运行时资产交付、坐标系、单位、GLB、材质、纹理、缓冲区、扩展和版本控制:https://registry.khronos.org/glTF/specs/2.0/glTF-2.0.html。
- OpenUSD 文档,涵盖场景描述、层、图元、属性、关系、组合弧、资产、负载、变体、验证和局限:https://openusd.org/release/intro.html。