mcpField
N
neural-reality-capture

neural-reality-capture

github.com/calesthio创意与媒体219116 次安装15 周前更新
代码仓库

关于 neural-reality-capture

Neural Reality Capture 是一项从重叠影像重建真实对象的制作技能,面向需要规划采集与交付的团队。它根据最终用途和限制,帮助选择摄影测量网格、NeRF 或 3D Gaussian splat。

主要功能

  1. 01按交付需求选择表示形式
  2. 02规划对象与环境的影像采集
  3. 03说明网格、NeRF 与 splat 的取舍
  4. 04标注证据类型与制作经验

适用场景

  1. 01规划游戏道具的网格采集
  2. 02为虚拟场地漫游选择表示形式
  3. 03准备文化遗产对象的影像采集

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/calesthio/generative-media-skills --skill neural-reality-capture

安装后在 Claude Code 中输入/neural-reality-capture确认已加载。

附带文件EVAL.md

详细介绍

神经现实采集

神经现实采集是一种制作工艺,通过大量相互重叠的观测来重建或渲染真实对象。在这项技能中,交付成果分为以下三类:

  • 带纹理的摄影测量网格,通常用于游戏、VFX、GIS、文化遗产、电商或交接至 DCC;
  • NeRF 或相关神经辐射场,通常用于根据已知相机姿态进行高质量新视角渲染;
  • 3D Gaussian Splat 场景,通常用于呈现辐射场外观的实时自由视点播放。

保持独立于供应商。根据证据、限制和交接需求选择工具,不要因品牌习惯而选用工具。除非请求包含测量控制点、经过校准的采集、不确定性报告以及合格的测量工作流,否则不要承诺计量精度。不要扩展到文本生成 3D、生成式重新雕刻、动画绑定、超出采集交接范围的材质外观开发,或属于下游流程的广泛后期制作。

证据标签

在计划、评审和故障排查中使用以下标签:

  • 论文事实:来自同行评审论文或原始技术报告的论断,例如原始 NeRF 或 3D Gaussian Splatting 论文。
  • 标准事实:来自规范或标准的论断,例如 Khronos glTF 或 OpenUSD 文档。
  • 官方文档事实:来自相关组织维护的工具、采集或制作文档的论断。
  • 实证观察:来自有记录的测试或重建运行的结果。
  • 制作经验法则:通常有助于改善采集或交接的实用规则,但不构成保证。

当用户询问建议时,明确结合事实和经验法则:“标准事实:glTF 2.0 使用米作为单位,并采用右手坐标系。制作经验法则:轻量级网页评审交付 GLB,分层 VFX 或 DCC 组装则交付 USD。”

表示形式选择

根据最终用途选择表示形式,而非采集的新颖性。

摄影测量网格

当资产必须可编辑、可减面、可烘焙、可进行碰撞测试、可实际摆放、可在明确说明限制的前提下进行测量、可进行 3D 打印,或作为常规几何体交付至引擎和 DCC 工具时,使用网格。

优势:

  • 明确的拓扑、UV、纹理、法线和材质通道;
  • 可通过 OBJ、FBX、Alembic、glTF/GLB 和 USD 实现成熟的格式互通;
  • 兼容清理、重拓扑、碰撞、LOD、烘焙和引擎导入;
  • 可借助标记、比例尺、GCP 或测量控制点进行缩放和地理配准。

风险:

  • 反光、透明、毛发状、纤薄、重复或无纹理的表面往往难以重建;
  • 未经清理的拓扑和 UV 通常不适合生产使用;
  • 烘焙纹理可能掩盖几何缺陷;
  • 高精度需要受控采集、校准、控制点和 QA,而不仅仅是拍摄大量照片。
NeRF

当写实的新视角渲染比网格可编辑性更重要时,尤其是针对有界、向内拍摄的场景、视角相关外观、类似透明效果,以及快速网格烘焙难以处理的复杂光泽外观,应使用 NeRF。

论文事实:NeRF 的原始论文《Representing Scenes as Neural Radiance Fields for View Synthesis》(ECCV 2020)使用空间位置和观察方向构成的连续 5D 函数表示场景,并输出体密度和视角相关的辐射度。它根据具有已知相机位姿的输入图像进行优化,并通过沿相机射线进行可微体渲染来生成图像。已于 2026-07-11 根据作者的项目页面和论文核实。

优势:

  • 对捕获到的辐射度具有出色的新视角外观;
  • 比许多简单的纹理烘焙更能处理视角相关效果;
  • 适用于虚拟漫游、主视觉渲染、体积预览和参考回放。

风险:

  • 相机位姿和图像一致性仍然很重要;
  • 动态物体、曝光变化、卷帘快门、运动模糊和焦点变化都会变成学习到的伪影;
  • 在某些工作流中可以提取网格,但网格不是其主要表示形式,且可能存在噪声;
  • 与网格交付相比,其交付方式的标准化程度较低,运行时支持取决于目标平台。
3D Gaussian splat

当实时自由视点回放捕获场景是首要目标,且目标查看器支持 splat 时,应使用 Gaussian splat。对于房间、街道、文化遗址、外观复杂的产品和地点预览,如果交互式查看比可编辑拓扑更重要,它通常是很好的选择。

论文事实:2023 年 SIGGRAPH 论文《3D Gaussian Splatting for Real-Time Radiance Field Rendering》从相机标定过程中生成的稀疏点开始,使用经过优化的 3D Gaussian 表示场景,采用交错优化和密度控制,并使用具备可见性感知能力的 splatting 渲染器,在论文评估条件下实现高质量实时渲染。已于 2026-07-11 根据作者的 Inria 项目页面和论文核实。

优势:

  • 与许多神经场渲染器相比,交互式查看速度更快;
  • 能很好地保留复杂捕获场景的外观;
  • 最终交付内容是沉浸式查看器而非可编辑几何体时,效果很好。

风险:

  • splat 不是常规的实体网格;
  • 碰撞、CAD、3D 打印和 DCC 编辑需要进行转换,或使用单独的网格;
  • 与交付 glTF 网格相比,文件格式、压缩和引擎支持仍不稳定;
  • 对于细薄、闪亮、移动或观测不足的内容,漂浮伪影和半透明光晕可能很严重。
快速决策表
约束首选表示形式原因
游戏道具需要碰撞、重新拓扑和 LOD网格几何体可编辑,且采用标准引擎流水线
博物馆房间需要类似浏览器的自由视点漫游3DGS 或 NeRF视图合成能保留捕获到的外观
带 GCP 和尺寸检查的建筑测量网格加测量记录常规几何体和 QA 产物都可检查
用于转台预览的反光零售商品尝试 NeRF/3DGS;如有需要,也进行受控的网格捕获视角相关外观可能胜过快速纹理烘焙
资产必须以 GLB 格式交付给电商平台网格glTF/GLB 是运行时资产交付格式,不是 NeRF 容器
VFX 布局需要分层场景组装网格,或 USD 包中的点云/splat 参考USD 擅长组合、负载、变体和资产引用

捕获规划

捕获规划是以最低成本预防重建失败的环节。应从目标用途、主体类型、权利、日程安排、天气或照明、比例策略以及所需交付物着手。

通用拍摄要求

官方文档事实:COLMAP 是用于有序和无序图像集合的通用运动恢复结构(Structure-from-Motion)与多视图立体视觉流程。该信息于 2026-07-11 根据 COLMAP 文档核实。这意味着拍摄必须支持相机姿态恢复和多视图对应关系。

生产实践建议:

  • 在条件允许时,固定曝光、白平衡和焦点。
  • 避免自动对焦反复调整、变焦、滚动快门快速摇摄、运动模糊和图像防抖跳变。
  • 将 ISO 保持在足够低的水平,以保留精细纹理;使用补光或三脚架,而不是接受噪点或模糊的图像。
  • 在流程支持的情况下,拍摄 RAW 或高质量静态图像;保留未经畸变校正的原始图像。
  • 保持比例尺和焦距分组一致。如果变焦镜头改变了焦距,请根据 EXIF 或拍摄片段拆分校准组。
  • 使用漫射且稳定的照明。避免移动阴影、镜面眩光、闪光灯亮度衰减和屏幕闪烁。
  • 围绕拍摄对象绕圈拍摄,而不是只在一个全景位置拍摄。全景通常不利于 3D 重建,因为相机中心几乎没有平移。
  • 每个可见表面至少要出现在两张高质量图像中;对于几何形状复杂或存在遮挡的对象,视角越多越好。
  • 由粗到细地拍摄:先拍摄覆盖整个对象或整个房间的环绕照片,再补拍细节,同时确保与更大范围的图像集保持重叠。
  • 仍在现场时记录拍摄日志:相机/镜头、设置、路线、比例尺参照物、许可、天气、照明和已知盲区。

来自 Agisoft 和 RealityScan 拍摄指南的官方文档事实,于 2026-07-11 核实:建议使用高分辨率;图像清晰度很重要;低 ISO 可降低噪点;Agisoft 指南通常建议使用 f/8 到 f/11 的光圈以获得较大景深;慢速快门可能造成模糊;航拍指南通常要求约 80% 的前向重叠和 60% 的侧向重叠;RealityScan 指南提醒,相邻照片之间的视点变化不要超过约 30 度,并建议围绕对象完整绕圈拍摄。应将这些视为官方拍摄指南,而非普遍适用的物理定律。

重叠、曝光、对焦和运动

重叠不只是一个百分比。有效重叠是指主体中清晰、曝光适当、具有纹理且与相邻视角共有的部分。

生产实践建议:

  • 对于物体:至少围绕主体拍摄两到三圈,并在条件允许时补拍顶部和低角度照片。
  • 对于室内场景:沿房间边界和岛台绕圈拍摄,再补拍穿过门口和被遮挡角落的过渡照片。
  • 对于室外场景和立面:拍摄广角全景、斜向视角和近距离细节条带。
  • 对于类似航测的拍摄:先按照任务规划的重叠率拍摄,再针对植被、低纹理表面、斜向立面、高度变化或 GNSS 信号较弱的情况增加重叠。
  • 仅在流程能够稳定处理或合并包围曝光图像时才使用包围曝光。否则,应选择能保留主体纹理的稳定曝光设置。
  • 如果无法控制运动,请分多次拍摄,并在训练/重建时遮罩或移除运动对象。

对于存在严重模糊、重要纹理高光溢出、焦点呼吸造成不匹配、雨滴、镜头污渍、滚动快门畸变、人物穿过主体或严重 JPEG 伪影的照片,应予以舍弃或单独隔离。

物体采集

物体采集适用于道具、文物、家具、食品、产品、服装、雕塑和标本。

制作经验:

  • 优先选择有纹理、表面哑光且不会移动的对象,并使用无重复图案的背景,除非计划进行遮罩处理。
  • 如果对象具有反光表面或没有纹理,可使用可去除的哑光喷剂、交叉偏振光、投影纹理;或者在文物保护和权利限制允许的情况下,优先交付 NeRF/3DGS 成果。
  • 使用尺子、比例尺、编码靶标或经过测量的转台场景来记录比例。不要把唯一的比例标记放在可能被裁掉的表面上。
  • 如果使用转台,请保持相机、灯光和背景一致,并了解求解器预期移动的是对象还是相机。当对象相对于背景旋转时,应对静态背景进行遮罩处理。
  • 只有在确有需要且能够以足够的重叠度配准时,才采集底面和接触面。
环境与室内采集

环境采集适用于房间、街道、文化遗址、布景、景观和施工环境。

制作经验:

  • 构建相互连通的环线。每个侧室、走廊、楼梯或庭院都需要与主路径重叠连接。
  • 在人眼高度以及较低或较高的位置进行采集,以覆盖被遮挡的表面。
  • 对于 NeRF/3DGS,避免窗户和室内之间出现大幅曝光变化;如果查看者需要检查这两处,可考虑分开采集或控制照明。
  • 尽早记录坐标用途:本地艺术坐标、建筑坐标、GIS/地理空间坐标或测量控制坐标。
  • 从多个角度清晰拍摄控制点、标记和比例参考物。
航拍采集

航拍采集适用于屋顶、地形、采石场、立面、工业场地、农业用地以及大型文化或建筑遗址。

制作经验:

  • 如果垂直面、立面或挑檐很重要,应结合垂直向下和倾斜角度的影像。
  • 尽可能保持相对于地表的飞行高度一致;地形变化可能需要采用自适应飞行规划。
  • 如果地理配准或精度评估很重要,应在重建区域内布设 GCP/检查点,包括边缘和高程变化处。
  • 飞行前,应遵守航空法规、场地许可要求、隐私规定,以及敏感基础设施、野生动物或文化遗址相关限制。
  • 不要将无人机 EXIF GNSS 数据单独作为测量级精度的依据。
人员与表演采集

只有在获得明确同意、做好隐私规划且用途明确的情况下,才进行人员采集。人员采集难度较高,因为面部、头发、衣物褶皱和细微动作都很重要。

制作经验:

  • 对于全身/头部采集,优先使用多相机同步设备;单相机环绕拍摄有表情变化和身体晃动的风险。
  • 使用柔和、均匀的照明;避免闪烁的高光和移动的阴影。
  • 除非有特定表情要求,否则应采集中性姿势和表情。
  • 生物特征数据、面部扫描、纹身、具有辨识度的服装以及未成年人数据,均应视为高风险权利与隐私数据。

校准、尺度与坐标

没有尺度信息的采集结果通常在视觉上有用,但在物理尺寸上含糊不清。

官方文档事实:Agisoft 指南指出,可靠的 EXIF 信息有助于相机自动校准;缺少 EXIF 信息可能迫使软件采用假设;鱼眼/球面/柱面相机需要设置合适的相机类型;裁剪或对原始图像进行几何变换可能影响自动校准。已于 2026-07-11 核实。

生产工作流:

  1. 保留原始文件及其 EXIF 信息。切勿覆盖源图像。
  2. 按机身、镜头、焦距、对焦设置、传感器模式和预处理状态对相机分组。
  3. 如果尺度很重要,应在求解前添加实测比例尺、标记点间距、测量目标或 GCP。
  4. 评估几何精度时,使用与控制点分开的检查点。
  5. 在交付前确定坐标系:局部原点、以主体为中心的原点、建筑坐标、GIS CRS 或 DCC/引擎轴约定。
  6. 记录单位、上轴、前轴、原点、尺度来源、地理配准来源,以及导出时应用的任何变换。

除非工作流包含独立检查数据和实测误差报告,否则不要声称“精度达到 X mm”。如果实际情况如此,应说明“根据两根 500 mm 的比例尺进行缩放;不保证独立精度”。

重建或训练工作流

网格工作流

典型的网格流程:

  1. 导入原始文件和元数据。
  2. 筛除不可用图像并拆分相机组。
  3. 检测特征并匹配图像。
  4. 使用 SfM 估算相机姿态和稀疏点。
  5. 添加或改进校准、尺度、标记和控制信息。
  6. 进行稠密重建或深度图估算。
  7. 构建网格或点云。
  8. 清理、裁剪、仅填补有充分依据的孔洞、简化、展开 UV 并贴图。
  9. 仅在交付要求时烘焙法线、环境光遮蔽、置换或纹理变体。
  10. 验证几何、纹理、尺度、坐标和打包内容。

官方文档事实:COLMAP 在其 SfM 和 MVS 流程中引用了 Structure-from-Motion Revisited(CVPR 2016)和 Pixelwise View Selection for Unstructured Multi-View Stereo(ECCV 2016)。已于 2026-07-11 根据 COLMAP 文档核实。

NeRF 工作流

典型的 NeRF 流程:

  1. 导入源图像或帧。
  2. 估算或导入相机姿态。
  3. 移除模糊、不一致、重复以及受动态物体干扰的帧。
  4. 设置边界、遮罩、近远范围和尺度归一化。
  5. 使用留出视图进行训练,以便进行 QA。
  6. 渲染验证路径并与源视图进行比较。
  7. 仅当目标平台支持时,才导出运行时包、渲染视频、深度、点云或网格提取结果。

论文事实:在原始形式中,NeRF 需要已知相机姿态才能进行优化。如果用户只有无序图像,姿态估算就是工作流的一部分,并非可有可无的魔法。

3D Gaussian splat 工作流

典型的 3DGS 流程:

  1. 估算相机姿态和稀疏点,通常借助 SfM 工具。
  2. 归一化场景尺度和边界。
  3. 通过密度控制训练/优化高斯体。
  4. 检查漂浮点、重影、边缘过度透明、背景泄漏、曝光伪影和覆盖不足的孔洞。
  5. 根据目标查看器进行裁剪、修剪、压缩或转换。
  6. 打包查看器/运行时,并保留源文件、姿态和训练设置。

论文事实:原始 3DGS 工作使用相机校准过程中生成的稀疏点进行初始化。生产层面的影响:姿态估算不佳或稀疏重建质量较差,通常会损害 splat 效果。

遮罩、动态对象与难处理表面

现实采集需要足够且一致的静态证据。任何不匹配都会变成噪点、重影、漂浮物、模糊纹理或扭曲几何体。

以下情况应使用遮罩:

  • 背景在移动,或与旋转的主体不一致;
  • 人物、车辆、屏幕、反射、植被、水或阴影在场景中移动;
  • 必须将主体与转台、支架、支撑物或文物保护安装件分离;
  • NeRF 或 3DGS 应忽略暂时性遮挡物。

生产启发:

  • 如果遮罩内容会影响相机求解或密度,应在重建/训练前应用遮罩。
  • 保持遮罩一致;仅当工具需要软 Alpha 时才使用羽化。对于几何求解器,硬遮罩通常更安全。
  • 不要遮掉姿态估计所需的所有共用场景信息。
  • 对于反射,要么通过物理方式加以控制,要么接受辐射场可能会表示依赖视角的外观,而网格可能会失败。
  • 对于透明物体,应规划特殊采集方式,或选择不宣称提供实体几何体的交付成果。

清理、减面、压缩与 LOD

清理必须保护证据。要区分修正性清理与创意性修改。

此技能允许的操作:

  • 裁剪至主体或约定的边界;
  • 移除漂浮物、断开的噪点、背景碎片、三脚架残留和遮罩掉的支撑物;
  • 在填补结果显而易见且已标注时,填补小孔洞;
  • 在检查误差的前提下减面;
  • 仅在有交付需求时,进行最低限度的重拓扑;
  • 生成 LOD、法线、纹理图集和压缩交付包;
  • 保留未经编辑的高分辨率母版。

完成基于采集的交付后,完整重拓扑、UV/PBR 重建、骨骼就绪处理、游戏 LOD 制作、引擎导入收尾和生产资产打包均属于 3d-asset-production。

不在范围内:

  • 风格化重新设计;
  • 将缺失证据生成式替换,并伪装成采集到的事实;
  • 超出基于采集生成的贴图范围,进行完整的游戏就绪材质制作;
  • 骨骼绑定和动画。

生产启发:

  • 保留三个层级:源档案、重建母版、交付衍生版本。
  • 对于网格 LOD,每次减面后都要比较轮廓、法线偏差、纹理可读性和缩放比例。
  • 对于 splat,压缩前先清除漂浮物并裁剪边界;然后检查边缘透明度和近相机表现。
  • 对于 NeRF/3DGS,应将训练好的表示和相机路径导出文件与任何渲染视频分开保存。

坐标、互操作与交付

glTF/GLB

Khronos glTF 2.0 的标准事实,经核验于 2026-07-11:

  • glTF 是用于 3D 内容的 API 中立型运行时资产交付格式。
  • glTF 2.0 使用右手坐标系,Y 轴正向朝上、Z 轴正向朝前,线性距离单位为米。
  • GLB 是 glTF 的二进制容器形式。
  • glTF 定义网格、节点、相机、材质、纹理、动画、缓冲区和扩展;它不是创作格式,也不是流式传输格式。
  • glTF 2.0 使用金属度-粗糙度 PBR 材质参数;基础颜色纹理采用 sRGB 编码,而金属度-粗糙度纹理值为线性值,并将粗糙度打包在 G 通道、金属度打包在 B 通道。

在 Web、移动端、电商、游戏预览和轻量审阅中使用 GLB/glTF。仅包含目标运行时支持的扩展。记录纹理尺寸、压缩选项、坐标变换,以及原点是否已移动。

OpenUSD

OpenUSD 文档中的标准事实,已于 2026-07-11 核实:

  • USD 是一个高性能、可扩展的平台,用于协作构建动画 3D 场景,以及可靠地交换和增强由资产组成的 3D 场景。
  • USD 将数据组织为分层的 prim,属性、关系和元数据存储在各个层中。
  • USD 组合机制包括 subLayers、references、payloads、variantSets、inherits 和 specializes。
  • USD 支持资产引用、AssetInfo 元数据、payload 工作集、render/proxy/guide 等用途、验证,以及原生 crate .usdc 和文本 .usda 格式。
  • USD 不是绑定系统,也不使用 GUID 作为核心身份标识机制。

如果交付需要分层组装、VFX 流水线集成、变体、payload、资产引用、代理/渲染分离或更丰富的场景打包,请使用 USD。在适用情况下,使用 usdchecker 或 USD 验证。

其他交付格式
  • OBJ 简单且可读性广泛,但在材质、单位、层级和现代运行时交付方面较弱。
  • FBX 常用于 DCC/游戏流水线,但实现方式存在差异;务必在目标应用程序中测试导入效果。
  • Alembic 适用于烘焙几何体或 VFX 交换,尤其适用于时间采样几何体,但并非材质丰富的运行时包。
  • PLY 适用于点云、某些工作流中的 splat 和重建诊断;不要假设最终查看器支持它。
  • E57、LAS/LAZ、GeoTIFF 和相关地理空间格式适用于按需进行的测绘/GIS 交付,但此技能不保证达到测绘级精度。

QA:视觉、几何和交付

在表示层和交付层执行 QA。

视觉 QA
  • 将渲染视图与留出的源图像进行比较。
  • 检查接缝、纹理游移、重影、烘焙阴影、色偏、眩光和曝光过渡。
  • 在中性光照和目标光照下检查。
  • 对于 NeRF/3DGS,缓慢穿行检查遮挡显露、浮点伪影、透明边缘光晕以及近远裁剪。
  • 对于网格,检查着色、线框、法线、UV、纯纹理和比例参照视图。
几何 QA
  • 检查对齐残差和相机位姿异常值。
  • 存在控制点和独立检查点时,对其进行比较。
  • 测量已知比例尺或物体尺寸。
  • 检查拓扑密度、非流形几何体、反转法线、断开区域、退化三角形和孔洞。
  • 在目标应用程序中检查坐标变换、单位、上轴和原点。
交付 QA
  • 至少在一个目标查看器中打开最终包,而不只是使用创作工具。
  • 确认纹理已按预期链接或嵌入。
  • 确认目标运行时支持所需扩展。
  • 检查 LOD 切换、边界、随包提供的碰撞网格或代理网格,以及包大小。
  • 发布前确认许可、权限和脱敏处理。

归档记录

每次真实场景捕获交付都应包含足够的记录,以便未来复用和解决争议。

最低归档内容:

  • 源图像/视频帧及校验和;
  • 捕获日志,包含日期、地点、设备、镜头、设置、路线、光照、权限和工作人员;
  • 相机标定组和位姿文件;
  • 适用时提供比例尺、GCP、检查点、测量距离、CRS/地理配准说明;
  • 遮罩和动态物体说明;
  • 可用时提供重建/训练软件、版本、设置和随机种子;
  • 主模型或训练后的表示;
  • 附带导出设置的交付衍生文件;
  • QA 报告和已知限制;
  • 权利文件包:物业/地点许可、人物同意、文化许可、无人机/航空许可、许可条款和发布限制。

不要用含糊的措辞掩盖限制。好的归档说明会写明:“窗墙在 3DGS 中视觉上看似可信,但几何上不可靠;已遮罩移动行人;比例尺基于两根比例尺设置;没有独立检查点。”

权利、隐私与文化限制

现实采集记录真实世界的事实,因此涉及权利和安全方面的义务。

采集前和交付前请检查:

  • 财产与地点:所有权、进入许可、拍摄/扫描授权、场地特定限制、门票条款、租户隐私、敏感基础设施、安全系统、艺术品、标识、商标和商业外观。
  • 人员:同意、肖像权、生物特征相关影响、未成年人、工作人员、旁观者、纹身、徽章、车牌、地址以及健康/安全数据。
  • 文化遗产:圣地、墓地、原住民文化财产、博物馆限制、保护要求、归还相关问题、盗掘风险,以及公开发布 3D 内容是否可能造成危害。
  • 航拍:航空法规、禁飞区、当地许可、隐私、地理围栏、保险和场地安全。
  • 数据处理:加密、访问控制、保留期限、下架途径,以及是否可以与第三方处理方共享原始采集数据。

如果权利不明确,请勿发布,也不要使用采集数据训练公共查看器。请提供受限的内部审核包,或申请授权。

完整示例

示例:作为 GLB 网格的电商椅子

制作意图:家具品牌需要一个可通过网页查看的椅子资产,其外观和比例精度足以用于 AR,但无需达到制造要求。

输入和限制:

  • 允许在摄影棚内使用 DSLR 拍摄静态照片,时长为四小时。
  • 哑光织物、半光泽木质椅腿,无人员入镜。
  • 网页 GLB 文件不超过 25 MB,3 个 LOD,2K 纹理。
  • 必须注明比例方面的注意事项,不得声称达到计量精度。

建议工作流:

  1. 在站立、坐姿、低角度和俯视角度完整拍摄椅子,并固定曝光、白平衡和焦点。
  2. 在地面上放置两根已测量的比例尺,并在椅腿高度附近放置一把可见的尺子。
  3. 使用大型柔光箱;如果木材眩光过强,则加入偏振控制。
  4. 求解 SfM/MVS,创建高分辨率网格,清理地面/背景,并保留主版本。
  5. 将拓扑重新布线或进行抽稀以生成 LOD0/1/2;仅使用采集到的几何体烘焙法线和环境光遮蔽。
  6. 导出 GLB,使用 +Y 向上、单位为米,将原点置于地面接触点的中点,并使用目标查看器支持的纹理压缩。
  7. 在电商查看器和中立的 glTF 验证器/查看器中进行 QA。

采用这种结构的原因:最终交付物需要常规几何体和运行时交付,因此网格加 glTF/GLB 比 NeRF 或 3DGS 更合适。

预期结果:一个外观忠实、比例准确的椅子模型,可用于 AR/网页放置,并附有记录在案的限制。

可能的故障模式:光泽椅腿出现拖影,底部不完整,织物纹理出现混叠,LOD 轮廓变化过大,GLB 纹理压缩导致颜色偏移。

有意义的变体:如果品牌只需要电影感转台效果,可测试 NeRF/3DGS 查看器或渲染路径;如果需要 CAD 级尺寸,则应采用测量/计量工作流。

示例:以 USD 和 splat 审阅历史庭院

制作意图:VFX 团队需要一处历史庭院,作为布局和场景扩展的参考。他们希望为导演提供轻量级交互式查看器,并为艺术家提供分层 USD 包。

输入和限制:

  • 现场拍摄一天,有游客在场,未获准使用无人机。
  • 文化遗址限制公开发布,并禁止扫描某些铭文。
  • VFX 交付倾向使用 USD,但导演希望能自由视角导航。

推荐工作流:

  1. 拍摄前确认场地协议、文化限制和需遮盖内容清单。
  2. 以固定曝光分段拍摄庭院边缘、建筑细节、门道和高差处的连贯环绕路径。
  3. 在许可区域放置临时比例尺参考物;记录无法标记的区域。
  4. 在重建/训练前遮挡游客和受限铭文。
  5. 构建用于布局/代理的网格,并训练 3DGS,以供自由视角视觉审阅。
  6. 打包 USD,包含组件结构、代理/渲染用途分离、assetInfo、比例说明,以及随附记录中的受限用途元数据。
  7. 导出带访问控制和区域遮盖的私有 splat 查看器包。
  8. 分别进行 QA:确认 USD 能在目标 DCC 中打开,且 splat 查看器不显示受限细节或明显的动态重影。

采用这种结构的原因:USD 用于分层 VFX 组装;splat 用于快速视觉审阅。两者都不能取代权利审查。

预期结果:艺术家获得带比例的布局/参考包,导演获得沉浸式预览,同时保留发布限制。

可能的故障模式:移动的游客产生重影,光滑石材产生漂浮伪影,受限铭文泄露到纹理/splat 中,打包后 USD 引用失效。

有意义的变体:如果之后获准使用无人机,可增加俯视/倾斜拍摄,以覆盖屋顶和上层立面;如果需要公开发布,则创建经过严格遮盖的衍生版本。

示例:结合航空和地面网格的小型发掘区域

制作意图:考古团队需要一份发掘沟的 3D 记录,用于内部分析和教育用途的静帧渲染。

输入和限制:

  • 允许在低空使用无人机。
  • 可使用地面控制点和比例尺。
  • 公开发布时必须避免包含精确位置元数据。
  • 除非检查点提供支持,否则不得声称达到测量级精度。

推荐工作流:

  1. 拍摄高重叠率的垂直向下航空网格,并补拍发掘沟壁的倾斜角度影像。
  2. 在重要发现和地层结构周围进行地面近距离拍摄。
  3. 在发掘沟周围布设 GCP/检查点,并将坐标系与公开衍生版本的元数据分开记录。
  4. 保留 RAW/静帧、EXIF、GCP 文件和现场笔记。
  5. 重建网格、纹理和正射渲染图。制作带比例的主版本;如获批准,再制作经抽稀/遮盖的公开 GLB。
  6. 使用独立检查点和已知比例距离进行 QA。报告残差和限制。
  7. 归档受限主版本、公开衍生版本、权利说明、文化许可和位置遮盖选择。

采用这种结构的原因:交付物是一份记录,而传统网格便于检查、归档和衍生静帧。

预期结果:获得一份带比例、控制信息有据可查的内部模型,以及风险较低的公开衍生版本。

可能的故障模式:太阳移动导致阴影变化,松散土壤缺少纹理,发掘沟壁仍存在遮挡,坐标元数据意外泄露位置信息。

有意义的变体:如果只需教育用途的视觉素材,可简化为视觉网格并跳过地理配准;如果需要用于法律用途的测量,则应聘请合格的测量团队支持。

示例:用于交互式展厅的亮面摩托车

制作意图:一家代理机构希望在浏览器中展示摩托车的交互式采集成果,且镀铬和漆面效果逼真。

输入和限制:

  • 无法对物体进行涂层处理。
  • 镀铬、黑色漆面、玻璃和细辐条都很显眼。
  • 最终用途是视觉探索,而非碰撞检测或制造。

推荐工作流:

  1. 在受控的大面积照明下进行采集,并尽可能避免出现可见的工作人员倒影。
  2. 在多个高度拍摄密集的环绕影像,并额外拍摄辐条、发动机、后视镜以及透明或光亮部件。
  3. 记录网格基线,但尽早测试 3DGS 和 NeRF,因为与纹理烘焙相比,视角相关的外观可能更能保留主体效果。
  4. 尽可能遮罩工作人员、拍摄设备、转台以及破坏一致性的倒影。
  5. 如果 QA 结果表明浮点伪影和边缘表现可以接受,则交付私有 3DGS 查看器;如有需要,仅附带用于粗略边界参考的简化网格。
  6. 说明该查看器仅用于视觉展示,并非实体工程模型。

采用这种结构的原因:该主体恰好具有传统摄影测量难以处理的表面属性,而辐射场类表示可能更适合保留其视觉效果。

预期结果:可进行可信的交互式视觉审查,但需注意几何结构和反光表面方面的局限。

可能的失效模式:镀铬表面产生幽灵环境,辐条碎裂为浮点伪影,玻璃变得浑浊,查看器无法在移动设备上流畅运行。

有意义的变体:如果用于游戏,应另行制作建模或重新拓扑的资产,并使用艺术家创作的材质。

来源说明(已于 2026-07-11 核实)

评论

支持 Markdown