关于 virtual-production-icvfx
virtual-production-icvfx 是一项面向片场团队的虚拟制作技能,用于规划 LED 摄影棚内拍摄、评估镜头适用性并排查同步、追踪和渲染问题。它不绑定设备厂商,并涵盖 Unreal Engine 工作流及安全、权利和数据检查。
主要功能
- 01评估镜头是否适合 ICVFX
- 02规划 LED 摄影棚与摄像机配置
- 03检查追踪、镜头数据和同步
- 04准备排练、拍摄与备用方案清单
- 05审视安全、素材权利和数据处理
适用场景
- 01为 LED 摄影棚拍摄制定方案
- 02排查摄像机与虚拟场景不同步
- 03准备拍摄日的技术检查清单
- 04规划最终像素拍摄及后备合成
安装
复制下面的命令,在终端中运行。
npx skills add https:/ / github.com/ calesthio/ generative-media-skills --skill virtual-production-icvfx安装后在 Claude Code 中输入/virtual-production-icvfx确认已加载。
附带文件EVAL.md
详细介绍
虚拟制作 ICVFX
当 Agent 需要协助制定机内视觉特效(ICVFX)方案、诊断 LED 虚拟影棚拍摄问题、准备影棚/彩排/质量保证清单,或将制作要求转化为实用的虚拟制作方案时,使用此技能。此技能与供应商无关:不假设使用特定的 LED 供应商、跟踪供应商、媒体服务器、摄影机或渲染节点品牌。此技能了解 Unreal,因为许多 ICVFX 影棚会使用 Unreal Engine、nDisplay、Live Link、Camera Calibration、OCIO、Switchboard、Stage Monitor、Timed Data Monitor、Multi-User Editing、Remote Control 和 Composure。
不要将此技能用于普通的离线绿幕后期合成、通用分镜建议、没有影棚或摄影机跟踪最终像素意图的预演、完整的游戏机制,或一般的 Unreal 游戏玩法工程。
来源立场
将主张标记为以下类别之一:
- 有文档支持的事实:有官方文档、标准或供应商中立的技术参考资料支持。
- 有时效性的引擎细节:Unreal Engine 文档页面所记录的行为,已于 2026-07-11 核实。做出采购、版本锁定或影棚搭建决策前,请重新核实。
- 制作经验法则:实用的影棚惯例,但必须使用实际的摄影机、镜头、LED、处理器、跟踪、同步、内容和色彩管线进行测试。
- 待核实的观察:合理但仍需通过影棚测试、测量或供应商/影棚确认的诊断。
本技能使用的权威来源,已于 2026-07-11 核实:
- Epic Games,In-Camera VFX 概述:https://dev.epicgames.com/documentation/en-us/unreal-engine/in-camera-vfx-overview-in-unreal-engine
- Epic Games,nDisplay 概述:https://dev.epicgames.com/documentation/en-us/unreal-engine/ndisplay-overview-for-unreal-engine
- Epic Games,nDisplay 配置文件参考:https://dev.epicgames.com/documentation/en-us/unreal-engine/ndisplay-configuration-file-reference-for-unreal-engine
- Epic Games,Live Link:https://dev.epicgames.com/documentation/en-us/unreal-engine/live-link-in-unreal-engine
- Epic Games,Timecode 和 Genlock:https://dev.epicgames.com/documentation/en-us/unreal-engine/timecode-and-genlock-in-unreal-engine
- Epic Games,nDisplay 中的同步:https://dev.epicgames.com/documentation/en-us/unreal-engine/synchronization-in-ndisplay-in-unreal-engine
- Epic Games,摄影机镜头校准:https://dev.epicgames.com/documentation/en-us/unreal-engine/camera-lens-calibration-in-unreal-engine
- Epic Games,使用 OpenColorIO 进行色彩管理:https://dev.epicgames.com/documentation/en-us/unreal-engine/color-management-with-opencolorio-in-unreal-engine
- OpenColorIO 文档:https://opencolorio.readthedocs.io/en/latest/
- ACES 文档:https://docs.acescentral.com/
- OSHA 电气安全主题:https://www.osha.gov/electrical
- OSHA 高温安全主题:https://www.osha.gov/heat-exposure
- OSHA 疏散计划和程序 eTool:https://www.osha.gov/etools/evacuation-plans-procedures
- 英国健康与安全执行局,活动安全:https://www.hse.gov.uk/event-safety/
- W3C WCAG 2.2,三次闪烁或低于阈值:https://www.w3.org/TR/WCAG22/#three-flashes-or-below-threshold
- FDA 激光产品和仪器:https://www.fda.gov/radiation-emitting-products/home-business-and-entertainment-products/laser-products-and-instruments
ICVFX 实际解决的问题
文档所述事实: Unreal 的 ICVFX 概述将机内 VFX 定义为一种实景拍摄方法:利用 LED 照明、摄像机跟踪和带离轴投影的实时渲染,在摄像机内生成最终像素或接近最终效果的图像。摄像机可见区域称为内视锥体:它会随跟踪摄像机的位置、方向和镜头视野变化而更新。摄像机视野之外的区域称为外视锥体:它保持足够稳定,以提供来自虚拟世界的照明和反射。
关键并非只是把一张漂亮的背景画面放在墙上。有效的 ICVFX 方案必须回答:
- 镜头能否适应 LED 体积的空间、色彩、刷新率、亮度和分辨率限制?
- 实体摄像机、虚拟摄像机、镜头数据、跟踪数据和渲染帧能否在时间和空间上对齐?
- 所有渲染节点能否以所需帧率运行,并保持一致的画质?
- LED 表面能否为实景布景和反光物体提供照明,且不会产生不可接受的瑕疵?
- 如果最终像素拍摄失败,是否有经过排练的备用方案?
安全、权利与数据
ICVFX 方案不等同于安全许可。制作 Agent 可以识别风险并列出所需记录,但实际作业必须由具备资质的影棚主管、制作安全、吊装、电气、激光/辐射、特技、儿童/福利、法律、隐私和数据保护负责人批准。
文档所述事实: OSHA 将电力描述为严重的工作场所危害,风险包括电击、触电致死、火灾和爆炸;其电气主题还列举了建筑施工中常见的电气伤害原因,例如缺少接地故障保护、接地路径不连续、设备使用不当,以及延长线/软线使用不当。OSHA 的高温主题指出,职业性热病可能发生在室内或室外,可以预防,并与剧烈体力活动、高温环境、未适应高温以及保温衣物有关。OSHA 的疏散材料涵盖应急行动计划,HSE 的活动安全指南则强调,应通过规划、管理和复盘来确保活动安全。W3C WCAG 2.2 规定,除非低于一般闪光和红色闪光阈值,否则内容在任意 1 秒内闪烁次数不得超过 3 次。FDA 将激光危害划分为 I–IV 类,类别越高,造成伤害的可能性越大;IIIb 类和 IV 类产品可能立即造成眼睛或皮肤伤害,IV 类还可能带来火灾隐患。
操作检查清单:
- 权限:明确负责 LED 墙运行、电力分配、吊挂、移动平台、跟踪硬件、应急行动和表演者福祉的停工权限人。不得让创意或软件操作人员推翻安全决定。
- LED 暴露:记录运行亮度、刷新率/扫描设置、预期快门/帧率范围、包含闪光/频闪/快速高对比度剪切的内容,以及任何光敏性审查。制作启发式建议:除非合格的安全/医疗/无障碍审查明确批准该暴露情境,否则应将闪烁内容控制在 WCAG 式的每秒三次闪烁阈值以下;测试前应提醒工作人员和表演者。
- 物理危险:确认电力负载/分配、接地/GFCI 或当地同等措施、线缆走线、绊倒防护、吊挂认证、头顶载荷、疏散通道、LED/处理器/渲染节点周围的热量积聚、通风、移动设备、车辆平台、转台、起重机、升降机及紧急停止程序。
- 跟踪危险:记录 IR、激光、无线电、光学标记、LiDAR 或其他跟踪发射,以及视线要求;对于任何可能使眼睛、皮肤、摄像机传感器或反光道具暴露的类别或波长,应进行激光/辐射安全审查。
- 易受影响的表演者:儿童、年长表演者、孕期表演者、残障表演者、患有癫痫/光敏症的表演者、对热敏感的表演者、感官敏感的表演者或行动受限的表演者,均应进行明确的福祉规划、安排休息、处理同意事宜、视情况安排监护人或权益代表,并排练疏散/走位。
- 权利许可:在内容加载到墙上或拍摄最终像素素材前,确认素材、扫描件、背景板、艺术作品、徽标、产品、商标、地图、地点、车辆、服装和标识的权利。LED 播放可能使未经许可的素材成为主体摄影的一部分,而不仅仅是临时参考。
- 肖像与扫描同意:针对身体、面部、声音、动作、摄影测量、LiDAR、见证摄像机素材、动作捕捉/跟踪数据,以及任何数字替身或群体复制用途,取得明确同意并设定使用限制。
- 数据最小化:明确谁可以访问跟踪、镜头、时间码、摄像机、拍摄条次、见证摄像机、扫描和排练数据;仅保留制作、VFX、保险、法律和归档所需的数据;在常规交接中隐去私人地点、未成年人的信息、健康方面的便利安排,以及不需要的生物特征细节。
- 最终像素与备用记录:每条拍摄记录都应标注为最终像素、实时合成、绿幕备用、干净背景板、排练或测试。备用记录应足以支持后期制作:摄像机原始素材、时间码、跟踪、镜头数据、校准、墙面状态、色彩状态、干净背景板和事件记录。
制作启发式建议:安全、权利和隐私检查应纳入技术勘景、排练、通告单、数据整理和交接工作流。如果拖到开机后才处理,通常切实可行的做法是降低亮度/运动幅度、简化走位、切换到备用方案、移除未经许可的内容,或暂停拍摄,直到权限人批准风险。
适用性评估
在建议硬件或 Unreal 设置之前,先评估镜头是否适用。
适合 ICVFX 的镜头:
- 摄影机可以始终处于已知的跟踪范围内,并使用经过测试的焦距、对焦和光圈设置范围。
- 背景可以按所需帧率实时渲染,且不会出现不稳定的屏幕空间接缝或节点差异。
- 前景布景和道具能从 LED 照明和反射中受益。
- 构图无需以能显露摩尔纹、扫描线、屏幕拼缝或像素结构的距离和角度清晰对焦 LED 平面。
- 美术指导能够接受实时照明的取舍、烘焙资源、细节层级管理和预先构建的镜头状态。
适用性较差或风险较高的镜头:
- 微距、长焦或浅舞台布景,其中 LED 平面必须清晰对焦或接近焦平面。
- 高度反光的前景会暴露 LED 墙是由屏幕面板组成的阵列,而非可信的环境。
- 极快的摇摄、滚动快门压力、频闪实景灯,或未经同步路径测试的高速拍摄。
- 需要复杂破坏模拟、路径追踪级画质照明、强烈半透明效果,或跨节点边界屏幕空间效果的场景。
- 摄影机移动会离开已校准的跟踪范围,或拍到 LED 覆盖范围之外。
- 成败取决于无法及时重建、优化和排练的临时内容变更的镜头。
制作经验法则:如果镜头的 ICVFX 价值很高,但最终画面风险也很高,就从一开始规划好 LED 照明的现场合成/绿幕备用方案,而不是等到拍摄当天才发现需要备用方案。
LED 舞台规划
根据摄影机来规划舞台,而不只是根据房间来规划。
所需的舞台信息:
- 墙面形状:平面、弧形、转角、马蹄形、270 度体积、天花板、地面、布景窗插入面、车拍墙面或混合形状。
- 实际尺寸(米);箱体尺寸;箱体分辨率;像素间距(毫米);处理器画布布局;扫描/刷新特性;面板亮度和工作亮度。
- 摄影机位置、镜头列表、主体距离、摄影机/主体到 LED 的最小距离、预期对焦距离,以及摄影机与面板表面的最大夹角。
- LED 应作为最终背景、照明/反射源、实时合成背景,还是兼具这三种用途。
**有文档依据的事实:**Epic 指出,LED 舞台设计会影响其余所有设置;对于完全虚拟的环境,可能需要 270 度封闭体积,而当场景的大部分内容由实体布景承载时,单侧墙面或弧形墙面也可满足需求。LED 天花板有助于提供环境光和反射。像素间距是 LED 灯之间的距离,单位为毫米;间距越小通常意味着像素密度和成本越高。仅凭间距较小并不能保证适用,因为视角、色偏、一致性、热量和其他因素也很重要。
像素间距与观看距离的制作经验法则:
- 将制造商的间距图表视为起点,而非最终结论。使用实际的摄影机传感器、光学低通滤镜(OLPF)、镜头、对焦距离、快门角度、帧率、压缩路径和节目 LUT 进行测试。
- 通常应将焦平面置于 LED 表面之前或之后,让面板略微失焦。Epic 明确建议避免对焦在 LED 表面上,以降低摩尔纹风险。
- 摄影机与 LED 表面的夹角过大,会增加摩尔纹风险。若最终画面背景至关重要,应优先采用垂直或较小的夹角。
- 带有精细重复线条、高对比度栅格、微小高光点、滚动文字或高频纹理的内容,更容易在 LED 上产生混叠。
舞台规划输出应包含面向摄影机的示意图或表格:
- 屏幕区段名称和实际尺寸。
- 主要摄影机位置到 LED 的距离。
- 演员/布景到 LED 的最小距离。
- 各区段的像素间距和处理器分辨率。
- 预期内视锥覆盖范围和超扫描范围。
- 仅用于照明/反射的非摄影机画面 LED。
- 关于摩尔纹、拼缝、角度和反射的风险说明。
面向 Unreal 的系统拓扑
**有日期的引擎细节:**Epic 的 nDisplay 文档描述了一种集群,其中包含一个主节点和任意数量的次要节点。每个 Unreal 实例会为一个或多个显示器渲染一个或多个视口。共享的 nDisplay 配置资源会记录集群 PC、窗口、视口、显示几何体、投影策略、输出映射、摄影机和变换。Switchboard 负责启动集群。
典型的 ICVFX 拓扑:
- 房屋同步/主时钟,为摄影机、视频设备、GPU 同步和其他对时序要求严格的系统提供同步信号。
- 配备摄影机跟踪和镜头编码器数据的制作摄影机。
- 跟踪服务器或跟踪供应商系统,用于发送摄影机变换数据以及可能的镜头数据。
- 用于设置、Switchboard、Remote Control 和集群控制的 Unreal 主控/操作员工作站。
- 驱动墙面处理器或 GPU 输出的 nDisplay 渲染节点。
- 在 Multi-User Editing 中使用的可选 Unreal 编辑器/技术美术工作站。
- 使用 Take Recorder 或同等采集工具记录摄影机、镜头、灯光、道具和镜头状态数据的可选录制工作站。
- 用于实时 Composure/绿幕备用方案的可选合成工作站。
- 视频监看区、波形图/矢量示波器/色彩工具,以及录制/播放系统。
- 受保护的高吞吐量局域网,用于承载 Unreal、跟踪、Live Link、Switchboard、源代码管理和监看流量。
nDisplay 几何、投影和视锥
**引擎信息(有日期):**除非另有说明,nDisplay 配置中的物理/虚拟测量值以米和度为单位;窗口和视口值以像素为单位。屏幕配置定义 3D 空间中的矩形,通常与物理显示表面相匹配。视口将内容渲染到应用程序窗口的矩形区域中。投影策略定义视图的渲染方式,包括简单的平面屏幕和 MPCDI、VIOSO、EasyBlend、DomeProjection、网格以及手动/摄像机策略等校准投影方法。Epic 的配置参考文档指出,nDisplay 目前支持 MPCDI 1.0、2D 和 A3D 配置文件类型。
对于 ICVFX Agent,关键要点如下:
- 物理 LED 几何、nDisplay 屏幕/网格几何和舞台坐标系必须保持一致。
- 跟踪摄像机必须与 nDisplay 根节点和虚拟环境解析到相同的原点和坐标轴。
- 内视锥视图应从摄像机视角渲染,并设置足够的过扫描,以应对延迟、跟踪抖动、镜头呼吸、摄像机运动和操作安全需求。
- 外视锥应优先保证光照和反射稳定。它不应随摄像机滑动,以免反射看起来像是附着在镜头上。
- 校准过的弧形或不规则显示屏通常需要适当的投影/校准策略,而不是将其假设为平面屏幕。
请索取或生成以下 nDisplay 资料:
- nDisplay Config Asset,或适用时导出的
.ndisplay/.cfg。 - 集群节点列表:主机名/IP、GPU ID、应用程序窗口、视口、处理器映射和故障转移预期。
- 显示几何:实际测量值、坐标原点、屏幕法线、弧半径、天花板/地板关系,以及使用到的网格/校准文件。
- ICVFX 摄像机设置:内/外视锥设置、过扫描、可用时的柔边/羽化、隐藏标记、绿色备用状态,以及使用多 GPU 时的 GPU 分配。
内容和性能
ICVFX 内容属于舞台软件。创作时必须保证实时播放的确定性,而不仅仅是在编辑器视口中通过视觉验收。
制作经验法则:
- 可靠性至关重要时,应为每个镜头创建专用关卡或镜头状态,而不是使用一个包罗万象的大型场景。
- 优先使用烘焙光照、优化的反射策略和稳定的 LOD;只有在实际集群和引擎版本上经过测试后,才使用 Nanite/Lumen/Virtual Shadow Maps。
- 除非经过集群负载测试,否则应避免临时加入高频纹理、密集植被闪烁、微小自发光细节、依赖屏幕空间的效果、重度半透明、密集粒子效果,以及开销巨大的动态 GI。
- 为每个镜头或每个排练状态锁定曝光、颜色变换、关卡变体、一天中的时间和交互控件。
- 按内视锥摄像机运动的最坏情况预留预算,而不是按编辑器预览的平均情况计算。
**已记录的事实:**Epic 警告,在 nDisplay ICVFX 环境中应避免使用 SSGI、SSAO、SSR、渐晕、眼适应和泛光等屏幕空间效果,因为这些效果可能导致集群节点之间的边界出现问题。应将此视为重要的审核项,而不是风格偏好。
性能检查应包括:
- 每个节点的集群帧时间。
- 内视锥与外视锥的开销。
- GPU、CPU、网络、存储和视频 I/O 余量。
- 使用高速运动物体进行节点边界测试。
- 使用制作摄像机、真实跟踪、真实 LED 亮度和最终色彩路径进行排练。
跟踪与镜头校准
文档记载: Unreal Live Link 是一个可扩展框架,用于向 Unreal 实时流式传输数据,支持摄像机、灯光、变换、角色和基础数据等角色。Live Link 源负责管理传入的数据;主体则是数据流。Live Link 可使用引擎时间、最新帧或时间码进行评估。Epic 警告,如果引擎没有 Timecode 提供程序,请勿使用 Timecode 评估模式。UDP Messaging 可能需要显式配置网络适配器;在打包游戏中使用消息总线工作流时,可能需要添加 -messaging。
文档记载: Epic 的 Camera Calibration 插件会创建 Lens File 资源,其中包含用于摄像机/镜头对齐和镜头畸变校正的校准数据。它支持对镜头畸变和节点偏移进行建模的工作流,并可将畸变应用于 Cine Camera Actor 或 Composure CG 图层。
实用校准方案:
- 将跟踪系统的坐标系与 Unreal 轴向和舞台原点对齐。
- 校准摄像机机身跟踪偏移,即跟踪器刚体到光学中心/节点的偏移。
- 为每台摄像机/镜头/编码器范围准备 Lens File 或同等校准数据。
- 根据实际情况校准畸变、焦距、对焦、光圈、入瞳/节点偏移和呼吸效应。
- 对齐视频、跟踪、镜头元数据与 Unreal 帧评估的时间。
- 保存测试图表拍摄结果及求解残差/误差说明。
制作经验:
- 更换镜头、摄像机机身、跟踪器安装位置或对焦马达后,或者温度大幅变化、舞台原点调整后,都应重新校准。
- 摄像机的视觉效果可能接近正确,但时间上却不正确。如果移动时视差出现游移,应先检查延迟/时间码,再归咎于空间校准。
- 即使镜头看似锁定,也应跟踪并记录镜头元数据;这些记录有助于剪辑、VFX 和故障排查。
- 仅当隐藏跟踪标记位于最终裁切范围之外,或计划在后期移除时,才将其用作绿幕回退方案。
时间码、Genlock 与同步
文档记载: Epic 区分时间码与 genlock。时间码会让 Unreal 采用指定来源的时间码值;genlock 则将引擎帧生成锁定到视频/参考输入,使 Unreal 对每个输入帧生成一帧输出。Unreal 可通过 Timecode Provider 面板或 stat timecode 显示时间码。
文档记载: Epic 的 nDisplay 同步文档将软件同步与硬件/操作系统显示同步区分开来。软件屏障用于协调各节点的模拟/渲染时序。硬件同步使用专业 GPU/同步卡和共享时钟,以无撕裂的方式显示帧。Epic 将 genlock 与 framelock 结合描述为虚拟制作的理想方案,并列出 nDisplay 渲染同步策略:None、Ethernet、NVIDIA 和 Custom。NVIDIA 策略通过 NVIDIA SwapLock API 使用硬件 framelock。Epic 建议使用快速移动并穿越显示边界的物体来测试同步。
舞台同步方案应回答以下问题:
- 场馆帧率和参考格式是什么?
- 哪台设备是主时钟?如何分发同步信号?
- 摄像机、跟踪、视频 I/O、Unreal、渲染节点、LED 处理器、录像机和监视器是否全部锁定,或明确处于自由运行状态?
- Live Link 的评估模式和缓冲/偏移策略是什么?
- nDisplay 渲染同步策略是什么?
- 摄像机开始拍摄前如何验证同步?
故障示例:
- 撕裂或单个节点边缘不连续:检查 nDisplay 渲染同步策略、GPU 同步线缆、Mosaic/Eyefinity、驱动程序/控制面板的同步状态,以及节点帧时间。
- 静止画面对齐正确,但移动时视差游移:检查时间码提供程序、Live Link 评估、跟踪延迟、镜头数据延迟,以及摄像机/视频路径延迟。
- 节点间歇性掉线:检查网络超时、节点健康状况、故障转移策略、温度/电源状态和 Stage Monitor 事件。
色彩管线、OCIO 与 LED 的实际情况
文档事实: OpenColorIO 是面向电影制作、VFX 和计算机动画的色彩管理解决方案。OCIO 兼容 ACES,并支持复杂的制作配置。ACES 是一项行业标准,用于在制作生命周期中管理色彩和数字文件,涵盖拍摄、剪辑、VFX、母版制作、放映、归档和重新制作。
有日期标注的引擎细节: Unreal Engine 5 支持 OCIO v2。Unreal 可对媒体源、视口/PIE、Composure、Movie Render Queue 和 nDisplay 渲染应用 OCIO,包括整个集群、内层视锥或单个节点。Unreal 使用 OpenColorIO Configuration Asset,并引用 .ocio 配置文件。
文档事实: Epic 的 ICVFX 概览建议通过实拍摄影机检查最终图像,在片场使用 LED 幕墙作为光源测试实拍素材,在需要保持一致性时避免不同镜头之间更换摄影机,并禁用 Unreal 色调映射器,使引擎输出到 LED 面板的内容以线性 sRGB 作为输入,使用 ShowFlag.Tonemapper 0。
制作经验法则:采用 OCIO 或 ACES 术语,并不意味着幕墙已经过校准。仍需进行 LED 实测校准、处理器和摄影机测试、监看变换、摄影机视角验证,并控制观看条件。
色彩计划应包含:
- 节目色彩管线:摄影机 Log/色彩空间、片场 LUT、OCIO 配置、LED 处理器校准/LUT、监视器变换、实时合成变换、每日样片变换,以及交付色彩预期。
- 变换的负责人:色彩科学家/DIT、虚拟美术部门、Unreal 操作员、LED 技术人员、合成主管。
- 参考拍摄素材:灰卡、色卡、肤色、关键道具、实景灯、反光/镀铬参考物,以及通过拍摄摄影机拍摄的静帧。
- LED 测量:亮度设置、白点、原色/色域表现、面板均匀度、黑位、扫描/刷新限制、视角导致的色偏,以及处理器设置。
- 记录:确切的 OCIO 配置哈希值/版本、LED 处理器项目、Unreal 项目提交版本/构建版本、媒体配置文件、节目 LUT、摄影机 LUT、监视器 LUT,以及针对具体拍摄条次的调整。
制作经验法则:
- 不要假定 LED 幕墙是参考监视器。它既是光源、背景,也是会产生依赖摄影机的表现的反射环境。
- 应通过摄影机管线进行验证,而不只是凭肉眼查看幕墙。
- 如果 LED 内容主要用于反射/照明,色彩决策可以优先考虑可信的光线效果,而非只追求幕墙画面的美观。
- 避免未记录的逐节点或处理器端调整。这些调整日后重建的成本很高。
灯光、反射与实景融合
当实体前景、LED 光、实景灯和虚拟环境彼此协调时,ICVFX 才能成功。
检查清单:
- 确定 LED 承担主光、补光、环境光、反射、背景中的哪些作用,或是否兼具所有作用。
- 让虚拟太阳/天空/实景灯与实体布景灯光的方向、柔和度、强度和色彩相匹配。
- 当反光道具、车辆、头盔、眼镜、水面或抛光地面需要可信的环境覆盖时,使用 LED 顶部/侧面延展屏。
- 使用服装、肤色、头发、玻璃、镀铬物和深色道具测试曝光与黑位。
- 让高反光物体参与排练;它们能暴露幕墙缝隙、顶部缺失、处理器接缝和外层视锥错误。
- 规划负补光和实体遮光板。LED 幕墙可能造成过度补光,使面部显得扁平。
- 如果实体灯光必须占主导,确保幕墙内容在拍摄摄影机的曝光下仍能正确呈现。
制作经验法则:反射通常比直接背景更早暴露 ICVFX 错误。舞台测试应包含镀铬球、灰球、色卡和具有代表性的主要道具。
摩尔纹、扫描条纹、滚动条纹及其他 LED 瑕疵
瑕疵排查:
- 摩尔纹:面板像素网格与相机传感器/感光点阵列或焦平面相互作用。可通过调整相机距离、焦点、光圈/景深、镜头、焦距、角度、墙面内容的频率、像素间距或面板选择来缓解。
- 扫描/滚动条纹:相机快门/扫描与 LED 刷新/扫描/处理器设置发生冲突。可通过测试快门角度、帧率、相位、LED 刷新设置、相机同步和处理器配置来缓解。
- 面板接缝/箱体不匹配:原因可能是校准、亮度/颜色不匹配、物理对齐、热漂移,或内容跨越箱体边界。
- 节点接缝:原因可能是 nDisplay 同步、颜色变换不匹配、投影不匹配、曝光/眼睛适应、屏幕空间效果或场景状态不一致。
- LED 结构反射:反光道具中的墙面过于清晰/靠近/明亮;可增加柔光、改变角度、更改内容、使用实体反光板,或规划合成清理。
务必通过拍摄用相机诊断瑕疵,并记录测试条件。只检查墙面可能会漏掉相机传感器交互造成的问题。
排练、职责与片场控制
严肃的 ICVFX 项目所需的最低岗位配置:
- 导演/摄影指导:镜头意图、镜头选择、曝光、走位和灯光审美。
- 虚拟制作主管:统筹影棚、相机、Unreal、跟踪、色彩和工作流方面的技术与创意工作。
- Unreal/nDisplay 操作员:集群、关卡、ICVFX 相机、Switchboard、场景状态。
- 跟踪/镜头技术员:相机跟踪状态、镜头数据、校准和延迟检查。
- LED 工程师/处理器操作员:处理器映射、亮度、扫描、面板状态和校准。
- DIT/色彩科学家:色彩管线、监看、色卡、LUT/OCIO 记录。
- VAD/技术美术师:优化内容、布景、灯光状态和修复。
- 灯光师/主器械师:将实体灯光与器材整合到 LED 输出中。
- 场记/数据管理员:记录每条拍摄、状态变更、事件和元数据。
排练应包括:
- 使用最终镜头、对焦/光圈和拍摄快门速度,以实际速度完成完整相机运动。
- 节点边界和视锥边界压力测试。
- 使用类似色卡的内容以及主要戏服/道具进行摩尔纹测试。
- 跟踪丢失/遮挡测试和恢复流程。
- 绿色备用状态和实时合成检查。
- 从快照恢复或从源代码管理回滚的测试。
- 数据记录测试:相机、镜头、时间码、跟踪、Unreal 状态、色彩、LED 设置和拍摄命名。
实时合成与绿色备用方案
**有文档记载的事实:**Epic 记录了一种备用方案:内视锥可变为绿幕并显示可调跟踪标记,同时外视锥继续显示 Unreal 环境,用于照明和反射。这能减少所需的绿幕面积、降低绿色溢色,并保留 LED 照明/反射的优势。Composure 是 Unreal 的实时合成框架,可包含实时视频源、AR 合成、抠像、垃圾遮罩、色彩校正和镜头畸变。
备用方案规划:
- 拍摄前确定哪些镜头以最终像素为目标、哪些采用实时合成,哪些采用绿色备用方案。
- 准备带标记的绿色内视锥状态,并规划溢色预期、垃圾遮罩策略和匹配的色彩管线。
- 如果外视锥环境有利于前景照明/反射,则保持其启用。
- 记录干净底片、跟踪、镜头数据、时间码、Unreal 场景状态、墙面状态和实时合成预览。
- 除非已定义合成管线和交付规格,否则不要承诺实时合成预览等同于最终后期质量。
监控、事故与记录
已记录的事实: Epic 将 Stage Monitor 描述为一种工具,用于在现场搭建中接收来自多个 Unreal 实例的事件报告;Timed Data Monitor 则可用于配置和可视化传入的定时数据(如 SDI 帧和 Live Link 跟踪数据)与引擎时间之间的关系。Level Snapshots 可以保存和恢复 Actor 配置,并帮助在不同拍摄之间重置虚拟环境。
使用监控来查明发生了什么变化,而不只是查明出了什么问题。
每个搭建/拍摄至少应记录:
- Unreal 项目版本/提交、打包构建、地图/关卡、Level Snapshot 或镜头状态。
- nDisplay 配置、Switchboard 配置、渲染节点列表,以及可用时的 GPU/驱动程序版本。
- Live Link 来源/主题/评估模式、时间码提供程序、自定义时间步进/genlock 状态。
- 摄影机机身、传感器模式、帧率、快门、ISO/EI、镜头、焦距、焦点、光圈、滤镜。
- Lens File/校准版本和跟踪器刚体偏移。
- LED 处理器项目、亮度、刷新率/扫描设置、屏幕校准、当前内容版本。
- OCIO 配置、现场 LUT、监视器 LUT、摄影机 LUT、各节点变换。
- 安全/权利/数据状态:舞台主管审批、闪光/亮度记录、移动设备/激光/跟踪限制、素材/底片/商标许可、肖像/扫描同意范围,以及跟踪、镜头、拍摄、见证摄影机和扫描数据的保留/访问规则。
- 事故日志:时间码、拍摄、症状、疑似原因、修复方法、复测结果,以及是否需要告知剪辑/VFX。
QA 与交接
不要只交付漂亮的镜头,还要交付证据。
拍摄前 QA:
- 舞台几何结构与 nDisplay 几何结构一致。
- 合格的舞台主管已审核配电、吊挂、疏散通道、热量、移动设备、跟踪发射、LED 亮度/闪烁/光敏风险、表演者福利安排、权利许可、同意以及数据保留规则。
- 已在拍摄距离和镜头设置下测试摄影机/镜头/跟踪校准。
- 主时钟同步、时间码、Live Link 定时和 nDisplay 同步均通过边界测试。
- 所有渲染节点上的内容都能以目标帧率运行,并留有余量。
- 已审核屏幕空间效果和自动曝光/眼睛适应风险。
- 已记录并通过拍摄摄影机验证色彩路径。
- 已拍摄并检查摩尔纹/扫描测试。
- 已演练绿色备用方案。
拍摄日 QA:
- 每次搭建前确认时间码/genlock/集群状态正常。
- 每次重大灯光或内容变更开始时,拍摄色卡/参考画面。
- 记录每次内容、色彩、处理器、摄影机、镜头、跟踪和同步变更。
- 物理设置变更后重新检查校准。
- 留存事故证据,而不只是口头记录。
交接包:
- 镜头/拍摄清单,并注明最终像素/实时合成/备用方案状态。
- 可用时提供摄影机原片、音频/时间码参考和视频村参考。
- 跟踪和镜头元数据。
- Unreal 项目/构建参考、nDisplay 配置、Level Snapshots/镜头状态、拍摄录制内容和内容版本。
- 色彩/OCIO/LUT/LED 处理器记录。
- 校准素材和校准报告。
- 事故日志和已知限制。
- 提供给剪辑/VFX 的说明:哪些位置预计会出现屏幕瑕疵、实时合成、绿色备用方案或需要清理。
完整示例:汽车流程最终像素候选方案
示例,并非强制采用的公式。
制作意图:黄昏时分,透过挡风玻璃和侧窗拍摄停着的汽车内的对话,玻璃和车漆上有移动的城市倒影。导演希望背景尽可能采用最终像素方案,但对于两个风险较高的角度,剪辑环节可以接受实时合成作为备用方案。
输入和限制:
- 汽车后方及周围设有弧形 LED 墙,另有用于反射的天花板灯带。
- 摄影机 A:24 fps、180 度快门、35 mm 和 50 mm 镜头,以固定机位和小幅滑轨移动为主。
- 挡风玻璃反光强烈,车漆为黑色,演员戴眼镜。
- 使用 Unreal/nDisplay 集群驱动 LED 墙各区域;滑轨摄影机可进行跟踪。
推荐方案:
- 将广角和中景镜头归类为最终像素候选,将挡风玻璃反射特写和极端侧角度镜头归类为备用方案候选。
- 构建特定镜头的 Unreal 状态:黄昏街景、交通灯掠过、店面视差,以及仅用于反射的侧面/天花板内容。
- 在实际摄影机距离下测试像素间距和摩尔纹,分别对焦挡风玻璃、演员和背景。优先对焦演员,并让 LED 画面保持适度柔焦。
- 针对镜头中使用的 35 mm 和 50 mm 焦段,校准跟踪摄影机和镜头。即使拍摄固定机位镜头,也要记录镜头编码器数据。
- 将内视锥用于摄影机可见的背景,并留出超扫描;外侧/天花板视锥保持稳定,用于照明和反射。
- 禁用或替换会造成节点接缝的屏幕空间效果。测试交通灯运动经过处理器和节点边界时的表现。
- 构建绿色的内视锥备用方案,同时让外视锥继续显示城市灯光/反射。
- 透过挡风玻璃拍摄测试图表,并录制 LED 状态下的干净底片。
预期结果:稳定角度采用最终像素拍摄;备用方案拍摄仍能保留有用的挡风玻璃和车漆反射,因为外侧/天花板 LED 仍在运行。
可能的故障模式:
- 远处高楼的窗户或街道网格出现摩尔纹。
- 反射暴露出墙面接缝或缺少天花板。
- 城市灯光移动时,在特定快门/刷新设置下产生扫描条纹。
- 如果跟踪延迟未对齐,视差会漂移。
有意义的变化:
- 如果汽车没有需要重点呈现的反光表面,天花板 LED 的重要性可能较低。
- 如果摄影机完全固定,可以减少跟踪需求,但仍需记录镜头、色彩和同步信息。
- 如果背景必须清晰,在认定最终像素方案可行之前,应测试更小的像素间距或调整调度。
完整示例:故障诊断回复
示例,并非强制采用的公式。
用户请求:“手持移动时,LED 背景在起始标记位置看起来对齐,但移动过程中会在演员身后漂移。静态测试图表看起来正常。我们应该检查什么?”
良好的回复:
- 将此标记为待验证的观察结果:静态空间校准可能合格,但时序或动态镜头/跟踪数据可能存在偏差。
- 检查 timecode/genlock:确认 Unreal 使用了预期的 Timecode Provider 和 Custom TimeStep,并通过 Timecode Provider 面板或
stat timecode确认帧率。 - 检查 Live Link 评估模式和偏移:如果使用 Timecode 模式,确认引擎有 Timecode provider;否则,使用受控偏移测试 engine-time/latest 模式。
- 检查跟踪延迟和平滑:测试时禁用过度平滑,将快速摇摄/平移与已知标记进行比较,并检查 Timed Data Monitor。
- 检查镜头元数据延迟:焦距/对焦/光圈更新可能滞后于变换数据,尤其是在拉焦或变焦过程中。
- 在运动状态下检查摄影机与跟踪器之间的刚体偏移和节点标定,而不只是查看静态测试图表。
- 进行可重复的移动测试,配合 timecode 场记板/参考信号,并录制跟踪、镜头和摄影机视频,以便后续分析。
这种结构为何有效:问题症状会随运动发生变化,因此回复会优先处理时序对齐和动态元数据,而不是从头重建空间校准。
完整示例:绿色备用镜头的交接清单
示例,并非强制公式。
制作意图:主角演员位于 LED 照明的外星景观前。最终像素方案失败,因为头盔的浅景深反射中出现了面板结构。内视锥切换为绿色;外视锥仍显示外星景观,用于提供光照和反射。
交接包:
- 将镜头标记为绿色备用方案,而非最终像素方案。
- 摄影机原始素材、时间码和实时合成预览。
- 每个镜头的跟踪数据和镜头元数据。
- Lens File/校准版本和跟踪器偏移量。
- Unreal 项目/构建版本、地图、Level Snapshot、nDisplay 配置和绿色内视锥状态。
- 用于反射的外视锥内容版本和 LED 处理器设置。
- OCIO 配置、摄影机 LUT、监视器 LUT,以及任何实时合成变换。
- 内视锥为绿色、外视锥照明启用且不含演员的干净底片。
- 在相同 LED 状态下,使用拍摄摄影机拍摄的灰阶/镀铬/色彩图表。
- 事件说明:因头盔反射中显现出面板结构而拒绝最终像素方案;预计需要清理头盔边缘反射;有意保留外视锥反射。
预期结果:剪辑和 VFX 团队能够重建预期背景,使用记录的跟踪/镜头数据进行合成,并理解为何应将 LED 反射保留在底片中。