关于 world-labs-marble
World Labs Marble 是用于将文本、图像、视频、全景图或粗略 3D 布局转为可导航、持久化 3D 环境的技能。它介绍网页应用和 World API,并说明编辑及导出选项,适用于制作可复用资产,而不只是视频渲染。
主要功能
- 01从多种输入生成持久化 3D 环境
- 02使用 Chisel 粗模工具控制布局
- 03编辑、扩展和组合环境
- 04导出高斯泼溅、网格、全景图和视频
- 05选择 Marble 网页应用或 World API
适用场景
- 01将照片或地点视频转成可导航空间
- 02制作虚拟制片背景或预演场景
- 03为网页查看器或游戏引擎准备环境
- 04通过 World API 自动生成环境
安装
复制下面的命令,在终端中运行。
npx skills add https:/ / github.com/ calesthio/ generative-media-skills --skill world-labs-marble安装后在 Claude Code 中输入/world-labs-marble确认已加载。
附带文件EVAL.md
详细介绍
World Labs Marble
Marble 是 World Labs 推出的商用多模态世界模型:它能将文本提示词、图像、视频、全景图或粗略的 3D 布景,转换为持久、可下载的 3D 环境,供你探索、编辑、扩展和导出。World Labs 由 Fei-Fei Li 联合创立;Marble 于 2025-11-12 正式全面开放,程序化 World API 于 2026-01-21 发布。(文档有记载;已于 2026-07-10 验证。)
Marble 的标志性特性,也是它区别于大多数“生成式视频”或交互式世界模型的地方:世界会以持久的 3D 几何体形式具象化(Gaussian splats 和/或网格),并由你以文件形式持有,而不是在你行走时逐帧幻觉生成。因此,它可以作为生产用资产,而不只是供人观看的演示。(有文档记载 — worldlabs.ai 博客;已于 2026-07-10 验证。)
何时使用此技能
当交付内容是一个3D 空间时使用:
- 用于 VR(Quest 3、Vision Pro)、网页查看器或游戏引擎的可探索环境。
- 虚拟制片/预可视化背景、布景灰模,或需要经得起多个镜头角度检验的环境概念。
- 需要按需生成大量世界的程序化流水线(World API)。
- 将单张照片、概念艺术或地点视频转换成可导航的场景。
用户想要平面图像时不要使用 Marble(使用图像模型);想要简短的对话/动作视频片段时也不要使用(使用视频模型);需要实时流式生成无限世界的游戏引擎时同样如此。Marble 世界是范围有限的静态环境——细节极其丰富,但并非内置移动角色或物理效果的模拟。
访问方式(请核实 — 以下信息可能变动)
截至 2026-07-10,有两种官方访问方式,且均已上线:
| 方式 | 位置 | 身份验证 | 计费 | 最适合 |
|---|---|---|---|---|
| Marble 网页应用 | marble.worldlabs.ai | 账户登录 | 月度订阅(Free/Standard/Pro/Max) | 动手创作、Chisel、Studio(Compose/Record)、交互式编辑 |
| World API | platform.worldlabs.ai,端点基址 api.worldlabs.ai/marble/v1 | WLT-Api-Key header | 预付积分(独立钱包) | 自动化/批量生成、产品集成 |
一个容易忽略的关键事实:**应用积分和 API 积分属于独立钱包。**为 Marble 应用购买的积分不能用于 API,反之亦然。请分别规划预算。(有文档记载 — docs.worldlabs.ai/api/pricing;已于 2026-07-10 验证。)
现已发布专供直接调用 World API 的编码 Agent 使用的 AI Agent 技能(docs.worldlabs.ai/api/agent-skill)。
模型(请慎重选择 — 成本和质量各不相同)
截至 2026-07-10 的文档模型系列(docs.worldlabs.ai/marble/models,发行说明 2026-04-02):
marble-1.1— 推荐的默认选择。生成成本固定,质量有所提升。大多数单场景任务都可以从它开始。marble-1.1-plus— 自动扩展世界:在场景条件允许时,一次生成即可覆盖更大的 3D 空间。成本可变(世界越大,消耗的积分越多)。当你需要通过一次生成获得真正宽广、可步行探索的区域时使用。marble-1.0— 旧版模型;仅在继续旧项目时保留使用。marble-1.0-draft— 速度最快,成本约为其十分之一。用于完整生成前的提示词/迭代探索。草稿输出有意降低了保真度。
生产环境中的经验法则:先用草稿迭代提示词和构图,再将效果最好的提示词/种子升级到 1.1;仅在必须生成大型主视觉场景时使用 1.1 Plus。复用 seed 可在更改单个变量时保持概念稳定。
输入模式及其限制
Marble 支持五种提示词类型。请根据你拥有和需要的控制程度选择模式(文档说明见 docs.worldlabs.ai/marble/create 和 API generate 参考;已于 2026-07-10 验证):
- 文本 — 用自然语言描述世界。自由度最高,但对具体外观的控制最少。适合构思和风格化世界。
- 单张图像 — 将照片或艺术作品转换为 3D。图像确定一个方向的外观;其余部分由 Marble 创作。如果你提供的是等距全景图,Marble 会自动识别。
- 多张图像 — 最多 4 张图像(通过 API 的重建模式最多 8 张),每张图像都标记方向/方位角(Front/Back/Left/Right)或使用 Auto Layout。适用于必须控制世界从多个角度看起来如何的情况。
- 视频 — 拍摄真实地点的短片。格式为 MP4/WebM/MOV/AVI,最大 100 MB(API 限制于 2026-01-29 提高到 100 MB)。最适合展示现有地点的旋转视角或步行穿行视角。
- 360 全景图 — 等距全景图像。它是所有 2D 输入中空间控制力最强的,因为它固定了完整的环绕视野;API 还可以为你生成全景图(
/panoendpoints)。
输入对几何结构的约束越强(全景图 > 多张图像 > 单张图像 > 文本),生成的世界就越可预测,但 Marble 的创作空间也越小。请选择能满足外观需求的最弱约束。(制作经验法则。)
Chisel — 结构/布局控制
Chisel(有文档说明;截至 2026-07-10 的当前名称)是 Marble 的粗略 3D 布局工具。它可以将结构与风格分离:先用 3D 布置空间骨架,再通过文本(或图像)提示词为其赋予外观。
Chisel 提供的功能(见 docs.worldlabs.ai/marble/create/chisel-tools):
- 基本形状 — 方盒和面;用于垂直片段(房间边界)的墙体工具,以及用于创建深度/体积的挤出功能。
- 导入现有 3D 资产 — 可将 GLB 和 FBX 模型作为布局素材导入,并统一调整风格,使其融入生成的世界。
- 全景相机 — 可通过调整相机位置,设置详细生成的起点。
当布局很重要时,请使用 Chisel:例如控制房间比例、门窗位置、建筑轮廓,或匹配真实布景的尺寸。如果纯文本或图像提示词总能生成正确的风格,却给出错误的平面布局,那么 Chisel 就是合适的工具。(制作经验法则。)
编辑、扩展和 Studio 工具
- Create & Edit / AI 原生编辑 — 使用提示词移除或替换物体、修饰局部区域,或为整个世界重新设计风格。可通过全局搜索框使用(发行说明,2026-04-02)。
- Pano Edit — 使用自然语言编辑全景图的指定区域。
- Expand — 选择一个区域并向原有边界之外扩展世界(即“点击并扩展”),或为细节不足/保真度低的区域添加细节。此扩展功能仅限 Pro/Max 订阅套餐使用。
- Variations — 生成保留核心场景的替代版本。
- Compose(Studio)— 完全掌控布局,将多个世界组合在一起;支持将网格导入 Composer(发行说明,2026-01-29)。
- Record(Studio)— 制作电影感的相机飞行镜头,精确控制路径并导出视频;包括可为渲染添加细节和动态元素(例如烟雾、流水)的“增强视频”。
请注意这个重要区别:动态元素只存在于视频导出文件中,不会出现在导出的 3D 几何体里。你下载的 splat/网格是静态的。(官方资料及制作观察;已于 2026-07-10 验证。)
输出格式及其下游适用场景
已记录的导出规范(docs.worldlabs.ai/marble/export/specs 和 mesh;已于 2026-07-10 验证):
| 格式 | 详情 | 下游适用场景 | 等级/限制 |
|---|---|---|---|
| Gaussian splat — SPZ | Marble 原生格式,经过体积优化;约 2M 或 500k 个 splat | Marble 自带渲染器;Spark(Web/Three.js) | 最高视觉保真度 |
| Gaussian splat — PLY | 未压缩,兼容性广 | Blender/Houdini/Unity/Unreal 的 splat 插件 | 保真度相同,文件更大 |
| Collider mesh (GLB) | 约 100–200k 个三角形,约 3–4 MB,生成即时 | 引擎中的物理/碰撞 | Standard+;不用于显示 |
| High-quality mesh (GLB) | 约 600k 个三角形(带纹理)以及约 1M 个三角形(顶点着色),100–200 MB | 可在 DCC/引擎中编辑的几何体 | Pro;生成时间最长约 1 小时;速率限制约 4 次/小时;仅限所有者 |
| 360 panorama (PNG) | 等距柱状投影,2560×1280 | 天空盒、哑光参考图 | — |
| Video | 摄像机路径渲染,可选增强 | 预演、社交媒体、剪辑 | 增强/扩展功能仅限 Pro+ |
选择规则:追求视觉保真度用 Gaussian splat,追求交互用网格。 如果需要外观最佳的结果,且目标平台能渲染 splat(通过 Spark 在 Web 上渲染,或使用引擎插件),请导出 SPZ/PLY。如果需要碰撞、物理效果或密闭且可编辑的对象,请导出网格——物理效果仅用 collider mesh,兼具视觉效果和几何体则用 high-quality mesh。提供两种网格是因为不同场景的重建质量有所差异;请选择更适合重建你场景的版本。(已记录 + 启发式建议。)
坐标注意事项:导出默认使用 OpenCV 坐标。对于基于 OpenGL 的软件,请将 Y 和 Z 缩放为 −1(或选择 2026-01-01 添加的 OpenGL 选项),否则导入的世界会颠倒。(已记录;已于 2026-07-10 验证。)
导入引擎和 DCC 工具
Marble 记录了 Gaussian splat 的导入方式,适用于 Unity、Unreal Engine、Blender 和 Houdini(各自通过对应工具的 Gaussian splatting 插件导入),并支持在自定义 Web/Three.js 应用中使用 Spark;还有开源交互示例,可将世界与渲染和物理效果结合起来(docs.worldlabs.ai/marble/export)。实用方案:
- Web / 轻量级交互应用 → SPZ + Spark(
sparkjs.dev)。 - Unity / Unreal → 使用引擎的 splat 插件导入 PLY splat 以显示视觉效果;同时使用 collider mesh GLB 实现物理效果。
- Blender / Houdini(外观开发、哑光、VFX)→ PLY splat 或 high-quality mesh。
由于大多数引擎中的 splat 渲染仍依赖第三方插件,在确定仅使用 splat 的管线前,请确认目标引擎/版本具有可正常工作的 Gaussian splat 渲染器;若没有,则改用 high-quality mesh。(生产实践建议。)
定价与额度(可能变动——购买时请核实)
Marble 应用订阅等级(经次级来源 The Batch / deeplearning.ai 和文档交叉验证;已于 2026-07-10 验证——使用前请确认实时价格和数量):
| 等级 | 价格 | 每月生成次数 | 主要解锁功能 |
|---|---|---|---|
| Free | $0 | 约 4 次 | 文本、单张图片或 360 panorama |
| Standard | 约 $20/月 | 约 12 次 | 多图、视频、3D 布局输入;编辑;导出 collider mesh |
| Pro | 约 $35/月 | 约 25 次 | 扩展、视频增强、导出 high-quality mesh、商业使用权 |
| Max | 约 $95/月 | 约 75 次 | 全部功能,最高使用量 |
World API 额度(已记录——docs.worldlabs.ai/api/pricing;已于 2026-07-10 验证):
- 每 1,250 个额度 $1.00;最低购买额为 $5.00(6,250 个额度)。
- API 额度不会过期;可配置自动充值;余额用尽时返回 402。
- 每次生成的费用:draft 约 150–250 个额度(从图像生成全景时最便宜);1.0 / 1.1 约 1,500–1,600 个额度;1.1 Plus 基础约 1,500 个额度,并根据世界大小增至约 3,000 个额度(可变的“动态立方体”费用)。
粗略估算:一个完整画质的 API 世界(约 1,500 个额度)≈ $1.20;一个 draft ≈ $0.12–$0.20。请据此安排预算,并先用 draft 探查效果。
能力限制(请提前向用户说明)
- 静态且边界有限的世界。 导出的几何体中没有内置的移动对象、动画或模拟;动态效果仅出现在视频渲染中。
- 世界大小有限;1.1 Plus 和 Expand 可以扩大边界,但无法生成无限延展的流式世界。
- 重建瑕疵在细小结构、透明或反光表面,以及输入从未展示过的区域(被遮挡的背面、底面)中很常见。Marble 会以合理但不准确的方式补全未展示区域。
- 高质量网格生成最多需要约 1 小时,且有速率限制(约 4 次/小时),仅限 Pro 层级和所有者使用。
- 移动应用支持有限,不如桌面端。
(有文档记录且经官方来源证实;核验日期:2026-07-10。)
生成世界的质量评审标准
评审 Marble 世界是否适合生产使用时,请实际走动查看(不要只扫一眼)并检查:
- 接缝和孔洞 — 环绕移动摄像机;检查扩展区域或全景图边缘交界处是否有撕裂,以及前景物体后方是否有悬浮或缺失的几何体。
- 地面 — 地面是否连贯平整,还是凹陷或扭曲?这对游戏白盒和物理模拟尤为重要。
- 遮挡区域 — 输入从未展示过的侧面和背面最薄弱;判断摄像机是否会看到这些区域。
- 细小、透明或反光元素 — 栏杆、植物、玻璃、水:这些通常是瑕疵来源。判断网格导出能否满足要求,还是应该继续使用 splat。
- 比例 — 使用真实世界单位缩放(新增于 2026-01-01)时,导入前请确认尺寸与场景或引擎相符。
- 风格一致性 — 编辑或合成后,确认光照和风格呈现为连贯统一的空间,而非拼接出来的碎片。
- 格式适配 — 是否导出了正确格式(外观用 splat,物理模拟用碰撞体),目标渲染器是否实际支持该格式?
如果瑕疵只出现在预期摄像机路径之外,世界可能已经可以直接用于生产。如果瑕疵出现在镜头内,优先考虑使用 Expand/编辑,或使用更强的输入重新生成(添加全景图或多张图像),而不是在 DCC 中修补。(生产经验法则。)
权利与许可(务必确认——这关系到商业交付)
有文档记录 / 经官方来源证实(worldlabs.ai 服务条款和产品文档;核验日期:2026-07-10):
- 免费层级输出:World Labs 保留权利;用户获得可撤销的非独占许可,仅可用于个人非商业用途。
- 付费层级输出:用户拥有输出内容,可将其用于商业用途,但 World Labs 自身的产品、技术和 IP 除外;具体以服务条款为准。
- 在 Marble 产品自身的层级划分中,商业使用权仅适用于 Pro 和 Max。即使 Standard 属于付费层级,交付时也应将其视为实际上不可用于商业用途;在交付客户项目之前,务必核实当前层级的商业授权是否已在现行服务条款中明确授予。(应用层级限制与服务条款中“付费账户”的表述存在已知歧义——请根据具体套餐对照现行条款确认,不要自行假定。)
- 您有责任确保输入内容合规:请勿将您无权使用的受版权保护图像、商标材料或真人肖像输入到计划分发的世界中。
向用户提供建议时,务必让推荐的套餐与预期用途相符:商业交付需要 Pro 或更高层级(或付费 API 权限)——为客户项目推荐免费层级属于权利问题处理错误。
完整示例(含标签;请调整使用,不要逐字照搬)
示例 A — 虚构地点的 VR 漫游体验(Web 应用,全景图输入)
- **意图:**为 Quest 3 Web 体验创建一个可探索的 VR 场景,内容是「覆满苔藓的废弃地铁站台」。
- **模型/路线:**Marble Web 应用;使用
marble-1.0-draft进行探索,再用marble-1.1完成定稿。 - 输入及原因:从360 全景图(渲染或拍摄)开始,而不是文本——全景图固定了完整的环绕视野,因此无论头部朝向哪个方向,站台都能保持连贯,这正是 VR 的要求。
- **工作流:**生成草稿 → 检查地面和接缝 → 将提示词和种子升级到 1.1 → 使用 Expand 延长隧道口和站台 → 导出 SPZ → 在 Web 上使用 Spark 渲染。
- **参数:**在草稿→定稿过程中重复使用
seed;审核前将世界设为私有。 - **预期结果:**无缝、可行走的站台,即使头部自由转动也能保持效果。
- **可能的失败模式:**地面变形、扩展后隧道口边缘出现瑕疵、细栏杆撕裂——导出前通过环绕查看进行检查。
- **变体:**如果有参考照片,可使用多张图像(4 个角度);如果 VR 应用需要碰撞效果,则导出网格。
示例 B — 与指定平面图匹配的游戏环境白盒(Chisel)
- **意图:**为 Unity 灰盒搭建创建一个初步可玩的双房间室内场景,并指定门的位置。
- **路线/模型:**Web 应用,Chisel →
marble-1.1。 - **输入及原因:**使用 Chisel,因为约束条件是布局。文本提示词能生成正确的风格,却无法匹配平面图;在 3D 中摆放墙壁和门可以固定几何形状,而提示词只负责设定风格。
- 工作流:用墙壁工具搭建两个房间和门口 → 将全景相机放置在游戏起始点 → 输入提示词「仓库办公室、破旧混凝土、荧光灯」→ 生成 → 导出碰撞体网格 GLB(物理效果)+ PLY splat(视觉效果)→ 将两者导入 Unity(splat 插件 + 碰撞体)。
- **预期结果:**比例和门的位置符合预期平面图;可以基于真实碰撞体开始灰盒搭建。
- **可能的失败模式:**碰撞体网格过于粗糙,无法支持精确交互(其设计用途本就是简单碰撞);之后需要高质量网格进行视觉润色。
- **变体:**将现有的 GLB/FBX 道具导入 Chisel,使其重新融入场景风格。
示例 C — 通过 World API 批量生成背景(编程方式)
-
**意图:**在夜间无人值守的情况下,为虚拟制片的预灯光环节生成 30 个各不相同的「外星沙漠」背景。
-
**路线/模型:**World API,
marble-1.1(固定成本,预算更可预测)。 -
请求(示例 JSON 请求体,发送至
POST api.worldlabs.ai/marble/v1/worlds:generate,请求头为WLT-Api-Key):{ "world_prompt": { "type": "text", "text_prompt": "vast alien desert, twin suns, wind-carved rock arches" }, "display_name": "alien-desert-07", "model": "marble-1.1", "seed": 7, "tags": ["previz", "desert"], "permission": { "public": false } } -
**异步处理:**调用会返回
operation_id;轮询/operations/{operation_id},直到状态变为done,然后读取世界并调用 export 端点导出 SPZ。成功后会报告费用(cost)。 -
**预算:**每个约 1,500 个点数 ≈ 约 $1.20 × 30 ≈ API 点数约 $36;先用 draft 探索一两个提示词,以确定措辞。
-
**预期结果:**生成 30 个各不相同的私有世界,可随时导入虚拟制片工具链。
-
可能的失败模式:点数余额不足时返回 402(启用自动充值);不同提示词使用相同种子导致结果雷同(同时更换种子和提示词);未经草稿探索就直接使用 1.1 Plus,导致超支。
来源(已核实,除非另有注明,日期为 2026-07-10)
主要来源 / 一手资料:
- Marble 文档主页与索引 — https://docs.worldlabs.ai/,https://docs.worldlabs.ai/llms.txt
- 模型 — https://docs.worldlabs.ai/marble/models.md
- 创建 / 输入模式 — https://docs.worldlabs.ai/marble/create/index.md 和提示词指南
- Chisel — https://docs.worldlabs.ai/marble/create/chisel-tools/chisel-basics.md
- 导出规格与网格 — https://docs.worldlabs.ai/marble/export/specs.md,https://docs.worldlabs.ai/marble/export/mesh.md
- API 定价 — https://docs.worldlabs.ai/api/pricing
- API 生成参考 — https://docs.worldlabs.ai/api/reference/worlds/generate.md
- 订阅与账单 — https://docs.worldlabs.ai/marble/support/account-billing
- 发布说明 — https://docs.worldlabs.ai/marble/release-notes.md
- Marble 发布博客 — https://www.worldlabs.ai/blog/marble-world-model(2025-11-12)
- World API 公告 — https://www.worldlabs.ai/blog/announcing-the-world-api(2026-01-21)
- 更大、更好的世界 — https://www.worldlabs.ai/blog/bigger-better-worlds(测试版 2025-09-16)
- 服务条款 — https://www.worldlabs.ai/terms-of-service
次要来源(已披露方法,仅在一手页面为 SPA 外壳时使用, 例如确切的消费者美元定价档位):
- The Batch / deeplearning.ai — https://www.deeplearning.ai/the-batch/world-labs-makes-its-marble-generative-world-model-public-adds-chisel-editing-tool/
- TechCrunch — https://techcrunch.com/2025/11/12/fei-fei-lis-world-labs-speeds-up-the-world-model-race-with-marble-its-first-commercial-product/
易变信息(模型名称、积分成本、订阅价格、访问途径、 导出限制)均标注了日期;如需据此做出购买或交付决策,请先对照实时文档和定价页面重新核实。