mcpField
W
world-labs-marble

world-labs-marble

github.com/calesthio创意与媒体219102 次安装15 周前更新
代码仓库

关于 world-labs-marble

World Labs Marble 是用于将文本、图像、视频、全景图或粗略 3D 布局转为可导航、持久化 3D 环境的技能。它介绍网页应用和 World API,并说明编辑及导出选项,适用于制作可复用资产,而不只是视频渲染。

主要功能

  1. 01从多种输入生成持久化 3D 环境
  2. 02使用 Chisel 粗模工具控制布局
  3. 03编辑、扩展和组合环境
  4. 04导出高斯泼溅、网格、全景图和视频
  5. 05选择 Marble 网页应用或 World API

适用场景

  1. 01将照片或地点视频转成可导航空间
  2. 02制作虚拟制片背景或预演场景
  3. 03为网页查看器或游戏引擎准备环境
  4. 04通过 World API 自动生成环境

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/calesthio/generative-media-skills --skill world-labs-marble

安装后在 Claude Code 中输入/world-labs-marble确认已加载。

附带文件EVAL.md

详细介绍

World Labs Marble

Marble 是 World Labs 推出的商用多模态世界模型:它能将文本提示词、图像、视频、全景图或粗略的 3D 布景,转换为持久、可下载的 3D 环境,供你探索、编辑、扩展和导出。World Labs 由 Fei-Fei Li 联合创立;Marble 于 2025-11-12 正式全面开放,程序化 World API 于 2026-01-21 发布。(文档有记载;已于 2026-07-10 验证。)

Marble 的标志性特性,也是它区别于大多数“生成式视频”或交互式世界模型的地方:世界会以持久的 3D 几何体形式具象化(Gaussian splats 和/或网格),并由你以文件形式持有,而不是在你行走时逐帧幻觉生成。因此,它可以作为生产用资产,而不只是供人观看的演示。(有文档记载 — worldlabs.ai 博客;已于 2026-07-10 验证。)

何时使用此技能

当交付内容是一个3D 空间时使用:

  • 用于 VR(Quest 3、Vision Pro)、网页查看器或游戏引擎的可探索环境。
  • 虚拟制片/预可视化背景、布景灰模,或需要经得起多个镜头角度检验的环境概念。
  • 需要按需生成大量世界的程序化流水线(World API)。
  • 将单张照片、概念艺术或地点视频转换成可导航的场景。

用户想要平面图像时不要使用 Marble(使用图像模型);想要简短的对话/动作视频片段时也不要使用(使用视频模型);需要实时流式生成无限世界的游戏引擎时同样如此。Marble 世界是范围有限的静态环境——细节极其丰富,但并非内置移动角色或物理效果的模拟。

访问方式(请核实 — 以下信息可能变动)

截至 2026-07-10,有两种官方访问方式,且均已上线:

方式位置身份验证计费最适合
Marble 网页应用marble.worldlabs.ai账户登录月度订阅(Free/Standard/Pro/Max)动手创作、Chisel、Studio(Compose/Record)、交互式编辑
World APIplatform.worldlabs.ai,端点基址 api.worldlabs.ai/marble/v1WLT-Api-Key header预付积分(独立钱包)自动化/批量生成、产品集成

一个容易忽略的关键事实:**应用积分和 API 积分属于独立钱包。**为 Marble 应用购买的积分不能用于 API,反之亦然。请分别规划预算。(有文档记载 — docs.worldlabs.ai/api/pricing;已于 2026-07-10 验证。)

现已发布专供直接调用 World API 的编码 Agent 使用的 AI Agent 技能(docs.worldlabs.ai/api/agent-skill)。

模型(请慎重选择 — 成本和质量各不相同)

截至 2026-07-10 的文档模型系列(docs.worldlabs.ai/marble/models,发行说明 2026-04-02):

  • marble-1.1 — 推荐的默认选择。生成成本固定,质量有所提升。大多数单场景任务都可以从它开始。
  • marble-1.1-plus — 自动扩展世界:在场景条件允许时,一次生成即可覆盖更大的 3D 空间。成本可变(世界越大,消耗的积分越多)。当你需要通过一次生成获得真正宽广、可步行探索的区域时使用。
  • marble-1.0 — 旧版模型;仅在继续旧项目时保留使用。
  • marble-1.0-draft — 速度最快,成本约为其十分之一。用于完整生成前的提示词/迭代探索。草稿输出有意降低了保真度。

生产环境中的经验法则:先用草稿迭代提示词和构图,再将效果最好的提示词/种子升级到 1.1;仅在必须生成大型主视觉场景时使用 1.1 Plus。复用 seed 可在更改单个变量时保持概念稳定。

输入模式及其限制

Marble 支持五种提示词类型。请根据你拥有和需要的控制程度选择模式(文档说明见 docs.worldlabs.ai/marble/create 和 API generate 参考;已于 2026-07-10 验证):

  • 文本 — 用自然语言描述世界。自由度最高,但对具体外观的控制最少。适合构思和风格化世界。
  • 单张图像 — 将照片或艺术作品转换为 3D。图像确定一个方向的外观;其余部分由 Marble 创作。如果你提供的是等距全景图,Marble 会自动识别。
  • 多张图像 — 最多 4 张图像(通过 API 的重建模式最多 8 张),每张图像都标记方向/方位角(Front/Back/Left/Right)或使用 Auto Layout。适用于必须控制世界从多个角度看起来如何的情况。
  • 视频 — 拍摄真实地点的短片。格式为 MP4/WebM/MOV/AVI,最大 100 MB(API 限制于 2026-01-29 提高到 100 MB)。最适合展示现有地点的旋转视角或步行穿行视角。
  • 360 全景图 — 等距全景图像。它是所有 2D 输入中空间控制力最强的,因为它固定了完整的环绕视野;API 还可以为你生成全景图(/pano endpoints)。

输入对几何结构的约束越强(全景图 > 多张图像 > 单张图像 > 文本),生成的世界就越可预测,但 Marble 的创作空间也越小。请选择能满足外观需求的最弱约束。(制作经验法则。)

Chisel — 结构/布局控制

Chisel(有文档说明;截至 2026-07-10 的当前名称)是 Marble 的粗略 3D 布局工具。它可以将结构与风格分离:先用 3D 布置空间骨架,再通过文本(或图像)提示词为其赋予外观。

Chisel 提供的功能(见 docs.worldlabs.ai/marble/create/chisel-tools):

  • 基本形状 — 方盒和面;用于垂直片段(房间边界)的墙体工具,以及用于创建深度/体积的挤出功能。
  • 导入现有 3D 资产 — 可将 GLB 和 FBX 模型作为布局素材导入,并统一调整风格,使其融入生成的世界。
  • 全景相机 — 可通过调整相机位置,设置详细生成的起点。

当布局很重要时,请使用 Chisel:例如控制房间比例、门窗位置、建筑轮廓,或匹配真实布景的尺寸。如果纯文本或图像提示词总能生成正确的风格,却给出错误的平面布局,那么 Chisel 就是合适的工具。(制作经验法则。)

编辑、扩展和 Studio 工具

  • Create & Edit / AI 原生编辑 — 使用提示词移除或替换物体、修饰局部区域,或为整个世界重新设计风格。可通过全局搜索框使用(发行说明,2026-04-02)。
  • Pano Edit — 使用自然语言编辑全景图的指定区域。
  • Expand — 选择一个区域并向原有边界之外扩展世界(即“点击并扩展”),或为细节不足/保真度低的区域添加细节。此扩展功能仅限 Pro/Max 订阅套餐使用。
  • Variations — 生成保留核心场景的替代版本。
  • Compose(Studio)— 完全掌控布局,将多个世界组合在一起;支持将网格导入 Composer(发行说明,2026-01-29)。
  • Record(Studio)— 制作电影感的相机飞行镜头,精确控制路径并导出视频;包括可为渲染添加细节和动态元素(例如烟雾、流水)的“增强视频”。

请注意这个重要区别:动态元素只存在于视频导出文件中,不会出现在导出的 3D 几何体里。你下载的 splat/网格是静态的。(官方资料及制作观察;已于 2026-07-10 验证。)

输出格式及其下游适用场景

已记录的导出规范(docs.worldlabs.ai/marble/export/specs 和 mesh;已于 2026-07-10 验证):

格式详情下游适用场景等级/限制
Gaussian splat — SPZMarble 原生格式,经过体积优化;约 2M 或 500k 个 splatMarble 自带渲染器;Spark(Web/Three.js)最高视觉保真度
Gaussian splat — PLY未压缩,兼容性广Blender/Houdini/Unity/Unreal 的 splat 插件保真度相同,文件更大
Collider mesh (GLB)约 100–200k 个三角形,约 3–4 MB,生成即时引擎中的物理/碰撞Standard+;不用于显示
High-quality mesh (GLB)约 600k 个三角形(带纹理)以及约 1M 个三角形(顶点着色),100–200 MB可在 DCC/引擎中编辑的几何体Pro;生成时间最长约 1 小时;速率限制约 4 次/小时;仅限所有者
360 panorama (PNG)等距柱状投影,2560×1280天空盒、哑光参考图—
Video摄像机路径渲染,可选增强预演、社交媒体、剪辑增强/扩展功能仅限 Pro+

选择规则:追求视觉保真度用 Gaussian splat,追求交互用网格。 如果需要外观最佳的结果,且目标平台能渲染 splat(通过 Spark 在 Web 上渲染,或使用引擎插件),请导出 SPZ/PLY。如果需要碰撞、物理效果或密闭且可编辑的对象,请导出网格——物理效果仅用 collider mesh,兼具视觉效果和几何体则用 high-quality mesh。提供两种网格是因为不同场景的重建质量有所差异;请选择更适合重建你场景的版本。(已记录 + 启发式建议。)

坐标注意事项:导出默认使用 OpenCV 坐标。对于基于 OpenGL 的软件,请将 Y 和 Z 缩放为 −1(或选择 2026-01-01 添加的 OpenGL 选项),否则导入的世界会颠倒。(已记录;已于 2026-07-10 验证。)

导入引擎和 DCC 工具

Marble 记录了 Gaussian splat 的导入方式,适用于 Unity、Unreal Engine、Blender 和 Houdini(各自通过对应工具的 Gaussian splatting 插件导入),并支持在自定义 Web/Three.js 应用中使用 Spark;还有开源交互示例,可将世界与渲染和物理效果结合起来(docs.worldlabs.ai/marble/export)。实用方案:

  • Web / 轻量级交互应用 → SPZ + Spark(sparkjs.dev)。
  • Unity / Unreal → 使用引擎的 splat 插件导入 PLY splat 以显示视觉效果;同时使用 collider mesh GLB 实现物理效果。
  • Blender / Houdini(外观开发、哑光、VFX)→ PLY splat 或 high-quality mesh。

由于大多数引擎中的 splat 渲染仍依赖第三方插件,在确定仅使用 splat 的管线前,请确认目标引擎/版本具有可正常工作的 Gaussian splat 渲染器;若没有,则改用 high-quality mesh。(生产实践建议。)

定价与额度(可能变动——购买时请核实)

Marble 应用订阅等级(经次级来源 The Batch / deeplearning.ai 和文档交叉验证;已于 2026-07-10 验证——使用前请确认实时价格和数量):

等级价格每月生成次数主要解锁功能
Free$0约 4 次文本、单张图片或 360 panorama
Standard约 $20/月约 12 次多图、视频、3D 布局输入;编辑;导出 collider mesh
Pro约 $35/月约 25 次扩展、视频增强、导出 high-quality mesh、商业使用权
Max约 $95/月约 75 次全部功能,最高使用量

World API 额度(已记录——docs.worldlabs.ai/api/pricing;已于 2026-07-10 验证):

  • 每 1,250 个额度 $1.00;最低购买额为 $5.00(6,250 个额度)。
  • API 额度不会过期;可配置自动充值;余额用尽时返回 402。
  • 每次生成的费用:draft 约 150–250 个额度(从图像生成全景时最便宜);1.0 / 1.1 约 1,500–1,600 个额度;1.1 Plus 基础约 1,500 个额度,并根据世界大小增至约 3,000 个额度(可变的“动态立方体”费用)。

粗略估算:一个完整画质的 API 世界(约 1,500 个额度)≈ $1.20;一个 draft ≈ $0.12–$0.20。请据此安排预算,并先用 draft 探查效果。

能力限制(请提前向用户说明)

  • 静态且边界有限的世界。 导出的几何体中没有内置的移动对象、动画或模拟;动态效果仅出现在视频渲染中。
  • 世界大小有限;1.1 Plus 和 Expand 可以扩大边界,但无法生成无限延展的流式世界。
  • 重建瑕疵在细小结构、透明或反光表面,以及输入从未展示过的区域(被遮挡的背面、底面)中很常见。Marble 会以合理但不准确的方式补全未展示区域。
  • 高质量网格生成最多需要约 1 小时,且有速率限制(约 4 次/小时),仅限 Pro 层级和所有者使用。
  • 移动应用支持有限,不如桌面端。

(有文档记录且经官方来源证实;核验日期:2026-07-10。)

生成世界的质量评审标准

评审 Marble 世界是否适合生产使用时,请实际走动查看(不要只扫一眼)并检查:

  1. 接缝和孔洞 — 环绕移动摄像机;检查扩展区域或全景图边缘交界处是否有撕裂,以及前景物体后方是否有悬浮或缺失的几何体。
  2. 地面 — 地面是否连贯平整,还是凹陷或扭曲?这对游戏白盒和物理模拟尤为重要。
  3. 遮挡区域 — 输入从未展示过的侧面和背面最薄弱;判断摄像机是否会看到这些区域。
  4. 细小、透明或反光元素 — 栏杆、植物、玻璃、水:这些通常是瑕疵来源。判断网格导出能否满足要求,还是应该继续使用 splat。
  5. 比例 — 使用真实世界单位缩放(新增于 2026-01-01)时,导入前请确认尺寸与场景或引擎相符。
  6. 风格一致性 — 编辑或合成后,确认光照和风格呈现为连贯统一的空间,而非拼接出来的碎片。
  7. 格式适配 — 是否导出了正确格式(外观用 splat,物理模拟用碰撞体),目标渲染器是否实际支持该格式?

如果瑕疵只出现在预期摄像机路径之外,世界可能已经可以直接用于生产。如果瑕疵出现在镜头内,优先考虑使用 Expand/编辑,或使用更强的输入重新生成(添加全景图或多张图像),而不是在 DCC 中修补。(生产经验法则。)

权利与许可(务必确认——这关系到商业交付)

有文档记录 / 经官方来源证实(worldlabs.ai 服务条款和产品文档;核验日期:2026-07-10):

  • 免费层级输出:World Labs 保留权利;用户获得可撤销的非独占许可,仅可用于个人非商业用途。
  • 付费层级输出:用户拥有输出内容,可将其用于商业用途,但 World Labs 自身的产品、技术和 IP 除外;具体以服务条款为准。
  • 在 Marble 产品自身的层级划分中,商业使用权仅适用于 Pro 和 Max。即使 Standard 属于付费层级,交付时也应将其视为实际上不可用于商业用途;在交付客户项目之前,务必核实当前层级的商业授权是否已在现行服务条款中明确授予。(应用层级限制与服务条款中“付费账户”的表述存在已知歧义——请根据具体套餐对照现行条款确认,不要自行假定。)
  • 您有责任确保输入内容合规:请勿将您无权使用的受版权保护图像、商标材料或真人肖像输入到计划分发的世界中。

向用户提供建议时,务必让推荐的套餐与预期用途相符:商业交付需要 Pro 或更高层级(或付费 API 权限)——为客户项目推荐免费层级属于权利问题处理错误。


完整示例(含标签;请调整使用,不要逐字照搬)

示例 A — 虚构地点的 VR 漫游体验(Web 应用,全景图输入)
  • **意图:**为 Quest 3 Web 体验创建一个可探索的 VR 场景,内容是「覆满苔藓的废弃地铁站台」。
  • **模型/路线:**Marble Web 应用;使用 marble-1.0-draft 进行探索,再用 marble-1.1 完成定稿。
  • 输入及原因:从360 全景图(渲染或拍摄)开始,而不是文本——全景图固定了完整的环绕视野,因此无论头部朝向哪个方向,站台都能保持连贯,这正是 VR 的要求。
  • **工作流:**生成草稿 → 检查地面和接缝 → 将提示词和种子升级到 1.1 → 使用 Expand 延长隧道口和站台 → 导出 SPZ → 在 Web 上使用 Spark 渲染。
  • **参数:**在草稿→定稿过程中重复使用 seed;审核前将世界设为私有。
  • **预期结果:**无缝、可行走的站台,即使头部自由转动也能保持效果。
  • **可能的失败模式:**地面变形、扩展后隧道口边缘出现瑕疵、细栏杆撕裂——导出前通过环绕查看进行检查。
  • **变体:**如果有参考照片,可使用多张图像(4 个角度);如果 VR 应用需要碰撞效果,则导出网格。
示例 B — 与指定平面图匹配的游戏环境白盒(Chisel)
  • **意图:**为 Unity 灰盒搭建创建一个初步可玩的双房间室内场景,并指定门的位置。
  • **路线/模型:**Web 应用,Chisel → marble-1.1。
  • **输入及原因:**使用 Chisel,因为约束条件是布局。文本提示词能生成正确的风格,却无法匹配平面图;在 3D 中摆放墙壁和门可以固定几何形状,而提示词只负责设定风格。
  • 工作流:用墙壁工具搭建两个房间和门口 → 将全景相机放置在游戏起始点 → 输入提示词「仓库办公室、破旧混凝土、荧光灯」→ 生成 → 导出碰撞体网格 GLB(物理效果)+ PLY splat(视觉效果)→ 将两者导入 Unity(splat 插件 + 碰撞体)。
  • **预期结果:**比例和门的位置符合预期平面图;可以基于真实碰撞体开始灰盒搭建。
  • **可能的失败模式:**碰撞体网格过于粗糙,无法支持精确交互(其设计用途本就是简单碰撞);之后需要高质量网格进行视觉润色。
  • **变体:**将现有的 GLB/FBX 道具导入 Chisel,使其重新融入场景风格。
示例 C — 通过 World API 批量生成背景(编程方式)
  • **意图:**在夜间无人值守的情况下,为虚拟制片的预灯光环节生成 30 个各不相同的「外星沙漠」背景。

  • **路线/模型:**World API,marble-1.1(固定成本,预算更可预测)。

  • 请求(示例 JSON 请求体,发送至 POST api.worldlabs.ai/marble/v1/worlds:generate,请求头为 WLT-Api-Key):

    {
      "world_prompt": { "type": "text",
        "text_prompt": "vast alien desert, twin suns, wind-carved rock arches" },
      "display_name": "alien-desert-07",
      "model": "marble-1.1",
      "seed": 7,
      "tags": ["previz", "desert"],
      "permission": { "public": false }
    }
    
  • **异步处理:**调用会返回 operation_id;轮询 /operations/{operation_id},直到状态变为 done,然后读取世界并调用 export 端点导出 SPZ。成功后会报告费用(cost)。

  • **预算:**每个约 1,500 个点数 ≈ 约 $1.20 × 30 ≈ API 点数约 $36;先用 draft 探索一两个提示词,以确定措辞。

  • **预期结果:**生成 30 个各不相同的私有世界,可随时导入虚拟制片工具链。

  • 可能的失败模式:点数余额不足时返回 402(启用自动充值);不同提示词使用相同种子导致结果雷同(同时更换种子和提示词);未经草稿探索就直接使用 1.1 Plus,导致超支。


来源(已核实,除非另有注明,日期为 2026-07-10)

主要来源 / 一手资料:

次要来源(已披露方法,仅在一手页面为 SPA 外壳时使用, 例如确切的消费者美元定价档位):

易变信息(模型名称、积分成本、订阅价格、访问途径、 导出限制)均标注了日期;如需据此做出购买或交付决策,请先对照实时文档和定价页面重新核实。

评论

支持 Markdown