mcpField
O
odyssey-interactive-video

odyssey-interactive-video

github.com/calesthio创意与媒体219100 次安装15 周前更新
代码仓库

关于 odyssey-interactive-video

供 Agent 评估 Odyssey 实时交互视频模型的规划技能,帮助界定原型范围,并区分交互视频流、固定视频和 3D 交付物,同时说明其研究阶段限制。

主要功能

  1. 01界定交互视频项目范围
  2. 02说明实时用户操控方式
  3. 03比较交互视频与离线视频
  4. 04梳理能力与生产限制

适用场景

  1. 01规划可探索的 AI 世界
  2. 02评估实时交互视频演示
  3. 03选择 Odyssey 或离线视频
  4. 04判断项目的生产就绪度

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/calesthio/generative-media-skills --skill odyssey-interactive-video

安装后在 Claude Code 中输入/odyssey-interactive-video确认已加载。

附带文件EVAL.md

详细介绍

Odyssey 交互式视频(世界模型)

此技能的用途

Odyssey 构建世界模型:这类系统会根据帧历史和用户当前实时输入,逐帧实时生成视频。输出不是供你下载的成片,而是由用户操控的交互式流。此技能可帮助 Agent 为使用(或考虑使用)Odyssey 模型的项目界定范围、制定计划并提供坦诚的建议。

适用于以下请求:

  • “我们能否构建一个可探索的 AI 世界/供用户漫步其中的可玩梦境?”
  • “能根据输入文字或控制器做出反应的实时交互式视频。”
  • “我们应该用 Odyssey,还是 Sora/Veo?(交互式与离线的取舍)”
  • “制作交互式环境/体验式装置/现场演示原型。”

以下情况不要转到此处:只需渲染一次并下载的离线文本生成视频片段(这属于 Sora/Veo/Kling/Runway 的范畴)、可导出的 3D 资产或网格(这属于 3D 资产或游戏引擎流水线),或现有视频素材的字幕生成/编辑。Odyssey 默认不会生成可下载的视频片段或可导出的几何体——如果交付物是要交付的文件,交互式视频通常不是合适的工具。请参阅下方的“生产决策”。

成熟度提示,请先阅读。 Odyssey 的 CTO Jeff Hawke 将该领域描述为*“世界模型的 GPT-2 时代”,并称这是“大规模探索阶段,而非大规模商业化阶段”*[二手来源,The Data Exchange,已于 2026-07-10 核实]。此处提及的所有能力都应视为研究级。如今可以实现原型、演示、艺术作品和实验;通常还无法用于受 SLA 约束的生产流水线。对于有生产期限的用户,请明确说明这一点。

下方使用的证据标签

  • [已记录] — Odyssey 自己的模型页面/技术报告中提及。
  • [第一方声明] — Odyssey 自己关于性能/能力的说法(营销内容或博客),未经独立核实。
  • [二手来源] — 可靠媒体或分析师的报道。
  • [经验判断] — 根据技术特性得出的生产判断,并非引用的事实。

除非另有说明,所有易变信息(模型名称、延迟、访问权限、定价)的核实日期均为 2026-07-10。依赖这些信息前请重新核实——此产品的变化周期以周计。

“交互式视频”的实际含义

传统的视频模型(Sora、Veo、Kling)是双向的:它会预先规划整个视频片段,掌握后续帧的内容,因此需要数秒到数分钟才能生成几秒钟的固定视频。生成过程中无法对其进行更改。

Odyssey 的模型是因果式自回归模型:每个新帧只根据过去的帧以及过去/当前输入的用户操作进行预测,然后立即流式输出[已记录,odyssey.ml/introducing-odyssey-2]。Agent 必须牢记以下几点:

  1. 用户始终处于交互环节中。 输入(按键、鼠标、文字、语音、控制器)会在流播放过程中送入,并改变后续内容。Odyssey-1 明确将其比作“对发生的事情做出反应”;Odyssey-2 则将播放过程中输入提示词比作“与大模型对话”[已记录]。
  2. 延迟按帧计算,而非按片段计算。 Odyssey-1:大约每 40 ms 生成一帧(最高约 30 fps)[已记录,2025-05-28]。Odyssey-2:约 50 ms/帧,约 20 fps[已记录]。Starchild-1:同步音频和视频,最高可达 24 fps[已记录,2026]。
  3. 每一帧都是生成的,而非合成的。 Odyssey 表示,“每一帧都是由我们训练的扩散模型生成的”——不使用游戏引擎、预制 3D 资产或网格[已记录/二手来源,TechCrunch 2025-05-28]。
  4. 连贯性有上限,而且会逐渐偏移。 流在有限时段内会保持合理,之后便会逐渐退化。请参阅“能力限制”。

当前模型系列(已于 2026-07-10 验证)

Odyssey(odyssey.ml)是一家世界模型研究实验室;创始人 Oliver Cameron(CEO)和 Jeff Hawke(CTO)均来自自动驾驶领域,Pixar 联合创始人 Ed Catmull 担任董事会成员[次级来源,TechCrunch]。公开发布的模型系列,按从早到新排列:

模型首次公开定义交互输入帧率 / 延迟访问方式
Odyssey-12025-05-28首个“可玩世界模型”;受动作条件控制的下一帧预测器。其分布范围较窄,有意牺牲通用性以换取自回归稳定性。Odyssey 将其描述为“一个有故障的梦——原始、不稳定”。键盘 / 触控 / 操纵杆约 40 ms/帧,最高 30 fps,声称可连贯运行 5 分钟以上已被取代(研究预览版)
Odyssey-2(API 层级:Odyssey-2 Pro)2025-10-27 博客“通用世界模型,可即时生成可交互的 AI 视频。”播放过程中可通过自然语言提示词进行引导。输入的自然语言提示词(+ 操作)约 50 ms/帧,约 20 fpsWeb:experience.odyssey.ml · API:developer.odyssey.ml(逐步开放)
Starchild-12026-05-17首个多模态世界模型——同步生成音频 + 视频,并以自回归方式生成;环境、对话和环境音随流式输入演变。流式文本、语音或操作最高 24 fps,音视频同步预览版 + 技术报告:odyssey.ml(starchild.odyssey.ml/starchild-1.pdf)
Agora-12026多 Agent世界模型:最多 4 名玩家可在同一个共享模拟环境中游玩(类似 GoldenEye 的死亡竞赛演示),实时渲染每位玩家的视角。将世界状态模拟与逐视角渲染解耦。多名玩家的操作各视角实时呈现可在 agora.odyssey.ml 试玩
PROWL-12026用于探索游戏环境的强化学习框架(研究论文,arXiv 2605.18803)。研究成果,非交互式产品。不适用不适用arXiv 论文

[所有条目均有 odyssey.ml 模型页面 / 首页的文档记录,已于 2026-07-10 验证。]

Agent 命名判断规则:在 2026 年,单独提到“Odyssey”通常指 Odyssey-2(在线通用体验)。如果用户说“Odyssey 的交互式视频工具”,默认理解为 Odyssey-2,并向用户确认。涉及声音时应提及 Starchild-1;涉及多人游戏 / 共享状态时应提及 Agora-1。

当前访问方式 — 请仔细核实,不要想当然地认为存在 API

这是最容易被误述的部分。截至 2026-07-10:

  • Web 体验是可靠的公开访问方式。experience.odyssey.ml(Odyssey-2)和 agora.odyssey.ml(Agora-1)均可通过浏览器公开体验 [已记录,odyssey.ml 主页]。这是目前最稳妥的推荐方式,也是在做出承诺前评估模型的正确方式。
  • **API 已存在,但仍处于早期阶段。**开发者文档位于 documentation.api.odyssey.ml,控制面板位于 developer.odyssey.ml/dashboard,其中介绍了 Odyssey-2 Pro API,提供三种形式:交互式流(实时)、可观看/广播流,以及用于离线/批量脚本生成的 Simulate 端点 [已记录,API 文档,已于 2026-07-10 核实]。通过 API 密钥进行身份验证(密钥应保留在服务端;浏览器使用短期凭证连接)。文档提及会话/并发限制和流持续时间限制(会出现 “credit lease expired” 错误)、Discord、API 许可协议,以及 [email protected]。
    • Agent 必须说明的注意事项:截至 2026-07-10,Odyssey 自己的主页并未显著宣传 API,Odyssey-2 发布博客最初也称 API“即将推出”。因此应将 API 的可用性视为确实存在但尚处起步阶段——在承诺集成前,直接通过 developer.odyssey.ml 确认当前状态、配额和条款。不要假设端点稳定、SDK 已有版本管理,或服务具备正常运行时间保证。
  • 截至此日期,Starchild-1 和 PROWL-1 属于研究/预览版,配有技术报告——有报告和预览,但没有文档说明其属于通用 API 层级。未经核实,不要承诺可以通过编程方式访问 Starchild-1。

[启发式] 向用户介绍访问方式时可以这样说:“你现在就可以在浏览器中访问 experience.odyssey.ml 亲自试用。Odyssey-2 Pro 已提供程序化/API 访问,但仍处于早期阶段——在围绕它设计集成方案前,我会先在 developer.odyssey.ml 核实当前配额和条款。”

能力限制(坦诚说明)

以下每一点都对界定适用范围至关重要。【有文档记录/来自官方,除非另有标注。】

  • 视觉保真度不稳定。 独立描述和 Odyssey 的描述都提到输出模糊、失真、如梦似幻;精细细节和场景内文字都不可靠【二手来源,TechCrunch/eWeek;官方称其有“故障感”】。
  • 连贯性有时限,且会逐渐偏移。 Odyssey 称 Odyssey-1 可生成“5 分钟或更久”的连贯视频流;Hawke 后来的说法更为保守,称在画面退化前可维持“一到两分钟”,高于此前的“15 到 30 秒”【官方/二手来源】。【经验法则】凡是要展示给客户的内容,都应按约 1–2 分钟的可靠连贯性来规划,而不是 5 分钟以上。
  • 世界持久性较弱。 由于状态保存在模型不断滚动的上下文中,而非存储的场景图里,移开视线再看回来时,几何结构和布局可能发生变化;物体也不保证持续存在。Starchild-1 的报告明确指出,“场景和声学特征在较长时间跨度内仍会发生漂移”【有文档记录】。目前没有可靠的“保存这个世界并回到完全相同位置”的原语。
  • 分辨率/帧率一般。 约 20–30 fps;Odyssey 未重点介绍分辨率,且远未达到电影后期制作的质量水平【帧率有文档记录;分辨率未公布——请勿引用数字】。
  • 没有可导出的素材。 你获得的是流式传输的帧(Starchild-1 还包含音频),而不是网格、纹理,也不是默认可下载的 MP4 片段。Simulate 端点会生成录制内容,但产物是生成的视频,而非可编辑的 3D 内容【有文档记录】。
  • 每位用户的 GPU 成本和基础设施要求。 该服务运行于 GPU 集群(过去使用 H100,未来将使用 AWS/Trainium)。Odyssey 在 2025 年给出的数据是每用户小时的计算成本为 $1–$2,预计会下降【官方,2025-05-28】。每位同时观看的用户都会占用一个实时 GPU 会话——这种模式的扩展性与提供缓存视频文件截然不同。
  • 目前还没有针对交互式风格的量化基准测试。 Starchild-1 的报告称,这种交互模式“尚无”标准化基准测试【有文档记录】。你无法向利益相关方引用 FVD/质量指标。

生产决策:交互式视频与替代方案

根据实际交付内容选择工具。【经验法则框架。】

适合选择 Odyssey 交互式视频的情况:

  • 核心体验就是实时、开放式的用户操控——用户的实时输入必须改变视频,固定脚本无法满足需求。
  • 你正在制作演示、原型、艺术作品、研究试验或沉浸式/现场装置,而梦幻、不稳定的美学风格可以接受,甚至正是你想要的效果。
  • 新颖性和“内容由用户亲自操控”才是重点(营销活动、会议展位、可交互预告片)。

以下情况应改用离线视频生成工具(Sora/Veo/Kling/Runway):

  • 你需要完成度高、可下载的视频片段,并且要求构图可控、时长固定、输出可重复。
  • 视觉保真度、符合品牌规范的细节、清晰可读的文字或客户可审批的画面很重要。
  • 内容需要一对多分发(将文件提供给数千人)——离线片段的扩展成本很低,交互式视频流则不然。

以下情况应改用游戏引擎/可下载 3D 方案(Unreal、Unity、Gaussian splats、NeRF-to-mesh):

  • 你需要持久、确定性的世界、精确碰撞、可导出素材,或每次会话都完全相同的环境。
  • 你必须交付一种无需为每位用户配置实时 GPU 后端、即可在客户端运行的素材。
  • 你需要支持长时间会话(数小时)或保证几何结构保持不变。

**【经验法则】一句话判断:**用户是否需要实时操控像素,并且你能否接受一个如梦似幻、不持久、每位观看者都占用 GPU 的视频流? 能 → Odyssey。只要有一项回答“不能” → 大概率应选择离线生成或游戏引擎工作流。

目前可行与尚属推测

目前可行(研究级,需设定合理预期):

  • 交互式原型和概念演示——可供探索的情绪板,让人“体验这种氛围”。
  • 体验式营销/现场活动,以实时 AI 世界的新奇感为卖点,并通过现场工作人员和限时体验来掩盖效果漂移。
  • 交互式叙事/“可游玩的梦境”艺术,拥抱超现实、不稳定的美学,而不是与之对抗。
  • 快速构思——在投入实际 3D/制作开发之前,快速感受某种环境或氛围。
  • Odyssey 自己列举的案例:黑客马拉松风格的交互式天气应用、游戏脚手架 [次要来源,Hawke]。

尚属推测/目前还不可靠(不要承诺):

  • 可发布的AAA 风格游戏或引擎替代品。
  • 符合品牌安全要求、像素级可控的广告素材,需要清晰可辨的标志/文字,以及可供审批的画面。
  • 具有持久状态的多人世界(Agora-1 是早期多 Agent 演示,并非在线服务平台)。
  • 连贯的长篇(数小时)体验。
  • 任何需要可导出素材、SLA 或保证重现同一世界的项目。

定价和访问条款

  • 截至 2026-07-10,尚未公布面向消费者的价格档位。定价信号显示为按使用量计费,与实时 GPU 使用量挂钩;API 文档中提到了积分/租赁模式(“credit lease expired”)[有文档记载]。
  • 历史算力参考价格:每用户小时 1–2 美元(Odyssey 自己给出的 2025 年数据,预计会下降)[一手来源]。请将其视为量级成本参考,而非当前报价。
  • 可免费在浏览器中试用 Web 体验 [有文档记载]。
  • [经验判断] 制定预算前,务必向 developer.odyssey.ml 获取当前报价——并按并发用户小时编制预算,因为这才是实际的成本计算方式。
  • 公司背景(影响长期运营风险,而非单个项目的定价):Odyssey 于 2026-06-17 完成 3.1 亿美元 B 轮融资(投后估值约 14.5 亿美元),由 Natural Capital 领投,Amazon、GV、AMD Ventures、IQT、EQT 参投;AWS 是首选云服务商,采用 Trainium 芯片 [次要来源,多家媒体]。资金充足,但据其自己所述,仍处于商业化前阶段。

内容、权利、同意与隐私

  • 训练数据来源。 Odyssey 的部分训练数据来自其自有的真实世界采集,使用专有的约 25 磅重的 360° 背包设备(6 个摄像头、2 个 lidar、IMU、约 3.5K 分辨率、深度元数据),另有其他数据 [次要来源,TechCrunch]。这种一手采集减少了部分第三方抓取方面的顾虑,但无法消除知识产权问题。
  • 输出的知识产权归属尚无定论。 媒体报道指出,程序生成的世界归谁所有,以及与已知知识产权相似的输出是否可能构成侵权,仍是悬而未决的问题 [次要来源]。[经验判断] 不要假设生成流享有商业使用权、所有权或赔偿保障——请阅读 Odyssey 当前的 API License Agreement/ToS,并在向客户交付前以书面形式确认商业条款。
  • 同意/肖像权。 如果用户向 Starchild-1 传输语音,或世界描绘了真实且可辨认的人物/地点,应按照常规要求审慎处理同意和肖像权问题——实时生成并不意味着项目可以免除这些要求。
  • 流式输入的隐私。 交互会话会将用户的按键、语音和操作发送到 Odyssey 的服务器。对于任何处理个人或敏感输入的项目,部署前都应确认数据处理/保留条款。
  • 来源标识/标注。 输出为合成内容;请根据平台和司法辖区的规定,标注由 AI 生成的体验。

Agent 应如何规划 Odyssey 项目

  1. 确认交付成果确实具有交互性。 如果用户实际想要的是可下载文件,应在继续之前转向离线生成器或 3D 流程。
  2. 一开始就说明成熟度预期——GPT-2 时代、梦境般的体验、约 1–2 分钟连贯、无法持久化、每位观看者都需要 GPU。务必以书面形式说明。
  3. 选择模型: Odyssey-2(通用、由提示词引导)→ 默认;Starchild-1 → 需要声音时;Agora-1 → 共享/多人场景。
  4. 先亲自体验评估 experience.odyssey.ml / agora.odyssey.ml,再设计任何内容。不要围绕未见过的能力进行设计。
  5. 在 developer.odyssey.ml 验证访问方式和条款(API 状态、配额、会话/时长限制、许可证)——注明日期,因为这些信息会变化。
  6. 按并发用户小时数而不是按片段做预算。
  7. 为体验漂移做好设计: 使用短时会话、配备工作人员/引导的体验、拥抱不稳定性的美学,以及流媒体质量下降时的备用方案。
  8. 在任何商业或公开部署之前,明确权利/同意/隐私问题。

示例(已标注——仅供说明,不是必须遵循的公式)

示例 A — 范围界定请求,Agent 给出坦诚的方案建议

意图: 一家品牌代理机构询问:“我们想在展台打造一个 30 秒的交互式 AI 世界,访客输入一种心情后就能在其中漫步。使用 Odyssey。另外,我们还想要最终片段用于社交媒体。” 良好 Agent 的回答(基本特征):

  • 将两项需求分开。展台体验非常适合使用 Odyssey-2,通过 experience.odyssey.ml 或 Odyssey-2 Pro API 访问——实时、由提示词引导,新奇感正是其价值所在。
  • 指出**“社交媒体用的最终片段”是另一种交付成果**:Odyssey 不会提供干净、可下载的成品,输出具有梦境般/不稳定的特点,也无法精确控制品牌像素。建议录制实时会话画面(接受这种美学),或者另用离线模型生成社交媒体剪辑(Veo/Sora/Kling)。
  • 说明预期:约 1–2 分钟连贯、几何结构无法持久、约 20 fps、每位并发访客都产生 GPU 成本、需安排工作人员管理会话的展台。
  • 提醒在公开使用前验证访问方式/条款,并确认权利/同意。 为何采用这种结构: 这里的失败模式是默默承诺能从交互式模型中获得干净、可下载的社交媒体素材。关键在于区分“实时操控”和“成品文件”。
示例 B — 在限制条件下选择模型

意图:“我们想要一种交互式 AI 体验:用户说话时,陪伴角色会用真实人声和环境音回应。” 预期做法: 声音是核心,输入也是语音,因此应选择 Starchild-1(音视频同步、支持流式语音/文本/动作输入、“旁白/陪伴”交互模式),而不是仅支持视频的 Odyssey-2。提醒用户 Starchild-1 仍处于预览版 + 技术报告阶段(需验证程序化访问权限),长时间交互中声学特征/场景身份会发生漂移,而且目前还没有交互质量基准。还应为流式语音处理加入同意/隐私措施。 原因: 此处选择 Odyssey-2 会在不明说的情况下舍弃音频需求。

示例 C — 对推测性需求进行现实检验

意图:“我们能否用 Odyssey 世界模型替换 Unity 游戏后端,这样就不用制作关卡了?” 预期做法: 不行——目前还不能用于可发布的游戏。说明原因:没有可持久化/确定性的世界(几何结构会漂移,没有持久状态)、无法导出素材、无法实现精确碰撞、连贯性最多只能维持约几分钟,而且每位玩家都需要一个实时 GPU 会话,无法像客户端引擎那样扩展。将 Odyssey/Agora-1 定位为研究探索或原型,用于体验学习得到的世界可能是什么样,并引用 Hawke 自己的说法:“GPT-2 时代,而非大规模商业化时代”。建议可发布的产品使用传统引擎。 原因: 关键的失败模式是认可技术目前尚不支持的引擎替代主张。

来源(已于 2026-07-10 核实)

第一方:

第二方(标注为报道):

注意:模型名称、延迟、fps、访问途径和定价都可能变动;依赖这些信息前,请在 odyssey.ml 和 developer.odyssey.ml 上重新核实。

评论

支持 Markdown