scenario-gemini-omni

Scenario Gemini Omni 视频

概述

Scenario 上的 Google 视频系列 Gemini Omni 将不同模式拆分到目录中的多个成员，而不是合并为一个模型：一个文本和首帧生成器（在撰写本文时的公开竞技场投票中，文本转视频排名第一）、一个用于保持主体一致性的参考转视频成员、一个用于重新设计现有素材风格的编辑成员，以及较新的 1.1 Flash 系列中的一个扩展成员，可将素材追加到片段中。所有成员都会在同一轮生成音频。使用 search 按模式选择系列和成员，阅读 ID 和说明，而不要依据排名（在撰写本文时，较新的 1.1 成员排名低于原系列），然后将 model_schema_get 视为接口规范。Gemini 图像模型属于 scenario-gemini-image skill 的范畴；Gemini TTS 属于音频范畴。有关连接和核心循环，请参阅 scenario skill；有关与模型无关的视频工作，请参阅 scenario-video skill。如果这里提到的同级 skill 不在你可用的技能中，请让用户安装（npx skills add scenario-labs/skills --skill <name>）；若无法交互，请根据工具架构继续操作，并指出这一缺失。

快速参考

在撰写本文时有两个系列：Flash 和 1.1 Flash；每种模式各有一个成员（名称来自实时架构）：

成员	模式	输入
Gemini Omni	文本或首帧	prompt 和／或 image，以及可选的 referenceImages（最多 7 张）；1.1 中可在 image 旁提供可选的 lastFrameImage
Reference-to-Video	主体保持一致	必须提供 referenceImages（1 到 7 张），prompt 可选；1.1 中可用不超过 3 秒的 referenceVideo 替代图像，或与最多 5 张图像搭配使用
Edit	重新设计片段风格	必须提供 video 和更改用的 prompt；referenceImages 可选（1 到 5 张）
Extend（仅 1.1）	继续片段	必须提供 video，prompt 可选

在撰写本文时，两个生成器的 duration 均为 3 到 10 秒（默认 8），aspectRatio 为 16:9 或 9:16。Edit 不提供这两个参数：长度和画面比例由源片段决定。Extend 同样沿用源片段的画面比例（没有 aspectRatio），但 duration 为 3 到 10 秒（默认 6），表示在源素材后追加的时长，因此一个 8 秒的片段加上 6 秒会得到约 14 秒的成片。原版 Flash 成员仅以 720p 渲染；1.1 Flash 系列的所有成员都新增了 resolution：360p 为更快的草稿档，720p 为默认档，1080p 和 4k 为升档分辨率。分辨率档位不会影响价格（在撰写本文时，360p 和 1080p 的生成报价相同，Extend 也一样），因此要低成本制作草稿，应缩短 duration，而不是降低档位。整个系列都不支持 Seed 和负面提示词。费用会随 duration、首帧 image、Reference-to-Video 的参考素材，以及 Edit 和 Extend 的源片段变化；在撰写本文时，Edit 的费用范围是整个系列中最广的，而且任务运行时间约为其他任务的两倍，因此编辑较长内容前请先使用 dry_run。

声音靠提示词指定，而非开关控制

所有成员都没有音频参数：每个片段都会附带生成的对白、环境音和音效，提示词是唯一的控制方式。使用生成器时，请在提示词末尾添加明确指出想听到什么的音频说明（“噼啪作响的篝火声、远处的猫头鹰叫声”），并将台词放在引号中；如果不写，模型就会自行决定。使用 Edit 时，切勿提示音频：它会自行重新生成与新视觉风格相匹配的音频。

从图像获取身份，用文字描述变化

Reference-to-Video 会从 referenceImages 获取主体的外观，在提示词中再次描述会与图像相冲突。称主体为“角色”或“产品”，把文字用于描述动作、场景、镜头和声音；提供同一主体的多个角度可增强一致性，不同主体可以出现在同一场景中，即使完全不提供提示词，主体仍会出现。这里没有首帧锚点：如果片段必须以精确构图开场，请将静帧作为基础成员上的 image 传入；它也接受同时提供的参考图，并且在 1.1 中还支持用于插值过渡的 lastFrameImage（需要首帧）。

Edit 则恰好相反：源 video 中的动作、镜头路径和时长都被锁定，只有外观会改变。提示词开头就写明变化（“换成冬季场景”“把红色汽车换成一辆复古蓝色 Beetle”），明确具体地指出目标，绝不要要求新的编舞、剪辑或镜头运动：这些指令不会生效。

示例：打造角色一致的吉祥物短片

1. 使用 target="models"、query="gemini omni"、public=true 调用 search。按模式选择成员；这里使用 model_google-omni-flash-r2v（编写时可用的实时结果；每次会话都应重新搜索）。
2. 使用该 ID 调用 model_schema_get：先了解必填字段、上限和默认值。
3. 使用 upload_asset 上传吉祥物的两到三个角度（参见 scenario 技能），获取资源 ID。
4. 使用该 model_id 调用 model_run，设置 dry_run=true，并传入 parameters={"prompt": "The character skips across a rain-slick plaza, catches a falling leaf, and holds it up in triumph. Overcast soft light, low tracking shot. Audio: light rain, footsteps on wet stone, one bright chirp.", "referenceImages": ["asset_a", "asset_b"], "duration": 8, "aspectRatio": "16:9"}； 参考图和时长会影响费用，因此更改任一项后都要重新估算。
5. 使用 wait=false 再次调用 model_run，然后使用返回的作业 ID 调用 jobs_wait；如果超时，则通过 pending_job_ids 再次调用，切勿再次调用 model_run。
6. 使用 asset_display 查看输出并检查声音：音频也是交付内容的一部分。

常见错误

• 在提示词中描述参考主体的外观：身份来自图像；围绕“角色”描述动作和场景。
• 要求 Edit 添加新动作、剪辑或重新定时：这些都由源视频锁定；提示词只描述外观变化。
• 对 Edit 传入 duration 或 aspectRatio，或对 Extend 传入 aspectRatio：这些参数不在其架构中；输出会遵循源片段。
• 寻找音频开关：并不存在；请在提示词中引导声音，或接受模型的选择。
• 把首帧 image 重新描述成静态场景：应描述从该画面延续的动作。
• 在一次运行中塞入多场景故事：3 到 10 秒只能容纳一个连续片段；超过 10 秒时，用 Extend 延续一个片段，或使用 scenario-video-assembly 技能串联镜头。