seedance-2-0

Seedance 2.0（ByteDance）

Seedance 2.0 是 ByteDance Seed 团队推出的统一多模态视频 + 音频模型（于 2026 年 2 月发布，2026 年 4 月起可通过合作伙伴 API 在全球使用）。在 OpenMontage 中，只要配置了任一支持的网关，它就是电影感、预告片、先导片和以动态为主的作品的首选高端默认模型。OpenMontage 直接封装了四个网关（seedance_video → fal.ai、seedance_replicate → Replicate、runway_video 中的 model="seedance_2.0" → Runway、higgsfield_video 中的 model="seedance_2.0" → Higgsfield）；BytePlus / Freepik / HeyGen-Video-Agent 封装已列入路线图。评分引擎会按 provider="seedance" 去重，因此用户配置的任一网关都会自动胜出——Agent 应向 video_selector 传入 preferred_provider="seedance"（或让评分器自行选择），而不是按名称路由到特定网关。

为什么它是 OpenMontage 的高端默认模型

能力	Seedance 2.0	说明
单次生成原生同步音频	是	同时生成对白、音效和环境音，而非后期同步
单次生成包含多个镜头	是	一个提示词中包含多个剪辑 / 镜头
导演级摄像机控制	是	遵循摄像机语言（推轨、倾斜、弧形运动、摇臂、手持）
根据引用对白进行口型同步	是	Character says: "..." 与口型匹配
参考素材条件控制	最多 9 张图片 + 3 个视频片段 + 3 个音频片段	12 项多模态素材
角色身份一致性	是	跨镜头保持人脸 / 主体稳定
单镜头最长时长	15 s	自动 / 4–15 s
最高分辨率	部分端点支持 1080p（fal.ai 默认 720p）	取决于服务提供商
Elo（Artificial Analysis）	1269（截至 2026 年 2 月排名第 1）	超越 Veo 3、Sora 2、Runway Gen-4.5

仅在有具体原因时才切换：严格的预算限制（使用 fast 变体或 LTX）、用户偏好的服务提供商（VEO/Sora/Kling），或其他模型更符合特定风格需求。

服务提供商入口

入口	环境变量	OpenMontage 工具	状态	说明
fal.ai（主要）	FAL_KEY	seedance_video	✅ 已封装	模型 ID 见下文。支持 T2V、I2V、参考素材转视频；提供 standard 和 fast 变体。OpenMontage 中的默认选项。
Replicate	REPLICATE_API_TOKEN	seedance_replicate	✅ 已封装	bytedance/seedance-2.0 + bytedance/seedance-2.0-fast。标准 Replicate 预测 API。
Runway	RUNWAY_API_KEY	runway_video（模型：seedance_2.0）	✅ 已封装	Runway 中的第三方 Seedance 2.0 模型。仅限 Unlimited/Enterprise 套餐，且仅美国以外地区可用。通过 model 参数选择。
Higgsfield	HIGGSFIELD_API_KEY + _SECRET	higgsfield_video（模型：seedance_2.0）	✅ 已封装	Seedance 2.0 是此工具的默认模型。侧重角色身份一致性和长篇串联生成。
HeyGen	HEYGEN_API_KEY	heygen_video（仅 1.x）+ TODO	⚠️ 仅支持 1.x	HeyGen 上的 seedance_pro / seedance_lite 工作流服务提供商字符串对应 Seedance 1.x。2.0 通过 Video Agent / Avatar Shots 端点提供；单独的 seedance_heygen 工具已列入路线图。
BytePlus ModelArk / Volcengine	BytePlus 令牌	未封装	🔜 路线图	由 ByteDance 直接提供。Pro 约 $0.15 / 5 s，Lite 约 $0.010/s。基于令牌。
Freepik	Freepik 令牌	未封装	🔜 路线图	通过 POST /v1/ai/image-to-video/seedance-pro-1080p 实现 1080p I2V
Pollo / PiAPI / Atlas Cloud / AIMLAPI	各不相同	未封装	🔜 路线图	聚合服务商转售 fal.ai 或 ByteDance 端点

fal.ai 模型 ID（由 seedance_video 使用）

bytedance/seedance-2.0/text-to-video
bytedance/seedance-2.0/image-to-video
bytedance/seedance-2.0/reference-to-video        # 9 img + 3 vid + 3 audio
bytedance/seedance-2.0/fast/text-to-video
bytedance/seedance-2.0/fast/image-to-video
bytedance/seedance-2.0/fast/reference-to-video

定价（fal.ai，720p）：standard 为 $0.3034 / s（T2V）、$0.3024 / s（I2V）。fast 在所有端点均为 $0.2419 / s。 fast 变体以部分摄像机 / 动态保真度换取更低延迟和成本——首次尝试时，不要将慢动作、多镜头或大量推轨的提示词路由到 fast。

在 OpenMontage 中调用 Seedance 2.0

始终通过 video_selector 调用，并设置 preferred_provider="seedance"（或让评分引擎自行选择）：

from tools.tool_registry import registry
registry.ensure_discovered()
selector = registry.get("video_selector")
result = selector.execute({
    "prompt": PROMPT,
    "preferred_provider": "seedance",
    "operation": "text_to_video",       # or image_to_video / reference_to_video
    "aspect_ratio": "21:9",             # 21:9 / 16:9 / 9:16 / 4:3 / 1:1 / 3:4
    "duration": "10",                   # auto / 4..15
    "resolution": "720p",               # 480p / 720p
    "output_path": "projects/<proj>/assets/video/clip_01.mp4",
})

直接调用提供方工具（仅在必须绕过选择器时使用）：

seedance = registry.get("seedance_video")
seedance.execute({
    "prompt": PROMPT,
    "model_variant": "standard",   # "standard" or "fast"
    "operation": "text_to_video",
    "aspect_ratio": "21:9",
    "duration": "10",
    "resolution": "720p",
    "generate_audio": True,
    "seed": 12345,                 # optional, for reproducible variations
    "output_path": "...",
})

提示词结构 — Higgsfield 方法论（截至 2026 年的规范版本）

重要：每条提示词都必须以镜头结构声明开头。 Seedance 更青睐先声明格式、再进行创意描述的提示词。这是提升质量最关键的因素。

开场模板（任选一个原样复制，然后扩展）

适用于动作／战斗／多镜头（表现最佳的格式）：

Montage, multi-shot Hollywood action, don't use one camera angle or single cut, cinematic lighting, photorealistic, 35mm film quality, ARRI ALEXA aesthetic, heavy film grain, sharp but imperfect focus, motion blur on fast actions, halation on highlights, soft highlight rolloff, wide-angle lens with strong distortion, subtle chromatic aberration near frame edges, no 3D, no cartoon, no VFX aesthetic.

适用于单 POV 连续镜头（光球、漫游）：

Single continuous shot, first-person POV perspective, the camera IS [his/her] eyes, hyper-chaotic handheld motion, completely unstabilized, violent raw human movement, constant micro-jitters, aggressive head swings, abrupt jerks, frequent over-rotation, no smoothness at all, no cuts, no zoom, 35mm film, photorealistic.

适用于锁定 POV 的反应场景：

One continuous shot, POV [setting] perspective, no cuts, no zoom, natural head movement, photorealistic, 35mm film grain.

正文结构（开场之后）

1. 环境／地点 — 感官细节（湿漉漉的沥青、钠灯、霓虹溢光、雨滴颗粒、体积雾）
2. 角色区块 — 包含参考标签和身份锁定措辞（参见下文的图像转视频）
3. 敌人／次要角色区块 — 细节层级相同
4. 逐拍编排，包含时间标记：0–3s: … 3–6s: … 6–10s: …
5. 在方括号中内联特效： [VFX: branching white-blue electric arcs pulsing along forearms, sparks jumping between fingers]
6. 慢动作标记： 在冲击节拍之前写入 RAMPS TO SLOW MOTION，恢复时写入 SNAPS BACK TO REAL TIME
7. 声音设计区块： 写入 no music, only raw SFX，或明确的音效序列。音乐相关描述应着重于质感。

战斗用语（经验证效果出色）

• snaps forward、lunges、sprints、weaves、chambers、drives、pivots、redirects、ducks、slips
• explodes outward、devastating、raw force、kinetic、overload、compresses、erupts、fractures、ripples
• 避免使用平淡的动词：attacks、hits、fights——这些词显得笼统，Seedance 用它们生成的效果往往不理想

摄像机行为 — 明确说明正在做什么，以及没有做什么

摄像机意图含糊时，Seedance 容易出错。务必明确否定不想要的效果：

• no cuts（用于连续 POV）
• no zoom（防止出现不自然的视角突变）
• no stabilization（需要混乱的手持拍摄时）
• no smoothness at all
• no 3D, no cartoon, no VFX aesthetic——虽然反直觉，但即使场景包含大量特效元素，这也能促使画面呈现出照片般真实的皮肤、纹理和光照

强化真实感的短语

当需求包含特效，但你希望皮肤／纹理看起来逼真（而非塑料感的漫威卡通风格）时，请加入：

no 3D, no cartoon, no VFX aesthetic — photorealistic textures, real skin pores, authentic fabric detail, grounded in reality

格式优先级（Higgsfield 的经验排序）

格式	最适合	模式
Transformation	平静 → 威胁 → 转变 → 事后	6 个编号镜头，每个 2.5s，总时长 15s
Orbs	单个连续 POV	1 个镜头 × 15s，极度混乱的手持拍摄
Fights	战斗编排	逐拍描述、明确的力量差距、RAMPS/SNAPS
POV	锁定反应	连续镜头，“no cuts no zoom”口诀
Animation	风格化 3D	@image 关键帧 + 定时片段

每个镜头 2.5 秒的节奏似乎最适合多镜头生成。

旧版 8 部分模板（仅用于简单的单镜头，不适用于动作场景）

Seedance 2.0 对摄像机语言、多镜头剪辑和带引号的对白格外敏感。请使用此 8 部分模板：

[Shot / framing] + [Camera movement] +
[Subject description — physical detail that must persist across shots] +
[Action beat 1] → [optional cut] → [Action beat 2] +
[Setting / environment] + [Lighting / palette] +
[Style / grade / era] + [Audio — ambient, diegetic, music, dialogue]

在一次生成中包含多个镜头

Seedance 能遵循提示词中明确列出的镜头。每个镜头按以下格式编写：

Shot 1 (wide establishing, slow aerial push-in): ...
Shot 2 (medium close-up, handheld): ...
Shot 3 (extreme close-up, rack focus): ...

为保持身份稳定，请确保角色在各镜头中的描述一致。

根据带引号的对白进行口型同步

Aang stands on the cliff edge, staff raised, wind in his cloak.
Aang says: "I won't run anymore."
Sokka, half a step behind, replies: "Then we fight."

请原样使用 Character says: "..." / Character replies: "..."——嘴部动作会根据带引号的字符串生成。每句控制在约 6 个词以内；较长的台词在快速片段中可能导致偏移。

有效的音频提示

环境音：远处雷声滚过群山、风吹过芦苇、篝火噼啪作响 场景内音效：靴子踩雪的嘎吱声、法杖点地的声音、头顶传来的振翅声 音乐指导（仅轻微点缀）：低沉的管弦乐渐强、第 3 个镜头加入太鼓 不要要求复杂的多乐器配乐——音乐描述应以质感为主。

参考图转视频

如果你有角色／产品／服饰参考图，请使用参考图转视频端点。Seedance 2.0 支持明确的方括号标签语法：

[reference_image: hero_portrait.png]
[identity_lock]
The same character — bald, blue arrow tattoo, orange robes — consistent across all shots, no drift or deformation. Do not alter clothing category or primary color.

Shot 1 (wide, slow push-in): hero walks across the snowy Air Temple courtyard, wind lifting robes.
Shot 2 (medium close-up): hero turns toward camera, staff in hand.
Shot 3 (extreme close-up, rack focus): hero's eyes open, wind whipping.

可明显减少面部漂移的身份锚定短语（可叠加使用——冗余有帮助）：

• the same character
• consistent across different scenes / all shots
• maintain exact appearance from reference image
• no deformation, no drift, no face morph
• Do not alter clothing category or primary color

**单张参考图工作流（实践中很常见）：**如果你只有一张照片：

• 使用光线中性、运动模糊较少的清晰正面肖像；避免面部被遮挡（例如被手机、太阳镜或浓重阴影遮住）。
• 所有镜头都重复使用同一张参考图——不要为每个镜头生成新的参考图。
• 将所有镜头放在同一个提示词的单个 [identity_lock] 区块中，让模型将其视为连贯的序列。
• 如果服装按设计需要变化（例如便装 → 戏服），请在每个出现该服装的镜头中逐字描述服装，并添加 Do not alter clothing category or primary color，以便生成后锁定服装。

**防漂移备用方案：**如果首次生成的帧中出现面部变形，请缩短时长（从 10s 改为 5-6s），强化身份锁定描述；如果你有多张参考图，则筛选出最一致的 3 张，而不是一次塞入 9 张。

参数指南

参数	指南
duration	主镜头使用 5–8，带多镜头剪辑的完整场景使用 10–12，快速插镜使用 4。不确定时使用 auto。
aspect_ratio	电影预告片使用 21:9，广播／YouTube 使用 16:9，Reels/Shorts/TikTok 使用 9:16
resolution	默认使用 720p。成本受限的批量预览可降至 480p，最终成片不要使用
generate_audio	除非有明确的静音理由，否则保持开启——Seedance 的优势在于音画同步。如有需要，可在 compose 阶段移除音频。
model_variant	主镜头／电影感镜头使用 standard；仅在制作 B-roll、预览或延迟是硬性限制时使用 fast
seed	为选定镜头迭代不同版本前先设置种子——其他参数保持不变

应避免的事项

不要	原因
在一个镜头中塞入四个或更多角色的同步动作	动作连贯性会崩坏；应拆分为多个镜头
要求片段内出现可读文字／标志	文字渲染不可靠——请在 Remotion 叠加层中处理文字
混用相互冲突的光线描述（“正午强光”＋“霓虹夜景”）	模型会选其一并忽略另一种
在快速剪辑镜头中编写超过约 6 个词的对白	口型同步会漂移
对慢动作、多镜头或复杂运镜使用 fast 版本	首次生成时通常会失败——改用 standard
通过 Seedance 音频生成人声音乐	仅生成质感音效即可；如需正式配乐，请使用 music / pixabay_music / elevenlabs，并在 compose 阶段混音
无故绕过 video_selector	会失去成本／可用性／回退处理和评分上下文

迭代策略

1. 勾勒画面：按预期构图进行一次 duration=5 的 fast T2V 生成，确认构图有效。
2. 锁定种子：构图效果理想后锁定种子。
3. 升级到 standard：使用相同种子，并细化运镜和光线描述。
4. 延长时长并增加镜头——只有在单镜头版本效果理想后，才改用多镜头或更长时长。
5. 为每个片段保留 README：记录所有最终采用镜头的提示词、种子和版本，以便 compose 阶段重新渲染并保持补拍内容一致。

OpenMontage 工作流的集成说明

• 电影级工作流： Seedance 2.0 是默认的视频模型。主视觉镜头使用 21:9，蒙太奇节拍使用多镜头；如果需求说明中包含视觉规范，则使用参考图生成视频。
• 动画讲解视频： 仅将 Seedance 2.0 用于建立场景或营造氛围的片段；大多数镜头应继续使用 Remotion。不要用 Seedance 替代 Remotion 动态图形——两者是不同的工具，用途也不同。
• 屏幕演示 / 播客 / 短片工厂： Seedance 不适合作为默认选择——这类内容以实拍素材为主。仅用于风格化的开场片段。
• 成本控制： standard 模式下，10 s 的单个片段约需 $3.03。请在提案阶段做好预算。fast 模式下，5 s 的预览约需 $1.21。

每个 Seedance 镜头的验证清单

• 动作在所选镜头时长内连贯流畅
• 音频确实同步（检查对白和脚步声 / 撞击声）
• 角色形象与参考素材 / 前序镜头一致
• 运镜方向符合提示词要求（要求静止时没有自动推轨）
• 模型尝试生成的文本均不可读
• 画面调色符合已批准的风格指南
• 输出时长符合要求（部分端点会取整）

来源

• fal.ai Seedance 2.0：https://fal.ai/seedance-2.0
• fal.ai 使用指南：https://fal.ai/learn/tools/how-to-use-seedance-2-0
• Replicate bytedance 系列：https://replicate.com/bytedance
• HeyGen Seedance 2.0：https://www.heygen.com/blog/introducing-seedance-2-and-heygen
• Runway Seedance：https://runwayml.com/product/seedance
• BytePlus Dreamina Seedance 2.0：https://www.byteplus.com/en/product/seedance
• Freepik Seedance 2.0：https://www.freepik.com/seedance-2
• Higgsfield Seedance 2.0：https://higgsfield.ai/seedance/2.0
• Pollo Seedance 2.0：https://pollo.ai/m/seedance/seedance-2-0
• ByteDance Seed 官方网站：https://seed.bytedance.com/en/seedance2_0
• Seedance 2.0 维基百科：https://en.wikipedia.org/wiki/Seedance_2.0