关于 seedance-v2
这是一款通过 RunComfy Model API 调用 ByteDance Seedance 2.0 Pro 生成带同步音频短片的 Agent 技能,可组合图像、视频和音频参考素材。视频时长为 4–15 秒,分辨率最高为 720p。
主要功能
- 01组合图像、视频和音频参考素材
- 02生成带同步语音与声音的视频
- 03通过提示词控制镜头、动作和语气
- 04设置画幅、时长、分辨率和种子
- 05通过 RunComfy CLI 执行
适用场景
- 01制作口型同步的发言人或对话广告
- 02制作跨语言且品牌形象一致的叙事视频
- 03根据参考素材制作短片预演
- 04通过种子控制测试可复现的视频变体
安装
复制下面的命令,在终端中运行。
npx skills add https:/ / github.com/ runcomfy-com/ skills --skill seedance-v2安装后在 Claude Code 中输入/seedance-v2确认已加载。
详细介绍
Seedance 2.0 Pro — RunComfy Pro 套餐
runcomfy.com · Seedance 2.0 Pro · GitHub
ByteDance Seedance 2.0 Pro——多模态电影级视频生成器,支持原生口型同步音频,由 RunComfy Model API 托管。
npx skills add agentspace-so/runcomfy-skills --skill seedance-v2 -g
何时选择此模型(而非同系列其他模型)
Seedance 2.0 Pro 的独特优势在于多模态电影级短片:将角色图片、场景视频和参考音频组合成连贯的镜头。当参考人物身份或场景的还原度至关重要,且需要原生口型同步时,应选择此模型。
| 需求 | 使用 |
|---|---|
| 口型同步的代言人/对话广告 | Seedance 2.0 Pro |
| 多模态参考(图片 + 视频 + 音频) | Seedance 2.0 Pro |
| 保持品牌一致性的多语言叙事 | Seedance 2.0 Pro |
| 目前盲测投票中排名第一的视频质量 | HappyHorse 1.0 |
| 根据自己的音轨驱动口型同步 | Wan 2.7(audio_url) |
| 编辑现有视频素材的动作 | Kling Video O1 |
| 超快速迭代 | LTX 2 |
如果用户明确提到“Seedance”、“Seedance 2”或“ByteDance video”,则无论如何都应路由到此模型。
先决条件
- RunComfy CLI —
npm i -g @runcomfy/cli - RunComfy 账户 —
runcomfy login会打开浏览器设备代码验证流程。 - CI/容器 — 设置
RUNCOMFY_TOKEN=<token>,而非使用runcomfy login。
端点 + 输入架构
bytedance/seedance-v2/pro
| 字段 | 类型 | 必填 | 默认值 | 说明 |
|---|---|---|---|---|
prompt | string | 是 | — | 中文 ≤ 500 字符,或英文 ≤ 1000 词。 |
image_url | array | 否 | [] | 0–9 个参考素材(JPEG/PNG/WebP/BMP/TIFF/GIF)。 |
video_url | array | 否 | [] | 0–3 个片段,每段 2–15 秒(MP4/MOV)。 |
audio_url | array | 否 | [] | 0–3 个音频参考,2–15 秒,每个文件 < 15MB(WAV/MP3)。 |
aspect_ratio | enum | 否 | adaptive | adaptive、16:9、9:16、4:3、3:4、1:1、21:9。 |
duration | int | 否 | 5 | 4–15 秒(整数)。 |
resolution | enum | 否 | 720p | 480p 或 720p。 |
generate_audio | bool | 否 | true | 在生成过程中同步生成语音/音效/音乐。 |
seed | int | 否 | — | 用于复现结果。 |
调用方式
默认设置(仅文本,5 秒,720p,带音频):
runcomfy run bytedance/seedance-v2/pro \
--input '{"prompt": "<user prompt>"}' \
--output-dir <absolute/path>
带角色参考的口型同步广告(图像保持稳定,文本内容变化):
runcomfy run bytedance/seedance-v2/pro \
--input '{
"prompt": "Medium close-up. The woman explains today'\''s special in a warm friendly tone, slow push-in, soft window light, gentle cafe ambience.",
"image_url": ["https://.../barista-headshot.jpg"],
"duration": 8,
"aspect_ratio": "9:16"
}' \
--output-dir <absolute/path>
多模态(图片 + 视频 + 音频参考):
runcomfy run bytedance/seedance-v2/pro \
--input '{
"prompt": "Subject from image 1 walks through the café from video 1, voice tone matches audio 1.",
"image_url": ["https://.../subject.jpg"],
"video_url": ["https://.../cafe-locked-shot.mp4"],
"audio_url": ["https://.../voice-ref.mp3"]
}' \
--output-dir <absolute/path>
CLI 会提交任务、轮询状态、获取结果,并将 *.runcomfy.net/*.runcomfy.com URL 下载到 --output-dir。
提示词编写——哪些方法确实有效
图片与文本的分工。 这是最重要的一条规则。稳定的身份特征(面部、服装、品牌标记、徽标)→ 放入 image_url。不断变化的叙事内容(动作、情绪、光线、镜头)→ 放入 prompt。试图用文字详细描述面部会浪费词元,还会导致人物特征偏移。
用通俗语言描述镜头与动作。 “中近景”、“缓慢推进”、“手持跟拍”、“固定广角”等描述都能作为指令使用。也可以组合使用:"Medium close-up. Slow push-in over 3 seconds. Handheld, slight breathing motion."
使用 generate_audio: true 时指定音频方向——描述语气,例如:"warm friendly conversational"、“平静、具有指导性”或 "crisp newsroom delivery"。描述环境音时可写:"gentle cafe chatter, distant traffic, no foreground music"。
参考素材规格——视频必须为 2–15 秒;音频必须小于等于 15MB 且为 2–15 秒。超出范围的文件会被拒绝。参考素材的宽高比应与输出一致,以避免裁切。
反模式:
- 混合风格差异极大的参考素材(水彩 + 照片级写实)→ 会造成混乱。
- 在提示词中给出相互冲突的风格指示 → 删除矛盾内容,简化提示词。
- 试图用文字描述稳定的身份特征 → 改用
image_url。 - 要求生成超过 15 秒的片段 → 返回 422;应拆分为多个调用。
优势场景
| 用例 | Seedance 2.0 Pro 的优势 |
|---|---|
| 发言人 / 对话广告 | 原生支持生成时口型同步,无需单独进行 TTS |
| 品牌一致的多语言叙事 | 图像参考保持角色身份;文本驱动翻译 |
| 电影感短片预演 | 镜头语言 + 多模态参考 |
| 带参考音乐 / 配音基调的广告创意 | 音频参考引导声音 / 氛围,同时不会锁定口型同步 |
| 可复现的变体测试 | 种子控制 + 固定架构 |
示例提示词(已验证效果出色)
默认 Playground 示例:
Golden hour on a quiet cafe terrace: a barista wipes the counter, then
looks up and explains today's special in a friendly tone, natural
lip-sync. Medium close-up, slow push-in; warm side light, soft bokeh
through glass, gentle cafe ambience and subtle film grain.
多模态口型同步(文本 + 图像):
Same person as image 1 in a softly-lit recording booth, leaning into
the mic, says: "We just shipped the biggest update of the year."
Calm conversational tone. Medium close-up, locked tripod, shallow DOF,
warm key light from camera-left.
限制
- 时长为 4–15 秒——此端点不支持更长的视频片段。
- Playground 版本最高支持 720p 分辨率。
- 参考媒体规格——视频 / 音频必须为 2–15 秒;音频 < 15MB。
- 口型同步质量——取决于提示词是否清晰;无法保证在所有条件下都完美。
- 不支持用于绑定角色的
@语法——依赖图像参考与提示词对齐。
退出代码
| code | 含义 |
|---|---|
| 0 | 成功 |
| 64 | CLI 参数错误 |
| 65 | 输入 JSON 错误 / 架构不匹配 |
| 69 | 上游 5xx |
| 75 | 可重试:超时 / 429 |
| 77 | 未登录或令牌遭拒 |
完整参考:docs.runcomfy.com/cli/troubleshooting。
工作原理
该技能使用与架构匹配的 JSON 请求体调用 runcomfy run bytedance/seedance-v2/pro。CLI 会向 https://model-api.runcomfy.net/v1/models/bytedance/seedance-v2/pro 发送 POST 请求、轮询请求状态、获取结果,并将任何 .runcomfy.net/.runcomfy.com URL 下载到 --output-dir。Ctrl-C 会在退出前取消远程请求。
安全与隐私
- 令牌存储:
runcomfy login会将 API 令牌写入~/.config/runcomfy/token.json,权限模式为 0600(仅所有者可读写)。在 CI / 容器中设置RUNCOMFY_TOKEN环境变量,即可完全绕过文件。 - 输入边界:用户提示词会通过
--input作为 JSON 字符串传递给 CLI。CLI 不会对提示词进行 Shell 展开;它会通过 HTTPS 直接将 JSON 请求体发送到 Model API。提示词内容不存在 Shell 注入风险。 - 第三方内容:传入的图像 / 遮罩 / 视频 URL 由 RunComfy 模型服务获取,而非由你机器上的 CLI 获取。请将外部 URL 视为不可信内容;基于图像的提示词注入是任何图像编辑 / 视频编辑模型都面临的已知风险。
- 出站端点:仅限
model-api.runcomfy.net(提交请求)和*.runcomfy.net/*.runcomfy.com(生成结果的下载白名单)。没有遥测,也没有回调。 - 生成文件大小上限:为防止恶意或失控的模型输出占满磁盘,CLI 会中止任何超过 2 GiB 的单个下载。