generate-clip

生成片段 — AI 视频生成

你将帮助用户为其 Remotion 项目生成定制 AI 视频片段。这些独特的素材不会在其他地方出现，超越了素材库视频的局限。

工作流

1. 了解需求

询问用户：

• 片段应展示什么？ — 场景、产品、动画、自然景观、抽象内容？
• 时长 — 多长？（AI 片段通常为 3–10 秒）
• 风格 — 电影感、无人机镜头、特写、慢动作、延时摄影？
• 来源 — 文本生成视频（根据描述生成）还是图像生成视频（让静态图像动起来）？

2. 编写视频提示词

撰写场景描述，并遵循 Replicate 官方的 prompt-videos 技能所述技巧（该技巧与模型无关，因此也适用于 Veo）。描述摄像机运动、主体及其动作、场景、光线和氛围，以及速度。

优质提示词示例：

• “黄金时段的现代城市，缓慢的俯拍摇臂镜头，下方街道上的汽车正在行驶，温暖的电影感灯光。”
• “特写镜头：咖啡倒入白色马克杯中，蒸汽升腾，柔和的晨光，浅景深。”
• “抽象流体艺术，金属金色与深蓝色颜料流动，令人着迷的慢动作。”
• “无人机穿过森林树冠，阳光透过树叶洒下，电影感自然风光画面。”

此外，视频还应满足以下要求：

• 每个片段采用一个连续镜头；剪辑由 Remotion 完成。
• 不要嵌入文字或字幕，并为标题留出空白区域。
• **保持场景风格一致：**将相同的风格描述块粘贴到每个片段的提示词中，并在整段视频中使用同一个模型。参见 skills/remotion-production/rules/video-generation.md。

3. 通过 remotion-media 生成（默认方式）

Use remotion-media generate_video_from_text:
- prompt: [crafted prompt]
- output_name: clip-city-aerial
- model: veo3_fast      # default; veo3 for finals
- aspect_ratio: 16:9    # or 9:16 for shorts

若要改为让静态图像动起来（图像生成视频）：

Use remotion-media generate_video_from_image:
- prompt: [how the image should move]
- image_urls: [1 image URL to animate, or 2 to transition from first to last frame]
- output_name: clip-animated-still

• 片段会保存在启动 Agent 时所在目录下的 public/<output_name>.mp4。因此，请从 Remotion 项目根目录启动 Agent（Claude Code、Codex、Gemini CLI 等）。
• image_urls 必须是 KIE 可以获取的公开 URL，不能是 public/ 中的文件。请复用 generate_image 返回的 KIE 托管 URL（14 天后删除），或 Replicate 输出 URL（有效期为 1 小时）。
• KIE 的 Veo 片段时长约为 8 秒，分辨率为 720p，宽高比为 16:9 或 9:16。请做好裁剪准备。
• 如果 KIE 视频调用失败，请回退到 Replicate（第 4 步）。 KIE 的 Veo 依赖 Google 即将关闭的预览版，因此错误或空结果可能是永久性的；不要循环重试。

4. 通过 Replicate 生成（指定模型，或 KIE 失败时）

需要本地 replicate-mcp 服务，并设置 REPLICATE_API_TOKEN。请遵循 Replicate 官方的 find-models 和 run-models 技能：

1. 先搜索，再读取模式。 使用 search_models 并设置 body: "image to video"（或 "text to video"），然后调用 get_models（传入 model_owner、model_name）和 list_models_examples。不同模型支持的时长、分辨率和图像输入各不相同，因此只能使用模式中存在的输入项。
2. 创建预测任务。 官方模型使用 create_models_predictions；社区模型使用 create_predictions，并设置 version: "owner/name:<version_id>"。视频任务不要使用 Prefer: "wait"。

# Image-to-video with Kling v3 (check the schema first)
create_models_predictions:
  model_owner: "kwaivgi"
  model_name: "kling-v3-video"
  input:
    start_image: "[public image URL]"
    prompt: "[motion description]"
    # duration, aspect ratio, mode: names and allowed values from the schema

3. 轮询 get_predictions，传入 prediction_id，每隔 10–20 秒查询一次，直到 status 为 succeeded、failed 或 canceled。视频生成需要几分钟。
4. 立即下载 output 中的 URL（1 小时后过期）：

mkdir -p public/footage
curl -L -o public/footage/clip-[descriptive-name].mp4 "<output URL>"

起步建议，截至 2026 年 10 月（调用前请搜索并读取模式）：

• 快速默认选项：通过 remotion-media 使用 Veo 3.1
• 电影感图像生成视频：Kling v3（kwaivgi/kling-v3-video）：start_image，可选 end_image
• 参考输入（图像、视频）：Seedance 2（bytedance/seedance-2.0）
• 开放权重、更经济：Wan 2.7（wan-video/wan-2.7-t2v、wan-video/wan-2.7-i2v）

请将时长设置为覆盖场景所需时间，并额外预留约 1 秒余量，然后在 Remotion 中裁剪。完整流程、时长和服务提供方选择请参见 skills/remotion-production/rules/replicate-models.md 和 rules/video-generation.md。

5. 在 Remotion 中展示用法

使用 @remotion/media 中的 <Video> 放置视频片段（npx remotion add @remotion/media）。剪辑、循环播放、音量设置和拼接多个视频片段的操作遵循官方的 remotion-markup 技能（embedding-videos.md、video-editing.md）。不同提供方的路径有所不同：remotion-media 的视频片段位于 public/<output_name>.mp4，Replicate 下载的文件位于 public/footage/。

import { Video } from "@remotion/media";
import { staticFile, useVideoConfig } from "remotion";

const { fps } = useVideoConfig();

// remotion-media clip, trimmed to 3 s and starting 5 s into the scene
<Video
  src={staticFile("clip-city-aerial.mp4")}
  from={5 * fps}
  trimBefore={1 * fps}
  durationInFrames={3 * fps}
  muted
  objectFit="cover"
  style={{ width: "100%", height: "100%" }}
/>

6. 与其他素材结合

AI 生成的视频片段很适合分层使用：

• 用作背景，并在其上叠加文本
• 与来自 Pexels 的素材视频交叉剪辑
• 叠加配音和音乐
• 使用 interpolate() 应用轻微的缩放／平移效果，增强动感

提示

• 从较短的视频开始 — 3-5 秒的视频片段最适合 AI 视频
• 具体描述镜头运动 —“slow dolly zoom”“overhead crane shot”
• 组合视频片段 — 生成多个较短的视频片段，并在 Remotion 中按顺序排列
• 图像转视频 — 先使用 /generate-image 生成静态图像，再为其添加动画，以便更好地控制
• 迭代优化 — 如果首次生成的效果不够理想，请改进提示词