generate-clip

クリップを生成 — AI 動画生成

Remotion プロジェクト向けに、ユーザーが独自の AI 動画クリップを生成できるよう支援します。ストック映像にはない、独自の映像を作成できます。

ワークフロー

1. ニーズを把握する

ユーザーに次のことを尋ねます。

• クリップに何を映しますか？ — シーン、製品、アニメーション、自然、抽象表現など
• 長さ — 何秒にしますか？（AI クリップは通常 3〜10 秒です）
• スタイル — シネマティック、ドローン撮影、クローズアップ、スローモーション、タイムラプスなど
• ソース — テキストから動画を生成（説明文から生成）しますか、それとも画像から動画を生成（静止画をアニメーション化）しますか？

2. 動画プロンプトを作成する

シーンの説明を作成します。手法については Replicate の公式 prompt-videos スキルに従ってください（モデルに依存しないため、Veo にも適用できます）。カメラの動き、被写体とその動作、舞台、照明と雰囲気、速度を盛り込みます。

プロンプトの例：

• 「ゴールデンアワーの現代都市を真上からゆっくりとクレーン撮影し、下の道路では車が走っている、温かみのあるシネマティックな照明。」
• 「白いマグカップにコーヒーを注ぐクローズアップ、立ち上る湯気、柔らかな朝の光、浅い被写界深度。」
• 「抽象的な流体アート、流れるメタリックゴールドと深いブルーの絵の具、魅惑的なスローモーション。」
• 「森の樹冠の間を飛ぶドローン、葉の間から差し込む日光、シネマティックな自然映像。」

動画では、さらに次の点にも注意します。

• クリップごとに連続したワンショットにします。カット編集は Remotion で行います。
• 映像にテキストや字幕を焼き込まず、タイトルを配置するための余白を確保します。
• シーンの一貫性を保ちます。 すべてのクリップのプロンプトに同じスタイルブロックを貼り付け、動画全体で同じモデルを使います。skills/remotion-production/rules/video-generation.md を参照してください。

3. remotion-media で生成する（デフォルト）

Use remotion-media generate_video_from_text:
- prompt: [crafted prompt]
- output_name: clip-city-aerial
- model: veo3_fast      # default; veo3 for finals
- aspect_ratio: 16:9    # or 9:16 for shorts

静止画をアニメーション化する場合（画像から動画を生成）：

Use remotion-media generate_video_from_image:
- prompt: [how the image should move]
- image_urls: [1 image URL to animate, or 2 to transition from first to last frame]
- output_name: clip-animated-still

• クリップは、エージェントを起動したディレクトリ内の public/<output_name>.mp4 に保存されます。そのため、Remotion プロジェクトのルートからエージェント（Claude Code、Codex、Gemini CLI…）を起動してください。
• image_urls は、KIE が取得できる公開 URL である必要があります。public/ 内のファイルは使えません。generate_image が返す KIE ホストの URL（14 日後に削除されます）か、Replicate の出力 URL（1 時間有効）を再利用してください。
• KIE の Veo クリップは 720p、16:9 または 9:16 で約 8 秒です。トリミングする前提で計画してください。
• KIE の動画呼び出しが失敗した場合は、Replicate に切り替えてください（ステップ 4）。 KIE の Veo は Google が提供を終了する予定のプレビュー版に依存しているため、エラーや空の結果が恒久的な可能性があります。ループして再試行しないでください。

4. Replicate で生成する（特定のモデルを使う場合、または KIE が失敗した場合）

REPLICATE_API_TOKEN を設定したローカルの replicate-mcp サーバーが必要です。Replicate の公式 find-models および run-models スキルに従ってください。

1. 検索してからスキーマを読み取ります。 body: "image to video"（または "text to video"）を指定して search_models を呼び出し、続けて get_models（model_owner、model_name）と list_models_examples を呼び出します。モデルによって長さ、解像度、画像入力が異なるため、スキーマに存在する入力のみを使用してください。
2. 予測を作成します。 公式モデルには create_models_predictions を使用します。コミュニティモデルには version: "owner/name:<version_id>" を指定して create_predictions を使用します。動画では Prefer: "wait" を使用しないでください。

# Image-to-video with Kling v3 (check the schema first)
create_models_predictions:
  model_owner: "kwaivgi"
  model_name: "kling-v3-video"
  input:
    start_image: "[public image URL]"
    prompt: "[motion description]"
    # duration, aspect ratio, mode: names and allowed values from the schema

3. prediction_id を指定して get_predictions を 10〜20 秒ごとに呼び出し、status が succeeded、failed、または canceled になるまでポーリングします。動画の生成には数分かかります。
4. output 内の URL からすぐにダウンロードします（1 時間後に期限切れになります）。

mkdir -p public/footage
curl -L -o public/footage/clip-[descriptive-name].mp4 "<output URL>"

利用開始時の候補（2026 年 10 月時点）（呼び出す前に検索してスキーマを確認してください）。

• 手軽なデフォルト：remotion-media 経由の Veo 3.1
• 画像から動画を生成、シネマティック：Kling v3（kwaivgi/kling-v3-video）：start_image、任意で end_image
• 参照画像・動画：Seedance 2（bytedance/seedance-2.0）
• オープンウェイト、低コスト：Wan 2.7（wan-video/wan-2.7-t2v、wan-video/wan-2.7-i2v）

シーンに必要な長さに、余裕として約 1 秒を加えた長さを指定し、Remotion でトリミングするよう依頼してください。全体の手順、長さ、プロバイダーの選択については、skills/remotion-production/rules/replicate-models.md と rules/video-generation.md を参照してください。

5. Remotion での使用方法

@remotion/media の <Video> を使ってクリップを配置します（npx remotion add @remotion/media）。トリミング、ループ再生、音量調整、複数のクリップの結合は、公式の remotion-markup スキル（embedding-videos.md、video-editing.md）に従います。プロバイダーごとに異なるのはパスです。remotion-media のクリップは public/<output_name>.mp4 に、Replicate のダウンロードファイルは public/footage/ にあります。

import { Video } from "@remotion/media";
import { staticFile, useVideoConfig } from "remotion";

const { fps } = useVideoConfig();

// remotion-media clip, trimmed to 3 s and starting 5 s into the scene
<Video
  src={staticFile("clip-city-aerial.mp4")}
  from={5 * fps}
  trimBefore={1 * fps}
  durationInFrames={3 * fps}
  muted
  objectFit="cover"
  style={{ width: "100%", height: "100%" }}
/>

6. ほかのアセットと組み合わせる

AI 生成クリップは、ほかのアセットと重ねると効果的です。

• テキストオーバーレイの背後に背景として使用する
• Pexels のストック映像と交互に挿入する
• ナレーションや音楽を重ねる
• interpolate() で控えめなズームやパンを加え、さらに躍動感を出す

ヒント

• 短く始める — AI 動画では、3～5 秒のクリップが最適です
• カメラの動きを具体的に指定する — 「slow dolly zoom」「overhead crane shot」など
• クリップを組み合わせる — 短いクリップを複数生成し、Remotion で順番に並べます
• 画像から動画を生成する — まず /generate-image で静止画を生成し、それをアニメーション化すると、より細かく制御できます
• 繰り返し試す — 最初の生成結果が理想どおりでなければ、プロンプトを調整します