seedance-video-creator

Seedance 2.0 ストーリーボード動画制作ツール

クリエイティブなアイデアをプロ仕様のストーリーボードプロンプトに変換します。即梦 API で参考画像を生成してから、画像とプロンプトを基に動画を生成し、自動でダウンロードします。

---

前提条件

このスキルを使用する前に、以下のサービスが利用可能であることを確認してください。

1. jimeng-free-api-all サービスが稼働中（デフォルトポート 8000）

   # Docker 部署
   docker run -it -d --init --name jimeng-free-api-all \
     -p 8000:8000 -e TZ=Asia/Shanghai \
     wwwzhouhui569/jimeng-free-api-all:latest
   

2. SessionID を取得：

   • https://jimeng.jianying.com を開いてログインします
   • F12 → Application → Cookies → sessionid の値をコピーします

3. 環境変数（任意。対話中に指定することもできます）：

   • JIMENG_API_URL：API のベースアドレス（デフォルトは http://127.0.0.1:8000）。ベースアドレスのみを入力し、パス部分は含めないでください。duckcloud サービスを使用する場合は https://jimeng.duckcloud.fun です
   • JIMENG_SESSION_ID：即梦 SessionID

---

主な機能

Seedance 2.0 の特徴

重要な制約：Seedance 2.0 では少なくとも1枚の参考画像が必須です。テキストのみでの動画生成には対応していません。ユーザーから画像が提供されていない場合は、まずテキストから画像を生成する API で最初のフレームの参考画像を生成する必要があります。

マルチモーダル入力（ファイルは最大12個）：

• 画像：最大9枚（最初のフレーム／最後のフレーム／キャラクター／シーンの参考）
• 動画：最大3個、合計再生時間は最大15秒（カメラワーク／動作／エフェクトの参考）
• 音声：最大3個、合計再生時間は最大15秒（BGM／効果音／セリフの参考）
• テキスト：自然言語による説明

動画パラメーター：

• モデル：seedance-2.0-fast（推奨、高速版）／jimeng-video-seedance-2.0-fast（同等の別名）／jimeng-video-seedance-2.0（Pro 版）／seedance-2.0／seedance-2.0-pro（Pro 版と同等の別名）
• 比率：1:1／4:3／3:4／16:9／9:16／3:2／2:3／21:9
• 解像度：480p／720p（デフォルト）／1080p
• 長さ：4～15 秒

操作方法：素材の用途を指定するには、@1、@2（または @图1、@image1）を使用します

---

完全なワークフロー（3段階）

基本フロー：ストーリーボードプロンプト → テキストから画像を生成して最初のフレームを作成 → 画像とプロンプトから動画を生成

用户输入创意 → 第一阶段：生成分镜提示词
             → 第二阶段：调用文生图 API 生成首帧参考图 → 下载图片到本地
             → 第三阶段：用参考图 + 分镜提示词调用 Seedance 2.0 → 下载视频

---

第1段階：ストーリーボードプロンプトの生成

ステップ1：ユーザーのアイデアを理解する

ユーザーに親しみやすく質問します。

1. どんなストーリーを伝えたいですか？（核となる内容を一言でまとめます）
2. 動画の長さは？（4～15秒、デフォルトは4秒）
3. 参考素材はありますか？（画像／動画のパス）
4. 動画をそのまま生成しますか？（はい→第2段階、第3段階へ／いいえ→プロンプトのみを出力）

ステップ2：詳細を掘り下げる

ユーザーの最初の回答に基づいて、以下の項目を順に具体化します。

1. 内容と物語の展開

• 物語の導入・展開・転換・結末
• 重要な展開と登場人物
• セリフ／ナレーションの内容

2. ビジュアルスタイル

• 全体的なスタイル：リアル／アニメーション／水墨画／SF／レトロ／映画風
• 色調と雰囲気：明るい／暗い／暖色／寒色／モノクロ
• 画面比率：縦型（9:16）／横型（16:9）／標準（4:3）

3. カメラワーク

• ショットサイズの変化：ロングショット→全景→ミディアムショット→クローズアップ→極端なクローズアップ
• カメラワーク：プッシュ／プル／パン／移動／追従／回り込み／上昇・下降／ヒッチコックズーム
• トランジション：ハードカット／フェード／マッチカット／エフェクトトランジション

4. 動作とテンポ

• 主体の動作：歩行／走行／格闘／ダンス／表情の変化
• 動作のテンポ：ゆったり／素早い／緩急をつける

5. サウンドデザイン

• BGM のスタイル：高揚感のある／温かみのある／サスペンス／楽しい／壮大
• 効果音の要件：環境音／動作音／特殊効果音

ステップ3：ストーリーボードの構成を作る

ストーリーを時間軸に沿ったショットの連続に分解します。

構成例（4秒の動画）：

0-1秒：开场镜头，建立场景
1-3秒：发展，核心动作/情感
3-4秒：结尾，画面定格

ステップ4：2種類のプロンプトを生成する

収集した情報に基づいて、以下をそれぞれ生成します。

A. 最初のフレームの画像プロンプト（テキストから画像を生成するため）

動画の最初のフレームの静止画を描写します。Seedance 2.0 の最初のフレームの参考画像として使用します。

最初のフレームのプロンプト要件：

• 静止画の一瞬を描写します（動作やカメラワークなどの動的な描写は含めません）
• シーン、人物／主体の外見、光と影、色調、構図を含めます
• 画面比率は動画と一致させます
• 簡潔にまとめ、100～200文字にします

例：

日落时分的海边沙滩，一位穿着白色飘逸长裙的年轻女孩站在海边，面朝大海，夕阳逆光照射，金色光晕笼罩全身，长发和裙摆被海风轻轻吹动，远处海平线上的落日将天空染成橘红色，脚边浅浅的海浪泡沫

B. 動画ストーリーボードプロンプト（Seedance 動画生成用）

@1 を使って最初のフレームの参考画像を参照する、完全なストーリーボードプロンプトです。

プロンプトの構成テンプレート：

【整体描述】风格 + 时长 + 画面比例 + 整体氛围

@1 作为画面首帧参考

【分镜描述】
0-X秒：[镜头运动]，[画面内容]，[主体动作]，[光影/特效]
X-Y秒：[镜头运动]，[画面内容]，[主体动作]，[光影/特效]
...

【声音说明】配乐风格/音效/对白

プロンプト作成の原則：

1. タイムラインを明確にし、各区間の秒数を記載します
2. カメラワーク（プッシュ／プル／パン／移動／追従／回り込みなど）を明確にします
3. 動作を具体的に描写し、曖昧な表現を避けます
4. 最初のフレームの画像を必ず @1 で参照します（最初のフレームの画像は第2段階で自動生成されます）
5. ユーザーから複数の画像が提供された場合は、@1、@2 を使ってそれぞれ参照します
6. 全体の長さは500文字以内にします

ステップ5：最適化して確認する

• プラットフォームのルール（リアルな顔に関する制限）に違反していないか確認します
• ユーザーの了承を得てから第2段階に進みます

---

第2段階：テキストから画像を生成して最初のフレームの参考画像を作成

目的：Seedance 2.0 では参考画像が必須です。ユーザーから画像が提供されていない場合は、先にテキストから画像を生成する API を使って最初のフレームを作成します。

ユーザーから画像が提供されている場合：この段階をスキップし、第3段階に進みます。

ステップ1：テキストから画像を生成する API を呼び出す

curl -s --max-time 120 -X POST "${API_URL}/v1/images/generations" \
  -H "Authorization: Bearer ${SESSION_ID}" \
  -H "Content-Type: application/json" \
  -d "{
    \"model\": \"jimeng-4.5\",
    \"prompt\": \"${首帧图片提示词}\",
    \"ratio\": \"${RATIO}\",
    \"resolution\": \"2k\"
  }"

パラメーターの説明：

パラメーター	説明	推奨値
model	画像生成モデル	jimeng-4.5（安定した高品質）
prompt	最初のフレームの描写	第1段階で生成した最初のフレームのプロンプト
ratio	画面比率	動画と同じ比率（例：9:16）
resolution	画像の解像度	2k

API の応答形式：

{
  "created": 1700000000,
  "data": [
    { "url": "https://p6-heycan-hgt.byteimg.com/..." }
  ]
}

ステップ2：最初のフレームの画像をローカルにダウンロード

IMAGE_URL=$(echo "${RESPONSE}" | jq -r '.data[0].url')
IMAGE_FILE="/tmp/seedance_frame_$(date +%Y%m%d_%H%M%S).png"
curl -sL -o "${IMAGE_FILE}" "${IMAGE_URL}"

ステップ3：最初のフレームの画像をユーザーに表示

生成結果を報告し、ユーザーが最初のフレームに満足したことを確認してから第3段階に進みます。

---

第3段階：Seedance 2.0 で動画を生成してダウンロード

ステップ1：生成パラメーターを確認

パラメーター	説明	デフォルト値
API アドレス	jimeng-free-api-all サービスのアドレス	http://127.0.0.1:8000
SessionID	即梦プラットフォームの sessionid	環境変数またはユーザーからの入力
モデル	seedance-2.0-fast	seedance-2.0-fast
比率	動画の画面比率	最初のフレームの画像と一致
解像度	動画の解像度	720p
長さ	4～15秒	4
参考画像	最初のフレームの画像パス（第2段階で生成、またはユーザーから提供）	必須

ステップ2：Seedance 動画生成 API を呼び出す

ローカル画像を使用する場合（multipart/form-data）：

curl -s --max-time 300 -X POST "${API_URL}/v1/videos/generations" \
  -H "Authorization: Bearer ${SESSION_ID}" \
  -F "model=seedance-2.0-fast" \
  -F "prompt=${VIDEO_PROMPT}" \
  -F "ratio=${RATIO}" \
  -F "resolution=${RESOLUTION}" \
  -F "duration=${DURATION}" \
  -F "files=@${IMAGE_FILE}"

画像が複数ある場合：

curl -s --max-time 300 -X POST "${API_URL}/v1/videos/generations" \
  -H "Authorization: Bearer ${SESSION_ID}" \
  -F "model=seedance-2.0-fast" \
  -F "prompt=${VIDEO_PROMPT}" \
  -F "ratio=${RATIO}" \
  -F "resolution=${RESOLUTION}" \
  -F "duration=${DURATION}" \
  -F "files=@/path/to/image1.jpg" \
  -F "files=@/path/to/image2.jpg"

重要：

• Seedance 2.0 では少なくとも1枚の画像のアップロードが必須です。アップロードしないと、{"code":-2001,"message":"Seedance 2.0 需要至少一张图片"} エラーが返されます
• API は同期処理でブロックし、動画の生成が完了するまで自動的にポーリングします（通常60～120秒）
• curl のタイムアウトは300秒に設定することを推奨します：--max-time 300
• プロンプト内の @1、@2 は、files パラメーターでの画像のアップロード順に対応します
• Authorization ヘッダーには Bearer のプレフィックスが必要です。形式は Bearer your_sessionid です

ステップ3：結果を解析

API は OpenAI 互換形式で応答します。

{
  "created": 1700000000,
  "data": [
    {
      "url": "https://v3-dreamnia.jimeng.com/...",
      "revised_prompt": "原始提示词"
    }
  ]
}

ステップ4：動画をダウンロード

VIDEO_URL=$(echo "${RESPONSE}" | jq -r '.data[0].url')
OUTPUT_FILE="seedance_$(date +%Y%m%d_%H%M%S).mp4"
curl -L -o "${OUTPUT_FILE}" "${VIDEO_URL}"
echo "视频已下载到: $(pwd)/${OUTPUT_FILE}"

ステップ5：結果を表示

以下をユーザーに報告します。

1. 動画生成の成否
2. 動画ファイルのパスとサイズ
3. 使用した最初のフレームの画像とストーリーボードプロンプト（ユーザーが微調整して再試行できるようにするため）

---

エラー処理

API エラーコード

エラー	意味	対処方法
code: -2001	Seedance では少なくとも1枚の画像が必要	先にテキストから画像を生成する API を呼び出して最初のフレームを作成し、再試行します
HTTP 200	成功	data[0].url を取得します
HTTP 401	SessionID の期限切れ	ユーザーに再取得を案内します
HTTP 400	パラメーターエラー	model／ratio／duration を確認します
HTTP 429	クレジット不足	ユーザーに待つかチャージするよう案内します
HTTP 500	サーバーエラー	再試行するか、サービスの状態を確認します

常见问题

问题	解决方案
Seedance 报错需要图片	必须先通过文生图生成首帧，再用图片调 Seedance
连接拒绝	检查 jimeng-free-api-all 容器是否运行
生成超时	增加 curl --max-time，或降低时长
内容被过滤	修改提示词，避免敏感内容
视频 URL 失效	URL 有时效性，及时下载
积分不足	每日免费积分有限，次日刷新

---

完整示例对话

示例一：纯文本创作（无用户图片 → 自动生成首帧）

用户：帮我生成一个橘猫在海边捉螃蟹的视频，9:16竖屏，4秒

第一阶段 - 生成提示词：

首帧图片提示词：

阳光明媚的海边沙滩，一只圆滚滚的橘色猫咪蹲在潮湿的沙滩上，好奇地盯着面前一只小螃蟹，金色阳光照射，海浪轻轻拍打岸边，色彩鲜明活泼，3D动画风格

视频分镜提示词：

可爱3D动画风格，4秒，9:16竖屏，阳光明媚的海边

@1 作为画面首帧参考

0-1秒：中景，画面中的橘猫好奇地盯着沙滩上的小螃蟹，海浪轻拍岸边
1-3秒：近景跟随，橘猫伸出爪子试探性地去抓螃蟹，螃蟹举起钳子反击，橘猫被吓得往后一跳，表情夸张可爱
3-4秒：中景微拉远，橘猫和螃蟹对峙，背景碧蓝大海和白色浪花

背景音效：欢快俏皮卡通配乐 + 海浪声

第二阶段 - 生成首帧参考图：

# 1. 调用文生图 API 生成首帧
curl -s --max-time 120 -X POST "${API_URL}/v1/images/generations" \
  -H "Authorization: Bearer ${SESSION_ID}" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "jimeng-4.5",
    "prompt": "阳光明媚的海边沙滩，一只圆滚滚的橘色猫咪蹲在潮湿的沙滩上，好奇地盯着面前一只小螃蟹，金色阳光照射，海浪轻轻拍打岸边，色彩鲜明活泼，3D动画风格",
    "ratio": "9:16",
    "resolution": "2k"
  }'

# 2. 下载图片
IMAGE_URL=$(echo "${RESPONSE}" | jq -r '.data[0].url')
curl -sL -o /tmp/seedance_frame.png "${IMAGE_URL}"

第三阶段 - 生成视频：

curl -s --max-time 300 -X POST "${API_URL}/v1/videos/generations" \
  -H "Authorization: Bearer ${SESSION_ID}" \
  -F "model=seedance-2.0-fast" \
  -F "prompt=可爱3D动画风格，4秒，9:16竖屏，阳光明媚的海边

@1 作为画面首帧参考

0-1秒：中景，画面中的橘猫好奇地盯着沙滩上的小螃蟹，海浪轻拍岸边
1-3秒：近景跟随，橘猫伸出爪子试探性地去抓螃蟹，螃蟹举起钳子反击，橘猫被吓得往后一跳，表情夸张可爱
3-4秒：中景微拉远，橘猫和螃蟹对峙，背景碧蓝大海和白色浪花

背景音效：欢快俏皮卡通配乐 + 海浪声" \
  -F "ratio=9:16" \
  -F "resolution=720p" \
  -F "duration=4" \
  -F "files=@/tmp/seedance_frame.png"

示例二：用户提供图片（跳过第二阶段）

用户：用这两张图片生成一个两人跳舞的视频

• 图片1：/home/user/dancer1.jpg
• 图片2：/home/user/dancer2.jpg

跳过第二阶段，直接进入第三阶段：

curl -s --max-time 300 -X POST "${API_URL}/v1/videos/generations" \
  -H "Authorization: Bearer ${SESSION_ID}" \
  -F "model=seedance-2.0-fast" \
  -F "prompt=电影级写实风格，10秒，4:3画幅，舞台灯光氛围

@1 和 @2 面对面站立，两人开始双人舞，镜头缓慢环绕，动作优雅协调，光影交错" \
  -F "ratio=4:3" \
  -F "resolution=720p" \
  -F "duration=10" \
  -F "files=@/home/user/dancer1.jpg" \
  -F "files=@/home/user/dancer2.jpg"

---

分镜模板速查

模板一：叙事故事类

【风格】电影级写实/动画/水墨/科幻风格
【时长】4-15秒
【画幅】16:9

@1 作为画面首帧参考

0-X秒：[镜头运动]，[场景建立]，[主体引入]
X-Y秒：[镜头运动]，[情节发展]，[动作描述]
Y-Z秒：[镜头运动]，[高潮/结尾]

【声音】配乐风格 + 音效 + 对白

模板二：产品展示类

【风格】商业广告/极简/高端/科技感
【时长】4-15秒

@1 作为产品首帧参考

0-X秒：产品展示，运镜环绕/推拉
X-Y秒：产品细节特写，材质/工艺展示
Y-Z秒：品牌落版，slogan展示

【声音】大气恢宏/轻快时尚/科技感配乐

模板三：角色动作类

【风格】根据角色设定（武侠/科幻/现代/奇幻）
【时长】4-15秒

@1 作为角色参考

0-X秒：角色亮相，定格或缓慢展示造型
X-Y秒：核心动作展示（打斗/舞蹈/特技）
Y-Z秒：动作收尾，pose定格

【声音】动作音效 + 氛围配乐

模板四：风景旅拍类

【风格】电影级纪录片/治愈系/史诗感
【时长】4-15秒

@1 作为场景首帧参考

0-X秒：大景别建立镜头，展示环境全貌
X-Y秒：中景推进，引入人物或细节
Y-Z秒：回到大景别或意境落版

【声音】环境音 + 氛围配乐

---

镜头语言速查

中文	效果	适用场景
推镜头	强调主体，营造紧张感	情感爆发、细节展示
拉镜头	展现场景，营造疏离感	开场建立、结尾收束
摇镜头	左右/上下展示环境	环境介绍、角色关系
移镜头	平行移动，跟随主体	行走、追逐
跟镜头	跟随主体移动	动作跟拍
环绕镜头	360度展示主体	产品展示、角色亮相
升降镜头	从上往下或从下往上	场景全貌、气势展示
希区柯克变焦	背景压缩/拉伸效果	悬疑、心理变化
手持晃动	纪实感/紧张感	纪录片、追逐
一镜到底	不切镜头，连续拍摄	沉浸感、长叙事

氛围关键词速查

光影：逆光、侧光、顶光、伦勃朗光、剪影、轮廓光、体积光、丁达尔效应 色调：暖色调、冷色调、高饱和、低饱和、黑白、赛博朋克、复古胶片 质感：电影级、纪录片风格、广告质感、MV风格、油画感、水墨感 情绪：温馨、紧张、悬疑、欢快、忧伤、史诗、治愈、惊悚

---

注意事项

• Seedance 2.0 必须至少提供一张图片，纯文本会返回错误
• 没有用户图片时，必须先通过文生图 API 生成首帧参考图
• 暂不支持上传包含写实真人脸部的素材
• 混合输入总上限是12个文件
• API 调用是同步阻塞的，生成视频通常需要 60-120 秒
• 视频下载 URL 有时效性，生成后应立即下载
• 每日免费积分有限（约66积分），文生图和视频生成都消耗积分，合理规划
• Authorization 头需要 Bearer 前缀，格式为 Bearer your_sessionid

---

输出格式

最终输出应包含：

1. 理解确认：确认理解的故事内容
2. 首帧提示词：用于文生图的首帧画面描述
3. 分镜提示词：用于 Seedance 视频生成的完整提示词（含 @1 引用）
4. 首帧图片：文生图生成的参考图路径（如果调用了 API）
5. 生成参数：model/ratio/duration
6. 生成结果：视频文件路径（如果调用了 API）