comfyui-video-pipeline

ComfyUI 動画パイプライン

3 つのエンジンを使った動画生成を統括し、要件と利用可能なリソースに基づいて最適なエンジンを選択します。

エンジンの選択

VIDEO REQUEST
    |
    |-- Need film-level quality?
    |   |-- Yes + 24GB+ VRAM → Wan 2.2 MoE 14B
    |   |-- Yes + 8GB VRAM → Wan 2.2 1.3B
    |
    |-- Need long video (>10 seconds)?
    |   |-- Yes → FramePack (60 seconds on 6GB)
    |
    |-- Need fast iteration?
    |   |-- Yes → AnimateDiff Lightning (4-8 steps)
    |
    |-- Need camera/motion control?
    |   |-- Yes → AnimateDiff V3 + Motion LoRAs
    |
    |-- Need first+last frame control?
    |   |-- Yes → Wan 2.2 MoE (exclusive feature)
    |
    |-- Default → Wan 2.2 (best general quality)

パイプライン 1：Wan 2.2 MoE（最高品質）

画像から動画へ

前提条件：

• models/diffusion_models/ に wan2.1_i2v_720p_14b_bf16.safetensors があること
• models/clip/ に umt5_xxl_fp8_e4m3fn_scaled.safetensors があること
• models/clip_vision/ に open_clip_vit_h_14.safetensors があること
• models/vae/ に wan_2.1_vae.safetensors があること

設定：

パラメーター	値	備考
解像度	1280x720（横向き）または 720x1280（縦向き）	学習時のネイティブ解像度
フレーム数	81（16fps で約 5 秒）	4 の倍数 + 1
ステップ数	30-50	多いほど品質が向上します
CFG	5-7
サンプラー	uni_pc	Wan に推奨
スケジューラー	normal

フレーム数の目安：

長さ	フレーム数（16fps）
1 秒	17
3 秒	49
5 秒	81
10 秒	161

VRAM の最適化：

• FP8 量子化：品質をほとんど損なわずに VRAM 使用量を半減します
• SageAttention：アテンション計算を高速化します
• OOM が発生した場合はフレーム数を減らします

テキストから動画へ

I2V と同じですが、画像による条件付けの代わりに wan2.1_t2v_14b_bf16.safetensors と EmptySD3LatentImage を使用します。

最初と最後のフレームの制御（Wan 2.2 専用）

Wan 2.2 MoE では最初と最後のフレームを両方指定できるため、動画を正確に計画できます：

1. 一貫性のあるキャラクターで 2 枚のヒーロー画像を生成します
2. 1 枚目を開始フレーム、2 枚目を終了フレームとして使用します
3. Wan がその間の動きを補間します

パイプライン 2：FramePack（長尺動画、低 VRAM）

主な革新

VRAM 使用量は動画の長さに左右されません。わずか 6GB の VRAM で 30fps の 60 秒動画を生成できます。

仕組み：

• 動的なコンテキスト圧縮：キーフレームには 1536 個、遷移には 192 個のマーカーを使用します
• 逆方向の生成を伴う双方向メモリにより、ドリフトを防ぎます
• コンテキストウィンドウを使ってフレームごとに生成します

設定

パラメーター	値	備考
解像度	640x384～1280x720	VRAM によって異なります
長さ	最大 60 秒	VRAM 使用量は長さに左右されません
品質	高（Wan に匹敵）	同じベースモデルを使用します

使用する場面

• 10 秒を超える動画
• VRAM が限られているシステム（ただし、RTX 5090 では必要ありません）
• 並列処理に VRAM が必要な場合
• 動画のバッチ生成

パイプライン 3：AnimateDiff V3（高速、制御可能）

強み

• カメラ制御用のモーション LoRA（パン、ズーム、チルト、ロール）
• エフェクト LoRA（粉砕、煙、爆発、液体）
• 長さを無制限にできるスライディングコンテキストウィンドウ
• Lightning モデルを使うと非常に高速（4-8 ステップ）

設定

パラメーター	値（標準）	値（Lightning）
モーションモジュール	v3_sd15_mm.ckpt	animatediff_lightning_4step.safetensors
ステップ数	20-25	4-8
CFG	7-8	1.5-2.0
サンプラー	euler_ancestral	lcm
解像度	512x512	512x512
コンテキスト長	16	16
コンテキストのオーバーラップ	4	4

カメラモーション LoRA

LoRA	動き
v2_lora_ZoomIn	カメラがズームインします
v2_lora_ZoomOut	カメラがズームアウトします
v2_lora_PanLeft	カメラが左にパンします
v2_lora_PanRight	カメラが右にパンします
v2_lora_TiltUp	カメラが上にチルトします
v2_lora_TiltDown	カメラが下にチルトします
v2_lora_RollingClockwise	カメラが時計回りにロールします

後処理パイプライン

動画を生成した後は、次の処理を行います。

1. フレーム補間（RIFE）

フレーム数を 2 倍または 4 倍にして、動きを滑らかにします：

Input (16fps) → RIFE 2x → Output (32fps)
Input (16fps) → RIFE 4x → Output (64fps)

rife47 または rife49 モデルを使用します。

2. 顔の補正（キャラクター動画の場合）

各フレームに FaceDetailer を適用します：

• denoise：0.3-0.4（画像の場合より低く設定し、時間的な一貫性を保ちます）
• guide_size：384（動画の高速化に最適化）
• detection_model：face_yolov8m.pt

3. フリッカー除去（必要な場合）

フレーム間の時間的な不整合を軽減します。

4. 色補正

フレーム間で一貫したカラーグレーディングを保ちます。

5. 動画の結合

VHS Video Combine で最終出力します：

frame_rate: 16 (native) or 24/30 (after interpolation)
format: "video/h264-mp4"
crf: 19 (high quality) to 23 (smaller file)

トーキングヘッドのパイプライン

キャラクターの会話用の完全なパイプライン：

1. Generate audio → comfyui-voice-pipeline
2. Generate base video → This skill (Wan I2V or AnimateDiff)
   - Prompt: "{character}, talking naturally, slight head movement"
   - Duration: match audio length
3. Apply lip-sync → Wav2Lip or LatentSync
4. Enhance faces → FaceDetailer + CodeFormer
5. Final output → video-assembly

品質チェックリスト

動画を完成としてマークする前に、次を確認してください：

• フレーム間でキャラクターの同一性が一貫している
• [ ]ちらつきや時間的なアーティファクトがない
• 動きが自然に見える（ぎこちなくなく、静止していない）
• キャラクター動画の場合は顔の補正が適用されている
• フレームレートが滑らかである（納品用は 24 fps 以上）
• 音声が同期している（トーキングヘッドの場合）
• 解像度が納品先の目標に合っている

参考資料

• references/workflows.md - Wan と AnimateDiff のワークフローテンプレート
• references/models.md - 動画モデルのダウンロードリンク
• references/research-log.md - 動画生成の最新の進展
• state/inventory.json - 利用可能な動画モデル