mcpField
C
comfyui-video-pipeline

comfyui-video-pipeline

github.com/mckruz创意与媒体921.3k 次安装32 周前更新
代码仓库

关于 comfyui-video-pipeline

comfyui-video-pipeline 为 ComfyUI 视频生成提供多引擎流程指南，面向需要按画质、时长和显存条件选择方案的创作者。内容涵盖 Wan、FramePack、AnimateDiff 及生成后的处理步骤。

主要功能

  1. 01根据需求和资源选择视频引擎
  2. 02提供 Wan 图生视频与文生视频设置
  3. 03说明 FramePack 长视频流程
  4. 04涵盖 AnimateDiff 动作与镜头控制
  5. 05列出插帧、面部增强和去闪烁步骤
  6. 06包含对口型视频流程与检查清单

适用场景

  1. 01根据显存与时长需求选择生成流程
  2. 02用首尾帧规划 Wan 视频运动
  3. 03使用 AnimateDiff 控制镜头运动
  4. 04生成角色对话视频并执行后期处理

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/mckruz/comfyui-expert --skill comfyui-video-pipeline

安装后在 Claude Code 中输入/comfyui-video-pipeline确认已加载。

详细介绍

ComfyUI 视频工作流

协调三个引擎的视频生成，根据需求和可用资源选择最合适的引擎。

引擎选择

VIDEO REQUEST
    |
    |-- Need film-level quality?
    |   |-- Yes + 24GB+ VRAM → Wan 2.2 MoE 14B
    |   |-- Yes + 8GB VRAM → Wan 2.2 1.3B
    |
    |-- Need long video (>10 seconds)?
    |   |-- Yes → FramePack (60 seconds on 6GB)
    |
    |-- Need fast iteration?
    |   |-- Yes → AnimateDiff Lightning (4-8 steps)
    |
    |-- Need camera/motion control?
    |   |-- Yes → AnimateDiff V3 + Motion LoRAs
    |
    |-- Need first+last frame control?
    |   |-- Yes → Wan 2.2 MoE (exclusive feature)
    |
    |-- Default → Wan 2.2 (best general quality)

工作流 1：Wan 2.2 MoE（最高质量）

图像转视频

前置条件：

  • wan2.1_i2v_720p_14b_bf16.safetensors 位于 models/diffusion_models/
  • umt5_xxl_fp8_e4m3fn_scaled.safetensors 位于 models/clip/
  • open_clip_vit_h_14.safetensors 位于 models/clip_vision/
  • wan_2.1_vae.safetensors 位于 models/vae/

设置：

参数值说明
分辨率1280x720（横向）或 720x1280（纵向）原生训练分辨率
帧数81（16fps 下约 5 秒）必须是 4 的倍数 + 1
步数30-50数值越高，质量越好
CFG5-7
采样器uni_pc推荐用于 Wan
调度器normal

帧数参考：

时长帧数（16fps）
1 秒17
3 秒49
5 秒81
10 秒161

VRAM 优化：

  • FP8 量化：几乎不损失质量，显存占用减半
  • SageAttention：加快注意力计算
  • 如果显存不足，则减少帧数
文本转视频

与 I2V 相同，但使用 wan2.1_t2v_14b_bf16.safetensors 和 EmptySD3LatentImage，而非图像条件输入。

首尾帧控制（Wan 2.2 独有）

Wan 2.2 MoE 支持同时指定首帧和尾帧，从而实现精准的视频规划：

  1. 生成两张角色一致的主图
  2. 将第一张用作起始帧，第二张用作结束帧
  3. Wan 会对两帧之间的动作进行插值

工作流 2：FramePack（长视频，低显存）

核心创新

显存占用不受视频长度影响——仅用 6GB 显存即可生成 30fps、时长 60 秒的视频。

工作原理：

  • 动态上下文压缩：关键帧使用 1536 个标记，转场使用 192 个标记
  • 双向记忆结合反向生成，防止画面漂移
  • 在上下文窗口内逐帧生成
设置
参数值说明
分辨率640x384 至 1280x720取决于显存
时长最长 60 秒显存占用不受时长影响
质量高（可与 Wan 相媲美）使用相同的基础模型
适用场景
  • 时长超过 10 秒的视频
  • 显存有限的系统（但 RTX 5090 不需要此方案）
  • 需要为并行操作预留显存时
  • 批量生成视频

工作流 3：AnimateDiff V3（快速、可控）

优势
  • 用于摄像机控制的动作 LoRA（平移、缩放、倾斜、旋转）
  • 效果 LoRA（碎裂、烟雾、爆炸、液体）
  • 滑动上下文窗口支持无限时长
  • 配合 Lightning 模型时速度极快（4-8 步）
设置
参数值（标准）值（Lightning）
动作模块v3_sd15_mm.ckptanimatediff_lightning_4step.safetensors
步数20-254-8
CFG7-81.5-2.0
采样器euler_ancestrallcm
分辨率512x512512x512
上下文长度1616
上下文重叠44
摄像机运动 LoRA
LoRA运动
v2_lora_ZoomIn摄像机推进
v2_lora_ZoomOut摄像机拉远
v2_lora_PanLeft摄像机向左平移
v2_lora_PanRight摄像机向右平移
v2_lora_TiltUp摄像机向上倾斜
v2_lora_TiltDown摄像机向下倾斜
v2_lora_RollingClockwise摄像机顺时针旋转

后期处理工作流

任何视频生成完成后：

1. 帧插值（RIFE）

将帧数加倍或增至四倍，使动作更加流畅：

Input (16fps) → RIFE 2x → Output (32fps)
Input (16fps) → RIFE 4x → Output (64fps)

使用 rife47 或 rife49 模型。

2. 面部增强（用于角色视频）

对每一帧应用 FaceDetailer：

  • denoise：0.3-0.4（低于图像处理设置，以保持时间一致性）
  • guide_size：384（针对视频的速度优化）
  • detection_model：face_yolov8m.pt
3. 去闪烁（如有需要）

减少帧与帧之间的时间不一致。

4. 色彩校正

确保所有帧的色彩分级保持一致。

5. 视频合成

通过 VHS Video Combine 输出最终视频：

frame_rate: 16 (native) or 24/30 (after interpolation)
format: "video/h264-mp4"
crf: 19 (high quality) to 23 (smaller file)

口播人物工作流

角色对话的完整工作流：

1. Generate audio → comfyui-voice-pipeline
2. Generate base video → This skill (Wan I2V or AnimateDiff)
   - Prompt: "{character}, talking naturally, slight head movement"
   - Duration: match audio length
3. Apply lip-sync → Wav2Lip or LatentSync
4. Enhance faces → FaceDetailer + CodeFormer
5. Final output → video-assembly

质量检查清单

标记视频为完成前：

  • 各帧中的角色身份保持一致
  • 没有闪烁或时序伪影
  • 动作自然（不生硬或静止）
  • 如果是角色视频，已应用面部增强
  • 帧率流畅（交付时为 24+ fps）
  • 音频同步（如果是口播人物）
  • 分辨率符合交付目标

参考资料

  • references/workflows.md - Wan 和 AnimateDiff 的工作流模板
  • references/models.md - 视频模型下载链接
  • references/research-log.md - 最新的视频生成进展
  • state/inventory.json - 可用的视频模型

评论

支持 Markdown