mcpField
C
comfyui-character-gen

comfyui-character-gen

github.com/mckruz创意与媒体92717 次安装32 周前更新
代码仓库

关于 comfyui-character-gen

comfyui-character-gen 是帮助创作者设计 ComfyUI 角色生成工作流的技能，覆盖图像、视频和语音。它提供身份保持方案、工作流模式、模型与节点参考，以及按目标和硬件选择参数的指导。

主要功能

  1. 01规划角色图像生成流程
  2. 02保持角色身份一致性
  3. 03构建角色视频生成流程
  4. 04组合语音与口型同步流程
  5. 05提供模型、节点及参数参考

适用场景

  1. 01将 3D 角色参考转为写实图像
  2. 02制作系列角色图像
  3. 03生成角色动画与宣传视频
  4. 04为角色视频添加语音和口型同步

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/mckruz/comfyui-expert --skill comfyui-character-gen

安装后在 Claude Code 中输入/comfyui-character-gen确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

eval/
benchmark.yaml
EVAL.md
run-eval.sh
test-cases.yaml
trigger-tests.yaml
eval/results/
.gitignore
.gitkeep
references/
evolution.md
lora-training.md
models.md
research-2025.md
talking-head-workflows.md
voice-synthesis.md
workflows.md

详细介绍

ComfyUI 角色生成专家

构建可用于生产环境的 ComfyUI 工作流，实现图像、视频和语音模态中的角色一致性生成。

快速决策：选择哪种方案？

从参考图像（如 3D 渲染图）开始？ → InfiniteYou（2025 年最先进）或 InstantID + IP-Adapter（经过验证，占用 VRAM 较低）

需要最高的身份保真度？ → FLUX.2（2026 年全新版本：最多支持 10 张参考图）或 PuLID Flux II（不会污染模型）

希望无需重新训练即可迭代编辑？ → FLUX Kontext（具备上下文感知能力，可在多次编辑中保持一致性）

要创建视频内容？ → LTX-2（2026 年全新版本：可用于生产的 4K）、Wan 2.2 MoE（电影级效果）或 FramePack（仅需 6GB 显存即可生成 60 秒视频！）

角色需要语音？ → TTS Audio Suite（统一平台，支持 23 种语言）或 F5-TTS Cross-Lingual（2026 年全新版本）

核心工作流模式

模式 1：零样本角色生成（无需训练）

适用于：快速迭代、3D 转写实、参考图像有限的场景

Load Reference Face → InstantID + IP-Adapter FaceID → ControlNet Pose → KSampler → FaceDetailer → Upscale

关键设置：

  • CFG：4-5（防止使用 InstantID 时出现过曝）
  • 分辨率：1016×1016（避免水印伪影）
  • IP-Adapter 权重：0.6-0.8
  • InstantID 噪声注入：35% 设为负值

完整节点配置请参阅 references/workflows.md。

模式 2：LoRA + 身份保持方法（实现最高一致性）

适用于：生产环境、角色系列、视频生成基础

Train LoRA → Load LoRA + Checkpoint → Add InstantID/PuLID → Generate → FaceDetailer → ReActor (optional) → Upscale

训练要求：

  • 15-30 张图像，包含不同姿势、表情和光照
  • 唯一触发词（例如，“sage_character”）
  • 完整参数请参阅 references/lora-training.md
模式 3：视频生成流水线

适用于：说话头像、角色动画、宣传内容

Generate/Load Hero Image → Wan 2.1 I2V OR AnimateDiff → FaceDetailer per frame → Frame Interpolation → Video Combine

模型选择：

  • Wan 2.1 14B：质量最佳，需要 24GB+ VRAM，速度较慢
  • Wan 2.1 1.3B：需要 8GB VRAM，质量良好，速度更快
  • AnimateDiff Lightning：速度最快，最适合迭代
模式 4：带语音的说话头像

适用于：角色对白、演示、社交内容

可选两种方案：

Approach 1 (Image → Talking Head):
Character Portrait → Generate Audio → SadTalker/LivePortrait → CodeFormer Enhancement → Final Video

Approach 2 (Video → Add Voice):
Existing Video → Generate Audio → Wav2Lip Lip-Sync → CodeFormer Enhancement → Final Video

完整工作流请参阅 references/talking-head-workflows.md，语音创建选项请参阅 references/voice-synthesis.md。

模型推荐（2026 年更新）

图像生成
用例模型备注
最佳写实效果FLUX.1-dev速度较慢，但质量更优
多参考图一致性FLUX.22026 年全新版本：最多支持 10 张参考图，强身份保持能力
快速迭代RealVisXL V5.0速度与质量均衡
角色编辑FLUX Kontext具备上下文感知能力，可在多次编辑中保持一致性
迭代优化FLUX Kontext Pro/Max速度比 GPT-Image（API）快 8 倍
身份保持（2026 年最先进技术）
方法最适用场景VRAM备注
FLUX.2多参考图一致性24GB+2026 年全新版本：最多支持 10 张参考图，适用于品牌内容
InfiniteYou最高身份匹配度24GBICCV 2025 Highlight，提供 SIM/AES 变体
FLUX Kontext迭代编辑12-32GB内置一致性，无需重新训练
PuLID Flux II双角色、不污染模型24-40GB对比对齐可解决模型污染问题
AuraFace商用身份编码12GB2026 年全新版本：开源的 ArcFace 替代方案
InstantID风格迁移、3D 转写实12GB目前处于维护模式，但仍表现出色
IP-Adapter FaceID追求速度、降低 VRAM 占用6GB+可靠的基础方案
视频生成
模型质量速度显存备注
LTX-2★★★★★中等16GB+2026 年全新推出：首个开源 4K 音视频模型，可用于生产环境
Wan 2.2 MoE★★★★★慢24GB+电影级美学效果，可控制首帧和尾帧
FramePack★★★★★中等6GB可生成 60 秒视频，显存占用不变的突破性技术
Wan 2.1 1.3B★★★★中等8GB+适合普通用户
AnimateDiff V3★★★快8GB支持运动/摄像机 LoRA，可生成无限时长内容
语音/TTS
工具许可证质量功能
TTS Audio Suite多种★★★★★统一平台，支持 23 种语言和情绪控制
F5-TTSMIT★★★★从不足 15 秒的样本进行零样本合成，2026 年新增跨语言功能
ChatterboxMIT★★★★★副语言标签（[laugh]、[sigh]），4 种音色
IndexTTS-2MIT★★★★8 种情绪向量控制
ElevenLabs商业★★★★★生产级质量（API）

必备自定义节点

通过 ComfyUI-Manager 安装：

ComfyUI-Manager              # Must install first
ComfyUI_IPAdapter_plus       # IP-Adapter and FaceID
ComfyUI_InstantID            # InstantID workflow
ComfyUI-Impact-Pack          # FaceDetailer
ComfyUI-ReActor              # Face swapping
ComfyUI-AnimateDiff-Evolved  # Video generation
ComfyUI-VideoHelperSuite     # Video I/O
comfyui_controlnet_aux       # Pose/depth preprocessors
ComfyUI_UltimateSDUpscale    # Tiled upscaling
ComfyUI-Frame-Interpolation  # Smooth video

RTX 50 系列优化（2026 年全新推出）

RTX 5090 配备 32GB 显存，可在不进行优化的情况下运行大多数工作流。ComfyUI v0.8.1 增加了多项 RTX 50 系列增强功能：

Launch flags: --highvram --fp8_e4m3fn-unet

v0.8.1 新功能：

  • NVFP4/NVFP8 精度格式：在 RTX 50 系列上实现 3 倍性能提升，显存占用减少 60%
  • 权重流式传输：显存耗尽时使用系统 RAM，让中端 GPU 也能运行更大的模型
  • 启用分块 VAE，进行 8K 及更高分辨率的放大
  • 并行批量生成 4 张 1024×1024 图像
  • 原生运行 Wan 2.2 14B + LTX-2
  • 对 FLUX 使用 FP8 量化（显存占用减少 50%）

工作流生成流程

为用户构建工作流时：

  1. 明确目标：仅需图像？视频？需要配音吗？素材是什么？

  2. 根据需求，从上述内容中选择管线模式

  3. 按照 references/workflows.md 中的节点配置生成工作流

  4. 根据 references/models.md 中的内容，提供准确的模型下载信息，包括文件名和路径

  5. 提供适合其硬件/使用场景的参数建议

参考文件

  • references/research-log.md - 最新技术：InfiniteYou、FLUX Kontext、PuLID Flux II、Wan 2.2 MoE、FramePack、FLUX.2、LTX-2.3、Wan 2.6、Qwen3-TTS 等
  • references/models.md - 完整模型列表，包含 HuggingFace/Civitai 链接、文件路径和兼容性说明
  • references/workflows.md - 各种模式的详细逐节点工作流模板
  • references/lora-training.md - LoRA 训练指南，包含 Kohya/AI-Toolkit 参数
  • references/voice-synthesis.md - 语音克隆、TTS 和口型同步管线详情
  • references/talking-head-workflows.md - 完整的说话头像工作流：图像→说话头像（SadTalker、LivePortrait）和视频→添加语音（Wav2Lip），附带生产脚本
  • references/evolution.md - 更新来源、更新日志和用户专属经验

技能演进

此技能旨在持续演进。帮助用户时：

开始工作流前：

  • 检查是否有新模型发布，且可能更适用（如不确定，可搜索 HuggingFace/Civitai）
  • 考虑用户过去的成功/失败经验是否有助于制定方案

完成工作流后：

  • 记录效果良好或不佳之处，供日后参考
  • 如果用户发现了更好的设置，请更新相应的参考文件

主动更新：

  • 用户提及新模型或新技术时，进行调研并整合
  • 定期建议检查关键依赖项是否有更新

有关监控来源和更新流程，请参阅 references/evolution.md。

示例：将 3D 渲染转换为照片级真实感角色

将风格化的 3D 渲染图（例如游戏/VN 角色）转换为照片级真实感图像：

**推荐方案：**在 FLUX 上使用 InstantID + IP-Adapter FaceID

1. Load 3D render reference (best quality, front-facing)
2. Apply InstantID (extracts identity + facial keypoints)
3. Apply IP-Adapter FaceID Plus V2 (weight 0.7)
4. Use FLUX.1-dev checkpoint
5. Prompt: "photorealistic portrait, detailed skin texture, natural lighting, [character description]"
6. CFG: 4-5, Steps: 25-30
7. FaceDetailer pass (denoise 0.35)
8. Upscale with 4x-UltraSharp

此方案可将风格化外观转换为照片级真实感，同时保留核心身份特征。

评论

支持 Markdown