comfyui-character-gen

ComfyUI キャラクター生成エキスパート

画像、動画、音声の各モダリティで一貫したキャラクターを生成する、本番環境対応の ComfyUI ワークフローを構築します。

まず選ぶ：どのアプローチが適切ですか？

参照画像（3D レンダリングなど）を使って始めますか？ → InfiniteYou（2025 年最先端）または InstantID + IP-Adapter（実績があり、必要な VRAM が少ない）

最高レベルのアイデンティティ忠実度が必要ですか？ → FLUX.2（2026 年新登場：最大 10 枚の参照画像に対応）または PuLID Flux II（モデル汚染なし）

再トレーニングせずに、反復的な編集を行いたいですか？ → FLUX Kontext（コンテキストを認識し、編集を重ねても一貫性を維持）

動画コンテンツを作成しますか？ → LTX-2（2026 年新登場：4K の本番環境対応）、Wan 2.2 MoE（映画レベル）、または FramePack（6GB で 60 秒！）

キャラクターの音声が必要ですか？ → TTS Audio Suite（23 言語対応の統合プラットフォーム）または F5-TTS Cross-Lingual（2026 年新登場）

コアワークフローパターン

パターン 1：ゼロショットキャラクター生成（トレーニングなし）

最適な用途：素早い試行錯誤、3D からフォトリアルへの変換、参照画像が限られている場合

Load Reference Face → InstantID + IP-Adapter FaceID → ControlNet Pose → KSampler → FaceDetailer → Upscale

重要な設定：

• CFG：4～5（InstantID での白飛びを防ぎます）
• 解像度：1016×1016（透かしのアーティファクトを回避します）
• IP-Adapter の重み：0.6～0.8
• InstantID のノイズ注入：ネガティブ側に 35%

ノードの設定一式については、references/workflows.md を参照してください。

パターン 2：LoRA + アイデンティティ手法（一貫性を最大化）

最適な用途：本番環境での作業、キャラクターシリーズ、動画生成のベース

Train LoRA → Load LoRA + Checkpoint → Add InstantID/PuLID → Generate → FaceDetailer → ReActor (optional) → Upscale

トレーニング要件：

• ポーズ、表情、ライティングに変化をつけた画像を 15～30 枚
• 固有のトリガーワード（例：「sage_character」）
• パラメーターの全容については、references/lora-training.md を参照してください

パターン 3：動画生成パイプライン

最適な用途：トーキングヘッド、キャラクターアニメーション、プロモーションコンテンツ

Generate/Load Hero Image → Wan 2.1 I2V OR AnimateDiff → FaceDetailer per frame → Frame Interpolation → Video Combine

モデルの選択：

• Wan 2.1 14B：最高品質、24GB 以上の VRAM が必要、低速
• Wan 2.1 1.3B：8GB の VRAM で動作、良好な品質、高速
• AnimateDiff Lightning：最速で、試行錯誤に最適

パターン 4：音声付きトーキングヘッド

最適な用途：キャラクターのセリフ、プレゼンテーション、ソーシャルコンテンツ

利用可能な 2 つのアプローチ：

Approach 1 (Image → Talking Head):
Character Portrait → Generate Audio → SadTalker/LivePortrait → CodeFormer Enhancement → Final Video

Approach 2 (Video → Add Voice):
Existing Video → Generate Audio → Wav2Lip Lip-Sync → CodeFormer Enhancement → Final Video

ワークフロー一式については references/talking-head-workflows.md を、音声の作成方法については references/voice-synthesis.md を参照してください。

モデルの推奨（2026 年更新）

画像生成

用途	モデル	備考
最も優れたフォトリアリズム	FLUX.1-dev	低速ですが、優れた品質です
複数の参照画像との一貫性	FLUX.2	2026 年新登場：最大 10 枚の参照画像に対応し、強力にアイデンティティを保持
高速な試行錯誤	RealVisXL V5.0	速度と品質のバランスが良好
キャラクター編集	FLUX Kontext	コンテキストを認識し、編集を重ねても一貫性を維持
反復的な調整	FLUX Kontext Pro/Max	GPT-Image（API）より 8 倍高速

アイデンティティの保持（2026 年最先端）

手法	最適な用途	VRAM	備考
FLUX.2	複数の参照画像との一貫性	24GB 以上	2026 年新登場：最大 10 枚の参照画像に対応、ブランドコンテンツ向け
InfiniteYou	最高レベルのアイデンティティ一致	24GB	ICCV 2025 ハイライト、SIM/AES バリアント
FLUX Kontext	反復的な編集	12～32GB	一貫性を標準搭載、再トレーニング不要
PuLID Flux II	2 人のキャラクター、汚染なし	24～40GB	対照アライメントによりモデル汚染を解決
AuraFace	商用向けアイデンティティエンコーディング	12GB	2026 年新登場：オープンソースの ArcFace 代替
InstantID	スタイル変換、3D→実写風	12GB	メンテナンスモードですが、今も優れています
IP-Adapter FaceID	高速、必要な VRAM が少ない	6GB 以上	優れたベースライン手法

動画生成

モデル	品質	速度	VRAM	備考
LTX-2	★★★★★	中速	16GB+	2026年の新機能：オープンソースとして初の4K音声＋動画対応、制作環境での利用に対応
Wan 2.2 MoE	★★★★★	低速	24GB+	映画レベルの美しさ、最初と最後のフレームを制御可能
FramePack	★★★★★	中速	6GB	60秒動画、VRAMに依存しない画期的な技術
Wan 2.1 1.3B	★★★★	中速	8GB+	一般ユーザーにも使いやすい
AnimateDiff V3	★★★	高速	8GB	動き／カメラのLoRA、長さ無制限

音声／TTS

ツール	ライセンス	品質	機能
TTS Audio Suite	複数	★★★★★	統合プラットフォーム、23言語、感情制御
F5-TTS	MIT	★★★★	15秒未満のサンプルからのゼロショット生成、2026年に多言語対応
Chatterbox	MIT	★★★★★	パラ言語タグ（[laugh]、[sigh]）、4種類の音声
IndexTTS-2	MIT	★★★★	8種類の感情をベクトルで制御
ElevenLabs	商用	★★★★★	制作レベルの品質（API）

必須のカスタムノード

ComfyUI-Manager からインストールします：

ComfyUI-Manager              # Must install first
ComfyUI_IPAdapter_plus       # IP-Adapter and FaceID
ComfyUI_InstantID            # InstantID workflow
ComfyUI-Impact-Pack          # FaceDetailer
ComfyUI-ReActor              # Face swapping
ComfyUI-AnimateDiff-Evolved  # Video generation
ComfyUI-VideoHelperSuite     # Video I/O
comfyui_controlnet_aux       # Pose/depth preprocessors
ComfyUI_UltimateSDUpscale    # Tiled upscaling
ComfyUI-Frame-Interpolation  # Smooth video

RTX 50 シリーズの最適化（2026年の新機能）

RTX 5090 の 32GB VRAM であれば、ほとんどのワークフローを最適化なしで実行できます。ComfyUI v0.8.1 では RTX 50 シリーズ向けに大幅な機能強化が追加されています：

Launch flags: --highvram --fp8_e4m3fn-unet

v0.8.1 の新機能：

• NVFP4/NVFP8 精度形式：RTX 50 シリーズで性能が3倍になり、VRAMを60％削減
• 重みのストリーミング：VRAM が不足するとシステム RAM を使用し、ミドルレンジ GPU でより大きなモデルを実行可能
• 8K 以上のアップスケールではタイル化 VAE を有効にします
• 1024×1024 の画像を4つ並列で生成します
• Wan 2.2 14B と LTX-2 をネイティブに実行します
• FLUX には FP8 量子化を使用します（VRAMを50％削減）

ワークフロー生成プロセス

ユーザー向けのワークフローを構築する際は、次の手順に従います：

1. 目的を明確にします：画像のみですか？動画ですか？音声付きですか？素材は何ですか？

2. 要件に基づいて、上記からパイプラインのパターンを選択します

3. references/workflows.md のノード構成に従って、ワークフローを生成します

4. references/models.md に記載された正確なファイル名とパスを含めて、モデルのダウンロード情報を記載します

5. ハードウェアやユースケースに合わせたパラメーターの推奨値を提示します

参考ファイル

• references/research-log.md - 最新の技術：InfiniteYou、FLUX Kontext、PuLID Flux II、Wan 2.2 MoE、FramePack、FLUX.2、LTX-2.3、Wan 2.6、Qwen3-TTS など
• references/models.md - HuggingFace/Civitai のリンク、ファイルパス、互換性に関する注意事項を含む完全なモデル一覧
• references/workflows.md - 各パターンのノード単位の詳細なワークフローテンプレート
• references/lora-training.md - Kohya/AI-Toolkit のパラメーターを含む LoRA トレーニングガイド
• references/voice-synthesis.md - 音声クローン、TTS、リップシンクのパイプラインの詳細
• references/talking-head-workflows.md - トーキングヘッドの完全なワークフロー：画像→トーキングヘッド（SadTalker、LivePortrait）と動画→音声の追加（Wav2Lip）、および本番用スクリプト
• references/evolution.md - 更新元、変更履歴、ユーザー固有の学び

スキルの進化

このスキルは進化するように設計されています。ユーザーを支援する際は、次の点に留意してください。

ワークフローを開始する前：

• より適した新しいモデルが公開されていないか確認します（確証がない場合は HuggingFace/Civitai を検索します）
• ユーザーの過去の成功や失敗がアプローチの参考になるか検討します

ワークフローの完了後：

• 今後の参考のため、うまくいった点やうまくいかなかった点を記録します
• ユーザーがより良い設定を見つけた場合は、該当する参考ファイルを更新します

積極的な更新：

• ユーザーが新しいモデルや技術に言及したら、調査して取り入れます
• 主要な依存関係の更新を確認するよう、定期的に提案します

監視対象の情報源と更新手順については、references/evolution.md を参照してください。

例：3Dレンダーからフォトリアルなキャラクターへ

ゲーム／VN のキャラクターなど、様式化された3Dレンダーをフォトリアルな画像に変換する場合：

推奨アプローチ： FLUX で InstantID と IP-Adapter FaceID を使用します

1. Load 3D render reference (best quality, front-facing)
2. Apply InstantID (extracts identity + facial keypoints)
3. Apply IP-Adapter FaceID Plus V2 (weight 0.7)
4. Use FLUX.1-dev checkpoint
5. Prompt: "photorealistic portrait, detailed skin texture, natural lighting, [character description]"
6. CFG: 4-5, Steps: 25-30
7. FaceDetailer pass (denoise 0.35)
8. Upscale with 4x-UltraSharp

この方法では、キャラクターの核となる特徴を保ちながら、様式化された見た目をフォトリアルに変換します。