fal-lip-sync

fal-lip-sync

fal.ai モデルを使用して、トーキングヘッド動画を作成したり、音声に合わせてリップシンクさせたり、ポートレートをアニメーション化したりします。

スクリプト

スクリプト	目的
talking-head.sh	画像＋音声／テキストからトーキングヘッド動画を生成します
lip-sync.sh	既存の動画のリップシンクを新しい音声に合わせます

使用方法

トーキングヘッド（画像＋音声 → 動画）

./scripts/talking-head.sh --image-url "https://example.com/portrait.jpg" --audio-url "https://example.com/speech.mp3" --model veed/fabric-1.0

トーキングヘッド（画像＋テキスト → 自動 TTS 付き動画）

./scripts/talking-head.sh --image-url "https://example.com/portrait.jpg" --text "Hello, welcome to our presentation" --model fal-ai/creatify/aurora

リップシンク（動画＋音声 → 同期済み動画）

./scripts/lip-sync.sh --video-url "https://example.com/video.mp4" --audio-url "https://example.com/new-speech.mp3"

引数

talking-head.sh

引数	説明	必須
--image-url	ポートレート／顔画像の URL	はい
--audio-url	同期する音声の URL	はい（または --text）
--text	読み上げるテキスト（自動 TTS）	はい（または --audio-url）
--model / -m	モデルのエンドポイント	いいえ（デフォルト：veed/fabric-1.0）
--tts-model	--text モードで使用する TTS モデル	いいえ（デフォルト：fal-ai/minimax/speech-2.6-turbo）
--wait / -w	完了まで待機します	いいえ（デフォルト：true）
--async / -a	リクエスト ID をすぐに返します	いいえ

lip-sync.sh

引数	説明	必須
--video-url	リップシンクする動画の URL	はい
--audio-url	同期先の音声の URL	はい
--model / -m	モデルのエンドポイント	いいえ（デフォルト：fal-ai/sync-lipsync/v2）

モデルを探す

最適な最新のリップシンクモデルやトーキングヘッドモデルを見つけるには、検索 API を使用します。

# Search for talking head models
bash /mnt/skills/user/fal-generate/scripts/search-models.sh --query "talking head"

# Search for lip sync models
bash /mnt/skills/user/fal-generate/scripts/search-models.sh --query "lip sync"

# Search for live portrait / expression transfer
bash /mnt/skills/user/fal-generate/scripts/search-models.sh --query "live portrait"

または、search_models MCP ツールを使用し、「lip sync」、「talking head」、「avatar」などの関連キーワードで検索します。

出力形式

{
  "video": {
    "url": "https://fal.media/files/...",
    "content_type": "video/mp4"
  }
}

動画の URL をユーザーに直接提示します。