ai-avatar-video

belt CLI スキルをインストール： npx skills add belt-sh/cli

AI アバターとトーキングヘッド動画

inference.sh CLI を使って、AI アバターとトーキングヘッド動画を作成します。

クイックスタート

inference.sh CLI（belt）が必要です。インストール手順

belt login

# Recommended: P-Video-Avatar (fastest, cheapest, built-in TTS)
belt app run pruna/p-video-avatar --input '{
  "image": "https://portrait.jpg",
  "voice_script": "Hello, welcome to our product demo!",
  "voice": "Zephyr (Female)"
}'

利用可能なモデル

まずは P-Video-Avatar からお試しください — 代替モデルより18倍高速で、コストは6分の1です。TTS、動的な背景、1080p に標準で対応しています。

モデル	アプリ ID	最適な用途	TTS 内蔵
P-Video-Avatar	pruna/p-video-avatar	総合的に最適：速度、コスト、品質、操作性	はい（30種類の音声、10言語）
OmniHuman 1.5	bytedance/omnihuman-1-5	複数キャラクター、音声駆動	いいえ
Fabric 1.0	falai/fabric-1-0	画像にリップシンクを適用	はい
PixVerse Lipsync	falai/pixverse-lipsync	既存の動画にリップシンクを適用	はい

コストと速度の比較

モデル	速度（動画1秒あたり）	1秒あたりのコスト
P-Video-Avatar	約1.83秒/秒	$0.025
OmniHuman 1.5	約28秒/秒（15倍遅い）	$0.16（6.4倍高い）
Fabric 1.0	約34秒/秒（18倍遅い）	$0.14（5.6倍高い）

使用例

P-Video-Avatar（推奨）

ポートレートとテキストの台本から、TTS を内蔵したアバターを生成します：

belt app run pruna/p-video-avatar --input '{
  "image": "https://portrait.jpg",
  "voice_script": "Welcome to our product walkthrough. Today I will show you three key features.",
  "voice": "Puck (Male)",
  "voice_language": "English (US)",
  "resolution": "720p"
}'

スタイルをカスタム指定する場合：

belt app run pruna/p-video-avatar --input '{
  "image": "https://portrait.jpg",
  "voice_script": "This is exciting news!",
  "voice": "Aoede (Female)",
  "voice_prompt": "Enthusiastic and energetic tone",
  "video_prompt": "The person is presenting on stage with dramatic lighting",
  "resolution": "1080p"
}'

TTS の代わりに音声ファイルを使う場合：

belt app run pruna/p-video-avatar --input '{
  "image": "https://portrait.jpg",
  "audio": "https://speech.mp3"
}'

ワークフロー全体：ポートレートを生成してアバターを作成

Pruna P-Image でポートレートを生成してから、アバターを作成します：

# 1. Generate a portrait image
belt app run pruna/p-image --input '{
  "prompt": "professional headshot portrait of a young woman, neutral background, looking at camera, studio lighting, photorealistic",
  "aspect_ratio": "9:16"
}'

# 2. Create avatar video with built-in TTS
belt app run pruna/p-video-avatar --input '{
  "image": "<image-url-from-step-1>",
  "voice_script": "Hi there! Let me walk you through our latest features.",
  "voice": "Zephyr (Female)"
}'

OmniHuman 1.5（複数キャラクター）

belt app run bytedance/omnihuman-1-5 --input '{
  "image": "https://portrait.jpg",
  "audio": "https://speech.mp3"
}'

複数人の画像で、動かすキャラクターを指定できます。

Fabric 1.0（画像をしゃべらせる）

belt app run falai/fabric-1-0 --input '{
  "image": "https://face.jpg",
  "audio": "https://audio.mp3"
}'

PixVerse Lipsync

belt app run falai/pixverse-lipsync --input '{
  "video": "https://talking-head.mp4",
  "audio": "https://speech.mp3"
}'

静止画像ではなく、動画を入力します。内蔵 TTS を使うには、audio を省略して text（および必要に応じて voice_id）を渡します。

ワークフロー全体：TTS とアバター（TTS 非対応モデル）

TTS が内蔵されていないモデル（OmniHuman）では、先に音声を生成します：

# 1. Generate speech — Inworld TTS-2 for expressive character voices
belt app run inworld/text-to-speech-2 --input '{
  "text": "[friendly] Welcome to our product demo! [excited] Let me show you three features that will change how you work.",
  "voice_id": "Sarah",
  "delivery_mode": "CREATIVE"
}' > speech.json

# 2. Create avatar video with the speech
belt app run bytedance/omnihuman-1-5 --input '{
  "image": "https://presenter-photo.jpg",
  "audio": "<audio-url-from-step-1>"
}'

ヒント：ほとんどの用途では、TTS を内蔵した P-Video-Avatar を使うほうが簡単です。音声生成を別途行う必要はありません。OmniHuman（複数キャラクター）または PixVerse（リアルなリップシンク）が特に必要な場合にのみ、このワークフローを使用してください。

ワークフロー全体：動画を別の言語に吹き替える

# 1. Transcribe original video
belt app run infsh/fast-whisper-large-v3 --input '{"audio": "https://video.mp4"}' > transcript.json

# 2. Translate text (manually or with an LLM)

# 3. Generate speech in new language
belt app run falai/kokoro-tts --input '{"prompt": "<translated-text>"}' > new_speech.json

# 4. Lipsync the original video with new audio
belt app run infsh/latentsync-1-6 --input '{
  "video_path": "https://original-video.mp4",
  "audio_path": "<new-audio-url>"
}'

アバターによる UGC 生成

P-Video-Avatar を使って UGC スタイルのコンテンツを作成します。TTS が内蔵されているため、音声を別途用意する必要はありません：

# 1. Generate a relatable UGC-style portrait
belt app run pruna/p-image --input '{
  "prompt": "casual selfie-style photo of a young woman in a cozy room, natural lighting, looking at camera, warm smile, authentic feel",
  "aspect_ratio": "9:16"
}'

# 2. Create UGC avatar video with built-in TTS
belt app run pruna/p-video-avatar --input '{
  "image": "<image-url-from-step-1>",
  "voice_script": "Okay so I just tried this product and honestly? It is a game changer. I was not expecting to love it this much but here we are!",
  "voice": "Zephyr (Female)",
  "voice_prompt": "Excited, casual, authentic tone like talking to a friend",
  "video_prompt": "The person is talking casually to camera in their room, natural gestures",
  "resolution": "1080p"
}'

UGC に P-Video-Avatar を使う理由

• オールインワン — TTS が内蔵されているため、音声生成を別途行う必要はありません
• 30種類の音声、10言語 — ターゲット層に合わせられます
• 音声と動画のプロンプト — トーン、感情、ボディランゲージ、背景を個別に調整できます
• 18倍高速、コストは6分の1 — Fabric／OmniHuman／HeyGen と比べて、UGC を大規模に制作できます
• 1080p 対応 — ポートレート画像1枚から、プラットフォームですぐに使える縦型動画を作成できます

UGC の一括生成：同じ製品で複数のプレゼンターを使用

# Generate 3 different presenters
for voice in "Zephyr (Female)" "Puck (Male)" "Aoede (Female)"; do
  belt app run pruna/p-video-avatar --input "{
    \"image\": \"https://portrait.jpg\",
    \"voice_script\": \"This changed my morning routine completely. Five minutes and I am done.\",
    \"voice\": \"$voice\",
    \"voice_prompt\": \"Casual, authentic, like a real testimonial\",
    \"video_prompt\": \"Person talking to camera in a bright kitchen\",
    \"resolution\": \"1080p\"
  }"
done

ユースケース

• UGC とマーケティング：製品デモ、AI プレゼンターを使った UGC スタイルの広告
• 教育：コース動画、解説動画
• ローカライズ：1枚の画像から、10言語にコンテンツを吹き替え
• ソーシャルメディア：一貫性のあるバーチャルインフルエンサーのコンテンツ
• 企業：研修動画、告知
• ゲーム：キャラクターアバター、NPC の会話

ヒント

• 高品質のポートレート写真を使用してください（正面向き、十分な明るさ）
• 音声は背景ノイズを最小限に抑え、明瞭にしてください
• P-Video-Avatar は TTS を内蔵しているため、音声生成を別途行う必要はありません
• P-Video-Avatar の出力アスペクト比は入力画像に合わせられます
• 縦型動画を作成するには、アスペクト比 9:16 を指定して pruna/p-image でポートレートを生成してください
• OmniHuman 1.5 は1枚の画像に複数人が写っている場合に対応しています
• LatentSync は、既存の動画を新しい音声に同期させるのに最適です

関連スキル

# Dedicated P-Video-Avatar skill
npx skills add inference-sh/skills@p-video-avatar

# Full platform skill (all apps)
npx skills add inference-sh/skills@infsh-cli

# Text-to-speech (generate audio for non-TTS avatar models)
npx skills add inference-sh/skills@text-to-speech

# Speech-to-text (transcribe for dubbing)
npx skills add inference-sh/skills@speech-to-text

# Video generation
npx skills add inference-sh/skills@ai-video-generation

# Image generation (create avatar images)
npx skills add inference-sh/skills@ai-image-generation

動画アプリをすべて表示するには、belt app list --category video を実行してください。

ドキュメント

• アプリの実行 - CLI 経由でアプリを実行する方法
• コンテンツパイプラインの例 - メディアワークフローの構築
• ストリーミング結果 - リアルタイムの進捗状況の更新