mcpField
H
heygen-avatar-video

heygen-avatar-video

github.com/calesthioクリエイティブ・メディア219101 回インストール15 週間前に更新
リポジトリ

heygen-avatar-video について

HeyGenのアバター動画を制作するコンテンツ・統合チーム向けのスキルです。制御要件に応じた生成経路の選択に加え、デジタルツインの同意、ライブ配信、動画翻訳、納品確認を扱います。

主な機能

  1. 01Direct VideoとVideo Agentの選択
  2. 02アバター、ルック、音声の設定
  3. 03リアルタイムHLSアバター配信の計画
  4. 04既存動画の翻訳やリップシンクの案内
  5. 05デジタルツインの同意と成果物の確認

活用シーン

  1. 01ブランド紹介や研修のプレゼン動画制作
  2. 02プロンプトでアバター動画案を検討
  3. 03既存映像の音声差し替えとリップシンク
  4. 04リアルタイムの発話アバター体験の構築

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/calesthio/generative-media-skills --skill heygen-avatar-video

インストール後、Claude Code で/heygen-avatar-videoを入力して読み込まれたか確認します。

同梱ファイルEVAL.md

詳細

HeyGen アバター動画の制作

制作に HeyGen を使い、納品物に AI プレゼンター、デジタルツイン、フォトアバター、スタジオアバター、プロンプトで構成するアバタークリップ、またはリアルタイムのストリーミングアバターが含まれる場合は、このスキルを使用してください。HeyGen はクリエイティブな動画ツールであると同時に、肖像を扱うシステムでもあると考えてください。生成する前に、同意、アイデンティティの権利、スクリプトの意図、音声の権利、出力の管理責任を明確にしてください。

以下の情報は、2026-07-10 に HeyGen の公式ドキュメントとポリシーページで確認済みです。料金、エンジンの対応状況、エンドポイントの形式、制限、ステータス値、モデレーションポリシー、プランの利用条件など、変更される可能性のある項目については、有料実行の前にリンク先のドキュメントを再確認してください。

適切な HeyGen の方法を選ぶ

依頼内容に合う範囲で、最も制御性の高い API を優先してください。

  • 自然言語の依頼からアバター動画全体を作成したい場合で、スクリプト、アバター、音声、ビジュアルスタイルの選択や構成を HeyGen に任せられるなら、Video Agent（POST /v3/video-agents）を使用してください。最も手早く試せる方法で、ワンショット生成と、チャット形式での対話的な反復に対応していますが、シーンを決定的に制御する機能は限られます。
  • スクリプト、アバターの外見、音声、アスペクト比、背景、字幕、ウォーターマーク、出力形式、またはモーションプロンプトを明示して、繰り返し同じ結果を得る必要がある場合は、Direct Video（POST /v3/videos、type: "avatar"）を使用してください。これは、本番パイプライン、パーソナライズされたキャンペーン、コンプライアンス審査済みスクリプト、ブランド管理下のスポークスパーソン動画に適した既定の選択肢です。
  • Cinematic Avatar（POST /v3/videos、type: "cinematic_avatar"）は、アバターの外見が 1～3 種類で、セリフのない、プロンプトで構成する短いシネマティックショットの出力に限って使用してください。通常のトーキングヘッド形式のナレーションには選ばないでください。
  • アバターがリアルタイムで話すライブ HLS ストリームが必要な場合は、Avatar Realtime（POST /v3/avatar-realtime）を使用してください。これは、アプリケーション側で STT／LLM のオーケストレーションを担う、キオスク、ライブエージェント、アシスタント、放送向けです。レンダリング済み MP4 を作成するワークフローではありません。
  • 映像の素材を保持する必要がある場合、動画全体を再生成するのではなく、既存の映像を後からローカライズしたり、音声を差し替えたりするには Video Translation または Lipsync API を使用してください。

公式な選択基準：HeyGen の「Choosing the Right Video API」ドキュメントでは、Video Agent はプロンプト主導で制御性が低く、Direct Video は構造化され制御性が高く、Cinematic Avatar はプロンプトとアバターの外見を指定し、音声によるセリフは含まないものとして区別されています。公式の Avatar Realtime ドキュメントでは、リアルタイム HLS の方式はレンダリング済み動画とは別のものとして説明されています。

事前確認チェックリスト

生成する前に、以下を確認します。

  1. 認証経路と課金プールを確認します。
    • 直接 API とスキルでは X-Api-Key / x-api-key を使用し、API ウォレットに課金されます。
    • OAuth ベースの MCP／エージェントの利用では、代わりにウェブプランの残高に課金される場合があります。
  2. 上記の API 経路を決定し、その理由を記録します。
  3. GET /v3/avatars/looks で利用可能なアバターのルックを一覧表示します。ルック ID を avatar_id として渡し、アバターグループ ID は渡さないでください。
  4. GET /v3/voices で音声を一覧表示します。必要に応じて、言語、性別、タイプ、エンジンで絞り込みます。TTS エンドポイントを使用する場合、HeyGen のドキュメントでは engine=starfish の音声が指定されています。
  5. デジタルツインの同意状況を確認します。対象者の許可と HeyGen の同意要件が満たされていない限り、実在する人物の容姿を使って生成しないでください。
  6. 出力時間と選択した機能に基づいてコストを見積もります。料金は変動するため、バッチ処理や有料の本番利用の直前に、最新の API 料金またはエンタープライズ料金を確認してください。
  7. リソース制限とファイルへのアクセス性を確認します。
    • API に渡す URL は、一般公開されていて、ファイルに直接アクセスできる必要があります。
    • 公式ドキュメントに、対応するアップロード形式とサイズ制限が記載されています。より大きなファイルには、ダイレクトアップロードのフローを使用してください。
  8. ライフサイクル戦略を決めます。コールバック URL、ポーリング間隔、失敗時の処理、ローカルでの成果物の保存、期限切れ前の署名付き URL からのダウンロードを含めます。
  9. レンダリング前に QA の合格基準を定義します。発音、リップシンク、本人確認／容姿の一致、ジェスチャーの適切さ、ブランド／背景、字幕、アスペクト比、安全性／モデレーションの状態を確認します。

アバター、ルック、同意の取り扱い

HeyGen では、アバターグループとアバターのルックを区別しています。グループはキャラクターのアイデンティティであり、ルックはレンダリング可能な服装／ポーズ／スタイルです。動画の作成では、avatar_id にルック ID を指定します。

デジタルツインは、実在し、個人を特定できる人物を表すため、明示的な同意の取り扱いが必要です。HeyGen の同意に関するドキュメントによると、デジタルツインには、描写される本人が複製に同意したことを示す証明が必要です。一方、フォトアバターとプロンプトアバターには、同じデジタルツインの同意フローは必要ありません。2026-07-10 時点で利用可能な同意レベルは次のとおりです。

  • レベル 1：ホストされたウェブカメラ同意ページ。v3 で利用可能です。
  • レベル 2：API 経由でアップロードする録画済みの同意動画。エンタープライズ／許可リスト登録が必要です。
  • レベル 3：特別なエンタープライズ契約があるアカウントで、同意フローを省略します。許可リスト登録が必要です。

本番利用のルール：

  • 明示的な権利と同意なしに、個人、従業員、有名人、公人、または顧客になりすましたり、複製したり、利用したりするようユーザーから求められた場合は、処理を中止します。
  • アバターの対象者を特定でき、その対象者が依頼者本人ではない場合は、権利を証明する資料を求めます。
  • その事実がなく、許可も得ていない限り、ストック／アバターライブラリのルックを実在の従業員や顧客として提示しないでください。
  • アバターグループ／ルック ID、所有者（判明している場合は private またはストック／ライブラリ）、同意状況または同意 URL／結果（利用可能な場合）、承認元を含む監査メモを残します。
  • デジタルツインを作成済みでも、まだ同意を得ていない場合は、POST /v3/avatars/{group_id}/consent にルーティングし、生成前に完了／承認を待ちます。

Direct Video のエンジン選択

POST /v3/videos のアバターレンダリングでは、HeyGen v3 は Avatar III、Avatar IV、Avatar V の各エンジンをサポートしています。2026-07-10 に確認済みです。

  • engine フィールドを省略した場合、デフォルトは Avatar IV（avatar_iv）です。幅広くサポートされているため、通常の Direct Video では最も安全なデフォルトです。
  • Avatar V（avatar_v）は忠実度が高く、HeyGen のドキュメントや研究資料ではクロスリファレンスに基づいています。ただし、公式ドキュメントでは、リクエストする前に GET /v3/avatars/looks/{look_id} を使ってアバターのルックの supported_api_engines を確認するよう記載されています。Avatar V のサポート範囲はより限定的で、料金やモデルのドキュメントでは Digital Twin 専用とされています。
  • Avatar III（avatar_iii）は、現行の v3 ドキュメントにおいて、写真から動画を生成する専用パイプラインです。旧式の v1/v2 Avatar III エンドポイントと混同しないでください。
  • motion_prompt のサポート状況は、アバターのソースとエンジンの両方によって異なります。公式 v3 ドキュメントでは、サポート対象エンジンのいずれでも写真アバターで使用でき、動画アバターでは engine.type が avatar_v の場合にのみ使用できると記載されています。デフォルトの Avatar IV エンジンでは、動画アバターに対する motion_prompt は拒否されます。expressiveness は写真アバター専用かつ Avatar IV 専用で、Avatar V では拒否されます。

目安：コンプライアンス審査済みの企業向けまたは研修向けプレゼンターには、Avatar V が明示的にサポートされており、ユーザーが最大限の類似性や動きの忠実度、または動画アバターへのジェスチャー指示を重視して、そのための費用を許容する場合を除き、Avatar IV を使用してください。写真アバターを試す場合は、利用可能なルックやコストの制約に Avatar III と IV のどちらが合うかを確認してください。

スクリプトと演技の指示

顔に音声を重ねるのではなく、人間のプレゼンターが話すことを想定して書いてください。

  • 短く、息継ぎしやすい文にしてください。1つの文につき、伝える内容は1つにしてください。
  • 対象者に必要な場合を除き、複雑な頭字語や数字は避けてください。必要に応じて、スクリプトに読み方を記載してください。
  • HeyGen がサポートするフィールドを使って演出を加えてください。フィールドが演出として明示的に解釈される場合を除き、角括弧で囲んだ演技メモを話し言葉に詰め込まないでください。
  • 選択したアバターとエンジンの組み合わせがサポートしている場合に限り、見た目に表れる動作に motion_prompt を使用してください。姿勢、手の動きの抑制、親しみやすさ、指差しやジェスチャーの度合い、アイコンタクトのスタイル、エネルギーを指定します。自然な指示にとどめ、振り付けのようにならないようにしてください。
  • 選択した音声がサポートしている場合は、速度、ピッチ、音量、ロケール、エンジン設定に voice_settings を使用してください。
  • ローカライズでは、単に逐語訳しないでください。対象言語に合わせてスクリプトの尺を調整してから、音声とロケールを選び、リップシンクと字幕の収まりを確認してください。

アバター動画向けのスクリプト構成：

  • つかみ：最初の3～5秒で、カメラに向かって率直に話します。
  • 背景：視聴者の課題を示す1文を入れます。
  • 価値：短い要点を2～4つ入れます。リストは並列の文法構造にします。
  • 根拠・デモ：具体例または視覚的な参照を1つ入れます。
  • CTA：行動を1つだけ促します。複数の行動を詰め込まないでください。

避けること：

  • 自然な間がなく、唇が動き続けるような長い節。
  • 話し言葉のスクリプトにタイムスタンプや編集メモを入れること。
  • アバターの本人に、権限なく発言させる主張。
  • ライセンスのないブランド比較、医療・法律・金融に関する断定的な表現、または誤解を招く推薦表現。

Direct Video リクエストのパターン

レンダリング済み動画を制御するには、次のパターンを使用します。

{
  "type": "avatar",
  "avatar_id": "LOOK_ID",
  "voice_id": "VOICE_ID",
  "script": "Hi, I'm Maya. In the next thirty seconds, I'll show you how Acme reduces invoice review from days to minutes.",
  "title": "Acme invoice review intro",
  "resolution": "1080p",
  "aspect_ratio": "16:9",
  "background": {
    "asset_id": "BACKGROUND_ASSET_ID"
  },
  "caption": {
    "file_format": "srt",
    "style": "default"
  },
  "engine": {
    "type": "avatar_iv"
  },
  "callback_url": "https://example.com/webhooks/heygen",
  "callback_id": "project-scene-001"
}

制作メモ：

  • ユーザーが承認済みのナレーションを提供し、その音声にリップシンクさせたい場合は、script + voice_id の代わりに audio_url または audio_asset_id を使用してください。
  • 選択したアバターのルックとエンジンがサポートしている場合に限り、motion_prompt を追加してください。デフォルトの Avatar IV で動画アバターまたはデジタルツインをレンダリングする場合は含めないでください。
  • 後段のコンポジターでアバターを切り抜く必要がある場合に限り、remove_background または透明背景のワークフローを使用してください。選択したエンドポイントやプランが必要な出力形式をサポートしているか確認してください。
  • 保管記録と照合できるよう、意味があり重複しない callback_id を使用してください。ローカルのマニフェストにも同じ値を記録してください。
  • コールバックを利用できない場合は、ステータスが終端状態になるまで GET /v3/videos/{video_id} をポーリングしてください。

Video Agent のプロンプトパターン

速度とクリエイティブな自動化を厳密な制御より優先する場合は、Video Agent を使用します。プロンプトではビジネス上の制約も明示してください。ブランド、対象者、長さ、コンプライアンス上慎重な配慮が必要な主張を暗黙のままにしないでください。

プロンプトの例：

Create a 45-second avatar-led onboarding video for a B2B SaaS feature launch.
Audience: finance operations managers.
Goal: explain that Acme Review flags duplicate invoices before payment.
Tone: calm, credible, lightly upbeat; no hype.
Structure: 5-second hook, one pain point, three product benefits, one concrete example, CTA to book a demo.
Visual style: clean enterprise software, soft blue/white palette, no exaggerated gestures.
Must say: "duplicate invoice checks run before the payment batch is approved."
Avoid: guarantees of fraud prevention, competitor claims, fake customer quotes, legal advice.
Output: 16:9, captions on.

ユーザーが正確な文言を必要とする場合は、最終出力に Video Agent のスクリプト作成を頼らないでください。コンセプトの検討に使用してから、承認済みのスクリプトと明示的なアセットを使って Direct Video として作り直します。

Avatar Realtime の制作パターン

Avatar Realtime は、ライブの音声付きアバターに使用し、MP4 の納品には使用しないでください。公式ドキュメントでは、音声ドライバーとして tts、audio、text_stream の 3 つが説明されています。セッションは HLS から再生されます。

text_stream では、上流システムを計画してください。

  • 音声入力がある場合は、STT を用意します。
  • 短い応答チャンクを生成する LLM またはルールエンジンを用意します。
  • テキストを追加する前に、不適切な言葉や安全性をチェックするフィルターを適用します。
  • 古くなった長い応答がアバターに届かないよう、バックプレッシャーを処理します。
  • アイドルタイムアウトを処理します。公式ドキュメントでは、text_stream のデフォルトのアイドルタイムアウトは 30 秒と記載されています。
  • セッション上限と同時実行数を処理します。公式ドキュメントでは、セッションの最大長は 1 時間、スペースあたりのデフォルトの同時実行セッション数は 3 と記載されており、上限は調整できます。

リアルタイムの QA では、起動時の遅延、中断時の挙動、ストリームの安定性、HLS プレーヤーとの互換性、end_reason／エラーメッセージ、アバターの音声応答がユーザーの実際の質問に沿っているかを確認します。

背景、シーン、キャプション、ブランド

HeyGen Direct Video では、単一のアバターのレンダリングを構造化して制御できます。選択したルートがシーン／テンプレートに対応していない限り、完全なエディターだと想定しないでください。複数のシーンから成るブランド動画を作成する場合：

  • シーンとスタイルを自動で構成できる場合は Video Agent を使用します。
  • シーンごとに異なるスクリプト部分、背景、またはフレーミングが必要な場合は、複数の Direct Video レンダリングを作成してから、後工程で組み立てます。
  • Assets API でカスタム背景やビジュアルアセットをアップロードし、返された asset_id を参照します。
  • 配信先プラットフォームでミュート再生がデフォルトの場合は、キャプションを追加します。SRT のタイミングと改行は必ず確認してください。
  • 透かしはブランドまたはコンプライアンス上必要な場合にのみ追加し、アバターの顔や下部に表示されるキャプションに重ならないようにします。

アーティファクトの管理：

  • シークレットを除いたリクエストペイロードを保存します。
  • 応答 ID（video_id、callback_id、アバターのルック ID、音声 ID、アセット ID、エンジンタイプ、タイトル）を保存します。
  • 完了した video_url のアーティファクトは、すぐにプロジェクトストレージにダウンロードします。署名付きリンクは永続的な保管先ではありません。
  • サムネイル、キャプション、生成された音声、最終 MP4 は、利用可能な場合はそれぞれ別に保存します。
  • モデレーション／拒否／失敗のメッセージは、制作ログに一字一句そのまま記録します。

ポーリング、コールバック、失敗

レンダリング済み動画の生成は非同期です。公式ドキュメントでは、動画のステータスとしてpending、processing、completed、failedが記載されています。完了したレスポンスにはvideo_urlが含まれ、失敗したレスポンスには失敗の詳細が含まれます。大規模な運用にはコールバックを、シンプルな実行にはポーリングを使用してください。

失敗時の切り分け：

  • 401 Unauthorized：API キーがない、ヘッダーが誤っている、キーが無効になっている、または課金／認証の経路が誤っている可能性があります。
  • 429 Too Many Requests：レート制限または同時実行数の上限です。Retry-Afterに従い、短い間隔でのループを避けてください。
  • ダウンロード／リソースの失敗：公開 URL にアクセスできない、ファイル拡張子と内容が一致しない、非対応形式、アセットのサイズが大きすぎる、ファイルが破損している、または認証が必要な URL などが原因です。
  • 検証エラー：アバターの外見に対してエンジンが誤っている、選択したアバター／エンジンでmotion_promptがサポートされていない、Avatar V または写真以外のアバターでexpressivenessがサポートされていない、スクリプト／音声／音声フィールドがない、アスペクト比／解像度が無効、またはプロンプト／スクリプトが長すぎるなどが原因です。
  • モデレーション／保留／却下：コンテンツまたは肖像の審査が行われています。回避を目的としたバリエーションを繰り返し再送信しないでください。ポリシーに準拠するよう修正するか、人による審査を依頼してください。
  • 完了間近のレンダリング失敗：failure_code／failure_messageを取得し、リクエストを保存してください。同じアバター／音声を使って最小限のスクリプトでテストし、問題がコンテンツ、アセット、エンジン、アカウント制限のいずれに起因するかを切り分けます。

再試行ポリシー：

  • 再試行しても安全：バックオフ後の一時的な429／5xx、コールバックの配信失敗、またはジョブ ID が返されていない場合のネットワークタイムアウト。
  • 慎重に再試行：モデレーションや検証による失敗でないことを確認した後、同じペイロードでレンダリングに失敗した場合。
  • 変更せずに再試行しない：権利／同意に関する失敗、モデレーションによる却下、非対応エンジン、またはアクセスできないアセット URL。

安全性、ポリシー、誤解を招かない開示

HeyGen の現在の公式ページでは、利用規約および許容される使用／モデレーションポリシーを遵守することが求められており、カスタムアバター／デジタルツインには同意が必要であることが強調されています。独自の本番運用ゲートを設けてください。

  • 特定可能な肖像や音声を使用する場合は、明示的な許可を必須とします。
  • 誤解を招くなりすまし、偽の推薦、偽ニュース／インタビュー、または開示が必要、あるいは文脈上期待される場面で、合成表現であることを明かさない行為を避けてください。
  • コンテンツが HeyGen のモデレーション基準および適用法令に準拠するようにしてください。
  • 視聴者が、その人物を実在する従業員／顧客／公職者だと合理的に信じる可能性があり、それが視聴者の判断に影響する場合は、「AI 生成のプレゼンター」などの開示を加えてください。
  • クローン音声やアバターを、機微な説得、詐欺、嫌がらせ、性的コンテンツ、子どもの安全に関する違反、政治的な欺瞞、または実在する専門家の発言として提示する医療／法律／金融上の助言に使用しないでください。
  • 同意の証拠と削除要請を、本番運用における重要記録として保管してください。

QA レビューチェックリスト

納品前に、ダウンロードした動画を確認してください。

  • 本人性と権利：許可を得た正しいアバターであること。意図しない誤解を招く表現がないこと。
  • スクリプトの正確性：承認済みの主張が正確に使われていること。Video Agent による幻覚的な主張がないこと。
  • 音声：言語／ロケールが正しいこと、発音とペースが適切であること、感情表現が合っていること、単語が途中で切れていないこと。
  • リップシンク：音節のタイミング、口の閉じ方、破裂音、長い文でのずれがないこと。
  • 動き：ジェスチャーがスクリプトに合っていること、不自然な手や顔のアーティファクトがないこと、自然なアイコンタクトであること。
  • 映像：アスペクト比、フレーミング、安全マージン、背景、ブランドカラー、ウォーターマーク、字幕。
  • アクセシビリティ：字幕が読みやすく、隠れていないこと。音量レベルが安定していること。重要な意味が映像だけに含まれていないこと。
  • プラットフォームへの適合性：長さ、形式、冒頭のフレーム／フックが配信先に合っていること。
  • 保管：最終 MP4、字幕、サムネイル、リクエスト／レスポンスのマニフェスト、ソースアセット ID が保存されていること。
  • コンプライアンス：同意、開示、モデレーションのステータス、承認メモが記録されていること。

完全な例：管理された製品発表のスポークスパーソン

目的：承認済みの会社プレゼンターの外見で、予測可能な30秒の製品発表動画を作成します。

手順：

  1. 非公開のデジタルツインの外見について、プレゼンターの同意と所有権を確認します。
  2. アバターの外見と音声の一覧を取得し、承認済みの外見とブランド音声を選択します。
  3. 対応エンジンをGET /v3/avatars/looks/{look_id}で確認します。Avatar Vが一覧にない場合はAvatar IVを使用します。
  4. 承認済みのオフィス背景がまだ公開されておらず、安定して利用できない場合は、Assets APIにアップロードします。
  5. コールバックとキャプションを指定して、Direct Videoで生成します。
  6. 最終版のMP4をダウンロードしてQAを行います。

ペイロードの例：

{
  "type": "avatar",
  "avatar_id": "maya_launch_look_01",
  "voice_id": "en_us_brand_voice_02",
  "script": "Today we're launching Acme Review. It checks every invoice before the payment batch is approved, flags likely duplicates, and gives your team a clear review queue. If you already use Acme Pay, you can turn it on from settings today.",
  "title": "Acme Review launch - approved spokesperson",
  "resolution": "1080p",
  "aspect_ratio": "16:9",
  "background": { "asset_id": "asset_office_soft_blue" },
  "caption": { "file_format": "srt", "style": "default" },
  "engine": { "type": "avatar_iv" },
  "callback_url": "https://video.example.com/hooks/heygen",
  "callback_id": "acme-review-launch-v1"
}

これが有効な理由：承認済みの台本では検証できない保証を避けており、Avatar IVは管理されたスポークスパーソンのレンダリングに幅広く使える既定の選択肢です。また、コールバックIDで管理の追跡が可能になり、Direct Videoによって正確な文言が保持されます。承認済みのデジタルツインの外見がAvatar Vに対応しており、ジェスチャーのプロンプトが重要な場合は、対応状況を確認してからエンジンを切り替え、控えめなmotion_promptを追加します。

想定される失敗要因：非対応の非公開の外見、保留中のデジタルツインの同意、製品名の発音、キャプションが下部テロップと重なること、または主張が不正検出を保証するように受け取られた場合のモデレーション審査。

完全な例：ローカライズされた研修モジュール

目的：承認済みのビジュアルアイデンティティを維持しながら、英語の人事研修プレゼンターをスペイン語版とフランス語版に変換します。

手順：

  1. 各言語向けの台本を、逐語訳ではなく新たな台本の調整として扱います。
  2. 権利がローカライズ版の使用を対象としている場合に限り、同じアバターの外見を使用します。
  3. 対象ロケールに応じて音声を選び、名前、ポリシー用語、頭字語の発音を確認します。
  4. ロケールに適した台本と音声設定を使い、言語ごとにDirect Videoを生成します。
  5. 対象言語での尺、リップシンク、キャプション、ポリシーの文言をQAで確認します。

スペイン語の台本セグメントの例：

Hola. En este modulo repasaremos como reportar un conflicto de intereses antes de aprobar una compra. Si tienes dudas, pausa el video y consulta la politica interna en el portal de cumplimiento.

ペイロードの差分の例：

{
  "voice_id": "es_es_training_voice_01",
  "voice_settings": {
    "speed": 0.95,
    "pitch": 0,
    "volume": 1,
    "locale": "es-ES"
  },
  "caption": {
    "file_format": "srt",
    "style": "default"
  }
}

これが有効な理由：やや遅い速度にすることで、キャプションとリップシンクに余裕が生まれます。また、台本を分けることで、各市場のコンプライアンスに関する文言を維持できます。

想定される失敗要因：翻訳文が長すぎること、フォーマルな代名詞とインフォーマルな代名詞の不一致、クローン音声のライセンスがすべての地域を対象としていないこと、キャプションのテキストがあふれること。

完全な例：ライブコンシェルジュアバター

目的：キオスクのライブサポートアシスタントにアバターの顔を表示します。

手順：

1.レンダリング済みのDirect Videoではなく、Avatar Realtimeを使用します。 2. ストックアバターまたは使用許可を得たアバターの外見と、適切な音声を選択します。 3. text_streamセッションを開きます。 4. HLS URLが有効になるまでポーリングします。 5. アプリケーション側でSTT、LLM、検索、安全性チェックを行った後、短い回答チャンクをストリーミングします。 6. アイドル状態になったときやキオスクがリセットされたときに、セッションをキャンセル／終了します。

初回リクエストの例：

{
  "type": "text_stream",
  "avatar_id": "concierge_stock_look_07",
  "voice_id": "en_us_warm_support_03",
  "text": "Hi, I'm here to help. What can I find for you today?"
}

テキスト追加の例：

{
  "text": "The returns desk is on level two, near the west elevators."
}

これが有効な理由：Avatar Realtimeが処理するのは話す顔と音声のストリームのみです。検索の正確性、安全性フィルタリング、会話状態については、引き続きアプリケーションが責任を負います。

想定される失敗要因：アイドルタイムアウト、同時セッション数の超過、キオスクのブラウザーでのHLS再生の問題、ユーザーが話題を変えた後もキューに残る長いLLMの応答、またはシステムが実行できない約束をアバターがしているように見えること。

公式および信頼できる情報源

コメント

Markdown 対応