mcpField
D
deepgram-speech

deepgram-speech

github.com/calesthioクリエイティブ・メディア219101 回インストール15 週間前に更新
リポジトリ

deepgram-speech について

Deepgramによる文字起こし、字幕、音声分析、音声エージェント向け音声、音声合成を検討する制作チーム向けのスキルです。納品要件に応じてAPI経路、モデル、機能、データ管理方法を選べます。

主な機能

  1. 01収録済みまたはライブの文字起こし選択
  2. 02タイムコード付き字幕の作成
  3. 03話者分離と音声分析
  4. 04Auraによる音声生成
  5. 05リアルタイム音声エージェントの設定

活用シーン

  1. 01ポッドキャストや動画の字幕作成
  2. 02ライブイベントの文字起こし
  3. 03割り込み対応の音声エージェント構築
  4. 04ナレーションや音声素材の生成

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/calesthio/generative-media-skills --skill deepgram-speech

インストール後、Claude Code で/deepgram-speechを入力して読み込まれたか確認します。

同梱ファイルEVAL.md

詳細

Deepgram による音声の本番運用

Deepgram が文字起こし、字幕作成、音声分析、音声エージェントの音声、またはテキスト読み上げ用のアセットの候補プロバイダーとなる場合は、このスキルを使用してください。Deepgram を汎用的な「音声を作成」ボタンとしてではなく、本番運用向けの音声プラットフォームとして扱ってください。成果物に求められるレイテンシー、精度、言語、プライバシー、アーティファクトの要件に基づいて、エンドポイント、モデル、機能、データ管理方針を選択してください。

このスキルに記載されている情報は、2026-07-10 に公式の Deepgram ドキュメントと料金情報を確認したものです。公開モデル ID、言語サポート、アドオン料金、同時実行数、リージョンの提供状況、早期アクセス制御など、変更される可能性がある項目は、支出やローンチの前に再確認してください。

主に参照した公式情報：

ドキュメントに記載された機能の概要

音声文字起こし

Deepgram は、次の 3 つの STT 経路を提供しています。

  1. REST POST /v1/listen を使用した録音済み音声。ポッドキャストや動画の文字起こし、ポストプロダクション字幕、メディアアーカイブの一括処理、通話録音、編集分析など、サブ秒単位の中間結果よりもファイル全体の処理時間が重要なタスクに使用します。ローカルのバイナリ音声またはホストされた URL を受け付け、コールバックをサポートします。結果を保存しない場合、Deepgram から返される文字起こしはこれだけです。
  2. WebSocket wss://api.deepgram.com/v1/listen を使用したライブストリーミング。ライブ字幕、会議やイベントの文字起こし、ライブ制作記録、エージェント支援用の文字起こしに使用します。中間結果と確定結果、音声イベント、エンドポイント検出、発話イベント、単語単位のタイミングを出力できます。
  3. Flux（現行ドキュメントでは /v2/listen）を使用したターンベースの会話型 STT。ライブ音声エージェントや、ターン終了時の挙動が重要な割り込みに敏感な会話に使用します。Flux はオフライン文字起こしで通常選択するものではありません。

2026-07-10 に確認した Deepgram ドキュメントに基づく、現在のモデル選択ガイダンス：

  • nova-3 / Nova-3：モデルネイティブのターン検出機能を持たない汎用 ASR の中で最高の性能を発揮します。録音済みメディア、ライブ字幕、会議、多言語・ノイズの多い・遠距離の音声コンテンツ、および大半の文字起こし成果物に使用します。
  • flux-*：エージェント向けの会話音声認識です。ユーザーの発話終了を検出することが製品の動作に関わる場合に使用します。
  • nova-2：Nova-3 がまだサポートしていない言語や機能、および Deepgram のドキュメントでサポートが記載されているフィラーワードの要件に備えたフォールバックとして残します。
  • Whisper Cloud：録音済み音声専用です。Deepgram のドキュメントでは、同時実行数と長時間音声の処理に関する制限が記載されています。ライブストリームには選択しないでください。
文字起こしの整形と拡張

Deepgram は、単語単位のタイムスタンプと信頼度スコアを返せます。実運用で役立つ STT オプションには、句読点、スマート整形、段落、発話、数値、冒とく語のフィルタリング、編集、検索と置換、キーワード／キー用語、話者ダイアライゼーション、マルチチャンネル、言語選択、言語検出、コードスイッチングがあります。

重要な制約：

  • smart_format=true は通常、読みやすさを高めるための設定です。Deepgram のドキュメントによると、対応言語では少なくとも句読点と段落の処理が含まれ、さらに英語では日付、時刻、通貨、電話番号、メールアドレス、URLの整形も行われます。
  • diarize=true はドキュメントに記載されていますが、ストリーミング API リファレンスでは非推奨とされ、diarize_model の使用が推奨されています。diarize_model=latest、または利用可能な場合はドキュメントに記載された固定バージョンを使用してください。現行のリファレンスでは、ストリーミングはダイアライゼーションの v2 をサポートしていません。
  • 話者ラベルは数値で示されるダイアライゼーションのクラスタであり、本人確認済みの人間のアイデンティティではありません。
  • 話者や音源ごとにチャンネルが分離されている場合は、マルチチャンネルを使用します。話者の音声が 1 つのチャンネルに混在している場合は、ダイアライゼーションを使用します。どちらも可能な場合、実運用の通話やパネルでは、チャンネルが明確に分離された音声を優先してください。
  • 言語検出は、優勢な言語を特定して文字起こしし、対応言語について言語コードと信頼度を返します。現行の言語検出ドキュメントでは、ストリーミングはサポートされていないと明記されており、リアルタイムの多言語音声には多言語モデルが推奨されています。
  • language=multi と Flux の多言語機能は、コードスイッチングを含む文字起こしに対応するもので、翻訳機能ではありません。現行の公式ドキュメントで、要求されたワークフローの翻訳機能が明示されていない限り、Deepgram STT で翻訳字幕を作成できると約束しないでください。それ以外の場合は、文字起こし後に別の翻訳工程を使用します。
キャプションと字幕

Deepgram は単語単位のタイミングを含むレスポンスを返し、SRT／WebVTT のサンプルも提供しているため、タイミング付きの字幕ファイル作成に役立ちます。ただし、動画の編集チェックに代わるものではありません。

  • 単語または発話から SRT／VTT を生成します。
  • プラットフォームに合わせて、改行、読み取り速度、字幕の表示時間を調整します。
  • 固有名詞、数値、話者の切り替わり、冒とく語のポリシー、アクセシビリティラベルを確認します。
  • 必要に応じて、別のコンポジターまたは動画ツールを使って字幕を動画に焼き込みます。
オーディオインテリジェンス

公式のSTT／オーディオインテリジェンス機能には、要約、トピック検出、意図認識、感情分析、エンティティ検出が含まれます。現在のDeepgramドキュメントには、機能ごとの言語／ストリーミング制限が記載されています。また、機能一覧と個別の機能ページの間に、少なくとも1つ明らかな矛盾があります。そのため、言語またはストリーミングへの対応を約束する前に、該当する機能ページを必ず確認してください。

2026-07-10時点で確認済みの、安全な本番環境での解釈：

  • 機能一覧では、感情分析、要約、トピック検出は、録音済み音声および英語に対応すると記載されています。
  • エンティティ検出は、録音済み音声と一部のストリーミング用途に対応すると記載されています。ストリーミングでは、エンティティが完了するまで確定処理が待機する場合があります。低遅延のno_delay動作を選択すると、エンティティを見逃す可能性があります。
  • 意図／トピックはコンテキストに基づいて生成され、公式ドキュメントではカスタムヒントを指定できます。決定論的な分類体系による分類ではなく、分析ラベルとして扱ってください。
  • インテリジェンスのアドオンにより、実効同時実行数が低下する場合があります。1つのリクエストで複数のサービスを使用する場合、Deepgramのレート制限ドキュメントでは、上限の低いサービスの制限が適用されると説明されています。
テキスト読み上げ

Deepgram Auraは、RESTのPOST /v1/speakとWebSocketのwss://api.deepgram.com/v1/speakを通じてTTSを提供します。

2026-07-10時点で確認済みの、TTSに関するドキュメント記載の情報：

  • Auraの音声では、aura-2-thalia-enのようなモデルIDが使用されます。
  • Auraの公式な対応言語には英語、スペイン語、ドイツ語、フランス語、オランダ語、イタリア語、日本語が含まれます。アクセント／バリエーションは音声モデルのドキュメントに記載されています。
  • RESTは、ナレーション用ファイル、レンダリング済みの音声、確認用のテイク、安定したメディアアセットに適しています。
  • TTS WebSocketは、LLMトークンのストリーミング、IVR、音声エージェント、即時再生に適しています。
  • Deepgramのドキュメントでは、TTSリクエストの入力上限は2000文字とされ、レイテンシに関する目安も示されています。例示されたモデルでは、ストリーミングなしの場合のベースラインは約600 msで、100文字ごとに約40 msが加算されます。長いナレーションではスループットを確保するために上限近くまで分割しつつ、パフォーマンスと編集のしやすさを考慮して文やビートの区切りで分割してください。
  • Aura-2の制御機能には、RESTおよびWebSocketで利用できる英語とスペイン語の速度・発音の調整があります。速度の範囲は0.7～1.5と記載されていますが、Voice Agentの設定には一部早期アクセスに関する注意事項があります。
  • Deepgram Aura TTSは、標準音声の生成機能です。別途、公式の契約／製品提供経路が確認できない限り、カスタム音声のクローン作成や声の類似性の再現が可能だと示唆しないでください。
Voice Agent APIとライブ音声

成果物が文字起こしやナレーション用ファイルではなく対話型エージェントである場合は、Deepgram Voice Agentを使用してください。Voice Agentは、音声入力、STT、LLMルーティング、TTS、ツール／関数メッセージ、会話テキスト、音声出力をWebSocket経由で統合します。接続後すぐにSettingsメッセージを送信し、入力／出力音声、listen／think／speakのプロバイダー、プロンプト、ターンテイキング、ツールを設定してください。

本番環境で次の要件がある場合は、Voice Agentではなく、STT、LLM、TTSの個別コンポーネントを使用してください。

  • オフラインでの決定論的なアセット。
  • ポストプロダクション済みのサウンドトラック。
  • プロバイダーを個別に評価すること。
  • 文字起こしのみ、または字幕のみの出力。
  • 音声を再生する前に、リアルタイムではない編集レビューを行うこと。

実証的・運用上の所見

以下は運用上のパターンであり、プロバイダーによる保証ではありません。

  • Deepgram のライブ処理は通常、音声を小さく安定したチャンクに分け、正しい形式情報を指定して送信すると最良の結果が得られます。ストリーミング連携で「文字起こしの質が悪い」最も一般的な原因は、encoding、sample_rate、チャンネル数、またはコンテナ形式と生データの不一致です。
  • 低レイテンシの設定は、編集品質を損なうことがあります。中間文字起こし、積極的なエンドポイント検出、no_delay、小さな TTS チャンクは応答性を高めるのに役立ちますが、修正、誤った確定、固有表現の聞き漏らし、不自然な発話のリズムが増える可能性があります。
  • 話者ダイアライゼーションの品質は、音声の重なり、クロストーク、BGM、部屋の反響、短い発話ターンに左右されます。本番環境で収録を制御できる場合は、事後のダイアライゼーションよりも、適切なチャンネルルーティングが有効です。
  • メディア制作では、単なるプレーンテキストの文字起こしよりも、Deepgram の生の JSON のほうが価値があります。単語のタイミング、信頼度、話者／チャンネルラベル、リクエスト ID、警告、アドオンの出力が保持されるためです。
  • TTS のナレーションには、台本からそのままコピーした文章ではなく、話し言葉向けに書かれたテキストが必要になることがよくあります。句読点、文の長さ、発音のヒント、頭字語の表記は Aura の出力に大きく影響します。

本番環境でのヒューリスティック

ユーザーの制約で別の方法が必要な場合を除き、以下を適用してください。

  • 完成版の文字起こしと字幕には Nova-3 を、対話型エージェントのターンテイキングには Flux を選択します。
  • ファイルベースのメディアには事前録音用 REST を、ユーザーがライブ出力を必要とする場合に限り WebSocket を選択します。
  • 納品物が SRT、VTT、TXT、CSV、EDL の場合でも、完全な JSON レスポンスの成果物を保持します。
  • 名前、専門用語、アクセント、音楽、またはプライバシーに配慮が必要な内容が重要な場合は、長いプロジェクトの文字起こしを始める前に、代表的な短いサンプルを実行します。
  • すべてのアドオンはトレードオフとして扱います。有用性が向上する一方で、コストの増加、同時実行数の低下、レイテンシの増加、失敗や警告の発生が起こることがあります。
  • ライブ字幕では、まず安定性を最適化します。音声形式を正しく設定し、エンドポイント検出を適度に調整し、表示には確定結果を使います。中間結果を表示する場合は、修正内容が見えるようにします。
  • TTS では、長い音声の生成を決める前に、短い試聴用音声を複数生成します。一括合成の前に、音声 ID、速度、テキスト正規化ルール、サンプルレート／コンテナ、発音の上書き設定を固定します。

ワークフローのレシピ

事前録音音声の文字起こしと字幕
  1. 音声を処理することについて、同意と権利を確認します。
  2. メディアを確認します。長さ、チャンネル数、サンプルレート、言語、話者、音楽／ノイズ、対象プラットフォームを確認します。
  3. モデルと機能を選択します。
    • ほとんどの本番音声には model=nova-3 を使用します。
    • 読みやすい文字起こしには smart_format=true を使用します。
    • 確認しやすいチャンクには utterances=true および／または paragraphs=true を使用します。
    • 話者が混在している場合は、diarize_model=latest または現在ドキュメントに記載されているダイアライゼーションパラメーターを使用します。
    • チャンネルごとに話者が分離されている場合は、multichannel=true を使用します。
    • 必要に応じて、PII には redact=... を使用します。
  4. 長時間のジョブやサーバーのワークフローにはコールバックを使用します。Deepgram は、非同期処理とコールバック配信の再試行について説明しています。
  5. 生のレスポンス、プレーンテキストの文字起こし、SRT／VTT、警告、リクエストパラメーター、モデル、リージョン、リクエスト ID、ソースメディアのチェックサムを保存します。
  6. 音声と照合して QA を行います。名前、数値、タイムスタンプ、ダイアライゼーション、字幕の改行を修正します。
ライブ字幕
  1. ソケットを開く前に、ライブ音声の収録形式を確認します。生の音声の場合は、encoding、sample_rate、channels を正確に渡します。
  2. エージェント形式のターン検出が必要でない限り、ライブストリーミングには Nova-3 を使用します。
  3. UI がテキストの修正に対応している場合に限り、interim_results=true を有効にします。それ以外の場合は、確定済みのセグメントを表示します。
  4. 字幕のリズムに合わせて、endpointing、utterance_end_ms、発話イベントを調整します。
  5. ローリング文字起こしバッファーを保持し、確定済みメッセージを永続化します。ネットワークの中断は想定されるため、再接続の動作を実装し、途切れた箇所に印を付けます。
  6. ライブダイアライゼーションを使って人を名前で特定しないでください。確認後に、またはチャンネル／ソースのメタデータに基づいて話者を対応付けます。
音声エージェント
  1. Voice Agent が必要かどうかを判断します。タスクが「ナレーション付き動画の作成」であれば、TTS を使用します。タスクが「対話型の電話／Web エージェントの構築」であれば、Voice Agent が適している可能性があります。
  2. WebSocket 接続の直後に Settings を設定します。
  3. listen／think／speak の各プロバイダーを意図的に設定します。Deepgram のドキュメントでは、Deepgram TTS がデフォルトとして示されており、マネージドプロバイダーや BYO の LLM／TTS プロバイダーがサポートされています。各出力をどのプロバイダーが生成したかを記録します。
  4. 本番環境に導入する前に、中断、割り込み、無音、エンドポイント検出、ツール呼び出し、エラー／警告、フォールバック動作をテストします。
  5. 同意とプライバシーのルールに従って会話テキストとイベントログを保存します。必要かつ許可されている場合を除き、機密性の高い生音声は保存しないでください。
TTS ナレーション
  1. テキストを音声向けに書き直します。短い文、発音しやすい頭字語、明示的な間、本番環境に適した句読点を使用します。
  2. 現行ドキュメントから Aura の音声 ID（例：aura-2-thalia-en）を選び、試聴します。
  3. 各リクエストをドキュメントに記載された入力上限以内に収めます。長いナレーションは文や段落の区切りで分割し、各テイクを個別のアーティファクトとして保存します。
  4. 対応している言語では、ブランド名、医療用語、固有名詞に発音制御を使用します。
  5. 指定されたコンテナ形式／サンプルレート／エンコーディングでエクスポートします。ラウドネスの正規化とミキシングは Deepgram の外部で行います。

コスト、クォータ、レート制限への対応

Deepgram の料金とクォータは頻繁に変わります。実行当日に料金ページとレート制限のドキュメントを確認してください。

2026-07-10 時点で、公開料金ページには 200 ドルの無料クレジットと、Flux English、Flux Multilingual、Nova-3 Monolingual、Nova-3 Multilingual などの従量課金制 STT 料金の例（Growth 向けの別料金を含む）が掲載されていました。また、リダクションやキータームプロンプティングなどの機能の追加料金も記載されていました。再確認せずに、これらの値を顧客への見積もりに固定値として記載しないでください。

2026-07-10 時点で、公式のレート制限ドキュメントには、プラン、リージョン、製品、機能によって異なる同時実行数の上限が記載されていました。例：

  • STT REST の事前録音音声処理は、公開されている表では一般に約 50 件の同時リクエストが上限です。
  • STT ストリーミングの上限はモデル／プラン／リージョンによって異なり、REST より高い場合があります。
  • 話者分離と Audio Intelligence には、それぞれ独自の低い上限があります。
  • TTS REST と TTS ストリーミングには、それぞれ別の同時リクエスト上限があります。
  • Voice Agent には、プラン／リージョンごとの同時接続数上限があります。

複数のサービスを組み合わせてリクエストする場合は、該当する上限のうち最も低いものを基準に計画してください。本番環境では、キューイング、バックオフを伴うリトライ、サーキットブレーカー、プロジェクトごとの使用量タグを実装します。

プライバシー、セキュリティ、同意、権利

確認済みの事実：

  • Deepgram はセキュリティ／プライバシー関連の資料を公開しており、SOC 2 Type 1 および Type 2 の認証を取得しているとしています。コンプライアンス関連文書はアカウント経由で入手できます。
  • Deepgram は、レート制限のドキュメントで、北米、欧州、オーストラリアを含むリージョン別エンドポイントを提供しています。
  • Deepgram の Model Improvement Partnership Program のドキュメントには、データの取り扱いと、オプトアウト／保持に関する選択肢が記載されています。API リファレンスには mip_opt_out が含まれています。
  • Deepgram のドキュメントでは、レスポンスの後に取得用のトランスクリプトを保存しないと警告されています。そのため、必要な出力はシステム側で保存する必要があります。

本番環境でのルール：

  • 音声コンテンツを録音、文字起こし、分析、または合成する前に、適切な同意を得てください。管轄区域によっては、音声は生体データ／個人データに該当する場合があります。
  • ユーザーの Deepgram との契約およびアカウント設定で明示的に提供されていない限り、データが一切保持されないと約束しないでください。厳格な保持要件、規制対象の PHI、またはエアギャップ要件がある場合は、処理を開始する前に Enterprise／セルフホストの選択肢と法的契約を確認してください。
  • トランスクリプトに SSN、クレジットカード番号、電話番号、住所、健康に関する詳細、その他の PII が含まれる可能性がある場合は、編集処理を使用してください。ただし、編集結果も QA を行ってください。コンプライアンスを保証するものではありません。
  • 不要な生音声をサードパーティに送信しないでください。無関係な箇所を切り取り、周囲のプライベートな会話を避け、保存する成果物を最小限にしてください。
  • 生成音声で実在の人物になりすましてはいけません。開示が必要な状況では合成音声であることを明示し、台本、元音声、配布に関する権利の証明を保管してください。

成果物の管理チェックリスト

本番ジョブごとに、最終メディアアセットとは別に簡単な実行記録を作成してください。

  • ソースメディアのパス／URL、ハッシュ、長さ、チャンネル数、言語の推定値
  • 同意／権利に関するメモと保持分類
  • Deepgram のエンドポイント、リージョン、モデル、機能パラメーター、判明している場合は SDK／API バージョン
  • リクエスト ID、作成日時、警告、エラー、課金タグ
  • 生の JSON レスポンス
  • 派生トランスクリプト形式：TXT、JSONL／CSV セグメント、SRT／VTT、話者マップ、分析出力
  • QA メモと手動修正
  • 最終納品先のパス、およびソース／生の成果物を削除、保持、またはエスクローするかどうか

完全な例

例：ポッドキャストエピソードのトランスクリプトと字幕

本番環境での目的：ゲストが時折重なって発話する、48 分の 2 人のホストによるポッドキャストについて、編集可能なトランスクリプト、SRT、トピックの要約を作成します。

ワークフローとパラメーター：

Endpoint: POST https://api.deepgram.com/v1/listen
Input: hosted WAV/MP3 URL or local audio upload
Query:
  model=nova-3
  smart_format=true
  utterances=true
  paragraphs=true
  diarize_model=latest
  summarize=v2
  topics=true
  tag=podcast-s01e04

想定される結果：Deepgram は、単語、タイミング、話者ラベル、発話／段落構造、対応している場合は要約／トピック、リクエストのメタデータ、機能と言語の組み合わせがサポートされていない場合の警告を含む JSON トランスクリプトを返します。単語または発話のタイミングから SRT を生成し、その後、名前と話者ラベルを手動で修正します。

この構成にする理由：Nova-3 は完成済みのトランスクリプトの精度に適しています。スマートフォーマットで読みやすさが向上します。発話／段落は編集レビューに役立ちます。1 つのミックス音源内で話者が重なるため、話者ダイアライゼーションが必要です。タグは使用状況の追跡に役立ちます。

失敗モード：

  • 発話が重なる箇所で話者ラベルが入れ替わる
  • 言語／機能のサポート状況が変わったため、要約／トピックが省略されたり、警告が表示されたりする
  • コールバックのペイロードが受信サーバーで処理できるサイズを超える
  • トランスクリプトの単語は正しいが、クロストークの周辺で句読点が不適切になる

バリエーション：

  • ホスト／ゲストのトラックが分離されている場合は、話者ダイアライゼーションの代わりに multichannel=true を使用します。
  • 機密性の高いリスナーからの通話には編集処理を追加します。
  • 英語以外のエピソードではインテリジェンス機能を無効にし、文字起こし後に別途承認済みのモデルで要約します。
例：ライブカンファレンスの字幕

本番での目的：カンファレンス配信にリアルタイム字幕を表示し、最終的な文字起こしをアーカイブします。

ワークフローとパラメーター：

Endpoint: wss://api.deepgram.com/v1/listen
Model: nova-3
Audio: linear16, 16000 Hz, mono, small steady chunks
Query:
  model=nova-3
  language=en-US
  encoding=linear16
  sample_rate=16000
  channels=1
  smart_format=true
  interim_results=true
  endpointing=300
  utterance_end_ms=1000
  vad_events=true

期待される結果：発話中に暫定的な認識結果が更新され、最終セグメントは文字起こしに保存され、変更頻度を抑えて表示されます。字幕 UI では暫定テキストが目に見えて修正され、最終テキストが確定します。

この構成にする理由：ライブ字幕には応答性が必要ですが、アーカイブには最終メッセージが必要です。生の音声形式を指定すると、デコードエラーを回避できます。

失敗モード：

  • サンプルレートまたはエンコーディングが間違っていると、文字起こしが使用できなくなったり、WebSocket データエラーが発生したりします；
  • エンドポイント検出が過敏だと、文が早すぎるタイミングで切られます；
  • 音楽や拍手によって精度が低下します；
  • ネットワークの中断によって欠落が発生します。

バリエーション：

  • 画面上で字幕を修正すべきではない配信オーバーレイでは、暫定結果の表示を無効にします。
  • 話者がコードスイッチングすることが予想される場合は、現在サポートされている言語を確認したうえで、language=multi&model=nova-3 または Flux multilingual を使用します。
  • パネリストごとにマイクチャンネルが分離されている場合は、話者ダイアライゼーションではなく、ソースチャンネルのメタデータを使用します。
例：サポート用音声エージェントのプロトタイプ

本番での目的：割り込みに対応し、音声で応答するリアルタイムのカスタマーサポートエージェントを構築します。

ワークフローとパラメーター：

Endpoint: Deepgram Voice Agent WebSocket
First message: Settings
Listen: Flux or current Deepgram conversational STT model
Think: configured LLM provider and system prompt
Speak: Deepgram Aura-2 voice, e.g. aura-2-thalia-en
Tools: order lookup, escalation, support article retrieval
Audio: telephony/browser format declared explicitly

期待される結果：エージェントは会話テキスト、思考中／発話中の状態メッセージ、関数呼び出しリクエスト、警告／エラー、バイナリー音声出力を送出します。ターンの終了を検出し、設定に応じて割り込みを許可します。

この構成にする理由：Flux／Voice Agent はオフライン文字起こしではなく、ターン交替のためのものです。設定を先に行うことで、あいまいなデフォルト設定を防げます。

失敗モード：

  • エンドポイント検出／積極的なターン終了判定が過敏で、エージェントが通話相手の発話にかぶせて話します；
  • ツール呼び出しのスキーマが失敗し、エージェントがループします；
  • 出力音声で製品名が正しく発音されません；
  • 会話ログに、許容期間を超えて機密データが保存されます。

バリエーション：

  • オーケストレーションを完全に制御する必要がある場合は、Voice Agent の代わりに Deepgram STT ＋独自の LLM ＋ Aura TTS を使用します。
  • 現在の Voice Agent のプロバイダーサポートと契約条件を確認してから、マネージド／BYO LLM プロバイダーを使用します。
例：Aura を使った製品動画のナレーション

本番での目的：90 秒の製品動画向けに、明瞭な英語のナレーションを生成します。

ワークフローとパラメーター：

Endpoint: POST https://api.deepgram.com/v1/speak
Model: aura-2-thalia-en
Container/encoding/sample rate: choose for the editor delivery spec
Request text: one paragraph or scene beat at a time, under 2000 characters
Optional controls: speed=0.95; pronunciation overrides for product names if supported

期待される結果：シーン／段落ごとに分けられた音声ファイルが生成され、レビュー、差し替え、ラウドネスの正規化、音楽／効果音とのミキシングができます。

この構成にする理由：シーン単位のチャンクは、録り直しや位置合わせが簡単です。2000 文字の上限によってリクエストの失敗を防ぎ、句読点やビートを意識したテキストによってパフォーマンスが向上します。

失敗モード：

  • コピーしたマーケティング文が、息切れしたような不自然な読み上げになります；
  • 製品の略語が単語として発音されます；
  • チャンクの境界で、聞き取れるほどの抑揚の不一致が生じます；
  • コンテナ形式またはサンプルレートが間違っていると、エディターへのインポートが面倒になります。

バリエーション：

  • LLM の出力をライブユーザーにストリーミングする場合は、WebSocket TTS を使用します。
  • ブランドのトーンに合うか試聴したうえで、別の Aura の言語／音声を使用します。
  • ラウドネスとノイズフロアは Deepgram の外部で後処理します。

コメント

Markdown 対応