nvidia-speech-nim

NVIDIA Speech NIM

エージェントが汎用的な音声 API ではなく、NVIDIA Speech NIM マイクロサービスを使った音声ワークフローの計画または実装を行う場合に、このスキルを使用します。NVIDIA Speech NIM は、デプロイ可能なコンテナ化された音声スタックとして扱います。アプリケーションは、HTTP、gRPC、または WebSocket API を介して、独立した ASR、TTS、NMT の各 NIM コンテナと通信します。モデルやプロファイルの選択、オーケストレーション、権利の確認、音声の管理、品質保証は、引き続きエージェントが担います。

このスキルの事実は、特に記載がない限り、2026-07-10 時点の NVIDIA 公式情報で検証済みです。

まずジョブを分類する

ユーザーのリクエストを、次の音声機能の 1 つ以上に分類します。

• ASR/STT：文字起こし、キャプション、字幕、通話分析、会議メモ、音声エージェントへの入力、または ASR モデルが翻訳に対応している場合の音声からテキストへの翻訳のために、音声をテキストに変換します。
• TTS：ナレーション、ローカライズされたボイスオーバー、会話形式の出力、アクセシビリティ、キオスクやエージェントの応答、または承認済みの音声クローンのために、テキストを音声に変換します。
• NMT：言語間でテキストを翻訳します。NVIDIA が文書化している Speech NIM の翻訳ルートでは、独立した NMT コンテナを使用します。すべての ASR または TTS 呼び出しに内包されているわけではありません。
• 音声間翻訳：ASR -> NMT -> TTS を連結するパイプラインです。選択したモデルカードでエンドツーエンドの音声間エンドポイントが明示的に公開されていない限り、単一のモノリシックな Speech NIM として提示しないでください。
• 全二重の音声チャット：明示的に選択された場合に使用する、Nemotron VoiceChat 系の独立したモデルです。通常の ASR + TTS NIM だけで、全二重の会話機能が得られると想定しないでください。

ユーザーが「speech NIM」のみを求めている場合は、ASR、TTS、NMT をまとめて、音声・ボイスプロバイダーの選定として扱います。文字起こしやナレーションの連携のみを求めている場合は、必要なコンテナに範囲を絞りつつ、各ルートの境界が分かるようにしてください。

ドキュメント化された機能マップ

これらは設定ではなく、ドキュメントに記載された事実として扱ってください。

• NVIDIA Speech NIM マイクロサービスは、ASR、TTS、NMT モデルをスタンドアロンコンテナとしてデプロイします。アプリケーションは NIM API を呼び出し、生のモデルを直接呼び出すことはありません。出典：How NVIDIA Speech NIM Microservices Work。
• ASR NIM は音声をテキストに変換し、ストリーミングモードとオフラインモードに対応しています。ストリーミングでは音声の到着に合わせて部分的な文字起こしを返し、オフラインではファイル全体を処理して完全な文字起こしを返します。出典：About NVIDIA ASR NIM。
• TTS NIM はテキストを音声に変換し、オフライン合成とストリーミング合成に対応しています。オフラインでは完全な音声レスポンスを返しますが、gRPC 経由ではメッセージサイズが 4 MB に制限されます。ストリーミングでは音声チャンクを返し、初回音声までの時間を短縮したい場合や長文を処理する場合に適しています。出典：About NVIDIA TTS NIM。
• NMT NIM は言語間でテキストを翻訳します。NVIDIA のドキュメントでは、リアルタイム翻訳は ASR NIM、NMT NIM、TTS NIM をアプリケーションが連携させる構成として説明されています。出典：NVIDIA Speech NIM overview および About NVIDIA NMT NIM。
• ASR API：簡単なオフライン文字起こし／翻訳には HTTP REST、バッチ認識とストリーミング認識には gRPC、低レイテンシのリアルタイムセッションには WebSocket を使用します。出典：ASR API references。
• TTS API：音声の一覧表示とオフライン／ストリーミング合成には HTTP REST、バッチ合成とストリーミング合成には gRPC、リアルタイムの対話型合成には WebSocket を使用します。出典：TTS API references。
• ASR HTTP の /v1/audio/transcriptions は WAV、OPUS、FLAC を受け付けます。また、language または model のいずれかが必須です。/v1/audio/translations は、NVIDIA の REST ドキュメントに記載されている Canary や Whisper など、翻訳機能を持つモデルでのみサポートされます。出典：ASR HTTP REST API。
• TTS HTTP の /v1/audio/synthesize は WAV ファイルを返します。/v1/audio/synthesize_online は WAV ヘッダーなしの生の 16 ビット符号付き LPCM チャンクをストリーミングします。ドキュメントに記載された HTTP エンドポイントでは、リクエストごとのテキストは正規化後 2,000 文字までです。出典：TTS HTTP REST API。
• TTS の音声名は /v1/audio/list_voices から取得でき、Model.LOCALE.Speaker または Model.LOCALE.Speaker.Emotion の形式です。感情サフィックスの利用可否は話者によって異なります。出典：TTS HTTP REST API。
• ゼロショット音声クローニングは、Magpie TTS Zeroshot と Magpie TTS Flow でドキュメント化されています。どちらも利用承認が必要です。参照プロンプトには、22.05 kHz 以上の、明瞭な 16 ビットモノラル WAV を使用してください。長さは約 3～10 秒が目安です。Flow は文字起こしが必要で、オフラインのみ対応します。Zeroshot はストリーミングとオフラインに対応します。出典：Cloning a Voice with Zero-Shot TTS。
• NIM コンテナは、ヘルス、バージョン、メタデータ、モデル、Prometheus 形式のメトリクス用エンドポイントを公開します。本番環境の音声を送信する前に、レディネスチェックを行ってください。出典：ASR HTTP REST API、TTS HTTP REST API、および Observability。

モデルとプロファイルの選択

サービスの起動後ではなく、デプロイ時に選択してください。NVIDIA は、コンテナとデプロイプロファイルを選択する方法として CONTAINER_ID と NIM_TAGS_SELECTOR を案内しています。現在のプロファイル名、メモリ要件、推論モード、言語サポート、WSL2 の対応状況、モデル固有の注意事項については、サポートマトリックスを確認してください。

ASR の選択

次の方法をおすすめします。

• 英語のリアルタイム字幕、音声エージェントへの入力、単一言語のコールセンター文字起こし：まずストリーミング対応の英語 Parakeet／Nemotron ASR プロファイルを選び、代表的な音声で単語誤り率とエンドポイント検出を検証してください。
• 長時間の録音済み音声、メディアライブラリ、コンプライアンスレビュー、字幕のバックフィル：オフラインまたは完全オフラインのプロファイルを選んでください。NVIDIA は、VAD を使用して長いファイルを最大 30 秒のチャンクに分割し、並列オフライン処理を行う完全オフラインの Parakeet プロファイルを案内しています。
• 多言語のストリーミング入力：対象言語が文書化された言語リストに含まれている場合は、Parakeet RNNT Multilingual や Nemotron ASR Streaming type=multi などの多言語ストリーミングモデル／プロファイルを使用してください。自動言語検出に対応するプロファイルもあれば、精度を高めるために言語コードが必要なものもあります。
• 音声からの音声翻訳：Canary や Whisper など、音声翻訳機能が文書化されているモデルを /v1/audio/translations 経由で使用してください。それ以外の場合は、まず ASR を実行し、その後 NMT を実行してください。
• 複数話者：利用可能な場合は、VAD と Sortformer による話者ダイアライゼーションに対応していることが文書化されたプロファイルを選んでください。すべての ASR モデルやプロファイルで話者ダイアライゼーションが可能だと約束しないでください。

2026-07-10 に確認した、文書化済みの ASR ハードウェア／ソフトウェア要件：ASR NIM には、NVIDIA GPU のコンピュートケイパビリティ 8.0 以上と 16 GB 以上の VRAM が必要です。Linux Ubuntu 22.04 以降が推奨されており、NVIDIA Driver >= 535 と NVIDIA Docker >= 23.0.1 が要件として記載されています。WSL2 のサポート状況はモデルによって異なります。ASR マトリックスには、WSL2 では Windows 11 Build 23H2 以降、driver >= 570、Ubuntu 24.04、および Podman が推奨として記載されています。出典：ASR サポートマトリックス。

TTS の選択

次の方法をおすすめします。

• 本番環境のナレーション向けの固定された多言語音声：9 つの文書化済みロケールが用途に合う場合は、Magpie TTS Multilingual を選んでください：en-US、es-US、fr-FR、de-DE、zh-CN、vi-VN、it-IT、hi-IN、ja-JP。
• コミュニティ公開モデルによる、より幅広い多言語 TTS：文書化された言語リストとライセンスが用途に合う場合は、Chatterbox TTS Multilingual を選んでください。公開元は NVIDIA ではなく Resemble AI community であることを明確に示してください。
• 承認済みの音声マッチング：明示的な権利／同意が確認され、アクセス承認を得られる場合に限り、Magpie TTS Zeroshot または Magpie TTS Flow を選んでください。
• 低レイテンシの会話出力：オフラインの WAV 合成ではなく、ストリーミング TTS または WebSocket を使用してください。
• ナレーションの一括生成やファイルベースのローカライズ：オフライン合成を使用し、エンドポイントの制限内でテキストを自然な文や段落の区切りで分割し、音声とサンプルレートの設定を一貫して維持してください。

2026-07-10 に確認した、文書化済みの TTS ハードウェア／ソフトウェア要件：TTS NIM には、NVIDIA GPU のコンピュートケイパビリティ 8.0 以上と 16 GB 以上の VRAM が必要です。Linux Ubuntu 22.04 以降が推奨されており、NVIDIA Driver >= 535 と NVIDIA Docker >= 23.0.1 が要件として記載されています。TTS サポートマトリックスでは、すべての TTS モデルが FP16 と記載されています。出典：TTS サポートマトリックス。

NMT の選択

テキスト翻訳、音声間翻訳、ローカライズレビュー、または ASR 後の用語管理が必要なタスクでは、NMT を使用します。Riva Translate 1.6b は NMT モデルとして記載されています。コンテナ名は riva-translate-1_6b で、提供されるモデル名は megatronnmt_any_any_1b と表示される場合があります。NVIDIA の記載によると、36 言語間の任意の言語から任意の言語への翻訳に対応しています。出典：About NVIDIA NMT NIM。

翻訳してはならない、または特定の訳し方が必要なブランド名、製品名、技術用語には、<dnt>...</dnt> タグまたはカスタム辞書を使用します。出力が途中で切れる場合は、形態的に複雑なターゲット言語で --max-len-variation を大きくします。出典：About NVIDIA NMT NIM。

2026-07-10 に確認した、記載されている NMT のハードウェア／ソフトウェア要件は次のとおりです。NMT NIM には GPU コンピュート能力 8.0 以上と 16 GB 以上の VRAM が必要です。Linux Ubuntu 22.04 以降が推奨されており、NVIDIA Driver >= 535 と NVIDIA Docker >= 23.0.1 が要件として記載されています。出典：NMT support matrix。

API ルートの選択

インタラクションのパターンに応じて、クライアントのルートを選択します。

• HTTP REST：最も簡単なオフラインテスト、curl ベースの CI チェック、言語に依存しない統合、単一の完成ファイル、ファイルベースの TTS に適しています。推論の前に /v1/health/ready を使用します。
• gRPC：高機能な本番用クライアント、ストリーミング ASR／TTS、より豊富な Riva プロトコル機能、NVIDIA の Riva Python クライアントまたは提供されているスクリプトの使用に適しています。
• WebSocket リアルタイム：ブラウザーに適した、またはイベントベースの低遅延なインタラクティブセッションに適しています。ASR は ws://<address>:9000/v1/realtime?intent=transcription に接続し、TTS は ws://<address>:9000/v1/realtime?intent=synthesize に接続します。

Python クライアントについて、NVIDIA は pip install -U nvidia-riva-client と、Speech NIM サービスを呼び出すすぐに使えるスクリプトを提供する nvidia-riva/python-clients リポジトリを記載しています。出典：Install the NVIDIA Riva Python Client。

本番環境向けのヒューリスティック

以下は本番環境の品質を高めるためのヒューリスティックです。保証として扱う前に、代表的な音声データで検証してください。

• アップロード前に、ASR 音声を安定したサンプルレート／チャンネル構成に前処理します。元の音声は変更せず、派生した WAV／FLAC 中間ファイルは由来情報とともに保存します。
• ASR では、汎用的な音声クリップだけでなく、ドメイン固有のサンプルセットで WER／CER を測定します。アクセント、ノイズ、クロストーク、電話音声の帯域幅、BGM、および製品で実際に使用されるマイク／コーデックを含めます。
• リアルタイム ASR では、チャンクの長さ、エンドポイント検出、途中結果、句読点、話者分離を個別に調整します。最小レイテンシと最良の最終文字起こしは、異なる目標です。
• 話者分離では、文字起こしの品質とは別に「誰がいつ話したか」を検証します。文字起こしが正確でも、話者タグが入れ替わっていれば本番環境での失敗です。
• TTS では、任意の文字数ごとではなく、意味のまとまりごとに生成します。チャンク間の韻律、呼吸音／ノイズフロア、発音の揺れ、音量の一貫性を確認します。
• 音声クローンでは、生成前に承認用資料一式を作成します。話者の身元、同意の証拠、許可された台本／用途、参照音声の出所、有効期限／取り消し条件、保存／削除計画を含めます。
• ローカライズでは、流暢さより先に用語を整えます。創造的な仕上げに入る前に、辞書または翻訳禁止タグを使って、製品名、頭字語、UI ラベル、法的表現、医療／金融用語を固定します。
• 音声間翻訳では、各段階のレイテンシを見積もります。ASR のエンドポイント検出 + NMT + TTS の初回チャンクのレイテンシ + ネットワークのジッターを考慮します。全体の処理経路を測定せずに「リアルタイム通訳」を謳わないでください。
• 最初のユーザートラフィックが発生する前に、モデルアセットをキャッシュし、サービスを事前にウォームアップします。特に、RMIR がターゲット GPU 上で最適化済みエンジンを生成する場合、初回起動時にモデルのダウンロードやプロファイルの最適化が行われることがあります。
• 本番環境での実行ごとに、デプロイされたコンテナイメージ、NIM_TAGS_SELECTOR、/v1/version、/v1/metadata、ドライバーバージョン、GPU モデル、API ルートを記録します。

権利、同意、プライバシー、ライセンス

ユーザーの音声を送信または生成する前に、以下を実施してください。

1. 入力音声の権利を確認してください。通話、会議、医療または法律に関する内容の文字起こしには、同意、保存期間の管理、管轄区域に応じた通知が必要となる場合があります。
2. 出力音声の権利を確認してください。ユーザーが、参照音声の話者について、使用する台本、配信チャネル、地域、期間を明示して許可していない限り、その人の声を複製したり、まねたりしてはいけません。
3. セルフホストによる管理と、ホスト型または試用版のエンドポイントを区別してください。セルフホストすれば、音声データをユーザーが選択したインフラストラクチャ内に留められますが、ログ、メトリクス、モデルのダウンロード、ライセンス確認、運用テレメトリーについても、導入先に適用される NVIDIA の規約と組織のプライバシー／セキュリティ管理に照らして確認する必要があります。
4. NVIDIA API Catalog のホスト型エンドポイントは、ユーザーが本番環境向けのホスト型パートナー経由の利用手段を持っていない限り、試用またはプロトタイピング用として扱ってください。NVIDIA の FAQ では、Developer Program の利用はプロトタイピング、研究、開発、テストを対象としており、本番利用には NVIDIA AI Enterprise または本番環境対応のパートナーエンドポイントが必要とされています。出典：NVIDIA NIM FAQ。
5. 本番環境で NIM をセルフホストする場合は、NVIDIA AI Enterprise の利用資格、または有効な別の本番ライセンス取得方法があることを確認してください。NVIDIA の開発者向け資料では、本番環境への導入は NVIDIA AI Enterprise による保証、サポート、API の安定性に結び付けられています。出典：NIM for Developers および NVIDIA NIM FAQ。
6. カスタム TTS アプリケーションの場合、NVIDIA の AI 製品規約では、新しいコンテンツの生成に使用するコンテンツについて、顧客が十分な権利とライセンスを保有する必要があると定められており、カスタム TTS アプリケーションの配布およびサービスでの使用が制限されています。出典：Product Specific Terms for AI Products。
7. API Trial Service の使用について、NVIDIA の API Trial Terms では、ユーザーコンテンツおよび生成コンテンツは API サービスの提供のみを目的としてセッション中に使用され、特定のサービスまたはセキュリティ／不正利用の監視に関する記載がある場合を除き、各セッションの終了時に保存または使用されないと定められています。出典：NVIDIA API Trial Terms of Service PDF。
8. エンタープライズソフトウェアの規約におけるデータ収集について確認してください。NVIDIA Software License Agreement では、構成／最適化、サービス提供、コンプライアンス／不正利用の検出、製品改善、および関連するテレメトリーのカテゴリを目的とした収集について説明されています。出典：NVIDIA Software License Agreement。

ユーザーが音声の権利または規制対象データの取り扱いを確認できない場合は、音声の複製を拒否し、より安全な代替案を提案してください。具体的には、既製の音声、署名済みの同意を得たうえでユーザーが録音した音声、文字起こしのみの出力、または推論の前にローカルのみで個人情報を伏せる方法です。

完全な例：字幕生成向けオフライン ASR

本番環境での目的：録画済みのトレーニング動画から、タイムスタンプ付きの編集可能な字幕を作成し、品質レビューを行います。

判断：

• 音声が録音済みで、対話的な低レイテンシーが不要な場合は、ASR NIM のオフラインプロファイルまたは完全オフラインプロファイルを使用します。
• 単語のタイムオフセットや、より充実した文字起こしフィールドが必要な場合は、gRPC/Riva クライアントを使用します。単純なテキスト抽出の場合に限り、HTTP を使用します。
• サポートされており、必要な場合は句読点を有効にします。ただし、字幕の句読点は手動で確認してください。

HTTP の簡易動作テスト：

curl -sS http://localhost:9000/v1/health/ready

curl -sS http://localhost:9000/v1/audio/transcriptions \
  -F language=en-US \
  -F response_format=json \
  -F file="@training_clip.wav" \
  --output transcript.json

品質保証チェックリスト：

• 5～10 分の層化サンプルを、人手による参照データと比較します。
• 専門用語、製品名、数値、通貨、頭字語を確認します。
• 話者分離プロファイルを使用した場合は、話者ラベルを個別に確認します。
• 元の音声、正規化済み音声、文字起こし、モデルプロファイル、レビュー記録を一緒に保管します。
• 文字起こしのレビューが完了するまで、字幕を動画に焼き込まないでください。

想定される障害モード：

• コードスイッチングに対して誤った言語／プロファイルが選択されている。
• 文字起こしの品質は高いものの、実用的な単語タイミングが得られない。
• 音声が重なり合う箇所で、話者分離ラベルが徐々にずれていく。
• より充実した出力が必要なのに、gRPC ルートではなく HTTP ルートが使用されている。

完全な例：低レイテンシーの音声エージェントループ

本番環境での目的：キオスクまたはエージェントが、短いユーザー発話を聞き取り、応答を音声で返します。

判断：

• ASR：gRPC または WebSocket 経由のストリーミングプロファイルを使用します。対話マネージャーが訂正を許容できる場合に限り、中間結果を使用します。
• NMT：言語間のサポートが必要な場合にのみ含めます。不要であれば、余計なレイテンシーを増やす段階を避けます。
• TTS：応答全体の合成が完了する前に再生を開始できるよう、ストリーミング TTS または WebSocket ルートを使用します。
• デプロイ：ASR と TTS を独立したコンテナーとして実行し、それぞれ個別にスケールできるようにします。

運用計画：

1. ASR と TTS のコンテナーを事前にウォームアップし、準備完了状態をポーリングします。
2. マイクの音声をチャンク単位で送信します。最終的な文字起こしの信頼度／エンドポイント検出と、中間テキストは分けて扱います。
3. 最終テキストまたは安定した部分テキストを対話システムに送信します。
4. 応答テキストを句の区切りで分割し、TTS ストリーミングを開始します。
5. モデルのレイテンシーだけでなく、ユーザーの発話終了から最初の音声出力までのターン全体のレイテンシーを測定します。
6. チャンクのドロップ、再接続、ヘルスチェックの失敗、リクエスト所要時間のメトリクスを記録します。

品質保証チェックリスト：

• 割り込み発話、無音、短い相づち、背景ノイズ、アクセントをテストします。
• 同意なしに、字幕／文字起こしが分析用ストアに漏えいしないことを検証します。
• デプロイの状況に応じて必要な場合は、生成されたすべての音声出力にラベルが付けられるか、開示されることを確認します。

完全な例：承認済みの音声クローンによるローカライズ

本番環境での目的：承認済みの従業員の音声リファレンスを使用して、社内トレーニングモジュールをローカライズします。

判断：

• 製品用語には、翻訳禁止タグまたはカスタム辞書を使って NMT を使用します。
• アクセス承認が得られ、話者の同意書一式が揃っている場合に限り、ゼロショット TTS モデルを使用します。
• クリーンなプロンプトの文字起こしがあり、オフラインでの高忠実度なマッチングが重要な場合は Flow を使用します。ストリーミングが必要な場合、またはプロンプトの文字起こしが不要な場合は Zeroshot を使用します。

必須の管理記録一式：

• 話者の名前または仮名 ID。
• 書面による同意の範囲：言語、スクリプト、配布、期間、同意撤回の手順。
• リファレンス WAV のソースと文字起こし。
• リファレンス音声と生成出力の保管場所。
• 類似性と悪用リスクに関するレビュアーの承認。

HTTP 合成の形式例：

curl -sS http://localhost:9000/v1/audio/synthesize --fail-with-body \
  -F language=en-US \
  -F text="This internal module explains how to configure <dnt>NVIDIA NIM</dnt> safely." \
  -F audio_prompt=@approved_reference.wav \
  --output localized_voice.wav

品質保証チェックリスト：

• 保護対象の用語の発音を確認します。
• ラウドネスを正規化し、自社の納品基準と比較します。
• ポリシーで求められる場合は、同意した話者または権限のあるレビュアーに類似性を承認してもらいます。
• 実行マニフェストを保持し、同意計画に従ってプロンプト音声と生成されたバリエーションを削除します。

障害の切り分け

• 503 の準備状態エラー：/v1/health/ready をポーリングしてください。モデルの読み込み中に、大きな音声をむやみに再試行しないでください。
• ASR HTTP での 400：file、language または model、サポートされている音声形式、モデルの利用可能状況を確認してください。
• TTS HTTP での 400：テキストと言語が空でないこと、正規化後の文字数が2,000字未満であること、/v1/audio/list_voices で有効な音声名が得られること、エンコーディングが LINEAR_PCM であることを確認してください。
• 初回リクエストが遅い場合：コンテナがモデルをダウンロード中か、対象 GPU 向けの RMIR プロファイルを構築中か確認してください。
• GPU のメモリ不足：より小さなバッチ／プロファイルを選択し、不要な mode=all を削除し、必要がなければ話者ダイアライゼーションを無効にするか、別々の GPU にコンテナを分けてデプロイしてください。
• ASR の句読点が不適切な場合：モデル／プロファイルで句読点が有効になっていることを確認してください。後処理は慎重に行い、レビューなしに法律・医療関連の文字起こしを変更しないでください。
• TTS の生出力がノイズのように聞こえる場合：/v1/audio/synthesize_online を使用しているなら、正しいサンプルレート、チャンネル数、符号付き16ビット形式で WAV ヘッダーを追加するか、生の LPCM を変換してください。
• ホステッドエンドポイントでスロットリングやレイテンシの変動が発生する場合：build.nvidia.com/API Catalog は試用・プロトタイピング向けの経路と考えてください。安定したサービスを提供するには、セルフホストするか、本番環境向けのパートナーエンドポイントを使用してください。

出典に関する注記

モデル名、プロファイルセレクター、サポート言語、WSL2 の対応状況、ライセンス、ホステッドエンドポイントの利用可能状況は変わるため、デプロイ前に最新の NVIDIA ドキュメントを確認してください。主要な出典は2026-07-10に確認済みです。

• NVIDIA Speech NIM マイクロサービスの概要
• NVIDIA Speech NIM マイクロサービスの仕組み
• ASR NIM ドキュメント、ASR サポートマトリックス、ASR API リファレンス
• TTS NIM ドキュメント、TTS サポートマトリックス、TTS API リファレンス
• NMT NIM ドキュメント、NMT サポートマトリックス
• 開発者向け NIM、NVIDIA NIM FAQ、NVIDIA ソフトウェアライセンス契約、AI 製品向け製品固有条項、NVIDIA API 試用サービス利用規約