nemotron-speech

Nemotron Speech スキル

Note: 「Nemotron Speech」は、NVIDIA が現在 Riva／Riva NIM として公開している製品の対外向け名称です。すべてのコマンド、コンテナーイメージ、gRPC API、Python のインポート、ドキュメント URL では引き続き 「Riva」 が使われています。変更されたのはブランド名のみです。コマンド、イメージ、ドキュメント URL の名前は変更しないでください。

Agent: ユーザーに複数の手順からなるワークフローを案内する際は、各手順を提示する前に、その手順を告知してください。形式は Step N/M — Step Title（例：「Step 1/4 — コンテナーをデプロイする」）です。

目的

NVIDIA Nemotron Speech（Riva）NIM のすべてのワークフロー（ASR（音声テキスト変換）、TTS（テキスト音声変換）、NMT（翻訳））への単一のエントリーポイントです。build.nvidia.com を介したクラウドホスト型推論、セルフホスト型 Docker デプロイ、ASR のクライアントプロトコル（gRPC、HTTP、WebSocket）の選択、riva-build によるカスタム NeMo モデルのデプロイ、ASR パイプラインの調整（VAD、話者ダイアライゼーション、言語モデル）、および Docker／NGC／ドライバーの前提条件を扱います。

このスキルを使用する場合

デプロイ、テスト、カスタムモデルのビルド、システム要件の確認、ASR／TTS／NMT モダリティ全般のモデル選択など、Nemotron Speech／Riva NIM に関するあらゆるタスクでこのスキルを使用してください。

ワークフロー

ユーザーのタスクの種類を特定し、references/ から該当するリファレンスファイルを読み込みます。リファレンスファイルには、各ワークフローの詳細が記載されています。この SKILL.md は振り分け用のエントリーポイントです。現在のタスクに関連するリファレンスのみを読み込んでください。

前提条件

• セルフホスト型デプロイの場合：NVIDIA AI Enterprise（NVAIE）の利用資格が必要です。その後、NVIDIA ドライバー、Docker、Container Toolkit、NGC API キー、Riva Python クライアントを含む環境設定を完了してください。詳しくは references/setup.md を参照してください。
• クラウドホスト型推論の場合：pip install -U nvidia-riva-client を実行し、https://build.nvidia.com から取得した有効な NVIDIA_API_KEY を用意してください。
• NVIDIA_API_KEY と NGC_API_KEY はシークレットとして扱ってください。実際のキー値を表示、貼り付け、コミット、ログへの記録をしないでください。Docker ログインには --password-stdin を使用し、永続化するキーは認証情報マネージャー、または他のユーザーから読み取れない chmod 600 の環境変数ファイルに保存してください。誰でも読み取り可能なシェル起動ファイルには保存しないでください。
• セルフホスト型 Docker のモデルキャッシュの場合：/opt/nim/.cache にマウントするホストディレクトリは、ホストユーザーだけでなくコンテナーのユーザーからも書き込み可能である必要があります（NIM コンテナーは内部で nvs:1000 として実行されます）。ディレクトリの作成後に sudo chown 1000:1000 $LOCAL_NIM_CACHE を実行し、コンテナーが書き込めるようにしてください。誰でも書き込み可能なモードは避けてください。ローカルユーザーなら誰でもキャッシュ済みモデルのアーティファクトを置き換えられるためです。また、Docker の実行時に -u "$(id -u):$(id -g)" を指定するのも避けてください。コンテナー内の /opt/nim/workspace は任意の UID では書き込みできません。モデルのダウンロード中に I/O error Permission denied (os error 13) が表示される場合は、ホストディレクトリの所有権が原因です。

手順

• ユーザーのタスクに対応するリファレンスファイルを1つ選び、そのファイルだけを読み込みます。リファレンスには詳細が記載されているため、段階的に開示することでコンテキストを絞り込めます。
• ドライバー、Docker、Container Toolkit、NGC のセットアップに関するリクエストは、references/setup.md に振り分けます。
• GPU の互換性、デプロイの準備状況、コンテナーのヘルスチェックに関するリクエストは、references/deployment-readiness-checks.md に振り分けます。
• ASR、TTS、NMT のモデル選択に関するリクエストは、references/model-selection.md に振り分けます。
• Parakeet、Canary、Whisper、Nemotron ASR Streaming の ASR デプロイまたは推論に関するリクエストは、references/asr.md に振り分けます。
• カスタム学習済み NeMo ASR のデプロイ（.nemo → RMIR → NIM）に関するリクエストは、references/asr-custom.md に振り分けます。
• VAD、話者ダイアライゼーション、言語モデル、チャンクサイズの ASR パイプライン設定に関するリクエストは、references/pipelines.md に振り分けます。
• Magpie の TTS デプロイまたは推論に関するリクエストは、references/tts.md に振り分けます。
• カスタムまたはファインチューニング済み TTS モデルのデプロイ（.nemo → RMIR → NIM）に関するリクエストは、references/tts-custom.md に振り分けます。
• TTS 合成パイプラインの設定 — SSML、ゼロショット音声クローニング、既存の発音辞書の適用、音声エンコーディング、サンプルレート、custom_configuration キー — に関するリクエストは、references/tts-pipelines.md に振り分けます。（発音の検索と構築には、tts-pronunciation.md を使用します。）
• TTS の発音検索 — 特定の単語やフレーズの IPA 発音の検索、テスト、適用 — に関するリクエストは、references/tts-pronunciation.md に振り分けます。
• Riva Translate、言語ペア、DNT タグに関する NMT のデプロイまたは推論のリクエストは、references/nmt.md に振り分けます。

信頼できる情報源

リリースごとの詳細 — 現在のモデルカタログ、コンテナー ID、関数 ID、音声リスト、VRAM の最小要件、モデルごとの機能サポート — については、この SKILL.md やリファレンスの記述に頼らず、NVIDIA の正式なドキュメントを取得または開いてください。各リファレンスファイルには、関連するドキュメントページへのルーティング表が含まれています。

トップレベルのランディングページ：

トピック	URL
ASR サポートマトリックス	https://docs.nvidia.com/nim/speech/latest/reference/support-matrix/asr.html
TTS サポートマトリックス	https://docs.nvidia.com/nim/speech/latest/reference/support-matrix/tts.html
NMT サポートマトリックス	https://docs.nvidia.com/nim/speech/latest/reference/support-matrix/nmt.html
前提条件（ドライバー／GPU／OS）	https://docs.nvidia.com/nim/speech/latest/get-started/prerequisites.html
ASR パイプライン設定	https://docs.nvidia.com/nim/speech/latest/asr/customization/pipeline-configuration.html
ASR ランタイムのカスタマイズ	https://docs.nvidia.com/nim/speech/latest/asr/customization/customization.html
TTS カスタムデプロイ（.nemo／.riva、riva-build、RMIR）	https://docs.nvidia.com/nim/speech/latest/tts/custom-deployment.html
TTS リクエスト時のカスタマイズ（SSML、発音辞書、custom_configuration）	https://docs.nvidia.com/nim/speech/latest/tts/customization.html
TTS の音声と感情スタイル	https://docs.nvidia.com/nim/speech/latest/tts/voices.html
TTS のゼロショット音声クローニング	https://docs.nvidia.com/nim/speech/latest/tts/voice-cloning.html
TTS の IPA 音素セット	https://docs.nvidia.com/nim/speech/latest/tts/phoneme-support.html
クラウド関数 ID（モデルごと）	https://build.nvidia.com/<org>/<model>/api
NGC モデルカタログ	https://catalog.ngc.nvidia.com/models

例

「Parakeet ASR NIM をデプロイする」 → references/asr.md を読み込み、オプション B（セルフホスト可能）、手順 1～4 に従います。

「Magpie で音声を合成する」 → references/tts.md を読み込み、オプション A（クラウド）またはオプション B（セルフホスト可能）に従います。

「英語をドイツ語に翻訳する」 → references/nmt.md を読み込み、4 ステップのフローに従います。

「ファインチューニング済みの .nemo を NIM に変換する」 → 4 フェーズのパイプラインについては references/asr-custom.md を、ビルド時の設定については references/pipelines.md を読み込みます。

「カスタムのファインチューニング済み TTS 音声を NIM としてデプロイする」 → 4 フェーズのパイプラインについて references/tts-custom.md を読み込みます。

「Magpie でゼロショット音声クローニングを使う」 → references/tts-pipelines.md を読み込みます。

「TTS リクエストに SSML の強調タグを追加する」 → references/tts-pipelines.md を読み込みます。

「Magpie TTS の出力で『NVIDIA』の発音がおかしいので、試す IPA の候補をいくつか提案して」 → references/tts-pronunciation.md を読み込み、IPA 候補を生成し、バリエーションを合成してから、3 種類すべての出力形式を提示します。

「カスタムの custom_dictionary を使って gRPC Python の Riva TTS で『NIM』の発音を修正するには？」 → references/tts-pronunciation.md を読み込み、「NIM」の IPA を提案し、ワイヤー形式と gRPC のコードスニペットを示します。

「自分の GPU でこれを実行できますか？」 → references/deployment-readiness-checks.md を読み込み、6 ステップのシステムチェックを実行します。

「どの Riva モデルを使えばよいですか？」 → references/model-selection.md を読み込み、判断フレームワークを適用してから、対象となる最新モデル名のサポートマトリックスを取得します。

命名と用語

• スキルのブランド名：Nemotron Speech（一般向けの名称）。
• 内部の名称はそのまま維持：コマンド（riva-build、riva-deploy、riva_streaming_asr_client）、Python クライアント（riva.client）、gRPC 名前空間（nvidia.riva.asr.*）、コンテナレジストリ（nvcr.io/nim/nvidia/*）、および NVIDIA のすべてのドキュメント URL では、引き続き 「Riva」 が使われます。コード、コマンド、ドキュメント内でこれらの名称を変更しないでください。

トラブルシューティング

タスク固有のランタイムまたはモダリティの問題については、該当するリファレンスファイル（references/<task>.md）を使用してください。複数のタスクに共通する準備状況の確認項目は次のとおりです。

• コンテナが起動完了状態にならない → references/deployment-readiness-checks.md（システムチェックとヘルスチェックの表）
• ヘルスチェックに失敗する → references/deployment-readiness-checks.md
• nvcr.io からの docker pull が 403 を返す → references/setup.md（手順 5 — Docker ログイン）
• ベースイメージが違う／モデルアーキテクチャが一致しない → references/asr-custom.md（フェーズ 2 のベースイメージ）
• VRAM／GPU の互換性 → references/deployment-readiness-checks.md を参照し、続いてサポートマトリックスで確認します

制限事項

• x86_64 アーキテクチャのみ — Windows 上の WSL2 では Podman が必要で、対応する NIM は一部に限られます（references/setup.md を参照）
• セルフホストでのデプロイには NVIDIA AI Enterprise ライセンスが必要です
• クラウドホスト型推論には、有効な NVIDIA_API_KEY とインターネット接続が必要です
• 公開向けのスキルブランドは 「Nemotron Speech」 ですが、コマンド、コンテナイメージ、Python インポート（riva.client）、gRPC サービス（nvidia.riva.*）、および NVIDIA のドキュメント URL では引き続き 「Riva」 が使われます — 命名については公式ドキュメントとカタログに従い、コマンドやコード内の名称を変更しないでください

次のステップ

• ハードウェアの互換性を確認します：references/deployment-readiness-checks.md
• 環境をセットアップします：references/setup.md
• モデルを選択します：references/model-selection.md
• デプロイします：references/asr.md、references/tts.md、または references/nmt.md