nemotron-speech

Nemotron Speech スキル

注記：「Nemotron Speech」は、NVIDIA が現在 Riva ／ Riva NIM としてドキュメント化しているものの、一般向けの名称です。コマンド、コンテナイメージ、gRPC API、Python のインポート、ドキュメントの URL では引き続き 「Riva」 が使用されます。名称変更はブランド上のものに限られます。コマンド、イメージ、ドキュメントの URL は変更しないでください。

**エージェント：**複数の手順からなるワークフローをユーザーに案内する際は、各手順を提示する前に、その手順を伝えてください。形式は Step N/M — Step Title とします（例：Step 1/4 — Deploy the Container）。

目的

NVIDIA Nemotron Speech（Riva）NIM のワークフローすべてを扱う単一のエントリーポイントです。ASR（音声認識）、TTS（音声合成）、NMT（機械翻訳）に対応します。build.nvidia.com 経由のクラウドホスト型推論、セルフホストの Docker デプロイ、ASR のクライアントプロトコル（gRPC、HTTP、WebSocket）の選択、riva-build を使用したカスタム NeMo モデルのデプロイ、ASR パイプラインの調整（VAD、話者分離、言語モデル）、および前提となる Docker ／ NGC ／ドライバーのセットアップを網羅しています。

このスキルを使用する場面

デプロイ、テスト、カスタムモデルのビルド、システム要件の確認、ASR ／ TTS ／ NMT の各モダリティにおけるモデル選択など、Nemotron Speech ／ Riva NIM に関するあらゆるタスクでこのスキルを使用してください。

ワークフロー

ユーザーのタスクの種類を特定し、references/ から該当するリファレンスファイルを読み込んでください。リファレンスファイルにはワークフローごとの詳細が記載されています。この SKILL.md は振り分け用のものです。現在のタスクに関連するリファレンスのみを読み込んでください。

前提条件

• セルフホストでのデプロイの場合：NVIDIA AI Enterprise（NVAIE）の利用資格が必要です。その後、環境のセットアップ（NVIDIA ドライバー、Docker、Container Toolkit、NGC API キー、Riva Python クライアント）を完了してください。references/setup.md を参照してください。
• クラウドホスト型推論の場合：pip install -U nvidia-riva-client を実行し、https://build.nvidia.com から有効な NVIDIA_API_KEY を取得してください。
• NVIDIA_API_KEY と NGC_API_KEY は秘密情報として扱ってください。実際のキーの値を表示、貼り付け、コミット、ログ出力してはいけません。Docker のログインには --password-stdin を使用し、永続的なキーは認証情報マネージャー、または誰でも読み取れるシェル起動ファイルではなく chmod 600 を設定した env ファイルに保存してください。
• セルフホストの Docker モデルキャッシュの場合：/opt/nim/.cache にマウントするホストディレクトリは、ホストユーザーだけでなく、コンテナユーザー（NIM コンテナ内部では nvs:1000 で実行されます）が書き込み可能である必要があります。ディレクトリを作成した後に sudo chown 1000:1000 $LOCAL_NIM_CACHE を実行して、コンテナから書き込めるようにしてください。誰でも書き込み可能なモードは避けてください。ローカルのユーザーがキャッシュ済みモデルのファイルを置き換えられるためです。また、docker run で -u "$(id -u):$(id -g)" を指定するのも避けてください。コンテナ内の /opt/nim/workspace は任意の UID からは書き込めません。モデルのダウンロード中に I/O error Permission denied (os error 13) が表示された場合は、ホストディレクトリの所有者設定が原因です。

手順

• ユーザーのタスクに対応するリファレンスファイルを1つ選び、そのファイルのみを読み込んでください。リファレンスは詳細なため、段階的に必要な情報だけを開示することで、コンテキストを簡潔に保てます。
• ドライバー、Docker、Container Toolkit、NGC のセットアップ依頼は references/setup.md に振り分けてください。
• GPU の互換性、デプロイの準備状況、コンテナのヘルスチェックは references/deployment-readiness-checks.md に振り分けてください。
• ASR、TTS、NMT にわたるモデル選択は references/model-selection.md に振り分けてください。
• Parakeet、Canary、Whisper、Nemotron ASR Streaming の ASR デプロイまたは推論は references/asr.md に振り分けてください。
• カスタム学習済み NeMo ASR のデプロイ（.nemo → RMIR → NIM）は references/asr-custom.md に振り分けてください。
• VAD、話者分離、言語モデル、チャンクサイズに関する ASR パイプラインの設定は references/pipelines.md に振り分けてください。
• Magpie の TTS デプロイまたは推論は references/tts.md に振り分けてください。
• Riva Translate、言語ペア、DNT タグに関する NMT デプロイまたは推論は references/nmt.md に振り分けてください。

信頼できる情報源

リリースごとの詳細（現在のモデルカタログ、コンテナ ID、関数 ID、音声一覧、必要な最小 VRAM、モデルごとの機能サポート）を確認する際は、この SKILL.md や参照ファイル内のテキストに頼らず、正規の NVIDIA ドキュメントを取得または開いてください。各参照ファイルには、該当するドキュメントページへのルーティング表が含まれています。

トップレベルのランディングページ：

トピック	URL
ASR サポートマトリックス	https://docs.nvidia.com/nim/speech/latest/reference/support-matrix/asr.html
TTS サポートマトリックス	https://docs.nvidia.com/nim/speech/latest/reference/support-matrix/tts.html
NMT サポートマトリックス	https://docs.nvidia.com/nim/speech/latest/reference/support-matrix/nmt.html
前提条件（ドライバー／GPU／OS）	https://docs.nvidia.com/nim/speech/latest/get-started/prerequisites.html
ASR パイプライン構成	https://docs.nvidia.com/nim/speech/latest/asr/customization/pipeline-configuration.html
ASR ランタイムのカスタマイズ	https://docs.nvidia.com/nim/speech/latest/asr/customization/customization.html
クラウド関数 ID（モデルごと）	https://build.nvidia.com/<org>/<model>/api
NGC カタログ	https://catalog.ngc.nvidia.com/orgs/nim/teams/nvidia/models

例

「Parakeet ASR NIM をデプロイする」 → references/asr.md を読み込み、オプション B（セルフホスト可能）に従ってステップ 1～4 を実行します。

「Magpie で音声を合成する」 → references/tts.md を読み込み、オプション A（クラウド）またはオプション B（セルフホスト可能）に従います。

「英語をドイツ語に翻訳する」 → references/nmt.md を読み込み、4 ステップのフローに従います。

「ファインチューニングした .nemo を NIM に変換する」 → 4 フェーズのパイプラインについては references/asr-custom.md を、ビルド時の構成については references/pipelines.md を読み込みます。

「自分の GPU で実行できますか？」 → references/deployment-readiness-checks.md を読み込み、6 ステップのシステムチェックを実行します。

「どの Riva モデルを使うべきですか？」 → references/model-selection.md を読み込み、選択のフレームワークを適用してから、現在の具体的なモデル名のサポートマトリックスを取得します。

名称と用語

• スキルのブランド名：Nemotron Speech（一般公開向けの名称）。
• 内部名称はそのまま維持：コマンド（riva-build、riva-deploy、riva_streaming_asr_client）、Python クライアント（riva.client）、gRPC 名前空間（nvidia.riva.asr.*）、コンテナレジストリ（nvcr.io/nim/nvidia/*）、およびすべての NVIDIA ドキュメント URL では、引き続き 「Riva」 が使われています。コード、コマンド、ドキュメント内でこれらの名称を変更しないでください。

トラブルシューティング

タスク固有のランタイムやモダリティの問題には、該当する参照ファイル（references/<task>.md）を使用してください。複数のタスクに共通する準備状況の確認：

• コンテナが起動可能な状態にならない → references/deployment-readiness-checks.md（システムチェックとヘルスチェック表）
• ヘルスチェックに失敗する → references/deployment-readiness-checks.md
• nvcr.io からの docker pull が 403 を返す → references/setup.md（ステップ 5 — Docker ログイン）
• ベースイメージが正しくない／モデルのアーキテクチャが一致しない → references/asr-custom.md（フェーズ 2 のベースイメージ）
• VRAM／GPU の互換性 → references/deployment-readiness-checks.md を確認してから、サポートマトリックスで確認します

制限事項

• x86_64 アーキテクチャのみ対応 — Windows 上の WSL2 では Podman が必要で、一部の NIM のみサポートされます（references/setup.md を参照）
• セルフホストでのデプロイには NVIDIA AI Enterprise ライセンスが必要です
• クラウドでホストされた推論には、有効な NVIDIA_API_KEY とインターネット接続が必要です
• 一般公開向けのスキルブランド名は 「Nemotron Speech」 です。コマンド、コンテナイメージ、Python インポート（riva.client）、gRPC サービス（nvidia.riva.*）、および NVIDIA ドキュメント URL では引き続き 「Riva」 が使われています。名称は公式ドキュメントとカタログに従い、コマンドやコード内で変更しないでください

次のステップ

• ハードウェアの互換性を確認します：references/deployment-readiness-checks.md
• 環境をセットアップします：references/setup.md
• モデルを選択します：references/model-selection.md
• デプロイします：references/asr.md、references/tts.md、または references/nmt.md