nemotron-speech

Nemotron Speech 技能

注：“Nemotron Speech”是 NVIDIA 目前以 Riva / Riva NIM 作为文档名称的产品对外名称。所有命令、容器映像、gRPC API、Python 导入项和文档 URL 仍使用 “Riva”——此次更名仅涉及品牌名称。请勿重命名命令、映像或文档 URL。

**Agent：**引导用户完成多步骤工作流时，请在介绍每个步骤前先宣布该步骤：Step N/M — Step Title（例如：“Step 1/4 — Deploy the Container”）。

目的

为所有 NVIDIA Nemotron Speech（Riva）NIM 工作流提供统一入口：ASR（语音转文本）、TTS（文本转语音）和 NMT（翻译）。涵盖通过 build.nvidia.com 托管云端推理、自托管 Docker 部署、ASR 客户端协议选择（gRPC、HTTP、WebSocket）、通过 riva-build 部署自定义 NeMo 模型、ASR 流水线调优（VAD、说话人分离、语言模型），以及 Docker / NGC / 驱动程序的前置设置。

何时使用此技能

在执行任何 Nemotron Speech / Riva NIM 任务时使用此技能，包括部署、测试、自定义模型构建、系统要求检查，或在 ASR / TTS / NMT 模态之间选择模型。

工作流

识别用户的任务类型，然后从 references/ 加载相应的参考文件。参考文件包含各工作流的详细内容；此 SKILL.md 用于路由。仅加载与当前任务相关的参考文件。

前置条件

• 自托管部署：需要 NVIDIA AI Enterprise（NVAIE）授权，然后完成环境设置——NVIDIA 驱动程序、Docker、Container Toolkit、NGC API 密钥、Riva Python 客户端。请参阅 references/setup.md。
• 云端托管推理：运行 pip install -U nvidia-riva-client，并从 https://build.nvidia.com 获取有效的 NVIDIA_API_KEY。
• 将 NVIDIA_API_KEY 和 NGC_API_KEY 视为机密：切勿打印、粘贴、提交或记录真实密钥值。Docker 登录时优先使用 --password-stdin；持久密钥应存储在凭据管理器中，或存放于权限为 chmod 600 的环境文件中，而不要存放在所有用户均可读取的 shell 启动文件中。
• 自托管 Docker 模型缓存：挂载到 /opt/nim/.cache 的主机目录必须允许容器用户写入（NIM 容器内部以 nvs:1000 用户运行），仅允许主机用户写入是不够的。创建目录后运行 sudo chown 1000:1000 $LOCAL_NIM_CACHE，以便容器能够写入其中。避免设置所有用户均可写的权限——这会让任何本地用户都能替换缓存的模型工件。Docker run 命令中也应避免使用 -u "$(id -u):$(id -g)"——容器内的 /opt/nim/workspace 不允许任意 UID 写入。如果模型下载期间出现 I/O error Permission denied (os error 13)，问题就在于主机目录的所有权设置。

说明

• 将用户任务与一个参考文件匹配，并仅加载该文件；参考内容很详细，渐进式披露有助于控制上下文。
• 将有关驱动程序、Docker、Container Toolkit 和 NGC 的设置请求转至 references/setup.md。
• 将有关 GPU 兼容性、部署就绪情况和容器健康检查的请求转至 references/deployment-readiness-checks.md。
• 将有关 ASR、TTS 和 NMT 模型选择的请求转至 references/model-selection.md。
• 将有关 Parakeet、Canary、Whisper 和 Nemotron ASR Streaming 的 ASR 部署或推理请求转至 references/asr.md。
• 将有关自定义训练 NeMo ASR 部署（.nemo → RMIR → NIM）的请求转至 references/asr-custom.md。
• 将有关 VAD、说话人分离、语言模型和块大小的 ASR 流水线配置请求转至 references/pipelines.md。
• 将有关 Magpie 的 TTS 部署或推理请求转至 references/tts.md。
• 将有关自定义或微调 TTS 模型部署（.nemo → RMIR → NIM）的请求转至 references/tts-custom.md。
• 将有关 TTS 合成流水线配置的请求——SSML、零样本语音克隆、应用现有发音词典、音频编码、采样率、custom_configuration 键——转至 references/tts-pipelines.md。（如需查找和构建发音，请使用 tts-pronunciation.md。）
• 将有关 TTS 发音查找的请求——查找、测试和应用特定单词或短语的 IPA 发音——转至 references/tts-pronunciation.md。
• 将有关 Riva Translate、语言对和 DNT 标签的 NMT 部署或推理请求转至 references/nmt.md。

事实来源

有关各版本的详细信息——当前模型目录、容器 ID、函数 ID、语音列表、最低 VRAM 要求、各模型的功能支持情况——请获取或打开 NVIDIA 官方文档，不要依赖此 SKILL.md 或参考文件中的内容。每个参考文件都包含指向相关文档页面的路由表。

顶层入口页面：

主题	URL
ASR 支持矩阵	https://docs.nvidia.com/nim/speech/latest/reference/support-matrix/asr.html
TTS 支持矩阵	https://docs.nvidia.com/nim/speech/latest/reference/support-matrix/tts.html
NMT 支持矩阵	https://docs.nvidia.com/nim/speech/latest/reference/support-matrix/nmt.html
前提条件（驱动程序 / GPU / OS）	https://docs.nvidia.com/nim/speech/latest/get-started/prerequisites.html
ASR 流水线配置	https://docs.nvidia.com/nim/speech/latest/asr/customization/pipeline-configuration.html
ASR 运行时自定义	https://docs.nvidia.com/nim/speech/latest/asr/customization/customization.html
TTS 自定义部署（.nemo / .riva、riva-build、RMIR）	https://docs.nvidia.com/nim/speech/latest/tts/custom-deployment.html
TTS 请求时自定义（SSML、发音词典、custom_configuration）	https://docs.nvidia.com/nim/speech/latest/tts/customization.html
TTS 语音和情感风格	https://docs.nvidia.com/nim/speech/latest/tts/voices.html
TTS 零样本语音克隆	https://docs.nvidia.com/nim/speech/latest/tts/voice-cloning.html
TTS IPA 音素集	https://docs.nvidia.com/nim/speech/latest/tts/phoneme-support.html
云函数 ID（按模型）	https://build.nvidia.com/<org>/<model>/api
NGC 模型目录	https://catalog.ngc.nvidia.com/models

示例

“部署 Parakeet ASR NIM” → 加载 references/asr.md，按照选项 B（自托管）执行步骤 1–4。

“使用 Magpie 合成语音” → 加载 references/tts.md，按照选项 A（云端）或选项 B（自托管）执行。

“将英语翻译成德语” → 加载 references/nmt.md，按照 4 步流程执行。

“将我的微调 .nemo 转换为 NIM” → 加载 references/asr-custom.md 查看 4 阶段流程，并加载 references/pipelines.md 查看构建时配置。

“将自定义微调的 TTS 音色部署为 NIM” → 加载 references/tts-custom.md 查看 4 阶段流程。

“使用 Magpie 进行零样本语音克隆” → 加载 references/tts-pipelines.md。

“为我的 TTS 请求添加 SSML 强调标签” → 加载 references/tts-pipelines.md。

“我的 Magpie TTS 输出中 ‘NVIDIA’ 的发音不对——请推荐几个 IPA 选项来测试” → 加载 references/tts-pronunciation.md，生成 IPA 候选项，合成多个变体，然后输出全部三种交付格式。

“如何在 gRPC Python 中使用 custom_dictionary 修正 Riva TTS 中 ‘NIM’ 的发音？” → 加载 references/tts-pronunciation.md，为 ‘NIM’ 提供 IPA 建议，并展示线格式和 gRPC 代码片段。

“我的 GPU 能运行这个吗？” → 加载 references/deployment-readiness-checks.md，并运行 6 步系统检查。

“我应该使用哪个 Riva 模型？” → 加载 references/model-selection.md，应用决策框架，然后获取对应当前模型名称的支持矩阵。

命名与术语

• 技能品牌：Nemotron Speech（面向公众的名称）。
• 保留内部命名：命令（riva-build、riva-deploy、riva_streaming_asr_client）、Python 客户端（riva.client）、gRPC 命名空间（nvidia.riva.asr.*）、容器注册表（nvcr.io/nim/nvidia/*）以及所有 NVIDIA 文档 URL 仍使用 “Riva”。请勿在代码、命令或文档中重命名这些内容。

故障排除

对于特定任务的运行时或模态问题，请使用相应的参考文件（references/<task>.md）。跨领域的就绪情况检查：

• 容器未能就绪 → references/deployment-readiness-checks.md（系统检查 + 健康检查表）
• 健康检查失败 → references/deployment-readiness-checks.md
• 从 nvcr.io 执行 docker pull 返回 403 → references/setup.md（步骤 5 — Docker 登录）
• 基础映像错误／模型架构不匹配 → references/asr-custom.md（第 2 阶段基础映像）
• VRAM／GPU 兼容性 → references/deployment-readiness-checks.md，然后在支持矩阵中确认

限制

• 仅支持 x86_64 架构 — Windows 上的 WSL2 需要 Podman，且仅支持部分 NIM（参见 references/setup.md）
• 自托管部署需要 NVIDIA AI Enterprise 许可证
• 云端推理需要有效的 NVIDIA_API_KEY 和互联网连接
• 面向公众的技能品牌为 “Nemotron Speech”；命令、容器映像、Python 导入项（riva.client）、gRPC 服务（nvidia.riva.*）以及 NVIDIA 文档 URL 仍使用 “Riva” — 请遵循官方文档和目录中的命名，不要在命令或代码中重命名这些内容

后续步骤

• 验证硬件兼容性：references/deployment-readiness-checks.md
• 设置环境：references/setup.md
• 选择模型：references/model-selection.md
• 部署：references/asr.md、references/tts.md 或 references/nmt.md