nemotron-speech

Nemotron Speech 技能

注意：“Nemotron Speech”是 NVIDIA 目前以 Riva / Riva NIM 为文档名称的公开名称。所有命令、容器映像、gRPC API、Python 导入项和文档 URL 仍使用 “Riva”——这次更名仅涉及品牌。不要更改命令、映像或文档 URL。

**Agent：**引导用户完成多步骤工作流时，请在介绍每个步骤前先宣布该步骤：第 N/M 步 — 步骤标题（例如，“第 1/4 步 — 部署容器”）。

用途

NVIDIA Nemotron Speech（Riva）NIM 工作流的统一入口：ASR（语音转文本）、TTS（文本转语音）和 NMT（翻译）。涵盖通过 build.nvidia.com 托管的云端推理、可自托管的 Docker 部署、ASR 客户端协议选择（gRPC、HTTP、WebSocket）、通过 riva-build 部署自定义 NeMo 模型、ASR 流水线调优（VAD、说话人分离、语言模型），以及 Docker / NGC / 驱动程序的先决条件配置。

何时使用此技能

对于任何 Nemotron Speech / Riva NIM 任务——部署、测试、自定义模型构建、系统要求检查，或在 ASR / TTS / NMT 模态间选择模型——请使用此技能。

工作流

确定用户的任务类型，然后从 references/ 加载对应的参考文件。参考文件包含各工作流的详细内容；此 SKILL.md 是路由入口。只加载与当前任务相关的参考文件。

先决条件

• 对于可自托管部署：需要 NVIDIA AI Enterprise（NVAIE）授权，然后完成环境配置——NVIDIA 驱动程序、Docker、Container Toolkit、NGC API 密钥、Riva Python 客户端。参见 references/setup.md。
• 对于云端推理：执行 pip install -U nvidia-riva-client，并从 https://build.nvidia.com 获取有效的 NVIDIA_API_KEY。
• 将 NVIDIA_API_KEY 和 NGC_API_KEY 视为机密：切勿打印、粘贴、提交或记录真实密钥值。Docker 登录时优先使用 --password-stdin；持久密钥应存储在凭据管理器或权限为 chmod 600 的环境文件中，而非所有用户均可读取的 shell 启动文件中。
• 对于可自托管 Docker 模型缓存：挂载到 /opt/nim/.cache 的主机目录必须允许容器用户写入（NIM 容器内部以 nvs:1000 身份运行），仅主机用户可写是不够的。创建目录后运行 sudo chown 1000:1000 $LOCAL_NIM_CACHE，以便容器可以写入。避免使用任何本地用户都可写的权限模式——这会允许任意本地用户替换缓存的模型制品。也不要在 docker run 中使用 -u "$(id -u):$(id -g)"——容器内的 /opt/nim/workspace 无法由任意 UID 写入。如果模型下载期间出现 I/O error Permission denied (os error 13)，问题出在主机目录的所有权设置上。

说明

• 将用户的任务匹配到一个参考文件，并且只加载该文件；参考文件内容详尽，因此渐进式披露有助于精简上下文。
• 驱动程序、Docker、Container Toolkit 和 NGC 的配置请求，转到 references/setup.md。
• GPU 兼容性、部署就绪情况和容器健康检查，转到 references/deployment-readiness-checks.md。
• ASR、TTS 和 NMT 模型选择，转到 references/model-selection.md。
• Parakeet、Canary、Whisper 和 Nemotron ASR Streaming 的 ASR 部署或推理，转到 references/asr.md。
• 自定义训练的 NeMo ASR 部署（.nemo → RMIR → NIM），转到 references/asr-custom.md。
• VAD、说话人分离、语言模型和分块大小的 ASR 流水线配置，转到 references/pipelines.md。
• Magpie 的 TTS 部署或推理，转到 references/tts.md。
• Riva Translate、语言对和 DNT 标签的 NMT 部署或推理，转到 references/nmt.md。

信息来源

有关每个版本的详细信息——当前模型目录、容器 ID、函数 ID、语音列表、最低 VRAM 要求以及各模型支持的功能——请获取或打开 NVIDIA 官方文档，不要依赖此 SKILL.md 或参考文件中的文本。每个参考文件都包含指向相关文档页面的路由表。

顶级入口页面：

主题	URL
ASR 支持矩阵	https://docs.nvidia.com/nim/speech/latest/reference/support-matrix/asr.html
TTS 支持矩阵	https://docs.nvidia.com/nim/speech/latest/reference/support-matrix/tts.html
NMT 支持矩阵	https://docs.nvidia.com/nim/speech/latest/reference/support-matrix/nmt.html
先决条件（驱动程序 / GPU / OS）	https://docs.nvidia.com/nim/speech/latest/get-started/prerequisites.html
ASR 流水线配置	https://docs.nvidia.com/nim/speech/latest/asr/customization/pipeline-configuration.html
ASR 运行时自定义	https://docs.nvidia.com/nim/speech/latest/asr/customization/customization.html
云函数 ID（按模型）	https://build.nvidia.com/<org>/<model>/api
NGC 目录	https://catalog.ngc.nvidia.com/orgs/nim/teams/nvidia/models

示例

“部署 Parakeet ASR NIM” → 加载 references/asr.md，按照选项 B（可自托管）执行步骤 1–4。

“使用 Magpie 合成语音” → 加载 references/tts.md，按照选项 A（云端）或选项 B（可自托管）执行。

“将英语翻译成德语” → 加载 references/nmt.md，按照 4 步流程执行。

“将我的微调 .nemo 转换为 NIM” → 加载 references/asr-custom.md 了解 4 阶段流水线，并加载 references/pipelines.md 了解构建时配置。

“我的 GPU 能运行这个吗？” → 加载 references/deployment-readiness-checks.md，并运行 6 步系统检查。

“我应该使用哪个 Riva 模型？” → 加载 references/model-selection.md，应用决策框架，然后获取具体当前模型名称对应的支持矩阵。

命名与术语

• 技能品牌：Nemotron Speech（面向公众的名称）。
• 保留内部命名：命令（riva-build、riva-deploy、riva_streaming_asr_client）、Python 客户端（riva.client）、gRPC 命名空间（nvidia.riva.asr.*）、容器注册表（nvcr.io/nim/nvidia/*）以及所有 NVIDIA 文档 URL 仍使用 “Riva”。请勿在代码、命令或文档中重命名这些内容。

故障排除

遇到特定任务的运行时或模态问题时，请使用相应的参考文件（references/<task>.md）。通用就绪状态检查：

• 容器未能就绪 → references/deployment-readiness-checks.md（系统检查 + 健康检查表）
• 健康检查失败 → references/deployment-readiness-checks.md
• 从 nvcr.io 执行 docker pull 返回 403 → references/setup.md（步骤 5——Docker 登录）
• 基础映像错误 / 模型架构不匹配 → references/asr-custom.md（阶段 2 基础映像）
• VRAM / GPU 兼容性 → references/deployment-readiness-checks.md，然后在支持矩阵中确认

限制

• 仅支持 x86_64 架构——Windows 上的 WSL2 需要 Podman，且仅支持部分 NIM（参见 references/setup.md）
• 可自托管部署需要 NVIDIA AI Enterprise 许可证
• 云端推理需要有效的 NVIDIA_API_KEY 和互联网连接
• 面向公众的技能品牌是 “Nemotron Speech”；命令、容器映像、Python 导入（riva.client）、gRPC 服务（nvidia.riva.*）以及 NVIDIA 文档 URL 仍使用 “Riva”——请遵循官方文档和目录中的命名，不要在命令或代码中重命名这些内容

后续步骤

• 验证硬件兼容性：references/deployment-readiness-checks.md
• 设置环境：references/setup.md
• 选择模型：references/model-selection.md
• 部署：references/asr.md、references/tts.md 或 references/nmt.md