google-cloud-speech

用于媒体制作的 Google Cloud Speech

当工作主要涉及语音音频时，可将 Google Cloud Speech 作为提供方选项：

• 将现有音频／视频转录为脚本、可搜索文本、编辑内容、字幕、说明文字或发言者备注。
• 为长媒体生成 SRT／WebVTT 字幕。
• 规划实时字幕或实时转录功能。
• 创建合成旁白、对话原型、教育类配音、IVR 风格提示词或本地化音轨。
• 当制作需求重视 Google Cloud 治理能力、规模、区域控制或现有 GCP 基础设施时，使用 Chirp 3 HD、Gemini-TTS、Studio、Neural2、WaveNet 或 Standard 等 Google 语音系列。
• 仅在具备官方访问权限、语音所有者同意并完成权利审查时，创建经同意的自定义语音。

不要将此技能用作通用音频编辑、音乐、降噪、DAW、混音或视频本地化技能。Google Cloud Speech 可以生成转录文本和语音素材，但制作的后期处理仍需要编辑、响度标准化、同步、质量检查，而且通常还需要 Speech API 以外的翻译工具。

以下易变信息已根据 Google Cloud 官方文档于 2026-07-10 核实。在承诺支出或合规性声明之前，请重新核查模型 ID、发布阶段、区域端点、配额和价格。

API 范围

Google 提供了相关但相互独立的服务：

• Cloud Speech-to-Text（STT）：将音频识别／转录为文本。对于新的媒体工作流，优先使用 API V2，除非现有集成需要 V1。V2 增加了识别器资源、区域化服务模式、对资源和批量转录的客户管理加密密钥支持，以及音频自动检测。
• Cloud Text-to-Speech（TTS）：将纯文本、SSML、标记语言或特定模型的提示文本合成为可播放的音频。
• Gemini-TTS 在当前的 Cloud Text-to-Speech 文档中被列为较新的 TTS 系列，支持通过文本提示控制风格；某些调用路径可能需要 Vertex AI 权限或端点。实施前，请在当前文档中核实确切的 API 调用路径。
• Instant Custom Voice 是一项 Cloud TTS 功能，可根据同意声明和参考音频创建语音克隆密钥，但仅限列入许可名单的用户使用。

如果制作既需要转录，也需要合成语音，规划时应将它们视为一个提供方套件，但实施时应将它们作为独立的 API 集成处理，并分别进行配额、定价、IAM 和数据治理审查。

需保留的文档事实

语音转文本

• Chirp 3 Transcription 是语音转文本 API V2 模型，模型标识符为 chirp_3。Google 将其列为适用于 StreamingRecognize、Recognize 和 BatchRecognize。
• Google 将 StreamingRecognize 描述为适用于流式／实时音频，将 Recognize 描述为适用于时长少于 1 分钟的音频，将 BatchRecognize 描述为适用于长音频。Google 的 Chirp 3 页面指出，BatchRecognize 通常适用于 1 分钟至 1 小时的音频，但启用词级时间戳时最长为 20 分钟。
• 截至 2026-07-10 的验证结果，Google 记录的 Chirp 3 区域可用范围包括 us 和 eu 多区域；最新支持情况可通过 Locations API 查询。
• 字幕输出仅支持 V2，且使用 BatchRecognize；SRT 和 WebVTT 输出可以内联返回，也可以写入 Cloud Storage；写入 Cloud Storage 时可一次请求多种格式。
• V2 流式识别仅支持 gRPC。Google 的指南指出，流中的每条请求消息所发送的音频上限为 25 KB。
• Google 的故障排除页面记录了 5 分钟的流式识别时长限制；接近限制时，应关闭并重新打开一个流。
• 截至 2026-07-10 验证的 STT V2 配额示例包括：每区域每分钟 100 次资源请求、150 次操作请求、300 次同步识别请求、150 次批量识别请求，以及 300 个并发 StreamingRecognize 会话。流式请求配额详情可能会变动，举办大型现场活动前必须确认。
• STT 采用成功处理的音频时长计费。截至 2026-07-10 验证的定价页面列出了 V2 标准识别的阶梯定价：0 至 500,000 分钟为每分钟 $0.016；动态批量识别为每分钟 $0.003。如果 API 已处理音频，即使响应为空，也可能计入处理量。
• Google 表示，Cloud STT 默认不会记录客户音频数据或转录文本。数据记录为可选项，折扣定价可能取决于是否启用。未经客户端明确批准，不要为敏感或尚未发布的生产音频启用此选项。

文本转语音

• Cloud TTS 同步 text:synthesize 会在处理完所有输入文本后才返回音频。请求需要包含 input、voice 和 audioConfig，成功响应包含 Base64 编码的音频内容。
• Cloud TTS 长音频合成是异步的，会将结果写入 Cloud Storage URI。Google 文档指出，它最多可合成 1 million bytes 的输入内容。验证时，长音频页面标记为 Preview。
• 双向流式合成被标记为 Preview，旨在通过同时发送文本和接收音频来降低延迟。
• Cloud TTS 支持编码、语速、音高、音量增益、采样率和效果配置等音频设置，但支持情况因语音系列而异。REST AudioConfig 参考文档给出的语速范围为 [0.25, 2.0]，音高范围为 [-20.0, 20.0] 个半音，音量增益范围为 [-96.0, 16.0] dB。
• 对于支持的语音，SSML 可控制停顿、首字母缩略词、日期、数字、替换内容及其他语音细节，但并非每个语音系列都支持所有 SSML 标签。
• 2026-07-10 验证的支持语音页面称，Chirp 3 HD 语音适用于多种语言的丰富语调语音，并支持高级音频控制和低延迟文本流式传输。同一页面还指出，Chirp 3 HD 可通过 global、eu 和 us 端点使用，但不在区域化和数据驻留的适用范围内。请重新核实，因为发行说明显示端点和语言支持会不断扩展。
• Chirp 3 HD 语音控制文档介绍了语速控制、停顿标签和自定义发音控制。有些控制功能处于 Preview 或 Experimental 阶段；除非当前文档说明其稳定，否则不要将其描述为稳定功能。
• Chirp 3 Instant Custom Voice 仅限许可名单使用。官方文档要求录制一段同意声明和一段参考音频，两者均须为最长 10 秒的单声道音频，并创建语音克隆密钥。文档中的同意声明为：“I am the owner of this voice, and I consent to Google using this voice to create a synthetic voice model.”
• 2026-07-10 核实的 TTS 定价为：Chirp 3 HD 每 1M 个字符 $30，前 1M 个字符免费；Instant Custom Voice 每 1M 个字符 $60，不提供免费额度；Studio 每 1M 个字符 $160，前 1M 个字符免费；Neural2/Polyglot 每 1M 个字符 $16，前 1M 个字符免费；Standard/WaveNet 每 1M 个字符 $4，前 4M 个字符免费。Gemini-TTS 按 token 计费；定价页面列出的音频 token 费率为每秒 25 个 token。请务必重新核实定价。

需标注为经验性／操作性观察的内容

以下是生产环境中的观察结果，并非服务提供商保证的事实：

• 字幕质量更常受源音频、重叠语音、背景音乐和专业术语影响，而非 API 选择。对于转录，干净的单声道对白音轨通常优于完整混音。
• 说话人分离有助于编辑工作流，但它不等于演员名单。在确认引述归属前，仍需人工审核。
• 自动字幕在发布前通常需要手动调整换行、阅读速度、不雅用语／品牌名称的处理方式以及时间点。
• 单独预览时听起来很自然的合成旁白，在加入音乐、剪辑和字幕后，配合画面时可能会显得不合适。应在最终混音中审听，而不只是单独试听 WAV/MP3。
• 对于本地化配音，脚本改编和时长通常比原始 TTS 质量更受限制。翻译时应考虑口型／时长匹配和文化意图，而不只是逐字翻译。

在计划中使用这些观察结果时，请将其标注为操作性观察或制作经验法则。

服务提供商选择决策

选择 Google STT 的情况

• 项目已使用 Google Cloud 存储、IAM、账单或合规控制。
• 需要使用 V2 BatchRecognize 为长篇内容生成 SRT/WebVTT 输出。
• 需要使用当前有文档说明的 Chirp 转录模型，并且可在其支持的区域运行。
• 需要结构化批处理、区域感知型识别器、Cloud Storage 输出或 Google Cloud 审计能力。
• 处理量较大，可从批处理定价、配额规划和流水线自动化中受益。

考虑其他 STT 提供商的情况

• 需要离线／本地转录方案。
• 所选 Google 模型不支持所需的区域、语言、说话人分离方式、时间戳模式或延迟要求。
• 客户不允许将音频上传到 Google Cloud。
• 需要的是端到端配音平台，而非原始转录文本／字幕。

选择 Google TTS 的情况

• 需要 Google Cloud 治理、账单、IAM，或与现有 GCP 流水线集成。
• Chirp 3 HD、Gemini-TTS、Studio、Neural2、WaveNet 或 Standard 语音符合创作方向和语言需求。
• 需要将长篇语音合成结果输出到 Cloud Storage，或使用受支持的模型进行低延迟流式合成。
• 需要经授权的自定义语音，且客户已获得官方允许名单访问权限，并拥有书面语音所有者授权。

考虑其他 TTS 提供商的情况

• 需要非 Google 的语音风格、特定名人／品牌的声音相似效果、当前 Google 文档不支持的高级导演控制，或有保证的稳定非预览版控制功能。
• 需要在没有 Google 允许名单访问权限的情况下克隆语音。
• 需要包含翻译、时间对齐、唇形同步、混音和人工审核的一站式托管配音服务。

STT 生产工作流

1. 检查媒体。

   • 提取或确定最佳对话音轨。
   • 尽可能使用无损或轻度压缩的源文件。
   • 使用 ffprobe 等工具验证采样率、声道数、编码和时长。
   • 如果有单独的说话人声道，请保留；否则接受混合声道带来的限制。

2. 选择方法。

   • 仅对短于文档所述同步处理时长上限的片段使用 Recognize。
   • 对长文件、Cloud Storage 输入/输出、字幕和可扩展媒体库使用 BatchRecognize。
   • 仅在实时或交互式工作流中使用 StreamingRecognize，并在达到文档所述最长时长之前设计好流轮换方案。

3. 选择模型和区域。

   • 当语言、方法、功能和区域支持均符合任务需求时，优先使用 chirp_3。
   • 使用 Locations API 或当前文档，在运行时验证语言区域、模型和功能支持情况。
   • 有意选择并固定区域；如果客户端有数据驻留限制，不要随意混用区域。

4. 配置识别。

   • 准确设置语言代码。对于自动语言检测，请提供范围有限的语言列表，而不是所有可能的语言。
   • 仅在字幕、卡拉 OK 时间轴、转录文本搜索或逐字编辑需要时启用词级时间偏移；请注意，对于某些模型，这可能会影响支持的时长。
   • 仅在需要区分说话人时启用说话人分离，并提醒用户说话人标签需要审核。
   • 使用短语提示/自定义类别来处理品牌名称、产品名称、人名、技术术语、缩写和特殊拼写。

5. 请求输出。

   • 对于字幕，通过 V2 BatchRecognize output_format_config 请求 SRT 或 WebVTT。
   • 对于编辑工作，除字幕外还应保留原生 JSON，以便下游工具使用置信度、时间戳和备选结果。
   • 将原始转录文本、审核后的转录文本、字幕和 QC 备注分别存储为不同的文件。

6. 审核。

   • 对低置信度或高价值片段进行听审。
   • 核对名称、数字、行动号召、法律声明、引语及任何屏幕字幕。
   • 检查字幕阅读速度、行长、与场景切换的冲突以及说话人变化。
   • 如果转录文本为空或质量较差，请先核实音频元数据和清晰度，再判断是否为模型问题。

TTS 制作工作流

1. 确定语音用途。

   • 旁白、讲师、角色、客户支持、广告口播、无障碍描述、临时剪辑占位配音或本地化替换音轨。
   • 说明输出是最终配音、原型、用于剪辑节奏的临时配音，还是无障碍辅助内容。

2. 选择语音系列。

   • Chirp 3 HD：适用于现代、自然的旁白，或支持所需语言和风格的低延迟语音。请确认控制选项和端点限制。
   • Gemini-TTS：如果当前文档支持所需的风格提示、多说话人对话和输出限制，可考虑使用。请确认模型 ID、区域、发布阶段、令牌定价、权限和 API 路由。
   • Studio：如果语言、语音和成本合适，可考虑用于新闻／广播风格的朗读。
   • Neural2/WaveNet/Standard：适用于注重成本、成熟稳定或兼容性优先的用途。
   • Instant Custom Voice：仅在完成许可名单、同意、权利和安全审查后使用。

3. 将脚本改写成适合朗读的形式，而非印刷文本。

   • 将密集的散文改写成适合口述的句子。
   • 将容易产生歧义的数字、货币、URL、缩写、产品名称和易读错的词写清楚。
   • 仅在受支持的情况下，使用标点、SSML 或模型专用的暂停控制来标记换气和思路停顿。
   • 对于配音／本地化，合成前先根据时长和文化背景调整文本。

4. 分段生成。

   • 按场景、段落或节拍拆分，方便编辑者单独替换和调整每行的时长。
   • 文件名中包含序号、语言、语音、模型和修订版本。
   • 维护清单，记录文本、语音、模型、区域、音频配置、日期和输出路径。

5. 最终混音前进行审核。

   • 检查发音、节奏、情绪是否合适、换气／停顿、开头／结尾是否截断、瑕疵，以及各片段之间的一致性。
   • 配合画面、字幕和音乐进行试听。
   • 仅重新生成未通过审核的片段；未经记录的决策，不要在项目中途更改语音／模型。

配音和本地化规划

Google Cloud Speech 可支持配音工作流中的部分环节，但它本身并不是完整的配音流水线。

请明确规划以下阶段：

1. 转录源内容，添加时间戳和说话人备注。
2. 人工或机器翻译，并进行文化适配。
3. 改写脚本，使其符合时长限制。
4. 选择语音，或使用已获同意的自定义语音。
5. 按场景／台词生成 TTS。
6. 进行剪辑、同步、室内底噪处理、均衡、响度调整、字幕制作和最终质量检查。

对于口型同步或虚拟形象项目，请单独确认虚拟形象／口型同步服务提供商。Google TTS 文件只是语音素材；它并不保证口型匹配、表演效果或可直接用于混音。

安全、同意、权利和数据治理

• 在将制作音频上传到 Google Cloud 前，取得明确许可，尤其是尚未发布的内容、采访、未成年人、医疗／法律内容、内部会议或名人／表演者相关素材。
• 将转录文本视为敏感衍生数据。即使原始音频受到访问控制，转录文本仍可能暴露私人谈话内容。
• 未经客户书面批准折扣与隐私之间的权衡，不要为客户媒体启用 STT 数据记录。
• 对于自定义语音，要求以书面形式确认说话人拥有或控制语音权利，并同意创建合成语音。官方的 Instant Custom Voice 工作流要求录制同意声明。
• 未经针对具体权利和政策的审查，绝不要从抓取、存档、已故人士、员工、演员、客户或公众人物的音频中克隆语音。
• 如果分发场景、平台政策、法律或客户政策有要求，应将合成旁白标明为合成内容。
• 对于本地化，请确认拥有对源内容制作翻译／配音衍生版本的权利。
• 对于受监管的内容，处理前请确认区域、保留期限、加密、IAM、日志记录和删除要求。

示例：长篇播客转录稿和字幕

制作目标：将一段 48 分钟的访谈整理成经过审核的转录稿、引述片段、SRT 字幕和 WebVTT 字幕。

提供方／方法：Cloud Speech-to-Text V2 BatchRecognize；如果当前语言区域／功能支持，则使用 chirp_3 模型。

输入：

• gs://show-assets/raw/interview_ep12_dialogue.wav
• 英语音频，两位说话者，对话大部分清晰，带有轻微的片头音乐。
• 需要 JSON 转录稿、SRT 和 VTT。

工作流：

1. 检查文件：时长、编码、声道、采样率和可听语音质量。
2. 如果片头／片尾音乐影响字幕识别，请剪掉音乐片段，或提供单独的对话音轨进行识别。
3. 使用 V2 BatchRecognize，将输出存储到 Cloud Storage 存储桶，并请求原生 JSON 以及 SRT 和 VTT。
4. 如果引述片段级别的编辑需要词级时间偏移，请启用该功能，但要先核实音频时长和模型边界。
5. 添加嘉宾姓名、赞助商名称、产品名称和常用缩略语的短语提示。
6. 轮询异步操作。
7. 发布前手动审核转录稿和字幕。

预期结果：

• 用于编辑／搜索的原生 JSON。
• 包含时间对齐字幕文本的 .srt 和 .vtt 文件。
• 一份质检清单，列出不确定的人名、重叠语音、被音乐掩盖的内容，以及需要人工审核的笑话／习语。

可能的故障模式：

• 音频元数据错误、语言错误、源音频质量差或音乐占比过高的片段，导致转录稿为空或质量很差。
• 将说话者标签误当作身份，而非说话人分离的占位标签。
• 字幕行对于平台规范来说过长，或断句不佳。
• 即使 API 成功处理了音频并返回空响应，仍会产生费用。

变体：

• 对于 3 分钟的社交媒体短片，如果需要生成字幕文件，请使用 BatchRecognize；只有在短片低于文档规定的短音频时长限制，且不需要字幕时，才使用同步 Recognize。
• 对于多语言音频，请限制可能的语言代码，并确认所选模型是否支持自动语言检测。

示例：活动直播字幕

制作目标：为直播流提供实时的粗略字幕，并在活动结束后制作经过编辑的字幕。

提供方／方法：直播显示使用 Cloud Speech-to-Text V2 StreamingRecognize；活动结束后，使用录制母带通过 V2 BatchRecognize 制作最终字幕。

工作流：

1. 尽可能使用清晰的语音馈送，而非广播混音。
2. 打开 gRPC 流式识别会话。
3. 确保每条流消息都符合文档规定的请求大小限制。
4. 在达到文档规定的最长流时长之前轮换流。
5. 将临时字幕显示为暂定内容。
6. 活动结束后，对录制内容运行 BatchRecognize，并制作经过审核的 SRT／VTT。

预期结果：

• 低延迟的实时字幕，但偶尔会出现识别错误。
• 经过批量转录和人工审核后，质量更高的最终字幕。

故障模式：

• 如果未实现流轮换，流会在接近时长限制时中止。
• 多房间活动期间，并发会话耗尽配额。
• 房间麦克风有噪声、串音或背景音乐导致字幕质量差。

变体：

• 对于合规级字幕，仅将实时字幕用作无障碍辅助，并在归档发布前安排人工校对。

示例：使用 Chirp 3 HD 进行旁白

制作意图：为一段 90 秒的产品讲解视频生成温暖、精致的英语旁白。

提供方/模型：Cloud Text-to-Speech，从当前支持的语音列表中选择 Chirp 3 HD 语音。

脚本摘录：

Most teams don't need more dashboards. They need one clear next step.

[pause short]

Open the workspace, choose the customer journey, and Montage builds the first cut: scenes, voice, captions, and review notes in one place.

参数：

• 语音：确认当前的 en-US Chirp 3 HD 语音；根据试听结果选择，不要只看性别标签。
• 音频编码：编辑时使用 LINEAR16，快速预览时使用 MP3。
• 语速：从 1.0 开始；仅当所选语音支持此控件且朗读时长不合适时才调整。
• 分段：每个场景或段落生成一个文件。

预期结果：

• 适合用于剪辑拼接的自然旁白素材。
• 一份清单，将每个音频文件与文本、语音、模型、设置、区域/端点和生成日期关联起来。

故障模式：

• 停顿标签被忽略或过度使用。
• 品牌/产品术语发音错误。
• 单独听起来很自然，但配合画面时语速过慢或过于活泼。
• 所选端点不符合数据驻留要求。

变体：

• 当需要基于标准的发音/停顿标记时，对支持的语音使用 SSML。
• 如果当前文档支持所需的自然语言风格指引，且项目能接受其定价/发布阶段限制，也可以考虑改用 Gemini-TTS。

示例：用于本地化的经同意自定义语音

制作意图：为高管获批的内部培训系列制作西班牙语和法语合成语音轨。

提供方/功能：Chirp 3 Instant Custom Voice，仅当组织已获准加入允许名单时使用。

前提条件：

• 获得高管的书面许可，并通过法务/传播部门审批。
• 按照 Google 的要求录制官方同意声明。
• 参考音频录制清晰、为单声道、时长不超过 10 秒，且与同意声明音频在相同环境下录制。
• 确认当前文档支持目标语言迁移。

工作流：

1. 将同意声明和参考音频存储在获批的 Cloud Storage 位置。
2. 使用官方 API 工作流生成语音克隆密钥。
3. 限制密钥访问权限，并确保可审计。
4. 调整翻译后的脚本，使其符合时长和语气要求。
5. 逐句或逐场景合成。
6. 由语音所有者或指定审核人员审批最终音频。

预期结果：

• 受控的合成语音素材，仅用于获批的内部用途，不代表获得了通用的模仿许可。

关键故障：

• 未经直接同意就使用存档音频或公开音频。
• 将允许名单访问权限视为法律审批。
• 在同意仅限内部使用的情况下，将合成语音用于外部广告。
• 未按要求披露或管理合成身份的使用。

质量审核清单

对于 STT：

• 语言/模型/区域/方法正确。
• 源音频清晰易懂，元数据有效。
• 对重要姓名、数字、引语和声明进行人工审核。
• 时间戳适用于预期的剪辑/字幕任务。
• 字幕符合平台的行长、阅读速度、标点和说话人切换规范。
• 数据记录、区域、保留期限和 IAM 选项符合客户端要求。

对于 TTS：

• 语音系列和具体语音符合创作角色需求。
• 已确认发布阶段、区域、端点、配额和价格。
• 脚本是为口语表达编写的。
• 已处理容易读错的发音。
• 音频按可编辑片段生成。
• 最终审核结合画面和混音进行，而非只听单独的音频。
• 合成/自定义语音的使用权和披露要求均已满足。

已于 2026-07-10 核实的来源链接

• Cloud Speech-to-Text Chirp 3 转录：https://docs.cloud.google.com/speech-to-text/docs/models/chirp-3
• Cloud Speech-to-Text V2 字幕支持：https://docs.cloud.google.com/speech-to-text/docs/caption-support
• Cloud Speech-to-Text 流式识别指南：https://docs.cloud.google.com/speech-to-text/docs/streaming-recognize
• Cloud Speech-to-Text 故障排除：https://docs.cloud.google.com/speech-to-text/docs/troubleshooting
• Cloud Speech-to-Text 配额：https://docs.cloud.google.com/speech-to-text/docs/quotas
• Cloud Speech-to-Text 定价：https://cloud.google.com/speech-to-text/pricing
• Cloud Speech-to-Text 数据记录：https://docs.cloud.google.com/speech-to-text/docs/v1/data-logging
• Cloud Speech-to-Text 迁移/V2：https://docs.cloud.google.com/speech-to-text/docs/migration
• Cloud Speech-to-Text 最佳实践：https://docs.cloud.google.com/speech-to-text/docs/best-practices
• Cloud Text-to-Speech 基础知识：https://docs.cloud.google.com/text-to-speech/docs/basics
• Cloud Text-to-Speech 支持的语音和语言：https://docs.cloud.google.com/text-to-speech/docs/list-voices-and-types
• Cloud Text-to-Speech Chirp 3 HD：https://docs.cloud.google.com/text-to-speech/docs/chirp3-hd
• Cloud Text-to-Speech Gemini-TTS：https://docs.cloud.google.com/text-to-speech/docs/gemini-tts
• Cloud Text-to-Speech 即时自定义语音：https://docs.cloud.google.com/text-to-speech/docs/chirp3-instant-custom-voice
• Cloud Text-to-Speech 长篇合成：https://docs.cloud.google.com/text-to-speech/docs/create-audio-text-long-audio-synthesis
• Cloud Text-to-Speech 流式合成：https://docs.cloud.google.com/text-to-speech/docs/create-audio-text-streaming
• Cloud Text-to-Speech 定价：https://cloud.google.com/text-to-speech/pricing
• Cloud Text-to-Speech 配额：https://docs.cloud.google.com/text-to-speech/quotas