mcpField
C
cartesia-sonic

cartesia-sonic

github.com/calesthio创意与媒体219103 次安装15 周前更新
代码仓库

关于 cartesia-sonic

面向媒体制作 Agent 的 Cartesia Sonic 语音生成制作技能，帮助选择、提示、集成和审核文本转语音流程。内容区分 Sonic TTS 与 Cartesia 的其他语音 API，并提供端点选择和制作建议。

主要功能

  1. 01Sonic TTS 能力与模型选择
  2. 02语音及声音克隆选项
  3. 03语音本地化与变声说明
  4. 04按场景选择 API 端点
  5. 05转录文本与发音指导

适用场景

  1. 01为实时语音 Agent 生成语音
  2. 02批量制作旁白或通知音频
  3. 03为配音和本地化选择流程
  4. 04审核 Cartesia Sonic 集成配置

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/calesthio/generative-media-skills --skill cartesia-sonic

安装后在 Claude Code 中输入/cartesia-sonic确认已加载。

附带文件EVAL.md

详细介绍

Cartesia Sonic 生产技能

当媒体制作 Agent 需要为语音输出选择、提示、集成或评估 Cartesia Sonic 时，使用此技能。首先将 Sonic 视为低延迟文本转语音服务；仅当制作需求明确要求时，才使用 Cartesia 的相关语音 API。

以下所有易变信息均已于 2026-07-10 根据 Cartesia 官方文档或法律页面核实。在确定预算、合规声明、模型 ID、定价、并发数、支持的语言或 API 行为之前，请重新核实。

服务商范围

已记录的事实：

  • Sonic 是 Cartesia 的文本转语音模型系列。目前生产环境的默认模型是 sonic-3.5；API 参考文档也列出了 sonic-3 和 sonic-latest。
  • Sonic 接收文本并返回生成的语音。适用于实时语音 Agent、旁白、配音、虚拟形象、通知、广告和本地化等以文本稿为起点的工作流。
  • Cartesia 还介绍了 Ink 语音转文本、Line 托管语音 Agent、语音克隆、语音本地化、补全和变声器。不要把这些统称为“Sonic TTS”；应指出所使用的具体 Cartesia 服务。
  • 变声器不是 TTS：它接收一段输入语音片段，并以不同的目标音色返回保持相同语调的语音。
  • 除非 Cartesia 文档明确新增了其他受支持的路径，否则有关语音转语音或声音转换的说法应仅限于已记录的 voice-changer 端点。

生产经验：

  • 当低首字节时间、对话节奏、多语言语音和 API 流式处理比离线本地渲染或最大程度的后期编辑灵活性更重要时，优先选择 Cartesia Sonic。
  • 当项目需要气隙处理、可预测的无网络渲染，或 Cartesia 当前账户设置无法满足的许可／安全要求时，优先选择非实时批量 TTS 服务或本地 TTS。
  • 对于媒体流水线，请在资源清单中记录所选端点、模型 ID、音色 ID、语言、输出格式、Cartesia-Version、generation_config、发音词典 ID 和源文本稿校验和。

能力概览

Sonic 文本转语音

已记录的事实：

  • Cartesia 文档称，sonic-3.5 是其速度最快、最自然的 TTS 模型，延迟低于 90 ms，并原生支持 42 种语言。
  • 文档称该模型能够忠实遵循文本稿，自然处理订单号和 ID 等字母数字组合，并能根据上下文正确读出英语同形异音词。
  • 2026 年变更日志称，Sonic 3.5 已普遍开放，可用于生产环境。较早的 Sonic 模型以及多个快照／语言已于 2026-06-01 停用。

生产经验：

  • 新的生产项目应从 sonic-3.5 开始，而不是使用旧版 sonic、sonic-english、sonic-multilingual、sonic-2 或 sonic-turbo 标识符。
  • 仅在需要回归兼容，或已验证特定音色／控制路径可用时，才使用 sonic-3。
  • 除非项目明确希望模型自动变更，否则不要在锁定的剪辑／渲染流水线中固定使用 sonic-latest。最新的稳定快照应使用 sonic-3.5；需要精确复现时，则使用带日期的 sonic-3.5-YYYY-MM-DD 快照。
声音

文档记录的事实：

  • Cartesia 提供 500 多种开箱即用的声音和自定义声音。
  • TTS 请求可通过 ID 选择声音。
  • Cartesia 的声音指南建议：生产环境中的语音 Agent 使用稳定的声音，AI 角色则使用更具情感表现力的声音。
  • Playground 和 API 均支持即时声音克隆；它使用上传或录制的最长 10 秒音频片段。文档说明，即时克隆训练速度快且免费。
  • 专业声音克隆（PVC）适用于 Startup 套餐及更高级别。它通过大量声音数据进行微调；Cartesia 文档规定至少需要 30 分钟，并建议使用 2 小时，以取得更好的质量与投入平衡。
  • 文档说明，PVC 训练约需 3 小时；Playground 中的状态值包括 Draft/Failed/Training/Completed，API 微调状态包括 created、training、completed 和 failed。
  • PVC 会固定使用微调所基于的基础模型。若要使用未来的基础模型，需要重新训练，并再次支付微调费用。
  • 根据 2026 年的更新日志，专业声音克隆现已支持 Sonic 3.5。

生产实践建议：

  • 如果旁白或广告没有获得权利许可的配音人才声音，先试听几种库存声音，再考虑克隆。克隆会带来权利、保管和留存方面的义务。
  • 对于交互式 Agent，先测试稳定、自然的声音，再尝试情感表现力很强的声音。某种声音在 10 秒演示中可能听起来很戏剧化，但在长时间通话中容易令人疲劳，或不够清晰易懂。
  • 对于角色、游戏或陪伴类项目，针对实际脚本试听情感表现力强的声音，并测试情绪控制；不同声音对情绪引导的响应效果可能不同。
  • 对于品牌声音克隆，应将声音 ID 视为获得许可的配音人才资产：在项目资料中一并保存同意记录、允许用途、适用地区、期限、撤销规则和披露要求。
声音本地化

文档记录的事实：

  • Cartesia 提供声音本地化功能，可让声音以新的语言和口音听起来自然地道。
  • 定价文档列出，声音本地化为一次性收费 225 点数。

生产实践建议：

  • 如果需要让同一位获准使用的说话者声音身份贯穿多种语言，请使用本地化功能。
  • 不要假设本地化能解决翻译、文化适配、脚本时长、口型同步或配音人才的法律授权问题。这些应作为独立的制作任务处理。
  • 请母语审校人员对本地化声音进行质量检查，确认发音、口音是否合适、清晰易懂程度以及品牌契合度。
变声器

文档记录的事实：

  • voice-changer/bytes 和 voice-changer/sse 端点接收语音文件，并返回保留相同语调但声音不同的语音。
  • 支持的输入音频格式包括常见容器格式，例如 FLAC、MP3/MPEG/MPGA、OGA/OGG、WAV 和 WEBM。
  • 输出容器格式包括 raw、wav 和 mp3；采样率包括 8000、16000、22050、24000、44100 和 48000 Hz。
  • 变声器按输入音频每秒 15 点数收费。

生产实践建议：

  • 如果处理的是已录制的语音，且保留时长、语调和表演效果比根据文本重新合成更重要，请使用变声器进行声音转换。
  • 如果需要精确控制措辞、使用发音词典、录制干净的补录片段，或制作翻译或本地化文案，请使用转录文本进行 TTS 合成。
  • 对于配音，请明确选择以下方案之一：根据翻译脚本进行 TTS 合成、根据参考表演使用变声器，或采用混合方案。不要在未说明的情况下用一种方案替代另一种。

端点选择

文档说明：

  • POST /tts/bytes：适用于已知完整文本，且需要通过单个 HTTP 请求获取流式音频字节的场景。适合批处理作业、缓存文件、通知、旁白片段和文件导出。
  • POST /tts/sse：适用于已知完整文本、需要时间戳但无法使用 WebSocket，或技术栈已经使用 Server-Sent Events 的场景。音频块以 JSON/base64 SSE 事件的形式传输。
  • WSS /tts/websocket：适用于长连接会话、LLM 逐步生成文本、需要在多轮对话中实现最低延迟、需要时间戳，以及在同一套接字上处理多条话语的场景。
  • Bytes 和 SSE 每个请求都需要提供完整文本。SSE 的 context_id 会原样返回以供日志记录，但不会将多个 HTTP 请求合并为一条话语。
  • WebSocket 支持上下文和续传。为一条话语重复使用同一个 context_id，使用 continue: true 发送部分内容，并使用 continue: false 结束。
  • 上下文会在最后一段音频流式传输完成 1 秒后自动过期。过期后在该上下文中发送其他输入不受支持。

决策规则：

  • 对于生成文件，请使用 bytes：旁白、广告、解说配音、应用内通知、批量本地化、可缓存的提示词。
  • 对于需要词语或音素时间信息、但无法使用 WebSocket 的生成文件，请使用 sse。
  • 对于实时 Agent、LLM 令牌流式传输、可插话／可中断的体验，或无法一次性获取完整文本的任何场景，请使用 websocket。

故障模式：

  • 将 LLM 片段作为单独的 HTTP 请求发送会造成韵律衔接不自然。对于同一条语音，请使用 WebSocket 续传。
  • 拆分上下文时不加空格或标点，会导致文本直接拼接，并可能使拼接后的块发音错误。
  • 在同一个 WebSocket 上下文中更改模型、语音、语言、输出格式或生成设置，违反了文档规定的输入格式规则：同一上下文中只能更改 transcript、continue 和 duration。
  • WebSocket 长时间空闲且保持打开状态可能触及 WebSocket 限制，并导致 429 错误。

核心请求字段

文档说明：

  • TTS 请求必须包含 model_id、transcript、voice 和 output_format。
  • 语言字段会告知所选语音要使用哪种语言。具体可用性可能取决于模型。
  • TTS 在 SSE 上支持词语时间戳和音素时间戳；WebSocket 也支持时间戳相关场景。Bytes 仅支持音频。
  • sonic-3 及更新的模型支持通过 pronunciation_dict_id 使用发音词典。
  • sonic-3 和 sonic-3.5 支持 generation_config。
  • 旧的顶层 speed 枚举已弃用；请改用 generation_config.speed。
  • API 请求应将集成测试日期作为 Cartesia-Version 的值。对于 WebSocket，可将 cartesia_version 作为查询参数传递。

生产环境默认值：

{
  "model_id": "sonic-3.5",
  "voice": { "mode": "id", "id": "VOICE_ID_APPROVED_FOR_THIS_PROJECT" },
  "language": "en",
  "output_format": {
    "container": "wav",
    "encoding": "pcm_s16le",
    "sample_rate": 48000
  },
  "generation_config": {
    "speed": 1.0,
    "volume": 1.0
  }
}

经验规则：

  • 除非目标处理流水线需要其他采样率，否则视频制作母版请使用 WAV/48 kHz。
  • 仅在交付预览或应用资源确实需要较小文件、且编辑余量不那么重要时，才使用 MP3。
  • 仅当实时播放器、电话系统或流式处理技术栈有此要求，并且下游编码／采样率要求明确时，才使用原始 PCM。
  • 对于电话场景，应匹配下游编解码器／采样率，而不是生成高采样率音频后反复转码。

Sonic 的转录文本撰写

已记录的事实：

  • Sonic 3.5 专为处理自然、标点规范且无需大量提示词工程的转录文本而设计。
  • Cartesia 建议使用完整短语，并在句末添加标点。
  • Sonic 能处理数字、货币、日期、电话号码、地址、电子邮件地址、常见缩写词和首字母缩略词的常规书写形式。
  • 过度预处理、删除标点或强制统一大小写可能会降低输出质量。
  • 全大写内容可能会被识别为首字母缩略词；除非某个词元需要逐字母读出，否则请使用常规大小写。
  • 对字母数字代码和需要逐字符准确读出的内容，建议使用 <spell>...</spell>。
  • break 标签可以插入固定停顿，但重复或连续使用 break 标签会降低自然度并导致失败。

生产启发：

  • 将转录文本视为表演脚本，而不是提示词。写下应该说出的内容，而不是给模型的备注。
  • 除非符号需要被读出来，否则口播转录文本中应避免使用 Markdown、项目符号、标题、表情符号、原始 JSON、星号和井号标签。
  • 除非计时备注是集成会保留的有效 SSML/Sonic 标签，否则请将其放在转录文本之外。
  • 对于广告和社交视频，请使用简短句子并有意安排标点；不要指望通过速度控制来补救过长的脚本。
  • 对于语音 Agent，请限制上游大模型的输出，使其仅包含纯文本、句末标点，不含 Markdown 和不受支持的符号，并在代码前明确使用 <spell> 标签。

发音、语言和口音控制

已记录的事实：

  • 发音词典是一组搜索替换规则，用于指示 Sonic 将匹配的词语或短语替换为另一个字符串。
  • 词典发音可以使用类似 IPA 的 Cartesia 语法，也可以提供“听起来像”的读音说明。
  • 创建词典后，在 TTS API 中将其 ID 作为 pronunciation_dict_id 传入。
  • Sonic 3.5 支持 42 种语言。API 文档列出的语言代码包括 en、fr、de、es、pt、zh、ja、hi、it、ko、nl、pl、ru、sv、tr、tl、bg、ro、ar、cs、el、fi、hr、ms、sk、da、ta、uk、hu、no、vi、bn、th、he、ka、id、te、gu、kn、ml、mr 和 pa。

生产启发：

  • 对重要的品牌名称、产品名称、医学/法律术语、领域术语、地区地名和异读词使用词典。
  • 为每个项目维护一份发音表，并仅将经过测试的条目转换为 Cartesia 发音词典。
  • 不要把所有可能的词都塞进词典。过于具体的替换可能导致朗读不自然，或与上下文产生不良交互。
  • 对于多语言输出，请选择主要语言或本地化目标语言匹配的语音。不要假设同一种英语语音在所有语言中都能同样地道，而无需本地化和质量检查。

语速、音量、情绪和非语言表达

已记录的事实：

  • Sonic 支持通过 playground、generation_config 或 SSML 标签控制语速、音量和情绪。
  • generation_config.speed 的取值范围为 0.6 到 1.5。
  • generation_config.volume 的取值范围为 0.5 到 2.0。
  • 情绪控制标记为 beta。Cartesia 将其描述为引导，而非严格控制。
  • 情绪指引与文本内容一致时效果最佳。
  • 根据语音和内容，Sonic 可以对非语言表达和富有表现力的文本做出响应，但应测试其在生产环境中的可靠性。

生产环境启发：

  • 优先使用标点、脚本措辞和语音选择，再将语速、音量和情绪作为微调手段。
  • 逐个测试不同语音的情绪控制。记录可用和不合格的结果；不要假设同一个情绪词在不同语音中的效果都相同。
  • 不要用音量控制代替混音。交付视频时，应在后期进行标准化和混音。
  • 对于广告，分别生成「温暖」「自信」「紧迫」和「带笑意」的朗读版本；通过试听来选择，而不是依赖标签。
  • 对于合规或客户支持语音 Agent，应避免夸张的情绪表达，并保持韵律稳定。

定价、配额和吞吐量规划

已记录的事实：

  • Cartesia 按积分计量模型用量。错误不会消耗积分。
  • 标准 TTS 每个字符约消耗 1 个积分，由于文本预处理，用量会略有差异。
  • 使用 Pro Voice Clone 的 TTS 每个字符约消耗 1.5 个积分；Instant Voice Clones 按标准 TTS 费率计费。
  • Pro Voice Clone 微调成功后会消耗 1,000,000 个积分。
  • Voice changer 每秒输入音频消耗 15 个积分。
  • TTS 的套餐并发上限分别为：Free 2、Pro 3、Startup 5、Scale 15、Enterprise 自定义。
  • WebSocket 连接数上限为 TTS 并发上限的 10 倍。
  • TTS 并发量按唯一的活跃上下文计算。对于 HTTP，每个请求是一个上下文；对于 WebSocket，每个唯一的 context_id 是一个上下文。
  • 超出 TTS 并发上限或 WebSocket 连接数上限时，会返回 429 错误。
  • 闲置的 TTS WebSocket 会在 5 分钟后关闭。

成本估算启发：

  • 根据最终文本的字符数，在生成前估算积分消耗。
  • 对于长篇旁白，为便于编辑，应按场景或段落拆分；但应通过遵守并发限制的队列批量处理。
  • 对于 WebSocket Agent，应复用连接池并关闭闲置套接字。统计活跃的语句上下文，而不只是打开的套接字。
  • 对于 PVC 工作，在开始微调前应征得用户明确同意，因为训练成功后会产生较大的固定积分费用。

隐私、安全、权利与披露

已记录的事实：

  • 服务端集成应在可信环境中使用 API 密钥。浏览器或移动客户端应使用短期访问令牌，而不是嵌入 API 密钥。
  • 用量和 API 密钥元数据等管理端点需要管理员 API 密钥。
  • 企业客户可对 TTS 和 STT 推理启用零数据保留（ZDR）。
  • 根据文档，启用 ZDR 后，TTS 文本输入和 TTS 音频输出不会被保留，但请求 ID、用量总计、账户信息和服务健康数据等运行元数据可能会被保留。
  • ZDR 不适用于语音克隆、PVC、语音创建，也不适用于必须保留客户提供的源材料或以其他方式处理此类材料的工作流。
  • Cartesia 的可接受使用政策禁止冒充他人或企业，并规定用户只能提交自己的语音／音频录音，或在获得明确同意并拥有必要权利的情况下提交他人的录音。

生产要求：

  • 未获得书面同意并确认权利之前，不得克隆、进行本地化处理或更改个人、名人、员工、客户或品牌的声音。
  • 不要暗示 ZDR 涵盖克隆数据集或语音创建源材料。
  • 不要将 API 密钥放入客户端应用、生成的视频、日志、屏幕截图和项目文件中。
  • 对于面向公众的媒体中的合成或克隆语音，请遵循项目的披露政策和适用法律。至少，当语音身份可能影响受众信任时，应在制作台账中标记该素材由 AI 生成或经过克隆。
  • 对于受监管或敏感内容，在发送真实内容之前，请与账户负责人确认企业版／ZDR、DPA／BAA／合规要求、区域／部署需求以及保留期限预期。

产物管理

对于每个生成或转换的音频素材，请存储：

  • 转录文本或转录校验和；
  • 模型 ID 和 Cartesia-Version；
  • 端点（tts/bytes、tts/sse、tts/websocket、voice-changer/bytes 等）；
  • 语音 ID、语音来源类别（内置、即时克隆、PVC、本地化）以及权利／同意参考信息；
  • 语言代码和发音词典 ID／版本；
  • 使用的 generation_config 和 SSML／标签；
  • 输出格式容器、编码、采样率、比特率；
  • 可用时的用量估算和实际额度；
  • 可安全保留的请求 ID 或上下文 ID；
  • 人工 QA 状态和备注；
  • 需要披露合成／克隆语音时使用的披露标签。

除非制作合同明确允许，否则不要在项目文件夹中存储原始语音克隆源录音。建议使用带访问日志和删除政策的受控素材库。

生产环境 QA

逐一聆听所有已批准的音频片段；仅检查波形并不足够。

检查：

  • 转录准确性：没有遗漏、插入、重复或幻觉生成的词语；
  • 发音：姓名、缩写、数字、代码、产品术语、地址、金额、日期；
  • 语言／口音：本地化输出须通过母语审校；
  • 表现：长时间生成时的语速、停顿、情绪、重音、疲劳情况；
  • 技术质量：咔嗒声、失真、削波、噪声、不自然的静音、采样率不匹配；
  • 可编辑性：剪辑点留有余量、响度一致、按场景分开；
  • 同步：词语／音素时间戳与字幕、虚拟形象／口型同步或 UI 事件对齐；
  • 权利：语音来源及使用授权与最终交付物一致；
  • 安全／披露：克隆或合成语音的标注和政策要求均已满足。

常见修复操作：

  • 发音错误：添加或修改发音词典；自然地改写短语；在保留上下文的前提下测试更短的句子。
  • 朗读过快：先缩短脚本；然后将 generation_config.speed 调低至 1.0 以下进行测试。
  • 朗读平淡：尝试更具表现力的语音；添加与文本一致的情绪指导；修改标点和措辞。
  • 表演过度：移除情绪标签，选择稳定的语音，并简化标点。
  • 实时输出中的韵律衔接不自然：改用 WebSocket continuations，每个话语使用一个上下文。
  • 缺少时间戳：使用 SSE 或 WebSocket 并请求时间戳；依赖时间戳的工作流不要使用 bytes。
  • 并发错误：将请求排队、减少并行上下文、关闭空闲的 WebSocket，或升级套餐。

完整示例

示例：为 90 秒产品讲解视频批量生成旁白

制作目标：生成可直接用于剪辑的产品视频分场景旁白文件。

工作流：

  1. 按场景定稿脚本。每行都应是带句末标点的完整句子。
  2. 使用目标语言试听 3 种库存语音，内容为前 2 个场景。
  3. 选择 POST /tts/bytes，因为转录文本已完整，且输出将以文件形式剪辑。
  4. 以 48 kHz 为每个场景生成一个 WAV 文件。
  5. 在素材清单中存储模型、语音、语言、输出格式、转录校验和及请求 ID。
  6. 对照最终脚本逐行进行 QA。

示例请求正文：

{
  "model_id": "sonic-3.5",
  "transcript": "Meet Acme Lens, the field camera that tags every inspection before your team leaves the site.",
  "voice": { "mode": "id", "id": "APPROVED_STOCK_VOICE_ID" },
  "language": "en",
  "output_format": {
    "container": "wav",
    "encoding": "pcm_s16le",
    "sample_rate": 48000
  },
  "generation_config": {
    "speed": 0.96,
    "volume": 1.0,
    "emotion": "confident"
  }
}

预期结果：生成一个干净的旁白文件，产品发布公告的节奏自然，且不含 Markdown 或口述的制作备注。

故障模式：

  • 句子对于镜头时长过长：缩短文案，而不是强行提高语速。
  • 品牌名称读错：添加发音词典，仅重新生成受影响的句子。
  • 情绪听起来夸张：移除情绪设置，依靠语音选择和标点来表达。

变体：

  • 使用 MP3 生成轻量级应用预览。
  • 如果同一句旁白还要用于生成逐词动态字幕，则使用 SSE。
  • 仅在权利和成本均获批准后使用 PVC。
示例：实时 LLM 语音 Agent

制作目标：在 LLM 逐步输出 token 时朗读助手回复。

工作流：

  1. 配置 LLM，使其输出可直接朗读的纯文本，不含 Markdown、项目符号、表情符号，并带句末标点。
  2. 为每个 worker／会话池打开一个 Cartesia WebSocket。
  3. 每轮助手回复创建一个 context_id。
  4. 使用 continue: true 发送文本块；使用 continue: false 结束该轮。
  5. 在同一上下文中保持语音、模型、语言和输出设置一致。
  6. 关闭空闲套接字，或在空闲一段时间后重新创建。

文本块序列示例：

{
  "model_id": "sonic-3.5",
  "transcript": "I found three available appointment times: ",
  "voice": { "mode": "id", "id": "APPROVED_AGENT_VOICE_ID" },
  "language": "en",
  "context_id": "turn-8472",
  "continue": true,
  "output_format": {
    "container": "raw",
    "encoding": "pcm_f32le",
    "sample_rate": 44100
  }
}

{
  "transcript": "Monday at 9:30 AM, Tuesday at 2:00 PM, or Thursday at 11:15 AM.",
  "context_id": "turn-8472",
  "continue": false
}

预期结果：两个文本块合成为一段连贯的语音，韵律保持稳定。

故障模式：

  • 首个文本块后缺少空格会导致单词连在一起。
  • 上下文过期后不支持重复使用。
  • 打开过多空闲套接字会触发 429 错误。

变体：

  • 对确认码使用 <spell> 标签。
  • 如果音频直接流入电话通话，则使用电话系统的采样率／编码。
  • 浏览器客户端使用访问令牌；切勿公开 API 密钥。
示例：采用品牌语调进行本地化

制作意图：使用同一获批的说话人身份，将英文产品广告本地化为西班牙语和日语。

工作流：

  1. 确认人才协议涵盖西班牙语和日语中的克隆／本地化语音使用、付费媒体、地区及活动期限。
  2. 为每种目标语言本地化或选择语音。不要假设英语语音在每种语言中都像母语者。
  3. 为各市场翻译／改编脚本，并根据剪辑重新调整时长。
  4. 为产品名称和特定地区词汇创建发音条目。
  5. 使用 language: "es" 和 language: "ja"，通过 POST /tts/bytes 生成语音片段；如果需要字幕时间信息，则使用 SSE。
  6. 由母语审校人员评估发音、口音、情感契合度和合规性。

预期结果：生成针对不同语言的文件，在保留品牌形象的同时，让母语听众觉得自然。

失败模式：

  • 直译后内容超出时长。应重写文案，而不是单纯加快语速。
  • 产品名称在不同市场的发音不同。应为每种语言区域设置单独的发音词典。
  • 授权仅涵盖英语。在语音本地化或克隆之前停止。

变体：

  • 如果保留语调／时长比精确控制文稿更重要，可使用人类配音演员的引导演绎来进行语音转换。
  • 如果母语自然度比品牌形象更重要，可为不同语言区域分别使用库存语音。
示例：转换表演台词的语音

制作意图：保留演员的喜剧节奏，同时将语音转换为获批的角色语音。

工作流：

  1. 确认已获得源表演和目标语音的使用权。
  2. 清理源音频片段：仅一名说话人，无背景音乐、无重叠语音、无削波。
  3. 使用目标 voice[id] 和制作所需的输出格式调用 POST /voice-changer/bytes。
  4. 将输出与源音频片段进行比较，确认是否保留了时长和语调。
  5. 在后期混音；不要将音量控制用作最终响度处理流程。

预期结果：目标语音保留相同的台词时长和语调。

失败模式：

  • 背景音乐／噪声被带入转换，或干扰转换。
  • 多名说话人导致转换效果混乱。
  • 法务审查不认可目标语音的使用权。

变体：

  • 如果流式事件结构更实用，可使用 voice-changer/sse。
  • 如果精确措辞、发音词典或清晰的补录比保留原始表演更重要，可根据转录文本使用 TTS。

已于 2026-07-10 核实的来源锚点

评论

支持 Markdown