elevenlabs-dubbing-voice-conversion

ElevenLabs 配音与语音转换

当任务涉及转换现有语音时，请使用此技能：将源音频／视频翻译成另一种语言、将已录制的语音转换为所选语音、在转换前清理语音，或围绕 ElevenLabs 规划本地化交付内容。除非 TTS 输出只是配音或语音转换工作流中的一个辅助步骤，否则不要将其用于普通文本转语音生成。

此技能注重依据。请将以下注明日期的供应商信息视为已于 2026-07-10 核实的文档事实。请将操作观察和制作经验法则视为应在当前项目中测试的指导，而非供应商保证。

选择 ElevenLabs 方案

操作文件前，请先按以下方式判断：

• 配音／本地化：如果源素材是需要翻译成另一种语言的音频或视频，并且需要在产品支持的范围内尽可能保留说话者的时序、表达方式和身份，请选择 ElevenLabs Dubbing。规划时应考虑转录审校、语言质量检查和媒体导出。
• 变声器／语音到语音：如果语言／内容已经正确，而任务是将现有表演转换为另一种可用或克隆的语音，同时保留情绪、节奏、时序和表达方式，请选择 Voice Changer API。
• 语音隔离：如果噪声、音乐、环境音、类似混响的背景音或制作音效会影响语音识别／转换的可靠性，请在配音或语音转换前使用 Audio Isolation。不要在干净的音频上盲目使用；额外处理可能会去除所需的质感或产生伪影。
• 外部本地化：如果涉及精确的法律／医疗／品牌翻译、严格的字幕时序要求，或广播级唇形同步要求，请围绕 ElevenLabs 安排人工翻译／审校环节，不要将自动配音作为最终成品。
• 通用 TTS：如需根据文本生成脚本式旁白，请使用其他 ElevenLabs TTS 技能。此技能仅涵盖与 TTS 相关、且现有语音、说话者、时序、本地化或转换为核心的问题。

经核实的文档事实（2026-07-10）

ElevenLabs 提供现有的 Dubbing API：POST /v1/dubbing，可接受 multipart 源媒体或 source_url，以及 target_lang、可选的 source_lang、可选的 num_speakers、时间范围、水印和背景音控制，以及自动／手动模式。响应包含 dubbing_id 和 expected_duration_sec。GET /v1/dubbing/{dubbing_id} 会返回状态、源语言、目标语言、创建时间、可编辑性、媒体元数据和失败错误文本。GET /v1/dubbing/{dubbing_id}/audio/{language_code} 会为原始自动配音流式传输配音后的 MP3／MP4 结果；如果已在 Dubbing Studio 中编辑配音，请使用资源渲染工作流，而不是原始自动音频端点。可通过 /v1/dubbing/{dubbing_id}/transcripts/{language_code}/format/{format_type} 导出转录文本，格式包括 srt、webvtt 或 json；原始媒体语言可使用 source。来源：https://elevenlabs.io/docs/api-reference/dubbing/create、https://elevenlabs.io/docs/api-reference/dubbing/get、https://elevenlabs.io/docs/api-reference/dubbing/audio/get、https://elevenlabs.io/docs/api-reference/dubbing/transcripts/get。

ElevenLabs 的 Dubbing 功能页面指出，Dubbing v2 Alpha 是 Automatic Dubbing 的默认版本，支持 90 多种语言，能够保留每位说话者的语气／语速／风格，并将重叠的说话者分离到不同音轨；为获得最佳质量，建议每个文件最多包含 9 位不同的说话者。该页面还指出，自助服务方案最多允许同时运行 5 个配音任务，Enterprise 默认最多允许 100 个。页面同时说明，目前尚不支持实时／直播配音，Dubbing v2 API 也尚未上线；因此，除非当前文档已有更新，否则不要承诺 v2 API 的行为。来源：https://elevenlabs.io/docs/overview/capabilities/dubbing。 Voice Changer API 为 POST /v1/speech-to-speech/{voice_id}。它会将输入音频文件转换为所选声音，同时保留情绪、时序和表达方式。文档中列出的控制项包括 output_format、model_id、作为 JSON 字符串的 voice_settings、可选的 seed（尽力实现确定性，但不作保证）、remove_background_noise、file_format，以及适用于符合条件的企业零数据保留请求的 enable_logging=false。模型必须支持语音转语音；ElevenLabs 的模型选择指南指出，eleven_multilingual_sts_v2 是 Voice Changer 模型。来源：https://elevenlabs.io/docs/api-reference/speech-to-speech/convert 和 https://elevenlabs.io/docs/eleven-api/choosing-the-right-model。

Audio Isolation 的接口为 POST /v1/audio-isolation，接受 multipart 格式的 audio，并从音频中去除背景噪声。当 file_format=pcm_s16le_16 时，输入必须为 16 位 PCM、16 kHz、单声道、小端格式；与编码波形输入相比，这种格式的延迟更低。来源：https://elevenlabs.io/docs/api-reference/audio-isolation/convert。

价格可能随时变动。2026-07-10，ElevenAPI 定价页面列出的 Voice Changer 和 Voice Isolator 价格为每分钟 $0.12；Dubbing 的价格则为自动配音（带水印）每分钟 $0.33、自动配音（不带水印）每分钟 $0.50，或 Dubbing Studio 每分钟 $0.50。配音费用按源音频分钟数计费，且不含税。报价预算前请立即重新确认。来源：https://elevenlabs.io/pricing/api。

隐私和数据保留政策因产品而异。2026-07-10，ElevenLabs 文档说明，Zero Retention Mode 面向部分 Enterprise 客户提供。通过 enable_logging=false 实现的 API 零数据保留适用于 Voice Changer、Speech to Text、Text to Speech 和 Text to Dialogue，但同一张表格注明，Dubbing 输入/输出及克隆声音的音频样本不符合 Zero Retention 条件。来源：https://elevenlabs.io/docs/eleven-api/resources/zero-retention-mode。

声音克隆有同意边界。ElevenLabs 将 Instant 和 Professional Voice Cloning 的验证说明为一项伦理/法律保障措施，但也指出，验证无法证明录音确实属于请求者，并将经授权使用的责任归于创作者。克隆时的说话人分离在声音差异明显且目标说话人有大量连续语音的情况下效果最佳；如果频繁重叠、声音相似或目标说话人的发言片段零散，效果则不可靠。来源：https://elevenlabs.io/docs/eleven-api/concepts/voice-cloning。

每个项目都应核实的操作观察

自动配音可能保留出人意料的表演细节，但它仍是本地化系统，而非最终的人工配音环节。名称、产品术语、习语、数字、笑话、多人插话、歌唱、耳语对白、严重的室内噪声，以及译文自然长度与源文差异很大的语言，通常风险最高。

语音转语音转换以表演为主导。与文本提示词相比，源音频对节奏和情绪的影响更大。读音表现不佳、爆破音被截断、房间嘈杂或麦克风质量差等问题，往往会以某种形式延续到转换结果中。

语音隔离是用于补救和准备的工具，并非母带处理链的一环。它可以帮助语音识别和转换，但也可能使声音变薄、辅音变钝，或移除客户端希望保留的环境音。

说话人数是制作决策。自动检测很方便；在已知演员阵容时，明确设置 num_speakers 可以减少说话人错配，但设置错误可能比使用自动检测更糟。

要快速获得高质量结果，通常不能只靠“运行配音并交付”。通常的流程是：准备源素材，运行一个短试片，检查转录文本和说话人映射，调整语言、声音和时序选项，然后处理完整素材并导出审核材料。

源媒体准备

调用 ElevenLabs 前，请先创建源素材清单：

• 权利：确认你有权转换源媒体、克隆／保留声音、翻译脚本，并在所有目标地区分发结果。
• 同意：确认是否涉及被克隆、保留或转换声音的真实人物。针对具体用途、语言、时长、地区和披露要求，取得书面许可。
• 格式：保留高质量母版。导出干净的工作文件，确保采样率稳定、无削波，且语音轨清晰。对于视频，尽可能单独保留画面参考文件和原始混音。
• 时间：记录目标平台限制、最长时长、要求的精确时长，以及配音是否必须适配现有剪辑点、字幕、唇部动作、广告时段或广播时钟。
• 说话人：列出说话人、姓名、角色、大致时间戳、口音／方言，以及每位说话人应保留原有身份、使用类似的声音库音色，还是替换为获批的声音。
• 语言：如果已知源语言，请明确指定；当源素材包含语码转换、短片段、专有名词或多种语言时，不要依赖自动识别。如果 API 要求，请使用 ISO-639 语言代码。
• 背景音频：确定最终配音是否应保留原始音乐／环境音，还是将其移除。仅当背景内容不应保留时（例如清晰演讲或独白），才使用 drop_background_audio=true。
• 术语：准备产品名称、说话人姓名、品牌术语、禁止翻译的内容、要求的正式程度，以及适用于当地市场的替换说法。
• 试点片段：对于长素材或高风险素材，选择一段 30-120 秒的片段，涵盖每位主要说话人、噪声环境和情绪状态。

仅在有需要时进行预清理。如果源素材存在明显的背景噪声，请复制一份后运行或请求 Audio Isolation，然后在将完整素材发送到 Dubbing 或 Voice Changer 前，将隔离结果与原素材进行比较。如果原始素材中的音乐／音效应保留在最终混音中，请单独保留音乐／音效分轨或源母版。

配音工作流

制作正式配音时，请按以下顺序操作：

1. 明确交付内容：目标语言、文件输出、字幕输出、是否需要视频文件或纯音频配音，以及是否需要能够在 Dubbing Studio 中编辑。
2. 审核安全和权利：不得进行未经授权的冒充、未披露的真实人物声音克隆、政治欺骗、欺诈、骚扰，或权利不明确的内容。
3. 准备源素材：仅在不属于剪辑内容时才删去无声片段；避免有损重新编码；保留时间码备注。
4. 如果质量风险不可忽视，请先运行试点。如果所选 API／产品路径支持，请使用 start_time 和 end_time。
5. 创建任务。对于 API 任务，请保留 dubbing_id、请求参数、源文件校验和或媒体 URL、预期时长以及目标语言。
6. 使用 GET /v1/dubbing/{dubbing_id} 轮询状态。处理 queued、preparing、dubbing、dubbed 和 failed 等状态；不要启动超出计划允许数量的并发任务。
7. 导出审核材料：配音后的音频／视频，以及源语言和目标语言的转录文本／字幕。使用转录文本导出内容进行字幕 QA 和术语审核。
8. 审核语言和时间安排。检查说话人是否得到正确保留、翻译是否适配镜头、情绪表达是否保留，以及背景音频是否合适。
9. 修复或重新运行。对于简单的自动 API 任务，请使用修正后的参数或准备好的源素材重新运行。对于经过编辑的 Dubbing Studio／资源工作流，请使用渲染路径输出编辑后的结果，而不是原始的自动音频端点。
10. 附上披露信息和元数据后交付：包括语言代码、源版本、ElevenLabs 任务 ID、已知的模型／产品路径、日期、人工审核状态，以及客户要求的任何同意／权利备注。

POST /v1/dubbing 的参数选择

• file 与 source_url：若需要可复现性、私有媒体或精确控制来源，请上传文件；对于公开或签名 URL，使用 source_url 更方便，但请记录访问权限的过期时间。
• source_lang：对于发音清晰的单语内容，使用 auto；对于较短、嘈杂、带口音或混合语码的内容，请指定源语言代码。
• target_lang：必填；请审慎选择目标地区变体或方言。如果方言很重要，且产品流程支持 target_accent，请先在试点中测试，因为该参数被标记为实验性参数。
• num_speakers：0 表示自动检测。如果说话人分离不稳定，且角色数量明确，请设置已知人数。
• watermark：确认客户端要求和当前套餐的行为。Dubbing v2 功能页面说明，v2 不提供水印开关，且免费套餐生成的配音会自动添加水印。
• highest_resolution：对于重视画质的视频交付物，请启用此项；仅用于音频审核时，请避免不必要的高分辨率处理。
• disable_voice_cloning：若不允许或不希望保留／克隆源语音，请启用此项。API 文档说明，此项会使用相似的 Voice Library 语音；如果工作区语音槽位或权限不足，可能会失败。
• mode=manual：仅在有意采用已准备好的 CSV 转录工作流时使用。文档将手动模式标记为实验性，并不建议在生产环境中使用。

Voice Changer／语音到语音工作流

对于同一种语言或已翻译的表演，如果时序和情感表达可以接受，且所需输出是“以指定的授权语音呈现这段表演”，请使用 Voice Changer。

1. 确认目标 voice_id 已获准用于所请求的用途。对于克隆语音，请保留同意和验证记录。
2. 准备输入表演。尽可能使用最干净的录音，保持音量稳定且不发生削波。如果审核或重试需要更精细的粒度，请将超长表演拆分为语义完整的片段。
3. 选择支持语音到语音转换的模型。截至 2026-07-10，ElevenLabs 推荐 Voice Changer 使用 eleven_multilingual_sts_v2。
4. 根据下游用途选择输出格式：快速审核或社交媒体草稿使用 MP3；只有在套餐支持且后期制作有需要时才使用 WAV/PCM。
5. 仅在输入需要清理时使用 remove_background_noise=true。如果需要保留呼吸声、房间底噪或表演中的粗粝感，请对比两个版本。
6. 如果需要且可使用 Enterprise 零保留，请设置 enable_logging=false；请注意，此模式下无法使用历史记录和拼接功能。
7. 对照源音频检查时序、清晰度、情感匹配度、瑕疵以及身份／同意合规性。

语音设置无法替代出色的源表演。请先使用已授权语音保存的设置，仅在输出过于平淡、不稳定、夸张或不像目标语音时才进行覆盖。可尝试使用 seed 来提高可复现性，但不要承诺每次都能精确、确定性地重复生成。

语音隔离工作流

将 Audio Isolation 用作预处理或修复步骤：

• 配音前：如果噪声或音乐干扰系统判断，请先清理对白，再进行转录／说话人分离。
• 语音转换前：去除背景噪声，让转换模型跟随语音表演，而不是房间声学环境。
• 后期制作补救：分离出语音音轨，以便审核或手动重新混音。

不要对每个素材都一律使用此步骤。对于干净的录音棚录音，隔离处理可能会降低质量。对于对白下方有音乐的音频，它也可能去除最终混音所需的制作效果。务必归档原始音频、隔离出的音轨和对比记录。

时间、口型同步与翻译适配

ElevenLabs 配音会考虑时长，但无法保证口型与画面完美同步，也无法保证达到广播级 ADR 水准。对于视频：

• 配音前锁定原始剪辑。配音后重新剪辑会使时长质检失效。
• 对于访谈或特写素材，检查张口与闭口的同步、停顿、笑声时机以及插话。
• 对于旁白，优先考虑翻译自然度和语速，而非严格匹配音节。
• 对于广告、预告片和法律免责声明，准确检查总时长和必需措辞。
• 对于字幕，导出 SRT/WebVTT，并检查行长、阅读速度、分段、标点、说话人标签和术语。

制作经验法则：如果目标语言的文本显著变长，应在自然表达但略微调整语速、精简翻译、调整画面时长或由真人进行 ADR 之间做出选择。不要默默擅自选择；应将其作为制作决策。

说话人身份、克隆与同意

切勿将“保留声音”视为授权。在保留、克隆或转换真人声音之前：

• 确认说话人、权利持有人和客户均授权了确切用途。
• 确认授权是否涵盖语言翻译、商业发行、合成语音生成、编辑，以及在未来项目中重复使用。
• 未经明确授权，并在适当情况下完成法律审查，避免克隆公众人物、员工、客户、未成年人或私人。
• 如果没有获得同意或授权存在歧义，优先使用 disable_voice_cloning=true 或已批准的语音库／品牌语音。
• 如果受众、平台、法律或客户政策要求标注合成或翻译音频，则必须进行披露。
• 留存制作记录：谁批准了哪些素材、使用了哪些语言和语音 ID、批准日期以及任何限制。

如果用户要求未经许可模仿真人，应拒绝这部分请求，并提供更安全的替代方案：获得同意的声音、风格大致相似的语音库声音、仅提供字幕，或由真人录制本地化音频。

质量检查清单

对每种目标语言执行质检：

• 权利与披露：已记录同意；合成／配音标注方案明确；已获目标地区许可。
• 源素材完整性：源版本正确；没有误用粗剪版本；时间范围正确。
• 说话人映射：每位说话人仍可区分；没有身份互换；重叠语音处理得当。
• 翻译：含义、语气、正式程度、习语、姓名、数字、单位、URL、产品术语和法律条款均准确。
• 表现：情绪、语速、停顿、笑声、耳语、紧迫感和强调程度与场景相符。
• 清晰度：没有闷音、齿音、削波、机器人音效、漏词或幻觉语音。
• 时长：没有明显的台词延迟或提前；总时长合适；对于交付等级，视频口型运动可接受。
• 背景音：有意保留或移除原始音乐／音效；没有音量抽吸、幽灵人声、相位感隔离伪影或重复语音。
• 字幕／转录文本：导出格式正确；必要时提供源转录文本；目标语言字幕与配音音频一致。
• 打包：输出格式、采样率／比特率、文件名、语言代码和元数据符合交付规范。

对于高风险发布，必须进行双语人工审查。自动导出转录文本是质检辅助工具，并不能证明翻译质量。

失败模式与修复方法

• 源语言错误：使用明确的 source_lang 重新运行；剪掉开场音乐／静音；提供更清晰的源素材。
• 说话人互换：使用明确的 num_speakers 重新运行；按说话人拆分场景；尽可能减少重叠；如果可用，使用 Dubbing Studio／资源编辑功能。
• 翻译过于直译或不符合品牌风格：准备术语表和核准译文；进行人工翻译审核；如果产品流程支持，重新运行或手动编辑目标片段。
• 配音在目标语言中听起来不自然：如果界面支持，降低语音克隆／保留强度；使用相似的库中语音；接受较低的语音相似度，以换取更自然的本地化效果。
• 背景音频盖过人声：测试 drop_background_audio；创建单独的 M&E／音乐分轨；在外部进行混音。
• Voice Changer 一直产生噪声／瑕疵：先运行 Audio Isolation，重新录制源素材中的表演，或拆分片段后仅重试受损部分。
• 编辑后输出端点返回原始自动配音：对 Dubbing Studio／资源编辑使用资源渲染工作流；不要使用自动音频端点交付经过编辑的成品。
• 任务过多：遵守并发限制，将任务排入队列，并在当前任务完成后重试，不要持续高频调用 API。
• 隐私要求与产品冲突：如果项目要求 Dubbing 或语音克隆样本零留存，请升级处理。截至 2026-07-10，ElevenLabs 并未将这两项标记为符合零留存条件。

完整示例

示例：面向双人产品演示的西班牙语本地化试点

目标：将 6 分钟的英文产品演示本地化为西班牙语，用于网页发布，同时保留两位创始人的说话风格。

输入和限制条件：

• 源素材：demo_master_v12.mp4，英文，两位已知说话人，带轻柔背景音乐，无字幕。
• 目标：西班牙语（es），MP4 审核文件和 SRT。
• 同意：两位创始人都已批准在本次宣传活动中使用西班牙语合成配音。
• 风险：产品名称和价格必须准确无误。

工作流：

1. 创建术语表，列出产品名称、套餐名称、价格和不可翻译的短语。
2. 使用 source_lang=en、target_lang=es、num_speakers=2、代表性片段附近的 start_time 和 end_time，以及 drop_background_audio=false，运行一个覆盖两位说话人的 60 秒试点。
3. 使用 GET /v1/dubbing/{dubbing_id} 轮询，直到状态变为 dubbed 或失败。
4. 导出配音媒体和 SRT／WebVTT 转录文本。
5. 请西班牙语审核人员检查产品术语、语气和说话人对应关系。
6. 如果试点通过，使用相同的语言、说话人和背景音设置处理完整文件。

预期结果：西班牙语配音沿用原始剪辑，保留两位创始人各自鲜明的声音，保留背景音乐，并生成供审核的字幕。

可能的失败模式：产品名称被错误翻译、一位创始人被分配了另一位创始人的声音、西班牙语台词过长导致特写镜头节奏仓促，或音乐盖过人声。

变体：如果不允许保留创始人的声音，则设置 disable_voice_cloning=true；如果原始背景音乐导致分离瑕疵，且之后会混入外部音乐分轨，则设置 drop_background_audio=true。

示例：为已完成的角色表演进行授权语音转换

意图：将演员获批的英文怪物表演转换为获批的生物语音，同时保留咆哮、节奏和情感表达。

输入和约束：

• 源文件：monster_take_03.wav，干净的单声道表演，不含音乐。
• 目标语音：获批的内部语音 ID。
• 语言：不翻译。
• 交付内容：如果套餐允许，则提供用于后期制作的 WAV/PCM；否则先提供高码率 MP3 供审核，之后再导出获批格式。

工作流：

1. 确认演员和目标语音的使用权。
2. 使用 model_id=eleven_multilingual_sts_v2 将源文件发送到 POST /v1/speech-to-speech/{voice_id}。
3. 将 remove_background_noise=false，因为源文件很干净，且包含有意保留的呼吸声和咆哮质感。
4. 仅使用 seed 辅助重现审核尝试；记录确定性无法保证。
5. 对照原始音频，审核节奏、情绪、辅音清晰度，以及生物特征是否掩盖了可懂度。

预期结果：目标语音保留相同的表演节奏和情绪曲线。

可能的失败模式：吼叫变得失真、耳语失去可懂度，或转换后的语音听起来过于像人声／过于合成。

变体：将吼叫和台词拆分到不同文件，分别使用不同设置；仅当源文件包含房间噪声时才进行清理。

示例：为配音处理嘈杂的采访素材

意图：为嘈杂的街头采访准备法语配音。

输入和约束：

• 源文件：street_interview.mov，包含两位说话者和交通噪声。
• 目标语言：法语（fr），用于内部审核。
• 风险：交通噪声会干扰转录和说话者分离。

工作流：

1. 提取一段有代表性的短音频，并对副本运行 Audio Isolation。
2. 对比原始语音和分离后的语音，检查措辞清晰度、伪影和环境声损失。
3. 如果分离后清晰度有所提升，则在配音审核时使用分离出的对白轨，同时保留原始母版，以供最终混音参考。
4. 使用 source_lang=en、target_lang=fr 和 num_speakers=2 运行配音；如果说话者数量不确定，则使用自动模式。
5. 导出转录文本／字幕，并核实姓名、街道指称和说话者对应关系。

预期结果：语音识别更清晰，说话者识别／转录错误更少。

可能的失败模式：分离后人声听起来发飘，语音下仍有交通噪声，或环境声损失导致最终效果与画面脱节。

变体：在外部混音中保留原始环境声并置于最终配音下方；如果源素材过于混乱，无法可靠配音，则仅使用字幕。

来源和证据说明

此技能主要参考了 ElevenLabs API 参考页面、功能页面、模型选择文档、定价信息、零留存文档和语音克隆概念文档，均于 2026-07-10 核查。依赖可能变化的信息前，请重新查阅官方文档：模型 ID、定价、Dubbing v2 API 的可用性、并发限制、语言支持、导出格式、留存资格以及受套餐限制的输出格式。