voice-audio-engineer

语音与音频工程师：语音合成、TTS 与语音处理

运用 ElevenLabs 和专业音频技术，专精于语音合成、语音处理和人声制作。擅长 TTS、声音克隆、播客制作和语音 UI 设计。

适用场景

✅ 适用于：

• 文本转语音（TTS）生成
• 声音克隆和声音设计
• 语音到语音的声音转换
• 播客制作和编辑
• 有声读物制作
• 语音 UI／对话式 AI 音频
• 对话混音和处理
• 响度标准化（LUFS）
• 人声质量增强（去齿音、压缩）
• 转录和语音转文本

❌ 不适用于：

• 空间音频（HRTF、Ambisonics）→ sound-engineer
• 音效生成 → sound-engineer（ElevenLabs SFX）
• 游戏音频中间件（Wwise、FMOD）→ sound-engineer
• 音乐作曲／制作 → DAW 工具
• 现场演唱会／活动音频 → 专业领域

MCP 集成

MCP 工具	用途
text_to_speech	选择声音，将文本生成为语音
speech_to_speech	将录制的语音转换为不同的声音
voice_clone	根据音频样本创建即时声音克隆
search_voices	在 ElevenLabs 声音库中查找声音
speech_to_text	转录音频并区分说话人
isolate_audio	从背景噪声中分离人声
create_agent	构建具备语音能力的对话式 AI Agent

专家与新手的辨别要点

主题	新手	专家
TTS 质量	“任何声音都行”	根据品牌匹配声音；考虑情绪、语速和风格
声音克隆	“上传任何音频”	知道需要 30 秒至 3 分钟干净且多样的语音；且只能有一位说话人
响度	“弄响一点”	播客目标响度为 -16 至 -19 LUFS；流媒体为 -14 LUFS
去齿音	“无所谓”	知道齿音集中在 5-8kHz；使用频率选择性压缩
压缩	“压扁它”	对话使用 3:1-4:1 压缩比；采用较慢的启动时间（10-20ms）以保留瞬态
高通滤波	“绝不使用”	人声始终在 80-100Hz 使用 HPF；去除隆隆声和爆破音
真峰值	“峰值就是峰值”	知道样本间峰值会超过 0dBFS；目标为 -1 dBTP
ElevenLabs 模型	“用默认值”	追求质量时用 eleven_multilingual_v2；追求速度时用 eleven_flash_v2_5

常见反模式

反模式：上传带噪音的音频进行声音克隆

表现：使用有背景噪声和回声的手机录音进行声音克隆
原因：克隆会学习噪声；生成结果会出现瑕疵
改进方法：先使用 isolate_audio；在安静的空间录音；提供 1-3 分钟多样的语音

反模式：忽视响度标准

表现：播客响度为 -6 LUFS，经平台标准化后动态范围被压扁
原因：各平台的标准化方式不同；过响会造成失真，过轻则听不清
改进方法：播客母带响度设为 -16 LUFS；流媒体设为 -14 LUFS；始终检查真峰值低于 -1 dBTP

反模式：TTS 不匹配声音

表现：高端产品使用默认的机器人音色
原因：声音就是品牌；声音不匹配就无法建立正确的情感联系
改进方法：使用 search_voices 查找音色相符的声音；为保持品牌一致性，可考虑自定义克隆

反模式：处理人声时不做去齿音

表现：压缩和 EQ 提升后，说话声变得“嘶嘶作响”
原因：压缩会增强齿音；在 3-5kHz 提升 EQ 会使情况更糟
改进方法：在压缩前对 5-8kHz 做去齿音；使用频率选择性压缩

反模式：只录一遍，不做编辑

表现：播客中有 20 处“嗯”、呼吸声和长停顿
原因：听众容易疲劳；听起来不专业；降低参与度
改进方法：剪掉填充词；用噪声门或手动剪辑去除呼吸声；加快节奏

演进时间线

2020 年前：机器人式 TTS

• 拼接式合成（拼接录音）
• 机器人音质明显
• 音色选择有限

2020-2022 年：神经 TTS 兴起

• Tacotron、WaveNet 提升了自然度
• 仍能察觉是合成语音
• 克隆声音需要数小时的数据

2023-2024 年：AI 语音革命

• ElevenLabs 即时克隆声音（30 秒）
• TTS 音质接近真人
• 实时声音转换
• 面向客户服务的语音 Agent

2025 年及以后：当前最佳实践

• 情感化 TTS（控制语气、语速和情绪）
• 跨语言声音克隆
• 在应用中实时转换声音
• 个性化语音 Agent
• 集成语音身份验证

核心概念

ElevenLabs 音色选择

模型对比：

模型	质量	延迟	语言	用例
eleven_multilingual_v2	最佳	较高	29	生产环境、质量要求高
eleven_flash_v2_5	良好	最低	32	实时场景、语音 UI
eleven_turbo_v2_5	更好	低	32	均衡

声音参数：

# Stability: 0-1 (lower = more expressive, higher = more consistent)
# Similarity boost: 0-1 (higher = closer to original voice)
# Style: 0-1 (higher = more exaggerated style)

# For natural speech:
stability = 0.5       # Balanced expression
similarity = 0.75     # Close to voice but natural
style = 0.0           # Neutral (increase for dramatic)

声音克隆最佳实践

音频要求：

• 时长：1-3 分钟（越长越好，超过 3 分钟后收益递减）
• 质量：干净，无背景噪声、无混响
• 内容：语音丰富多样（疑问句、陈述句、不同情绪）
• 格式：WAV/MP3，44.1kHz 或更高

克隆工作流：

1. 使用 isolate_audio 清理源素材
2. 使用清理后的音频调用 voice_clone
3. 使用不同的提示词进行测试
4. 调整稳定性/相似度以提升输出质量

语音处理链

标准语音处理链（顺序很重要！）：

[Raw Recording]
    ↓
[High-Pass Filter @ 80Hz]  ← Remove rumble, plosives
    ↓
[De-esser @ 5-8kHz]        ← Before compression!
    ↓
[Compressor 3:1, 10ms/100ms] ← Smooth dynamics
    ↓
[EQ: +2dB @ 3kHz presence] ← Clarity boost
    ↓
[Limiter -1 dBTP]          ← Prevent clipping
    ↓
[Loudness Norm -16 LUFS]   ← Target loudness

响度标准

平台/格式	目标 LUFS	真峰值
播客	-16 到 -19	-1 dBTP
有声书（ACX）	-18 到 -23 RMS	-3 dBFS
YouTube	-14	-1 dBTP
Spotify/Apple Music	-14	-1 dBTP
广播（EBU R128）	-23 ±1	-1 dBTP

测量：

• LUFS = 全尺度响度单位（综合）
• 真峰值 = 包含采样间峰值的最大电平
• 始终使用 K 加权测量（ITU-R BS.1770）

对话式 AI Agent

ElevenLabs Agent 配置：

create_agent(
    name="Support Agent",
    first_message="Hi, how can I help you today?",
    system_prompt="You are a helpful customer support agent...",
    voice_id="your_voice_id",
    language="en",
    llm="gemini-2.0-flash-001",  # Fast for conversation
    temperature=0.5,
    asr_quality="high",          # Speech recognition quality
    turn_timeout=7,              # Seconds before agent responds
    max_duration_seconds=300     # 5 minute call limit
)

语音 UI 注意事项：

• 实时场景使用快速模型（eleven_flash_v2_5）
• 保持回复简洁（< 30 秒）
• 加入停顿，使对话流程更自然
• 妥善处理打断

快速参考

音色选择决策树

• 品牌/专业内容？ → 自定义克隆或精选音色
• 实时/交互场景？ → eleven_flash_v2_5 模型
• 质量要求高？ → eleven_multilingual_v2 模型
• 多种语言？ → 检查各音色支持的语言

处理决策树

• 声音听起来浑浊？ → 在 80Hz 处使用高通滤波器，在 3kHz 处增强
• 齿音刺耳？ → 在 5-8kHz 处进行去齿音处理
• 音量不一致？ → 使用 3:1 压缩，然后进行限制
• 声音太小？ → 归一化至目标 LUFS
• 有背景噪声？ → 先使用 isolate_audio

常用设置

De-esser: 5-8kHz, -6dB reduction, Q=2
Compressor: 3:1 ratio, -20dB threshold, 10ms attack, 100ms release
EQ presence: +2-3dB shelf at 3kHz
HPF: 80-100Hz, 12dB/oct
Limiter: -1 dBTP ceiling

处理言语不流畅现象

语速杂乱与口吃

类型	特征	对 ASR 的影响
口吃	重复（“I-I-I”）、拖长（“wwwant”）、阻塞（无声停顿）	词边界容易混淆；重复内容容易识别错误
语速杂乱	语速不规律、音节缩并、填充词过多、言语离题	单词容易合并；语速变化会干扰计时

ASR 处理不流畅语音时的挑战

大多数 ASR 模型都是基于流畅语音训练的。不流畅现象会导致：

• 词边界检测错误
• 重复内容被逐字转录（“I I I want”而非“I want”）
• 缩并的音节完全漏识
• 不规律的语速会干扰计时模型

解决方案与变通方法

1. 模型选择（按处理语音不流畅的效果从好到差排列）：

• Whisper large-v3 - 对语音不流畅的适应性最强
• ElevenLabs speech_to_text - 能很好地处理多样化的语音
• Google Speech-to-Text - 使用增强型模型时效果尚可
• 快速／轻量级模型 - 通常效果最差

2. 预处理：

# Normalize speech rate before ASR
# Use librosa to stretch irregular segments toward target rate
import librosa
y, sr = librosa.load("disfluent.wav")
y_stretched = librosa.effects.time_stretch(y, rate=0.9)  # Slow down

3. 后处理：

• 删除重复词语："I I I want" → "I want"
• 过滤常见填充词："um"、"uh"、"like"、"you know"
• 使用 LLM 清理转录文本，同时保留原意

4. 微调 Whisper（高级）：

# Fine-tune on disfluent speech dataset
# Datasets: FluencyBank, UCLASS, SEP-28k (stuttering)
from transformers import WhisperForConditionalGeneration, WhisperProcessor

model = WhisperForConditionalGeneration.from_pretrained("openai/whisper-large-v3")
# Fine-tune on your speech samples with corrected transcripts
# Training loop with disfluent audio → fluent transcript pairs

5. ElevenLabs 语音克隆方案：

• 从流畅的片段克隆你的声音
• 使用 TTS 以你的声音生成流畅的输出
• 非常适合预录内容，不适合实时使用

无障碍注意事项

• 始终提供手动修正转录文本的选项
• 考虑采用混合方案：ASR + 人工审核
• 对于语音 UI：延长超时时间，提供确认提示
• 与目标人群中的真实用户进行测试

性能目标

操作	典型耗时
TTS（100 个词）	2-5 秒
语音克隆创建	10-30 秒
语音到语音	3-8 秒
转录（1 分钟音频）	5-15 秒
音频隔离	5-20 秒

集成对象

• sound-engineer - 用于空间音频、游戏音频和程序化 SFX
• native-app-designer - 在应用中实现语音 UI
• vr-avatar-engineer - 集成 Avatar 语音

---

详细实现方案：参见 /references/implementations.md

请记住：语音是亲密的——它直接传入听众的大脑。让声音与品牌相匹配，为清晰度而非音量进行处理，并始终遵守平台的响度标准。借助 ElevenLabs，你可以即时使用专业语音合成；请谨慎使用。