ai-voice-design

AI Voice Design

使用 ElevenLabs 或 Qwen3-TTS 为视频设计并生成 AI 语音，支持语音克隆、描述式设计和唇形同步。

何时使用此技能

• 打造品牌声音 - 为营销活动定义声音基调
• 克隆现有声音 - 在获得授权的情况下复现声音
• 设计原创声音 - 根据描述创建声音
• 多角色 - 在同一视频中管理多个声音
• AI 视频唇形同步 - 同步声音和唇部动作
• 本地化 - 将声音调整为多种语言

方法论基础

来源：ElevenLabs 文档 + Qwen3-TTS（Alibaba）+ PJ Ace 工作流

核心原则：“声音占视频影响力的 50%。ElevenLabs 提供高级品质，Qwen3-TTS 提供开源灵活性。选择取决于预算和所需的控制程度。”

为何重要：选择不当或生成不佳的声音会破坏 AI 视频的真实感。声音与角色匹配得当，加上专业的音频品质，决定了内容究竟是“AI 垃圾内容”还是可信的作品。

Claude 会做什么，你来决定什么

Claude 会做什么	你来决定什么
构建制作工作流	最终创意方向
建议技术方案	设备和工具选择
创建模板和检查清单	品质标准
找出最佳实践	品牌/声音决策
生成脚本大纲	最终脚本审批

此技能的功能

1. 比较 TTS 解决方案 - ElevenLabs 与 Qwen3-TTS
2. 指导语音克隆 - 流程和要求
3. 构建声音设计 - 用文字描述声音
4. 管理多种声音 - 分配声音并保持一致性
5. 准备唇形同步 - 与 Kling/Veo 集成

使用方法

为广告设计声音

J'ai besoin d'une voix pour ma pub [produit]. Le ton doit être [description]. Aide-moi à la designer.

克隆声音

Je veux cloner cette voix [description/échantillon]. Guide-moi à travers le process avec [ElevenLabs/Qwen3-TTS].

管理多个角色

J'ai 3 personnages dans ma vidéo: [descriptions]. Crée le casting vocal.

说明

第 1 步：选择 TTS 解决方案

## Comparatif ElevenLabs vs Qwen3-TTS

| Critère | ElevenLabs | Qwen3-TTS |
|---------|------------|-----------|
| **Prix** | $5-$330/mois | Gratuit (open-source) |
| **Qualité** | Excellente | Excellente |
| **Voice cloning** | 1-5 min audio | 3 sec audio |
| **Langues** | 29+ | 10 (EN, FR, DE, ES, IT, PT, RU, ZH, JP, KO) |
| **Latence** | ~200ms | 97ms (streaming) |
| **Self-hosted** | Non | Oui |
| **Voice design** | VoiceLab | Description textuelle |
| **API** | Cloud | Local ou cloud |

### Arbre de décision

**Q1: Budget disponible?**
- $0 (gratuit) → Qwen3-TTS
- $5-$100/mois → ElevenLabs Starter/Creator
- $100+/mois → ElevenLabs Pro

**Q2: Besoin de self-hosting?**
- Oui (données sensibles) → Qwen3-TTS
- Non → ElevenLabs ou Qwen3-TTS

**Q3: Langue requise parmi FR, EN, DE, ES, IT, PT, RU, ZH, JP, KO?**
- Oui → Les deux fonctionnent
- Non (autre langue) → ElevenLabs

**Q4: Latence critique (real-time)?**
- Oui → Qwen3-TTS (97ms)
- Non → Les deux

---

第 2 步：通过描述设计声音

## Template de Description de Voix

### Caractéristiques de base
**Genre:** [ ] Masculin [ ] Féminin [ ] Non-binaire
**Âge apparent:** [20s / 30s / 40s / 50s / 60s+]
**Registre:** [ ] Grave [ ] Medium [ ] Aigu

### Qualités vocales
**Texture:**
[ ] Lisse/Veloutée [ ] Rauque/Gravelly
[ ] Nasale [ ] Claire [ ] Résonante

**Énergie:**
[ ] Calme/Posée [ ] Dynamique [ ] Intense
[ ] Chaleureuse [ ] Froide/Distante

**Rythme:**
[ ] Lent/Délibéré [ ] Modéré [ ] Rapide
[ ] Varié (storytelling)

### Accent/Origine
**Accent:** [Ex: Français neutre, British RP, Southern US, etc.]
**Particularités:** [Ex: légèrement rauque le matin, sourire dans la voix]

### Contexte d'utilisation
**Marque/Produit:** ________________________________
**Ton de la campagne:** ________________________________
**Personnage (si fiction):** ________________________________

### Exemples de référence (optionnel)
**Voix similaire à:** [Célébrité, personnage, pub connue]
**Éviter:** [Ce qu'on ne veut pas]

完整描述示例：

## Voice Brief: Pub NeuroBoost

**Profil:**
Homme, 40s, registre grave-medium

**Qualités:**
- Texture résonante et autoritaire mais pas intimidante
- Énergie posée, confiante, légèrement inspirante
- Rythme délibéré avec pauses stratégiques

**Accent:**
Français international (pas d'accent régional marqué)
Diction parfaite, articulation claire

**Références:**
- Similaire à: Morgan Freeman mais version française
- Éviter: Ton commercial agressif, urgence artificielle

**Notes:**
Cette voix doit incarner l'expertise et la confiance.
Le spectateur doit sentir qu'il reçoit un conseil d'un
mentor plutôt qu'un pitch de vendeur.

---

第 3 步：语音克隆

ElevenLabs

## Process de clonage ElevenLabs

### Instant Clone (1-5 min audio)
**Qualité:** Bonne (80% fidélité)
**Usage:** Tests, itération rapide

1. Préparer audio source:
   - 1-5 minutes de parole claire
   - Pas de musique de fond
   - Qualité minimum: 128kbps
   - Formats: MP3, WAV, M4A

2. Dans ElevenLabs:
   - Voice Lab → Add Voice → Instant Clone
   - Upload audio
   - Nommer la voix
   - Tester avec phrase sample

### Professional Clone (30+ min audio)
**Qualité:** Excellente (95%+ fidélité)
**Usage:** Production commerciale

1. Préparer corpus audio:
   - 30-60 minutes idéalement
   - Variété d'émotions et tons
   - Phrases complètes, pas de mots isolés
   - Studio quality (256kbps+, pas de bruit)

2. Soumettre pour training
   - Délai: 24-48h
   - Coût: Inclus dans plan Pro+

### Paramètres de génération
- **Stability:** 50-70% (naturel) / 80%+ (consistant)
- **Clarity:** 75%+ recommandé
- **Style:** 0-100% selon expressivité souhaitée

Qwen3-TTS

## Process de clonage Qwen3-TTS

### Zero-shot Clone (3 sec audio)
**Qualité:** Très bonne
**Usage:** Toute production

1. Préparer référence:
   - 3-10 secondes de parole claire
   - Pas de bruit de fond
   - Émotion neutre ou représentative

2. API Python:
```python
from qwen3_tts import Qwen3TTS

tts = Qwen3TTS()

# Cloner depuis référence
voice = tts.clone_voice(
    reference_audio="reference.wav",
    voice_name="my_voice"
)

# Générer avec la voix clonée
audio = tts.generate(
    text="Texte à synthétiser",
    voice=voice,
    language="fr"
)
audio.save("output.wav")

通过文本设计声音

# Créer une voix sans référence audio
voice = tts.design_voice(
    description="A warm, confident male voice in his 40s, \
    with a slight French accent, speaking slowly and \
    deliberately with gravitas."
)

audio = tts.generate(
    text="Votre texte ici",
    voice=voice
)

高级参数

• emotion: "neutral"（中性）、"happy"（开心）、"sad"（悲伤）、"angry"（愤怒）、"surprise"（惊讶）
• speed: 0.5（慢）至 2.0（快）
• pitch: -10 至 +10（半音）

---

### Step 4: Multi-personnages

多角色声音选角

选角模板

角色	描述	声音	来源
[名称]	[外貌/性格描述]	[声音规格]	[克隆/设计/素材库]

示例：有 3 个角色的广告

角色	描述	声音	来源
CEO Emma	35 岁，自信，有领导力	女性，中音，威严而温暖	设计：“自信的女性高管……”
Dev Tom	28 岁，热情的极客	男性，中高音，语速快	素材库：“年轻的职场男性”
Client Marc	50 岁，起初持怀疑态度，后来信服	男性，低沉，犹豫→坚定	设计：“持怀疑态度的年长商人……”

区分规则

• **音域多样：**低沉、中音、高音
• **节奏各异：**慢与快
• **口音不同：**视情境是否合适而定
• **能量对比：**平静与活跃

多声音工作流

1. 分别生成每句台词
2. 为文件命名：P1_Emma_Line01.wav
3. 在音频时间线上进行合成
4. 检查音量一致性（标准化至 -6dB）

---

### Step 5: Lip-sync et intégration vidéo

声音与 AI 视频集成

方案 A：Veo 3.1（原生音频）

声音由 Veo 随视频一同生成。

Prompt incluant audio:
"[Scene description]. The character says:
'[Dialogue exact]'. Voice: confident male, 30s,
warm tone. Ambient: office sounds."

限制：对具体声音的控制较少。

方案 B：Kling 2.6 Motion Control

通过“驱动”视频实现唇形同步。

1. 自己录制对白
2. 将 Kling 与驱动视频配合使用
3. 唇形同步会跟随你的表演
4. 后期将音频替换为 AI 语音

Workflow:
You → Record driving video with dialogue
Kling → Transfer lips to AI character
Post → Replace audio with ElevenLabs/Qwen voice

选项 C：分开生成 + 后期同步

实现最大程度的控制。

1. 生成不含音频的视频（Runway、Pika）
2. 分开生成语音
3. 在后期制作中同步
4. 如有需要，手动调整时间

同步工具：

• DaVinci Resolve（免费）
• Adobe Premiere
• D-ID（自动同步）

口型同步检查清单

• 语音时间与嘴唇动作相符
• 自然停顿对齐
• 音量与环境声平衡
• 没有明显的错位（最多 2-3 帧）

---

### Step 6: Export et spécifications audio

最终音频规格

输出格式

• 编解码器： AAC 或 WAV
• 采样率： 48kHz（视频标准）
• 位深： 24-bit（WAV）或 256kbps（AAC）
• 声道： 根据用途选择立体声或单声道

推荐电平

• 旁白： 峰值 -6dB 至 -3dB
• 对白： -12dB 至 -6dB
• 环境声： -18dB 至 -12dB
• 音乐： -12dB 至 -9dB（低于人声）

基础母带处理

1. 将所有语音片段标准化至 -6dB
2. 应用轻度压缩（压缩比 2:1）
3. 均衡：削减 80Hz 以下频段，轻微提升 2-4kHz（清晰度）
4. 限制在 -1dB，以避免削波

交付内容

📁 Audio_[Project]/
├── voiceover/
│   ├── VO_final_master.wav
│   └── VO_stems/
│       ├── P1_lines.wav
│       ├── P2_lines.wav
│       └── ...
├── sfx/
│   └── [sound effects]
├── music/
│   └── [background music]
└── mix/
    └── final_mix.wav

## Examples

### Example 1: Voice design pour pub premium

**Context**: Marque de montres de luxe, pub cinématique 30s

**Input**:
> J'ai une pub pour une marque de montres haut de gamme. Style très premium, inspiré des pubs Omega ou Rolex. Je veux une voix qui incarne l'excellence et l'héritage.

**Output**:

## Voice Brief: Montres Heritage Collection

### Profil cible

性别：男性 年龄：55-65 岁 音域：低沉、深厚

### Caractéristiques détaillées

质感：共鸣感强、醇厚，带有轻微的岁月痕迹 （如名贵木材或复古皮革）

能量：沉稳、深思熟虑，从不急躁 每个词都经过斟酌，每次停顿都别有用意

节奏：非常缓慢、从容不迫 每次换气说 4-5 个词 句子之间停顿 1-2 秒

吐字：完美，优雅而不傲慢 辅音清晰，元音饱满

### Prompt ElevenLabs (Voice Design)

创作一位 60 多岁的成熟男声。 深沉、共鸣感强的男中音，自然流露出庄重感。 说话风格：缓慢、从容、深思熟虑。 带有一丝温暖的英国标准发音。 质感如陈年威士忌——顺滑而深厚。 声音属于一位阅历丰富、 只在重要时刻才开口的人。

### Prompt Qwen3-TTS
```python
voice = tts.design_voice(
    description="""
    Distinguished older gentleman, 60s, deep baritone.
    British accent, RP. Speaking very slowly and
    deliberately, with natural authority and warmth.
    Voice texture is rich and resonant, like aged oak.
    Contemplative, never rushed. Each word carries weight.
    Think: nature documentary narrator meets luxury brand.
    """
)

带有提示的脚本

[PAUSE 2s]

"Time..." [PAUSE 1.5s]

"...is not measured." [PAUSE 1s]

"It is crafted." [PAUSE 2s]

"Heritage Collection." [PAUSE 1s]

"Since 1892."

技术参数

• 稳定性：85%（奢华风格需要非常稳定）
• 语速：0.7x（更慢）
• 人声下方不加音乐（先单独呈现人声，再加入音乐）

为何有效：对于奢华风格，少即是多。低沉、缓慢而沉稳的声音传递出信任感与永恒感。停顿营造出张力和感知价值。

---

示例 2：多角色喜剧

背景：一则风格夸张、类似情景喜剧的 SaaS 广告，包含 3 个角色

输入：

我想要一则《The Office》风格的广告，包含 3 个角色：无能的老板、恼火的女员工，以及过分热情的实习生。请设计语音阵容。

输出：

语音阵容：“Office Chaos”广告

角色 1：Michel（老板）

Profil:
- Homme, 50 ans
- Confiant mais incompétent
- Parle trop fort et trop vite
- S'interrompt lui-même

Voix:
- Medium-aigu (pas grave malgré l'autorité voulue)
- Nasale légèrement
- Volume variable (starts loud, gets louder)
- Phrases inachevées

Prompt ElevenLabs:
"Middle-aged man who thinks he's charismatic but isn't.
Slightly nasal voice, medium-high pitch. Speaks too
loudly and too fast, often interrupting himself.
French accent, corporate buzzwords enthusiast.
Michael Scott energy."

角色 2：Sophie（恼火的女员工）

Profil:
- Femme, 35 ans
- Compétente, fatiguée
- Sarcasme subtil
- Soupirs audibles

Voix:
- Medium, légèrement grave pour femme
- Sèche, précise
- Monotone quand exaspérée
- Soupirs comme ponctuation

Prompt Qwen3-TTS:
"Professional woman in her 30s, tired of everything.
Dry, slightly deadpan delivery. French, neutral accent.
Subtle sarcasm in every line. Occasional audible sighs.
The straight man in every comedy duo."

角色 3：Théo（实习生）

Profil:
- Homme, 22 ans
- Trop enthousiaste
- Voix qui monte en fin de phrase
- Acquiesce à tout

Voix:
- Medium-aigu
- Énergique, rapide
- Upspeak (fin de phrase montante)
- Ponctué de "super!", "génial!"

Prompt:
"Young man, early 20s, overly enthusiastic intern.
High-medium pitch, speaks quickly with upward
inflection at end of sentences. French, sounds
like he just discovered coffee. Every statement
sounds like an excited question."

对话示例

MICHEL: (loud) "Bon, l'équipe! J'ai une GRANDE nouvelle—
        enfin, moyenne—non, grande!"

SOPHIE: (flat) "[soupir] ...C'est la réunion quotidienne."

THÉO: (excited) "Oh WOW! Une grande nouvelle? C'est GÉNIAL!"

MICHEL: "Théo comprend, LUI. Donc, on va—
        comment ça s'appelle—pivoter!"

SOPHIE: "...On a pivoté hier."

THÉO: "RE-pivoter! J'ADORE re-pivoter!"

制作说明

• 分别生成每个角色的语音
• Michel：提升 3-4kHz（让声音更“突出”）
• Sophie：添加轻微的房间混响（营造情感距离）
• Théo：使用压缩控制峰值

为何有效：三个声音通过音域、节奏和能量立即区分开来。对比营造出喜剧效果——Michel 的混乱、Sophie 的冷静和 Théo 的过度热情。

---

检查清单与模板

语音设计检查清单

## Validation Voice Design

### Brief complet
- [ ] Genre et âge définis
- [ ] Registre spécifié (grave/medium/aigu)
- [ ] Texture décrite (lisse/rauque/etc)
- [ ] Énergie et rythme indiqués
- [ ] Accent précisé
- [ ] Références incluses

### Génération
- [ ] Prompt testé avec phrase sample
- [ ] Qualité audio vérifiée (pas de glitches)
- [ ] Volume normalisé
- [ ] Cohérence avec brand voice

### Multi-personnages
- [ ] Voix suffisamment distinctes
- [ ] Registres variés
- [ ] Énergies contrastées
- [ ] Test d'écoute ensemble

---

语音需求简报模板

## Voice Brief: [Projet]

### Identité
**Projet/Marque:** ________________________________
**Type de contenu:** [ ] Pub [ ] Explainer [ ] Narration [ ] Dialogue
**Durée totale:** __________ secondes

### Profil vocal
**Genre:** [ ] M [ ] F [ ] Non-binaire
**Âge:** _______ ans
**Registre:** [ ] Grave [ ] Medium [ ] Aigu

### Caractéristiques
**Texture:** ________________________________
**Énergie:** ________________________________
**Rythme:** ________________________________
**Accent:** ________________________________

### Contexte émotionnel
**L'auditeur doit ressentir:** ________________________________
**Éviter:** ________________________________

### Référence
**Similaire à:** ________________________________

### Solution technique
[ ] ElevenLabs (budget: $_____/mois)
[ ] Qwen3-TTS (self-hosted)
[ ] Clone d'une voix existante

### Script

[粘贴带有停顿提示的脚本]

---

成本对比

## Budget TTS

### ElevenLabs
| Plan | Prix/mois | Caractères | Équivalent |
|------|-----------|------------|------------|
| Free | $0 | 10k | ~2 min |
| Starter | $5 | 30k | ~6 min |
| Creator | $22 | 100k | ~20 min |
| Pro | $99 | 500k | ~100 min |

### Qwen3-TTS (Self-hosted)
| Composant | Coût |
|-----------|------|
| GPU (RTX 3090) | ~$800 one-time |
| Cloud GPU (A10) | ~$1/heure |
| Hébergement | Variable |
| Génération | Illimité |

### Recommandation par volume
- < 5 min/mois → ElevenLabs Free + Qwen3-TTS
- 5-20 min/mois → ElevenLabs Creator ($22)
- 20-100 min/mois → ElevenLabs Pro ($99)
- > 100 min/mois → Qwen3-TTS self-hosted

技能边界

此技能擅长的内容

• 规划音频制作工作流
• 提供技术指导
• 创建质量检查清单
• 提出创意方案

此技能无法做到的内容

• 取代音频工程专业知识
• 做出主观的创意决策
• 直接访问或编辑音频文件
• 保证商业成功

参考资料

• ElevenLabs 文档
• ElevenLabs 声音克隆
• Qwen3-TTS GitHub
• Qwen3-TTS 博客
• MKTG Skills - Étude Écosystème Vidéo IA

相关技能

• ai-video-prompting - 在 Veo 提示词中集成音频
• ai-video-qa - 音频质量检查
• copywriting-ogilvy - 撰写语音脚本

---

技能元数据

• 模式：cyborg

name: ai-voice-design
category: video
subcategory: production
version: 1.0
author: MKTG Skills
source_expert: ElevenLabs + Qwen3-TTS + PJ Ace
source_work: TTS Documentation
difficulty: intermediate
estimated_value: $500-2000 (voice design + production)
tags: [video, ai, voice, tts, elevenlabs, qwen, cloning, audio]
created: 2026-01-25
updated: 2026-01-25