voice-audio-engineer

音声・オーディオエンジニア：音声合成、TTS、音声処理

ElevenLabs とプロフェッショナルなオーディオ技術を用いた、音声合成、音声処理、ボーカル制作の専門家です。TTS、音声クローン、ポッドキャスト制作、音声 UI の設計を専門としています。

このスキルを使用する場面

✅ 次の場合に使用します：

• テキスト読み上げ（TTS）の生成
• 音声クローンと音声デザイン
• 音声から音声への変換
• ポッドキャストの制作と編集
• オーディオブックの制作
• 音声 UI／会話型 AI オーディオ
• 会話音声のミキシングと処理
• ラウドネスの正規化（LUFS）
• 音声品質の向上（ディエッシング、コンプレッション）
• 文字起こしと音声テキスト変換

❌ 次の場合は使用しないでください：

• 空間オーディオ（HRTF、アンビソニックス）→ sound-engineer
• 効果音の生成 → sound-engineer（ElevenLabs SFX）
• ゲームオーディオミドルウェア（Wwise、FMOD）→ sound-engineer
• 音楽の作曲／制作 → DAW ツール
• ライブコンサート／イベントの音響 → 専門分野

MCP インテグレーション

MCP ツール	目的
text_to_speech	音声を選択してテキストから音声を生成します
speech_to_speech	音声録音を別の音声に変換します
voice_clone	音声サンプルから即時音声クローンを作成します
search_voices	ElevenLabs ライブラリから音声を検索します
speech_to_text	話者ダイアライゼーション付きで音声を書き起こします
isolate_audio	背景ノイズから音声を分離します
create_agent	音声対応の会話型 AI エージェントを構築します

専門家と初心者を見分けるポイント

トピック	初心者	専門家
TTS の品質	「どんな音声でもよい」	ブランドに合った音声を選び、感情、ペース、スタイルを考慮します
音声クローン	「どんな音声でもアップロードすればよい」	クリアで変化に富んだ音声が30秒〜3分必要で、話者は1人であるべきだと知っています
ラウドネス	「大きくする」	ポッドキャストでは-16〜-19 LUFS、ストリーミングでは-14 LUFSを目標にします
ディエッシング	「気にしなくてよい」	歯擦音が5〜8kHzにあることを知り、周波数選択型コンプレッションを使います
コンプレッション	「強く押しつぶす」	会話音声には3:1〜4:1を使い、トランジェントを保つために遅めのアタック（10〜20ms）にします
ハイパス	「絶対に使わない」	音声には常に80〜100HzでHPFをかけ、低周波ノイズや破裂音を除去します
トゥルーピーク	「ピークはピーク」	サンプル間ピークが0dBFSを超えることを理解し、-1 dBTPを目標にします
ElevenLabs のモデル	「デフォルトを使う」	品質にはeleven_multilingual_v2、速度にはeleven_flash_v2_5を使います

よくあるアンチパターン

アンチパターン：ノイズのある音声を音声クローンにアップロードする

よくある状態：背景ノイズやエコーのある電話録音から音声クローンを作成する 問題の理由：クローンがノイズを学習し、出力にアーティファクトが生じます 代わりに行うこと：まずisolate_audioを使用します。静かな場所で録音し、変化に富んだ音声を1〜3分用意します

アンチパターン：ラウドネス基準を無視する

よくある状態：ポッドキャストを-6 LUFSにし、その後プラットフォームで正規化されてダイナミクスが潰れる 問題の理由：プラットフォームごとに正規化の方法が異なります。音量が大きすぎると歪み、小さすぎると聞こえません 代わりに行うこと：ポッドキャストは-16 LUFS、ストリーミングは-14 LUFSにマスタリングし、トゥルーピークが常に-1 dBTP未満であることを確認します

アンチパターン：音声に合わないTTSを使う

よくある状態：高級製品にデフォルトのロボット音声を使用する 問題の理由：音声はブランドそのものです。音声が合わないと、感情的なつながりも生まれません 代わりに行うこと：search_voicesで雰囲気の合う音声を探します。ブランドの一貫性を保つために、カスタムクローンも検討します

アンチパターン：処理済み音声にディエッシングをかけない

よくある状態：コンプレッションとEQブーストの後に「シィィィ」という歯擦音が生じる 問題の理由：コンプレッションで歯擦音が目立ち、3〜5kHzのEQブーストでさらに悪化します 代わりに行うこと：コンプレッションの前に5〜8kHzでディエッシングを行い、周波数選択型コンプレッションを使用します

アンチパターン：一発録りで編集しない

よくある状態：「えー」が20回、息の音、長い間が残ったポッドキャスト 問題の理由：リスナーが疲れ、プロらしさが失われ、エンゲージメントが低下します 代わりに行うこと：つなぎ言葉を編集で削除します。ゲート処理または手作業で息の音をカットし、テンポを整えます

進化のタイムライン

2020年以前：ロボットのようなTTS

• 連結合成（録音音声のつなぎ合わせ）
• 明らかにロボットのような品質
• 音声の選択肢が限られている

2020～2022年：ニューラルTTSの登場

• Tacotron、WaveNetにより自然さが向上
• 依然として合成音声だと判別できる
• 音声クローンには数時間分のデータが必要

2023～2024年：AI音声革命

• ElevenLabsによるインスタント音声クローン（30秒）
• TTSで人間に近い品質を実現
• リアルタイムの音声変換
• カスタマーサービス向け音声エージェント

2025年以降：現在のベストプラクティス

• 感情表現に対応したTTS（トーン、ペース、感情を制御）
• 多言語間の音声クローン
• アプリでのリアルタイム音声変換
• パーソナライズされた音声エージェント
• 音声認証との統合

コアコンセプト

ElevenLabsの音声選択

モデルの比較：

モデル	品質	レイテンシ	言語数	用途
eleven_multilingual_v2	最高	高い	29	本番環境、品質重視
eleven_flash_v2_5	良好	最低	32	リアルタイム、音声UI
eleven_turbo_v2_5	より良い	低い	32	バランス重視

音声パラメーター：

# Stability: 0-1 (lower = more expressive, higher = more consistent)
# Similarity boost: 0-1 (higher = closer to original voice)
# Style: 0-1 (higher = more exaggerated style)

# For natural speech:
stability = 0.5       # Balanced expression
similarity = 0.75     # Close to voice but natural
style = 0.0           # Neutral (increase for dramatic)

音声クローンのベストプラクティス

音声要件：

• 長さ：1～3分（長いほど良いですが、3分を超えると効果は次第に薄れます）
• 品質：クリアで、背景ノイズや残響がないこと
• 内容：変化に富んだ発話（質問、断定文、感情表現）
• 形式：WAV/MP3、44.1kHz以上

クローンのワークフロー：

1. isolate_audio でソース素材をクリーンアップする
2. クリーンアップした音声で voice_clone を実行する
3. さまざまなプロンプトでテストする
4. 出力品質に合わせて安定性／類似度を調整する

音声処理チェーン

標準的な音声チェーン（順序が重要です！）：

[Raw Recording]
    ↓
[High-Pass Filter @ 80Hz]  ← Remove rumble, plosives
    ↓
[De-esser @ 5-8kHz]        ← Before compression!
    ↓
[Compressor 3:1, 10ms/100ms] ← Smooth dynamics
    ↓
[EQ: +2dB @ 3kHz presence] ← Clarity boost
    ↓
[Limiter -1 dBTP]          ← Prevent clipping
    ↓
[Loudness Norm -16 LUFS]   ← Target loudness

ラウドネスの基準

プラットフォーム／形式	目標LUFS	トゥルーピーク
ポッドキャスト	-16～-19	-1 dBTP
オーディオブック（ACX）	-18～-23 RMS	-3 dBFS
YouTube	-14	-1 dBTP
Spotify/Apple Music	-14	-1 dBTP
放送（EBU R128）	-23 ±1	-1 dBTP

測定：

• LUFS = ラウドネス単位フルスケール（統合値）
• トゥルーピーク = サンプル間ピークを含む最大レベル
• 必ずK重み付け（ITU-R BS.1770）で測定する

会話型AIエージェント

ElevenLabsエージェントの設定：

create_agent(
    name="Support Agent",
    first_message="Hi, how can I help you today?",
    system_prompt="You are a helpful customer support agent...",
    voice_id="your_voice_id",
    language="en",
    llm="gemini-2.0-flash-001",  # Fast for conversation
    temperature=0.5,
    asr_quality="high",          # Speech recognition quality
    turn_timeout=7,              # Seconds before agent responds
    max_duration_seconds=300     # 5 minute call limit
)

音声UIで考慮する点：

• リアルタイム用途では高速モデル（eleven_flash_v2_5）を使用する
• 応答は簡潔にする（< 30 seconds）
• 自然な会話の流れになるよう、ポーズを加える
• 割り込みには適切に対応する

クイックリファレンス

音声選択の判断ツリー

• ブランド／プロ向けコンテンツですか？ → カスタムクローンまたは厳選された音声
• リアルタイム／対話型ですか？ → eleven_flash_v2_5 モデル
• 品質が最重要ですか？ → eleven_multilingual_v2 モデル
• 複数の言語を使いますか？ → 音声ごとの対応言語を確認する

処理の判断ツリー

• 音声がこもって聞こえますか？ → 80HzでHPFを適用し、3kHzをブーストする
• 歯擦音が耳障りですか？ → 5～8kHzでディエッサーを適用する
• 音量が一定しませんか？ → 3:1で圧縮してからリミッターを適用する
• 音量が小さすぎますか？ → 目標LUFSにノーマライズする
• 背景ノイズがありますか？ → 先に isolate_audio を使用する

一般的な設定

De-esser: 5-8kHz, -6dB reduction, Q=2
Compressor: 3:1 ratio, -20dB threshold, 10ms attack, 100ms release
EQ presence: +2-3dB shelf at 3kHz
HPF: 80-100Hz, 12dB/oct
Limiter: -1 dBTP ceiling

発話の非流暢性への対応

クラタリングと吃音の違い

種類	特徴	ASRへの影響
吃音	繰り返し（「I-I-I」）、引き伸ばし（「wwwant」）、ブロック（無音の間）	単語境界が混乱し、繰り返しが誤認識される
クラタリング	不規則な発話速度、音節の短縮、フィラーの多用、話題がそれる発話	単語が結合され、発話速度の変化によってタイミングが乱れる

非流暢な発話におけるASRの課題

ほとんどのASRモデルは流暢な発話で学習されています。非流暢性によって、次の問題が生じます：

• 単語境界の検出エラー
• 繰り返しが文字どおりに書き起こされる（「I I I want」と「I want」の違い）
• 短縮された音節が完全に見落とされる
• 不規則なペースによってタイミングモデルが混乱する

解決策と回避策

1. モデルの選択（言いよどみへの対応力が高い順）：

• Whisper large-v3 - 言いよどみに最も強い
• ElevenLabs speech_to_text - さまざまな話し方に対応
• Google Speech-to-Text - 強化モデルなら十分な性能
• 高速・軽量モデル - 通常、最も性能が低い

2. 前処理：

# Normalize speech rate before ASR
# Use librosa to stretch irregular segments toward target rate
import librosa
y, sr = librosa.load("disfluent.wav")
y_stretched = librosa.effects.time_stretch(y, rate=0.9)  # Slow down

3. 後処理：

• 重複する単語を削除します：「I I I want」→「I want」
• よく使われるフィラーを取り除きます：「um」、「uh」、「like」、「you know」
• 意味を保ちながら文字起こしを整えるためにLLMを使用します

4. Whisperのファインチューニング（上級者向け）：

# Fine-tune on disfluent speech dataset
# Datasets: FluencyBank, UCLASS, SEP-28k (stuttering)
from transformers import WhisperForConditionalGeneration, WhisperProcessor

model = WhisperForConditionalGeneration.from_pretrained("openai/whisper-large-v3")
# Fine-tune on your speech samples with corrected transcripts
# Training loop with disfluent audio → fluent transcript pairs

5. ElevenLabsのボイスクローニングのアプローチ：

• 流暢な音声部分から自分の声をクローンします
• TTSを使って、自分の声で流暢な音声を出力します
• 録音済みコンテンツには最適ですが、ライブには向きません

アクセシビリティに関する考慮事項

• 手動で文字起こしを修正できるオプションを必ず用意します
• ASRと人間による確認を組み合わせる方法を検討します
• 音声UIでは、タイムアウトを長めに設定し、確認プロンプトを表示します
• 対象ユーザー層の実際のユーザーでテストします

パフォーマンス目標

操作	通常の所要時間
TTS（100語）	2～5秒
ボイスクローンの作成	10～30秒
音声から音声への変換	3～8秒
文字起こし（音声1分）	5～15秒
音声の分離	5～20秒

連携先

• sound-engineer - 空間オーディオ、ゲームオーディオ、プロシージャルSFX向け
• native-app-designer - アプリでの音声UIの実装
• vr-avatar-engineer - アバターの音声連携

---

詳細な実装について：/references/implementations.mdを参照してください

覚えておいてください：声は親密なものです。聞き手の脳に直接語りかけます。ブランドに合った声を選び、音量ではなく明瞭さを重視して処理し、プラットフォームのラウドネス基準を必ず守ってください。ElevenLabsを使えば、プロ品質の音声合成をすぐに利用できます。慎重に活用してください。