resemble-chatterbox

Resemble Chatterbox

本番環境で表現力豊かな AI 音声、ゼロショット／参照音声の動作、ローカルまたはオンプレミスでのデプロイ、あるいは Chatterbox ファミリーの音声を使った Resemble ホスト型 TTS が必要な場合は、Chatterbox を使用してください。汎用的な「有名人の声まね」ツールとして使用しないでください。すべての参照音声を生体情報／個人データとして扱い、生成前に権利があることを文書で確認してください。

このスキルに記載されている変動する情報は、末尾に記載された Resemble AI、GitHub、Hugging Face、Resemble の公式ドキュメントをもとに、2026-07-10 に確認済みです。

まず利用する方法を選択する

確認済みの情報：

• ローカル／オープンソースの方法：Resemble は、公式の resemble-ai/chatterbox GitHub リポジトリおよび MIT ライセンスの ResembleAI/chatterbox Hugging Face モデルカードを通じて、Chatterbox ファミリーのコードと重みを公開しています。ローカルパッケージは pip install chatterbox-tts でインストールでき、ChatterboxTTS や ChatterboxMultilingualTTS などの Python クラスを利用できます。
• ホスト型の方法：Resemble の音声合成 API は、同期 TTS に https://f.cluster.resemble.ai/synthesize を、チャンク化された WAV にはストリーミング HTTP エンドポイントを使用します。リクエストの認証には Authorization: Bearer YOUR_API_KEY を使用します。
• Resemble がドキュメントで説明しているホスト型 Chatterbox モデルのバージョンには、Chatterbox、Chatterbox-Turbo、Chatterbox Multilingual があります。ホスト型 Turbo は model の値に chatterbox-turbo を指定して選択します。Resemble のモデルバージョンのページには、バージョンコード tts-v4 と tts-v4-turbo も掲載されています。

本番環境での選択：

• オンプレミスでの管理、ベンダーへの音声アップロードなし、カスタムのバッチ処理、オフライン評価、またはモデルを柔軟に変更できることが必要なプロジェクトでは、ローカル／オープンソースの Chatterbox を優先してください。
• マネージド音声、ストリーミング API による配信、運用負荷の軽減、チームの音声ライブラリ、請求サポート、または GPU 推論を管理せずに本番規模で運用することが必要な場合は、ホスト型の Resemble を優先してください。
• 低レイテンシのエージェントや対話ループで、ドキュメントに記載されたパラ言語タグのサポートが重要な場合は、Turbo を優先してください。
• 多言語のボイスクローニングやローカライズには Multilingual V3 を優先してください。優先言語または地域の方言で、より正確な発音が必要な場合は Single Language Pack モデルを使用してください。
• 感情を誇張した英語のナレーションやキャラクターボイスを制作し、ローカルでのクリエイティブな制御が必要で、多言語対応が不要な場合は、英語版のオリジナル Chatterbox を優先してください。

機能の境界

文書で確認できる事実：

• Chatterbox は、Resemble AI によるオープンソースのテキスト読み上げモデルファミリーです。モデルカードでは、Chatterbox Multilingual V3 を5億パラメーターの汎用多言語モデルとして紹介し、選択した言語向けの Single Language Pack ファインチューニング版と、英語のクリエイティブ制御向けのオリジナル Chatterbox も掲載しています。
• 公式ドキュメントとモデルカードには、ゼロショット／参照音声による合成が記載されています。オープンモデルカードには、別の音声を条件付けに使用する audio_prompt_path が示されています。Resemble のマーケティングページでは、オープン版 Chatterbox／Turbo で5秒の参照音声によるクローン作成が可能と説明されています。一方、ホスト型 Resemble のモデルバージョンドキュメントでは、Chatterbox ファミリーの音声クローン作成に必要なデータセット要件として10秒以上を挙げています。
• Chatterbox には、ローカル環境の例で exaggeration パラメーターによる感情／強度の制御機能があります。Resemble のホスト型 Chatterbox-Turbo ドキュメントでは、[cough]、[laugh]、[chuckle] などのパラ言語タグがネイティブでサポートされると説明されています。Turbo のページには、さらに [sigh]、[gasp]、[cough]、[laugh]、[whisper]、[breath] も示されています。
• Resemble のホスト型同期エンドポイントは、テキストまたは SSML を受け付け、上限は3,000文字で、wav または mp3 を返せます。ホスト型ストリーミング HTTP エンドポイントは、上限が2,000文字で、チャンク化された WAV を返します。モデルバージョンのページでは、Chatterbox の各種モデルの文字数制限を2,000文字とし、一部の SSML タグはサポートされないと記載しています。そのため、現在のエンドポイントからの応答でより高い上限が確認できない限り、エンドポイントとモデルのうち厳しい方の制限を適用してください。
• 公開されているホスト型ドキュメントによると、Chatterbox-Turbo は Rapid English 音声と Pre Built Library 音声でサポートされていますが、Chatterbox Multilingual ではサポートされていません。現在のアカウントまたは API の情報でサポートが確認できない限り、カスタムの多言語音声で model: "chatterbox-turbo" を使用できると想定しないでください。
• ホスト型 API の出力には、再生時間、合成時間、サンプルレート、issues などのレスポンスメタデータが含まれます。
• Resemble によると、Chatterbox の出力にはデフォルトで PerTh ウォーターマークが付与されます。オープンモデルカードでは、生成音声に含まれる PerTh ウォーターマークは、MP3 圧縮、音声編集、一般的な加工を経ても維持され、ほぼ100％の検出精度を保つと説明されています。Resemble の PerTh 関連資料では、不可聴のウォーターマークと後からの検出について説明されています。

境界と注意事項：

• 話者の完全な同一性、完璧なアクセントの再現、またはハルシネーションが一切ないことを約束しないでください。V3 はハルシネーションの低減が文書に記載されていますが、排除できるとは記載されていません。
• Resemble の公式ページすべてに同じ言語一覧が掲載されていると想定しないでください。オープンな GitHub／Hugging Face の Chatterbox カードでは、汎用多言語サポートの対象として23言語が挙げられています。Resemble のホスト型ページやモデルページでは、重複するものの一覧は完全には一致せず、より新しいマーケティングページでは追加言語や Single Language Pack にも言及しています。ジョブの実行時に、対象言語が該当するモデルカードまたはホスト型モデルページでサポートされているか確認してください。
• PerTh ウォーターマークを、同意、開示、または不正利用の確認の代わりとして扱わないでください。ウォーターマークは出所を示すためのサポートであり、許可を与えるものではありません。
• PerTh を削除したり、回避しようとしたりしないでください。Resemble は、ウォーターマークの削除は意図された使用に反すると述べています。
• ユーザーが Resemble と契約を締結しているか、該当する TTS ルートを明示的に対象とするドキュメントがある場合を除き、ホスト型 API のデータについて、ゼロリテンションであると説明しないでください。Resemble の公開プライバシー資料によると、個人データ（生体／感覚データを含む）はサービス提供に必要な限り保持されます。Trust Center では、顧客の要件および契約に基づく保持と廃棄の管理について言及しています。

参照音声の取り扱い

文書に記載されている事実：

• ローカルの例では、参照録音を指定するために audio_prompt_path を使用します。
• Resemble の Chatterbox のページでは、ファインチューニングなしで、短い参照クリップからゼロショットで音声を複製できると説明されています。
• Resemble のホステッド音声作成と利用規約では、ユーザーが必要な権利、同意、許可を得ていることが求められます。また Resemble は、音声を複製する対象者本人からの同意を求める場合があります。

本番環境での要件：

1. 参照クリップを使用する前に、音声の権利を確認します。所有者の身元、許可された用途、地域／プラットフォーム、期間、取り消し条件、生成音声に合成音声であることを表示する必要があるかを確認してください。
2. 参照クリップは明瞭なものを使用します。同意を得た話者が1人であること、残響のない音声であること、音楽がないこと、強いノイズ除去によるアーティファクトがないこと、声が重なっていないこと、用途に十分な音声学的・韻律的な多様性があることを確認してください。
3. 可能であれば、参照音声の言語と対象言語を一致させます。言語をまたいで転写する場合、アクセントが残る可能性を考慮し、アクセントと発音の品質確認を行ってください。
4. 公開向け、政治的、医療、金融、または有名人に似せた音声の場合は、明示的な書面による許可を必須とし、曖昧な点があればエスカレーションしてください。
5. 参照クリップと生成した音声は、アクセス制御されたプロジェクトストレージに保存します。ユーザーの承認がない限り、ローカル限定の参照アセットをホステッド API に送信しないでください。

本番環境での経験則：

• ローカルのゼロショットでは、使用するローカルモデルカードが短いプロンプトに対応している場合、まず5～20秒の明瞭な音声から始めます。類似性や安定性が低い場合は、モデルを変更する前に、より長く明瞭なクリップを試してください。
• ホステッド音声作成では、文書に記載された最低10秒以上を想定し、アカウントの最新の音声作成ワークフローに従ってください。
• 推論の前に入力音声を正規化します。モノラルで、音声を中心とし、クリッピングがなく、音量が適度で、長い無音部分をトリミングした状態にしてください。話者の特徴を示す自然な息遣いは残し、無関係な室内ノイズは除去してください。

プロンプトとデリバリーの制御

文書化されている事実：

• ローカルのモデルカードに記載されたヒントによると、exaggeration=0.5、cfg／cfg_weight=0.5前後のデフォルト設定は、ほとんどのプロンプトで適切に機能します。
• 公式のヒントによると、cfgを0.3程度まで下げると、速く話す参照話者のペースが改善する場合があります。表現豊かな、または劇的な話し方には、cfgを下げ、exaggerationを0.7前後まで上げる設定が適しています。
• 公式のヒントでは、exaggerationを高くすると話す速度が上がる傾向があり、cfgを下げることで、より落ち着いたペースに調整できると注意されています。
• Turboは、ホスト型ドキュメントとResembleの資料で、テキストによるパラ言語タグに対応しています。
• ResembleはSSMLを受け付けますが、ホスト型モデルのドキュメントには、ChatterboxでサポートされていないSSMLタグとして<prosody>、<emotion>、<phonemes>、<substitutions>、<emphasis>、<say-as>が記載されています。

本番環境での経験則：

• TTS用のテキストは、文章ではなく、演技用の台本として書きます。細かな指示を詰め込むより、短い節、自然な句読点、意図的な段落分けのほうが重要です。
• 大文字と句読点は、話し方に効果がある場合にのみ使用します。ResembleのChatterboxのページでは、大文字表記が強調に影響すると示されていますが、大文字を多用すると不自然な話し方になる可能性があります。
• 括弧付きのパラ言語タグは、装飾ではなく演技上のイベントとして扱います。使用は控えめにし、通常は文の境目に配置します。
• 長い台本は、意味のまとまりごとに分割します。各チャンクを該当する最も厳しい上限以内に収め、後処理でクロスフェードするか、ルームトーンを合わせます。
• 多言語ローカライズでは、合成前に台本を自然な表現にローカライズします。直訳を入力して、モデルがリズムを整えてくれることを期待しないでください。

推奨される初期設定：

• ニュートラルなナレーション：exaggeration=0.5、cfg_weight=0.5。明瞭な参照音声を使い、標準的な句読点を使用します。
• 劇的なキャラクターの演技：exaggeration=0.65-0.85、cfg_weight=0.25-0.4。文を短くし、ペースをテストします。
• 速く話す参照話者：cfg_weightを0.3に近づけます。後処理で速度を下げる前に、句読点による間を加えます。
• 言語をまたいだクローン音声：Chatterbox Multilingual V3または該当するSingle Language Packを使い、language_idを一致させます。アクセントと対象言語以外の音素をQAで確認します。
• エージェント／IVR向けTurbo：利用可能な場合はホスト型またはローカルのTurboを使います。発話を短くし、[chuckle]や[breath]など必要なタグのみを含めます。

統合パターン

ローカル／オープンなPythonパターン

プロジェクトでPython依存関係をインストールし、ローカルで推論を実行できる場合に使用します。本番環境では、パッケージとモデルのリビジョンを固定してください。

例：

import torchaudio as ta
from chatterbox.tts import ChatterboxTTS

device = "cuda"  # use "mps" or "cpu" only after performance testing
model = ChatterboxTTS.from_pretrained(device=device)

script = (
    "The first launch window opens at dawn. "
    "Keep your voice calm, precise, and just a little awed."
)

wav = model.generate(
    script,
    audio_prompt_path="approved_reference_voice.wav",
    exaggeration=0.55,
    cfg_weight=0.45,
)

ta.save("scene_01_narration.wav", wav, model.sr)

この方法が有効な理由：参照音声による条件付けを明示し、文書化されたデフォルト設定に近い値から開始でき、編集やQAに適した非圧縮WAVを書き出せます。

ローカル多言語パターン

例：

import torchaudio as ta
from chatterbox.mtl_tts import ChatterboxMultilingualTTS

model = ChatterboxMultilingualTTS.from_pretrained(device="cuda", t3_model="v3")

wav = model.generate(
    "Bonjour, votre colis est pret pour le retrait.",
    language_id="fr",
    audio_prompt_path="approved_french_reference.wav",
    exaggeration=0.5,
    cfg_weight=0.5,
)

ta.save("pickup_fr.wav", wav, model.sr)

この方法が有効な理由：V3を明示的に選択し、言語IDを指定することで、意図的にテストする場合を除き、言語間のアクセント転移を避けられます。

ホスト型の同期APIパターン

ユーザーがResemble APIキーとvoice_uuidを持っている場合に使用します。

リクエスト例：

curl -X POST "https://f.cluster.resemble.ai/synthesize" \
  -H "Authorization: Bearer $RESEMBLE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "voice_uuid": "YOUR_APPROVED_VOICE_UUID",
    "data": "Thanks for calling. I can help you check your appointment time.",
    "model": "chatterbox-turbo",
    "output_format": "wav",
    "precision": "PCM_16",
    "sample_rate": 48000,
    "use_hd": false
  }'

この方法が有効な理由：低レイテンシーとパラ言語サポートを得るためにTurboを明示的にリクエストし、編集しやすいWAVを指定できます。audio_contentをbase64からデコードし、長さ／サンプルレート／issuesを保存します。再試行するのは、安全な一時的エラーの場合に限り、バックオフを適用します。

ホスト型のストリーミングパターン

初回の音が出るまでの時間が重要な対話型音声エージェントには、ストリーミングを使用します。dataを短く保ち、WAVがチャンク単位で届くことを想定し、選択した音声がTurboに対応しているか事前に確認します。レイテンシーが許容範囲内で、ユーザーがエクスペリエンスの変更を承認した場合に限り、同期方式に切り替えます。

本番品質保証

納品前に最低限確認する項目：

• 権利：参照音声、スクリプトの内容、予定している配布が許可されています。
• モデルの経路：ローカル／オープンソースかホスト型かを記録し、モデルのバリアント、パッケージ／モデルのリビジョンまたは API のモデル値、日付、設定を記載します。
• テキストの正確性：単語の抜け、幻覚による続き、予期しない繰り返し、スクリプトにないフレーズがありません。
• 音声品質：承認された用途の範囲で、なりすましのリスクを伴わずに類似性が許容でき、チャンク間で声の同一性がぶれません。
• パフォーマンス：ペース、強調、感情表現、呼吸、パラ言語タグがシーンに合っています。
• 言語：発音、アクセント、名前、数字、コードスイッチングが対象者に適しています。
• オーディオエンジニアリング：クリッピング、音切れ、長い無音、ロボットのようなアーティファクト、ルームトーンの不一致、チャンク接合部の不連続がありません。
• ウォーターマーク／来歴：PerTh の動作が無効化または削除されておらず、来歴要件が文書化されています。
• プライバシー／セキュリティ：ホスト型サービスへの入力データのアップロードが承認されており、ローカルの参照ファイルがログや公開成果物に漏えいしていません。
• アクセシビリティと開示：法律、プラットフォームポリシー、またはユーザーの依頼で求められる場合は、音声が AI によって生成されたことを開示します。

よくある失敗と修正方法

• プロンプトにない続きや繰り返しが生じる：チャンクを短くし、句読点を調整し、表現設定を下げ、多言語対応には V3 を試し、新しいシードを使って生成し、実行記録を残します。
• 速すぎる：cfg_weight を下げ、句読点で区切りを追加し、exaggeration の過度な使用を避け、より落ち着いた参照クリップを試します。
• 平坦すぎる：exaggeration を少しずつ上げ、感情の変化がより明確に伝わるようテキストを書き直し、求める活気に合った参照音声を選びます。
• 言語をまたぐ音声クローンでアクセントが混入する：同じ言語の参照音声を使い、正確な言語 ID を設定し、cfg_weight の変更を試すか、Single Language Pack に切り替えます。
• パラ言語タグが文字どおり読み上げられる：実行環境が Turbo／タグに対応しているか確認し、タグ構文を調整するか、タグを削除して別の SFX／息の素材で編集します。
• API による切り詰めや不正なリクエスト：エンドポイント／モデルの上限を下回る長さにテキストを分割し、未対応の SSML を削除して、API が返す issues を確認します。
• 後処理後のウォーターマークへの懸念：利用可能な場合は PerTh 検出を実行し、比較用にマスタリング前の WAV と配布用に書き出したファイルを保管します。

2026-07-10 に確認済みの公式情報源

• Resemble AI Chatterbox の GitHub リポジトリ
• ResembleAI/chatterbox の Hugging Face モデルカード
• Resemble Chatterbox モデルページ
• Resemble Chatterbox Turbo モデルページ
• Resemble Chatterbox Multilingual モデルページ
• Resemble 同期 TTS API リファレンス
• Resemble ストリーミング TTS API リファレンス
• Resemble 認証ドキュメント
• Resemble レート制限ドキュメント
• Resemble モデルバージョンのドキュメント
• Resemble SSML リファレンス
• Resemble 料金ページ
• Resemble 利用規約
• Resemble プライバシーポリシー
• Resemble Trust Center
• Resemble PerTh の GitHub リポジトリ
• Resemble PerTh モデルページ