videoagent-audio-studio

🎙️ VideoAgent Audio Studio

使用する場面： 音声の生成、テキストのナレーション、ボイスオーバーの作成、音楽の作曲、効果音の制作をユーザーが依頼した場合。

VideoAgent Audio Studio は、スマートなオーディオディスパッチャーです。リクエストを分析し、利用可能な最適なモデルに振り分けます。音声と音楽には ElevenLabs、高速な SFX には fal.ai を使用し、すぐに利用できる音声 URL を返します。

---

クイックリファレンス

リクエストの種類	最適なモデル	レイテンシ
テキストのナレーション／ボイスオーバー	elevenlabs-tts-v3	約3秒
低レイテンシの TTS（リアルタイム）	elevenlabs-tts-turbo	1秒未満
BGM	cassetteai-music	約15秒
効果音	elevenlabs-sfx	約5秒
音声から声をクローン	elevenlabs-voice-clone	約10秒

---

使い方

1. AudioMind サーバーを起動する（セッションごとに1回）

bash {baseDir}/tools/start_server.sh

これにより、ElevenLabs MCP サーバーがポート 8124 で起動します。このスキルは、すべての音声生成にこれを使用します。

2. リクエストを振り分ける

ユーザーのリクエストを分析し、MCP サーバー経由で適切なツールを呼び出します。

テキスト読み上げ（TTS）

ユーザーが「ナレーションする」「声に出して読む」「話す」「ボイスオーバーを作成する」と依頼した場合：

Use MCP tool: text_to_speech
  text: "<the text to narrate>"
  voice_id: "JBFqnCBsd6RMkjVDRZzb"   # Default: "George" (professional, neutral)
  model_id: "eleven_multilingual_v2"   # Use "eleven_turbo_v2_5" for low latency

音楽の生成

ユーザーが「作曲する」「BGM を作成する」「サウンドトラックを作る」と依頼した場合：

Use MCP tool: text_to_sound_effects  (via cassetteai-music on fal.ai)
  prompt: "<music description, e.g. 'upbeat lo-fi hip hop, 90 seconds'>"
  duration_seconds: <duration>

効果音（SFX）

ユーザーが特定の音（例：「きしむドア」「窓に当たる雨」）を依頼した場合：

Use MCP tool: text_to_sound_effects
  text: "<sound description>"
  duration_seconds: <1-22>

音声のクローン

ユーザーが音声サンプルを提供し、その声のクローンを希望する場合：

Use MCP tool: voice_add
  name: "<voice name>"
  files: ["<audio_file_url>"]

---

会話例

ユーザー：「このテキストを読み上げてください：製品発表会へようこそ」

→ Route to: text_to_speech
  text: "Welcome to our product launch"
  voice_id: "JBFqnCBsd6RMkjVDRZzb"
  model_id: "eleven_multilingual_v2"

🎙️ ナレーションができました！こちらから再生

---

ユーザー：「ポッドキャスト用に、60秒のリラックスできるBGMを生成してください」

→ Route to: cassetteai-music (fal.ai)
  prompt: "relaxing lo-fi background music for a podcast, gentle piano and soft beats, 60 seconds"
  duration_seconds: 60

🎵 BGM の準備ができました！こちらから再生

---

ユーザー：「SF風のドアが開く効果音を生成してください」

→ Route to: text_to_sound_effects
  text: "a futuristic sci-fi door sliding open with a hydraulic hiss"
  duration_seconds: 3

---

セットアップ

必須

~/.openclaw/openclaw.json に ELEVENLABS_API_KEY を設定します。

{
  "skills": {
    "entries": {
      "videoagent-audio-studio": {
        "enabled": true,
        "env": {
          "ELEVENLABS_API_KEY": "your_elevenlabs_key_here"
        }
      }
    }
  }
}

キーは elevenlabs.io/app/settings/api-keys で取得できます。

任意（fal.ai の音楽・SFX モデルを使用する場合）

"FAL_KEY": "your_fal_key_here"

キーは fal.ai/dashboard/keys で取得できます。

---

プロキシのセルフホスト

cli.js はデフォルトでホスト型プロキシに接続します。完全な制御が必要な場合や、vercel.app がブロックされている地域のユーザーにサービスを提供する必要がある場合は、proxy/ ディレクトリから独自のインスタンスをデプロイできます。

クイックデプロイ（Vercel）

cd proxy
npm install
vercel --prod

環境変数

Vercel プロジェクトで設定します（Dashboard → Settings → Environment Variables）。

変数	必要な機能	取得先
ELEVENLABS_API_KEY	TTS、SFX、音声クローン	elevenlabs.io/app/settings/api-keys
FAL_KEY	音楽の生成	fal.ai/dashboard/keys
VALID_PRO_KEYS	（任意）アクセス制限	許可するクライアントキーをカンマ区切りで指定

cli.js の接続先を独自のプロキシに変更する

export AUDIOMIND_PROXY_URL="https://your-domain.com/api/audio"

または、~/.openclaw/openclaw.json で設定します。

{
  "skills": {
    "entries": {
      "videoagent-audio-studio": {
        "env": {
          "AUDIOMIND_PROXY_URL": "https://your-domain.com/api/audio"
        }
      }
    }
  }
}

カスタムドメイン（推奨）

ユーザーが中国本土にいる場合は、DNS の問題を避けるため、Vercel Dashboard → Settings → Domains でカスタムドメインを設定してください。

---

モデルリファレンス

モデル ID	種類	プロバイダー	備考
eleven_multilingual_v2	TTS	ElevenLabs	最高品質で、29言語に対応
eleven_turbo_v2_5	TTS	ElevenLabs	超低レイテンシで、リアルタイムに最適
eleven_monolingual_v1	TTS	ElevenLabs	英語のみ対応、最速
cassetteai-music	音楽	fal.ai	安定した高速の音楽生成
elevenlabs-sfx	SFX	ElevenLabs	高品質な効果音（最大22秒）
elevenlabs-voice-clone	クローン	ElevenLabs	短い音声サンプルから任意の声をクローン

---

変更履歴

v3.0.0

• シンプルになったルーティングテーブル：不安定なモデルやオフラインのモデルをメインのリファレンスから削除しました。このスキルでは、安定して動作するモデルのみを表示するようになりました。
• ユースケースのトリガーを明確化：エージェントが適切なタイミングでこのスキルを有効にできるよう、「使用する状況」セクションを追加しました。
• セットアップを統一：開始に必要なのは単一の ELEVENLABS_API_KEY だけです。FAL_KEY は任意になりました。
• ポーリングの複雑さを解消：音楽生成では、デフォルトで cassetteai-music を使用するようになり、同期的に完了します。

v2.1.0

• 時間のかかる音楽生成タスク向けに、非同期ワークフローを追加しました。
• 音楽生成の安定した代替手段として、cassetteai-music を追加しました。

v2.0.0

• ElevenLabs MCP サーバーのアーキテクチャに移行しました。
• 音声クローン機能を追加しました。

v1.0.0

• TTS、音楽、SFX のルーティング機能を備えた初回リリースです。