videoagent-audio-studio

🎙️ VideoAgent Audio Studio

适用场景： 用户要求生成语音、朗读文本、制作画外音、创作音乐或制作音效。

VideoAgent Audio Studio 是一款智能音频调度器。它会分析你的请求，并将其发送给最合适的可用模型——语音和音乐使用 ElevenLabs，快速音效使用 fal.ai——然后返回可直接使用的音频 URL。

---

快速参考

请求类型	最佳模型	延迟
朗读文本 / 画外音	elevenlabs-tts-v3	约 3 秒
低延迟 TTS（实时）	elevenlabs-tts-turbo	<1 秒
背景音乐	cassetteai-music	约 15 秒
音效	elevenlabs-sfx	约 5 秒
根据音频克隆声音	elevenlabs-voice-clone	约 10 秒

---

使用方法

1. 启动 AudioMind 服务（每个会话启动一次）

bash {baseDir}/tools/start_server.sh

这会在端口 8124 上启动 ElevenLabs MCP 服务。该技能会使用它来生成所有音频。

2. 路由请求

分析用户的请求，并通过 MCP 服务调用合适的工具：

文本转语音（TTS）

当用户要求“朗读”“大声读出”“说出”或“制作画外音”时：

Use MCP tool: text_to_speech
  text: "<the text to narrate>"
  voice_id: "JBFqnCBsd6RMkjVDRZzb"   # Default: "George" (professional, neutral)
  model_id: "eleven_multilingual_v2"   # Use "eleven_turbo_v2_5" for low latency

音乐生成

当用户要求“创作”“制作背景音乐”或“制作配乐”时：

Use MCP tool: text_to_sound_effects  (via cassetteai-music on fal.ai)
  prompt: "<music description, e.g. 'upbeat lo-fi hip hop, 90 seconds'>"
  duration_seconds: <duration>

音效（SFX）

当用户要求特定声音时（例如“吱呀作响的门声”“雨滴打在窗户上的声音”）：

Use MCP tool: text_to_sound_effects
  text: "<sound description>"
  duration_seconds: <1-22>

声音克隆

当用户提供音频样本并希望克隆其中的声音时：

Use MCP tool: voice_add
  name: "<voice name>"
  files: ["<audio_file_url>"]

---

对话示例

用户：“帮我把这段文字配上语音：欢迎来到我们的产品发布会”

→ Route to: text_to_speech
  text: "Welcome to our product launch"
  voice_id: "JBFqnCBsd6RMkjVDRZzb"
  model_id: "eleven_multilingual_v2"

🎙️ 画外音已完成！点击此处收听

---

用户：“为播客生成 60 秒的舒缓背景音乐”

→ Route to: cassetteai-music (fal.ai)
  prompt: "relaxing lo-fi background music for a podcast, gentle piano and soft beats, 60 seconds"
  duration_seconds: 60

🎵 背景音乐已就绪！点击此处收听

---

用户：“生成一个科幻风格的开门音效”

→ Route to: text_to_sound_effects
  text: "a futuristic sci-fi door sliding open with a hydraulic hiss"
  duration_seconds: 3

---

设置

必需

在 ~/.openclaw/openclaw.json 中设置 ELEVENLABS_API_KEY：

{
  "skills": {
    "entries": {
      "videoagent-audio-studio": {
        "enabled": true,
        "env": {
          "ELEVENLABS_API_KEY": "your_elevenlabs_key_here"
        }
      }
    }
  }
}

在 elevenlabs.io/app/settings/api-keys 获取你的密钥。

可选（用于 fal.ai 音乐和音效模型）

"FAL_KEY": "your_fal_key_here"

在 fal.ai/dashboard/keys 获取你的密钥。

---

自托管代理

默认情况下，cli.js 会连接到托管代理。如果你想完全掌控，或需要为无法访问 vercel.app 的地区提供服务，可以从 proxy/ 目录部署自己的实例。

快速部署（Vercel）

cd proxy
npm install
vercel --prod

环境变量

在 Vercel 项目中设置这些变量（Dashboard → Settings → Environment Variables）：

变量	用途	获取方式
ELEVENLABS_API_KEY	TTS、SFX、声音克隆	elevenlabs.io/app/settings/api-keys
FAL_KEY	音乐生成	fal.ai/dashboard/keys
VALID_PRO_KEYS	（可选）限制访问	以逗号分隔的允许使用的客户端密钥列表

将 cli.js 指向你的代理

export AUDIOMIND_PROXY_URL="https://your-domain.com/api/audio"

也可以在 ~/.openclaw/openclaw.json 中设置：

{
  "skills": {
    "entries": {
      "videoagent-audio-studio": {
        "env": {
          "AUDIOMIND_PROXY_URL": "https://your-domain.com/api/audio"
        }
      }
    }
  }
}

自定义域名（推荐）

如果用户位于中国大陆，可在 Vercel Dashboard → Settings → Domains 中绑定自定义域名，以避免 vercel.app 的 DNS 问题。

---

模型参考

模型 ID	类型	提供商	说明
eleven_multilingual_v2	TTS	ElevenLabs	质量最佳，支持 29 种语言
eleven_turbo_v2_5	TTS	ElevenLabs	超低延迟，适合实时使用
eleven_monolingual_v1	TTS	ElevenLabs	仅支持英语，速度最快
cassetteai-music	音乐	fal.ai	稳定、快速的音乐生成
elevenlabs-sfx	SFX	ElevenLabs	高品质音效（最长 22 秒）
elevenlabs-voice-clone	克隆	ElevenLabs	根据简短音频样本克隆任意声音

---

更新日志

v3.0.0

• 简化路由表：从主参考中移除了不稳定或离线的模型。此技能现在只提供可稳定使用的模型。
• 明确使用场景触发条件：新增“使用时机”部分，让 Agent 在恰当的时机启用此技能。
• 统一设置：只需设置 ELEVENLABS_API_KEY 即可开始使用。FAL_KEY 现在是可选项。
• 移除轮询复杂性：音乐生成现在默认使用 cassetteai-music，可同步完成。

v2.1.0

• 为耗时较长的音乐生成任务新增异步工作流。
• 新增 cassetteai-music，作为稳定的音乐生成替代方案。

v2.0.0

• 迁移至 ElevenLabs MCP 服务架构。
• 新增声音克隆支持。

v1.0.0

• 首次发布，支持 TTS、音乐和 SFX 路由。