mcpField
A
audio-generation

audio-generation

github.com/massgen创意与媒体1.1k76 次安装20 周前更新
代码仓库

关于 audio-generation

audio-generation 是使用 generate_media 生成语音、音乐、音效等音频的技能指南，介绍 ElevenLabs 和 OpenAI 选项；ElevenLabs 语音生成失败时可回退至 OpenAI。

主要功能

  1. 01生成文本转语音音频
  2. 02创作音乐和音效
  3. 03转换、隔离、克隆或设计声音
  4. 04将音频配音为其他语言
  5. 05选择后端、音色和输出格式

适用场景

  1. 01制作演示文稿旁白
  2. 02根据文本生成音乐或音效
  3. 03制作翻译后的音频配音
  4. 04转换或清理现有语音音频

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/massgen/massgen --skill audio-generation

安装后在 Claude Code 中输入/audio-generation确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

references/
advanced.md
music_and_sfx.md
voices.md

详细介绍

音频生成

使用 generate_media 并设置 mode="audio" 生成音频。支持语音（TTS）、音乐和音效。优先使用 ElevenLabs（如果可用），否则回退到 OpenAI。

快速开始

# Text-to-speech (auto-selects ElevenLabs if key available)
generate_media(prompt="Hello, welcome to our presentation!", mode="audio")

# With specific voice
generate_media(prompt="Hello!", mode="audio", voice="Rachel")

# Music generation (ElevenLabs only)
generate_media(prompt="Upbeat jazz piano with soft drums", mode="audio",
               audio_type="music", duration=30)

# Sound effects (ElevenLabs only)
generate_media(prompt="Thunder rolling across a mountain valley", mode="audio",
               audio_type="sound_effect", duration=5)

音频类型

类型后端描述
"speech"（默认）ElevenLabs、OpenAI文本转语音，可选择声音
"music"仅 ElevenLabs根据文本提示词生成音乐
"sound_effect"仅 ElevenLabs生成音效
"voice_conversion"仅 ElevenLabs更改现有音频的声音（语音转语音）
"audio_isolation"仅 ElevenLabs移除背景噪声，分离人声
"voice_design"仅 ElevenLabs根据文本描述创建新的合成声音
"voice_clone"仅 ElevenLabs根据音频样本克隆声音
"dubbing"仅 ElevenLabs将音频翻译并配音成另一种语言

后端比较

后端默认模型支持内容API 密钥
ElevenLabs（优先级 1）eleven_multilingual_v2语音、音乐、音效ELEVENLABS_API_KEY
OpenAI（优先级 2）gpt-4o-mini-tts仅语音OPENAI_API_KEY

如果 ElevenLabs TTS 失败，系统会自动回退到 OpenAI TTS。

关键参数

参数描述示例
prompt要朗读的文本（语音）或描述（音乐/音效）"Hello world!"
voice声音名称或 ID"Rachel"、"nova"、"alloy"
audio_type音频类型"speech"、"music"、"sound_effect"
duration时长（秒，仅适用于音乐/音效）30
instructions说话风格（仅适用于 OpenAI gpt-4o-mini-tts）"warm, reflective tone"
audio_format输出格式"mp3"、"wav"、"opus"

声音速查

ElevenLabs（热门声音）：

声音特点
Rachel温暖、健谈的女性声音
Sarah清晰、专业的女性声音
Josh友好的男性声音
Adam深沉、权威的男性声音
Emily明亮、活泼的女性声音

OpenAI 声音：alloy、echo、fable、onyx、nova、shimmer、coral、sage

重要提示：prompt 与 instructions

对于语音，prompt 是要逐字朗读的文本。风格指导应放在 instructions 中：

# CORRECT: prompt = text to speak, instructions = how to speak it
generate_media(
    prompt="Welcome to the annual report presentation.",
    mode="audio",
    voice="alloy",
    instructions="warm, reflective tone with measured pacing",
    backend_type="openai"
)

# WRONG: Don't put style instructions in prompt
generate_media(prompt="Say this warmly: Welcome...", mode="audio")  # Bad!

instructions 仅适用于 OpenAI gpt-4o-mini-tts。ElevenLabs 使用声音选择来控制语调。

音频理解

使用 read_media（而非 generate_media）分析现有音频：

read_media(path="recording.mp3", prompt="Transcribe and summarize this audio")

需要更多控制？

评论

支持 Markdown