mcpField
Q
qwen3-tts

qwen3-tts

github.com/calesthio创意与媒体219107 次安装15 周前更新
代码仓库

关于 qwen3-tts

用于规划、调用、审核和记录 Alibaba/Qwen Qwen3-TTS 语音生成的制作技能，涵盖托管 DashScope 与开放权重模型，以及批量合成、实时流式生成、声音控制和多语言输出。

主要功能

  1. 01托管与开放权重路线选择
  2. 02非实时 HTTP/SSE 合成
  3. 03实时 WebSocket 流式生成
  4. 04声音设计与经同意的克隆
  5. 05多语言语音与发音质检

适用场景

  1. 01生成旁白和在线课程音频
  2. 02在对话应用中流式输出语音
  3. 03根据文字描述创建声音
  4. 04使用已获同意的语音样本生成语音

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/calesthio/generative-media-skills --skill qwen3-tts

安装后在 Claude Code 中输入/qwen3-tts确认已加载。

附带文件EVAL.md

详细介绍

Qwen3-TTS 生产指南

使用此技能规划、调用、审核并记录 Qwen3-TTS 语音生成。请将以下所有模型 ID、价格、区域、配额、语音列表和限制视为易变信息；标注为“已于 2026-07-10 验证”的事实，是在该日期根据 Alibaba/Qwen 官方来源核查的。

什么是 Qwen3-TTS，以及应关注的边界

已记录的事实：

生产经验法则：

  • 需要托管基础设施、内置语音、快速创建自定义语音或生产可追溯性时，使用托管 DashScope。只有在具备 GPU 资源、需要本地/私有推理、需要检查或调整模型行为，或不能将脚本/音频数据发送给托管服务提供商时，才使用开放权重。

模型和路由选择

根据生产需求选择路由，而不是选择最新的模型名称。

需求优先选择原因
使用内置语音、交付方式简单的中短内容通过非实时 HTTP/SSE 使用 qwen3-tts-flash按字符计费的托管模型，语音列表丰富，处理文件 URL 简单。
带有「温暖但急迫」或「广播剧反派」等表现指示qwen3-tts-instruct-flash 或实时 instruct 模型支持自然语言 instructions；指示文本支持中文和英文，API 参考中的限制为 1,600 个 token。
根据文字描述创建品牌/新角色语音使用 Qwen-TTS Voice Design，然后通过 qwen3-tts-vd-* 合成Voice Design 可根据自然语言描述创建自定义语音，无需音频样本。
根据说话者样本克隆其语音，并已获得同意使用 Qwen-TTS Voice Cloning，然后通过 qwen3-tts-vc-* 合成根据 Alibaba 的用户指南，Voice Cloning 可通过 10 至 20 秒的样本创建自定义语音。
文本仍在接收时就必须开始朗读的对话应用Qwen3-TTS 实时 WebSocket支持流式输入/输出、服务端或客户端提交模式、增量音频事件和低延迟播放。
本地/开放式部署或研究Qwen/Qwen3-TTS-* 开放检查点Apache-2.0 开放权重方案；需要本地推理工程和质量保证。

文档记录的模型/区域快照（已于 2026-07-10 验证）：

调用模式与产物保管

非实时 HTTP/SSE

适用于批量内容、旁白片段、广告、本地化台词和渲染任务，此类任务对几秒钟的延迟并不敏感。

文档说明的事实：

  • 非实时 Qwen3-TTS 使用多模态生成端点，并传入 model、input text、voice 和可选的 language_type；添加 X-DashScope-SSE: enable 可启用流式输出。来源：https://help.aliyun.com/en/model-studio/qwen-tts-api。
  • 根据 Qwen API 参考，text 和 voice 为必填项，language_type 默认为 Auto；受支持的特定语言值包括中文、英语、德语、意大利语、葡萄牙语、西班牙语、日语、韩语、法语和俄语。该参考还指出，对于单语言文本，指定特定语言通常比使用 Auto 的效果更好。来源：https://help.aliyun.com/en/model-studio/qwen-tts-api。
  • API 响应包含用于故障排查的 request_id。完整音频通过 output.audio.url 提供，有效期为 24 小时；在流式模式下，完整 URL 会出现在最后一个数据块中，而中间的数据块包含 Base64 音频数据。来源：https://help.aliyun.com/en/model-studio/qwen-tts-api。
  • Qwen3-TTS-Flash 的用量报告提供 characters；较旧的 Qwen-TTS 用量报告提供 token 字段。来源：https://help.aliyun.com/en/model-studio/qwen-tts-api。

生产要求：

  1. 在达到文档规定的单次请求文本限制之前，先按语义单元拆分脚本。Qwen API 参考指出，Qwen-TTS 的最大输入为 512 个 token，其他模型为 600 个字符；除非当前文档另有说明，否则应将 Qwen3-TTS-Flash 视为受字符数限制。
  2. 立即下载每个返回的音频 URL。不要让生产素材仅通过有效期为 24 小时的服务商 URL 引用。
  3. 为每个片段保存一条清单记录：模型 ID、区域、端点、voice ID、language_type、使用的指令文本、request_id、服务商用量、本地文件路径、源文本哈希值和生成时间戳。
  4. 对于较长的旁白，按段落生成片段，保持室内底噪一致，并对片段衔接处进行后期处理；不要依赖一个超长请求。

示例：非实时内置语音旁白

curl -X POST "https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation" \
  -H "Authorization: Bearer $DASHSCOPE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3-tts-flash",
    "input": {
      "text": "Today we will turn a dense product update into a story your sales team can remember.",
      "voice": "Cherry",
      "language_type": "English"
    }
  }'

这样组织的原因：由于台词只有一种语言，因此指定 language_type；使用新加坡区域密钥时，使用工作区专属的新加坡端点；保留 request_id 并立即下载返回的 URL。如果台词需要情绪或表演指导，请改用 instruct 系列，而不是把指导内容塞进口播文本。

实时 WebSocket

适用于助手、交互式阅读器、实时聊天虚拟形象，或将 LLM 文本流式转换为语音的应用。

文档说明的事实：

生产建议：

  • 对于接收不可预测文本块的助手，选择 server_commit，因为它有助于确保句子完整。只有当客户端可以缓冲完整短语，且你要将延迟降至最低时，才选择 commit。
  • QA 和后期制作阶段默认使用 PCM 或 WAV。只有在检查发音、剪辑和响度后，才使用 MP3 或 Opus 进行交付，以节省带宽。
开放权重路径

已记录的事实：

  • Qwen 的 GitHub 仓库将开源 Qwen3-TTS 模型和分词器列为采用 Apache-2.0 许可，并展示了 Base、CustomVoice 和 VoiceDesign 检查点的本地用法，例如 Qwen/Qwen3-TTS-12Hz-1.7B-Base、Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice 和 Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign。来源：https://github.com/QwenLM/Qwen3-TTS。
  • 技术报告指出，Qwen3-TTS 使用了超过 500 万小时的多语言语音数据进行训练，并针对多语言、跨语言、可控生成、目标说话人和长语音任务进行了评估。来源：https://arxiv.org/html/2601.15621v1。

生产启发：

  • 对于本地部署，请自行定义服务契约：最大文本长度、采样率、文件格式、语音注册存储、日志记录、脱敏、GPU 内存范围、并发量和内容审核。开源模型不会自动继承托管版 DashScope 的数据保留、计费、配额或审计行为。

语音、多语言语音、方言和发音

已记录的事实：

生产要求：

  1. 对于单语言文本，请明确设置 language_type。
  2. 对于混合语言文本，请使用 Auto，但要预期可能出现发音遗漏。请对每个专有名词、首字母缩略词、数字和语码转换边界进行质量检查。
  3. 不要承诺克隆或设计的语音能够输出方言；只有当前语音列表确认支持的方言内置语音才可用于此目的。
  4. 维护一份发音表。如果 Qwen3-TTS 误读品牌名、人名、URL 或缩写，请在脚本中按读音改写文本，或单独重录该词。

指令控制、语音设计和语音克隆

指令控制

已记录的事实：

生产启发：

  • 将 instructions 视为表演指导，而非台词内容。保持口播文本简洁，只在 instructions 中填写表达要求：年龄、语速、音高、情绪、音色、用途、发音和力度。
  • 对高风险的情感表达内容，先进行试运行，再使用 optimize_instructions: true；由于它会从语义上改写内部指令，请对关键品牌或角色意图进行回归测试。

示例：使用指令控制演绎广告文案

{
  "model": "qwen3-tts-instruct-flash",
  "input": {
    "text": "Your first invoice should feel like momentum, not paperwork.",
    "voice": "Ryan",
    "language_type": "English",
    "instructions": "Male young-adult commercial narrator. Confident, rhythmic, lightly amused. Medium-fast pace, crisp consonants, small smile in the voice. Build energy on 'momentum' and land 'not paperwork' with a dry, friendly contrast.",
    "optimize_instructions": true
  }
}

预期结果：表达有力且受控的口播，不会在口播台词中混入带方括号的舞台指示。失败表现：表演过度、音高变化过大、辅音被截断，或模型没有体现出对比效果。修正方法：减少形容词，并明确说明一两项可观察到的表达变化。

音色设计

已记录的事实：

生产工作流：

  1. 编写音色需求说明，包含年龄范围、性别或中性特征、音高、语速、情绪、音色、支持的口音、发音方式和制作用途。
  2. 预算允许时，创建 3-5 个候选音色。音色设计具有非确定性。
  3. 使用实际脚本体裁试听每个候选音色，而不只是试听服务商提供的预览。
  4. 保存选定的 voice_id、创建请求、预览音频、选择说明和权利/审批记录。
  5. 如果服务商账户接近配额上限，或不应保留该音色，请在项目结束后删除未使用的自定义音色。

示例：为学习应用设计音色

音色提示词：

Neutral young-adult educator, approximately 28 years old, clear mid pitch, moderate pace, precise articulation, warm but not childish, calm enthusiasm, low vocal fry, suitable for explaining math and science concepts to high-school students.

预览文本：

Let's slow the problem down and look for the pattern hiding in the numbers.

为何有效：它描述了可观察到的声音特征和使用场景，而没有要求模仿名人。请用定义、方程式和鼓励性语句试听；淘汰听起来过于戏剧化、居高临下或气声过重的候选音色。

声音克隆

已记录的事实：

生产要求：

  • 仅在已获得样本及由此生成的合成声音的明确同意和相关权利后进行克隆。将同意记录与生产清单一同保存。
  • 除非项目已获得针对确切用途、时长、地域和分发渠道的明确书面授权，否则不得克隆公众人物、客户高管、员工、演员、儿童或私人个体的声音。
  • 使用干净、无混响且靠近麦克风录制的源音频；避免使用背景音乐、房间回声、多个说话者、压缩失真或极端情绪表达，除非这些正是所需身份特征。
  • 不要将克隆用作发音问题的权宜之计。如果不需要特定身份，优先使用内置声音或声音设计。

定价、配额、隐私与合规

已核实的记录事实（2026-07-10）：

  • 阿里巴巴的定价页面说明，Qwen3-TTS 非实时和实时服务按输入文本字符数计费，不对输出收费。页面列出的国际部署价格为：qwen3-tts-flash 每 10,000 个字符 0.733924 CNY，qwen3-tts-instruct-flash 每 10,000 个字符 0.8 CNY；实时 Qwen3-TTS Flash/Instruct/VD/VC 变体的价格约为每 10,000 个字符 0.954101 至 1 CNY，具体取决于服务部署范围和模型部分。来源：https://help.aliyun.com/zh/model-studio/model-pricing。
  • 同一定价页面列出的价格为：qwen-voice-enrollment 每个自定义声音 0.01 CNY，qwen-voice-design 每个自定义声音 0.2 CNY；部分章节对中国大陆部署提供免费配额，其他部署范围则没有免费配额。来源：https://help.aliyun.com/zh/model-studio/model-pricing。
  • 阿里云百炼的隐私文档说明，百炼不会将客户数据用于模型训练；应用构建和模型训练期间传输的数据使用 AES-256 加密。文档还说明，百炼符合 SOC 2 标准，且获得无保留意见。来源：https://www.alibabacloud.com/help/en/model-studio/privacy-notice。
  • 阿里云的一般隐私政策说明了个人数据传输、保留、安全、删除和权利相关条款；政策称，数据保留期限取决于处理目的、法律要求和持续的业务需要。来源：https://www.alibabacloud.com/help/en/legal/latest/alibaba-cloud-international-website-privacy-policy。

生产要求：

  1. 每次付费批量处理前都要重新核实价格和免费配额。不要将上述价格视为永久有效。
  2. 将 API 密钥保存在环境变量中。不要将密钥粘贴到脚本、日志、笔记本、提示词或生成的清单中。
  3. 将输入脚本、参考声音样本、克隆声音 ID、预览音频和生成的声音资源视为敏感生产数据。
  4. 如果项目涉及健康、儿童、法律、金融、员工、名人或生物特征声音身份数据，请在合成前提交法律和隐私审查。
  5. 记录使用的是托管推理还是本地推理。托管百炼的隐私保障不自动适用于本地部署、第三方网关或下载的开放权重。

交付前 QA 检查清单

对每个最终版或供客户审核的音频素材运行以下检查：

  • 文本准确性：不得遗漏、臆造或重复词语，不得出现错误数字、错误单位或字幕不匹配。
  • 发音：检查姓名、品牌、缩写、URL、多语言词语、方言声明和语码转换。
  • 表现：检查语速、情绪、权威感、亲和力、年龄印象、类型契合度和指令遵循情况。
  • 声音身份：内置声音或自定义 voice_id 与已批准的决策相符；不得意外回退到其他模型或区域。
  • 音频技术质量：检查咔嗒声、削波、静音、截断、明显的压缩瑕疵、采样率不匹配、声道数、响度、首尾留白以及片段衔接处的咔嗒声。
  • 权利与隐私：克隆声音需有同意文件，源文本符合要求，不得模仿公众人物，不得使用未经批准的未成年人声音，也不得泄露服务提供商 URL。
  • 保管：存在本地不可变文件；清单包含模型、声音、区域、request_id/session_id、文本哈希、用量和生成时间。

对于长篇制作，需结合音乐和画面进行试听。Qwen3-TTS 单独试听时可能效果出色，但剪辑进视频后，时序、口型同步或情绪连贯性可能出现问题。

故障排除

  • 朗读机械或平淡：切换到 instruct 模型，减少含糊的形容词，明确指定具体的语速、音高和吐字方式，并将较短的分句重新录制。
  • 表演过度：删去堆叠的情绪词，降低强度，选择更平和的内置声音，或关闭指令优化后重新录制。
  • 专有名词发音错误：设置准确的 language_type，改用注音写法，单独处理该句，并记录所用拼写。
  • 混合语言错误：仅在必要时使用 Auto；在自然的地方按语言拆分，或使用明确的语言设置生成不同片段。
  • 自定义声音不符合要求：生成多个 Voice Design 候选；该功能已注明具有非确定性。
  • 克隆声音不稳定：使用更清晰的源音频，确认已获得同意且样本身份无误，创建新声音，并在批量合成前用多条有代表性的句子进行测试。
  • 实时生成截断短语：使用 server_commit，或在 commit 前缓冲完整分句。
  • 缺少完整音频文件：对于 SSE，等待最后一个数据块；完整 URL 仅在最后返回。
  • URL 过期：重新生成，或使用之前下载的本地副本；文档说明服务提供商 URL 仅有效 24 小时。

来源记录

此技能使用的官方及一手资料，均已于 2026-07-10 核实：

评论

支持 Markdown