audioshake-stem-separation

AudioShake 音轨分离

AudioShake 是一项托管式音频源分离服务：它接收一段混音录音，并返回分离出的组成音轨（“分轨”）。它不会生成、合成、混音或母带处理音频，而是拆解已有混音。本技能涵盖如何调用其开发者 API、如何为制作任务选择合适的分离目标、如何评估和修复生成的分轨、分离可能涉及的权利问题，以及何时应改用本地开源模型。

以下所有 API 信息均已于 2026-07-10 对照 developer.audioshake.ai 验证。端点、模型名称、额度费率和限制可能随时变化；在生产环境依赖任何具体数值前，请重新查看实时的 models / billing / rate-limits 参考页面和 OpenAPI 规范（https://developer.audioshake.ai/api-reference/openapi.json）。

适用场景

当任务需要将录音拆分时，请使用它：

• 音乐分轨 — 分离人声、鼓、贝斯、吉他、钢琴、键盘、弦乐或管乐，用于混音、卡拉 OK、采样、同步、沉浸式音频／Atmos 重新编制，或练习／伴奏音轨。
• 对白／音乐／效果（DME） — 将电影、电视节目或播客混音拆分为清晰的对白、音乐与效果声混合底轨，或仅含效果声的底轨，用于本地化、外语配音、M&E（音乐与效果声）交付，或原始分轨丢失时的档案修复。
• 多说话人 — 将访谈、座谈会、会议或多人对白录音分离为每位说话人各自的音轨。
• 歌词转录／对齐 — 逐行歌词转录，或逐词卡拉 OK 时间标记。
• 内容分析／清理 — 检测或识别长篇内容中的音乐（用于权利清查），或对语音进行降噪／去混响。

不要用它来编写、生成或合成音频、创作音乐、混音或母带处理，也不要用它来添加效果。这些属于生成或工程任务，而非分离任务。如果用户已经有干净的分轨，并希望将它们合并或处理，则不在适用范围内。

API 模型：Tasks API

基础 URL： https://api.audioshake.ai（已于 2026-07-10 验证）。 身份验证： 每个请求都需携带请求头 x-api-key: <key>。可在控制面板中创建密钥（dashboard.audioshake.ai）。新账户注册后会获得 10 个免费额度（第一方声明，已于 2026-07-10 验证）。

注意：AudioShake 已用 Tasks API 替换旧版 Jobs API（/job、/upload、每个请求单独设置 callbackUrl）。Tasks API 是当前接口：使用 POST /assets 替代 /upload，使用 POST /tasks 替代 /job，使用 GET /tasks/{id} 替代 /job/{id}，并通过 POST /webhooks 注册一次 webhook，而不是为每个任务单独设置回调。如果发现代码使用 /job，说明它仍在走旧版接口。

任务生命周期

1. 提供源音频。 可以直接传入公开的 url（HTTPS），也可以用 POST /assets 上传本地文件，并传入返回的 assetId。每个任务只能使用 url 或 assetId 其中之一，二者不可同时使用。
2. 创建任务，使用 POST /tasks 并列出一个或多个目标。每个目标的格式为 { "model": "<name>", "formats": ["<fmt>", ...] }。单个任务可包含 1–20 个不重复目标，并会同时运行这些目标——这样不仅能减少请求往返次数，也是避免触发速率限制的推荐方式。
3. 等待完成，方法是轮询 GET /tasks/{id} 或注册 webhook。每个目标都会依次经历 processing → completed | error。
4. 下载输出，从 output 数组中获取。下载 URL 是预签名的，会在任务完成后约 1 小时过期——请尽快获取并保存，或直接写入自己的存储桶（参见 writeDestination）。

请求正文参考（已于 2026-07-10 验证）

字段	类型	说明
url 或 assetId	字符串	源媒体。必须且只能提供其中一个。
targets	数组（1–20 个，且不重复）	每项包含：model（2–255 个字符）和 formats 数组。
formats	数组	每个目标对应的格式。音频支持 wav / mp3 / flac / aiff，视频支持 mp4，转录和检测支持 json / srt / txt。支持情况因模型而异。
residual	布尔值	返回除目标音轨外的所有内容（即其余部分）。适用于“移除 X”任务，也可用于捕捉目标音轨未覆盖的声音。
language	字符串（ISO 639-1）	用于转录/对齐；若省略则自动检测。
transcriptAssetId 或 transcriptUrl	字符串	仅 alignment 模型需要——用于对齐的已知转录文本。
writeDestination	字符串	S3 URI 前缀；将输出写入你自己的存储桶，而不是使用会过期的预签名 URL。
metadata	字符串（≤4096 个字符）	不透明的客户端元数据，响应中会原样返回。

响应字段

id、createdAt、completedAt（或 null）、cost（实际扣除的积分）、targets[]（每项包含 status、输出文件和 error）、顶层的可下载文件数组 output[]，以及 error（错误代码和消息，成功时为 null）。

限制和格式（已于 2026-07-10 验证）

• **速率限制：**约 60 次请求/秒。收到 429 时应采用指数退避，并优先将多个目标批量放入一个任务，使用 Webhook 而非频繁轮询。
• **输入音频：**WAV、AIFF、FLAC、MP3、AAC（最高 192 kHz；推荐使用 16/24 位 WAV）。
• **输入视频：**MP4、MOV（AAC 或 PCM 音频；视频轨道会被忽略——系统会提取音频）。
• **输出：**WAV、MP3、FLAC、AIFF；MP4（在原始容器中分离音频）；文本格式支持 JSON/SRT/TXT。
• **不支持：**DRM/加密内容，以及多声道/环绕声格式（例如 5.1）——如有需要，请先下混为立体声。
• 各模型的时长上限：multi_voice ≤ 1.5 小时；transcription 和 alignment ≤ 45 分钟。其他分离模型没有公布时长上限，但费用会随时长增加。

模型目录

费用按源音频分钟数、每个目标模型分别计费，并向上取整到整分钟（已于 2026-07-10 验证）。因此，一首 3:10 的歌曲若指定两个目标，会按 4 分钟 × 2 个目标计费。以下为已公布的每分钟费用。

音乐/乐器音轨 — 每个 1.0 积分/分钟

vocals（所有演唱人声，主唱 + 伴唱） · vocals_lead（仅主唱） · vocals_backing（和声、即兴演唱、合唱） · instrumental（移除人声后的完整混音） · drums（鼓） · bass（贝斯） · guitar（所有吉他） · guitar_electric（电吉他） · guitar_acoustic（原声吉他） · piano（原声钢琴） · keys（键盘类乐器，包括电钢琴/数码钢琴） · strings（弦乐） · wind（木管乐器 + 铜管乐器） · other（除人声/鼓/贝斯外的所有内容） · other-x-guitar（除人声/鼓/贝斯/吉他外的所有内容）。

后期制作 DME — 每个 1.5 积分/分钟

dialogue（干净的人声轨） · effects（环境声 + 音效底轨，移除对白和音乐） · music_fx（音乐 + 音效，移除对白）。

语音模型

multi_voice（10.0 积分/分钟，≤ 1.5 小时）——每个检测到的说话人单独生成一条音轨，即使说话声重叠也会保持隔离。speech_denoise（1.5/分钟）——移除背景噪声、嗡嗡声和干扰。speech_dereverb（2.0/分钟）——移除房间混响/回声，使声音更干燥、听起来更近。

版权合规/分析

music_detection（0.5/分钟）——返回存在音乐的时间范围。music_identification——识别音乐并返回曲目信息。music_removal——保留语音 + 音效，移除背景音乐。

歌词转录 — 每个 1.0 积分/分钟（≤ 45 分钟）

transcription——带行级时间戳的歌词转录（JSON；可转换为 SRT/VTT）。alignment——精确的词级和行级时间戳；需要提供转录文本（transcriptUrl/transcriptAssetId）。

为生产任务选择目标

最常见的错误是请求了错误的粒度——要么为用不上的分轨付费，要么在任务需要精细分轨时却请求了粗略分轨。请根据交付内容选择目标：

• 卡拉 OK／伴奏：vocals + instrumental 即可。如果还需要带时间信息的屏幕歌词，请添加 transcription（如果已有准确歌词，只需要时间信息，则添加 alignment）。除非产品确实会单独播放这些音轨，否则还请求 drums／bass 等会浪费额度。
• **混音／制作分轨：**请求混音师会处理的特定乐器（vocals_lead、drums、bass、guitar、keys……）。使用 other／other-x-guitar 收纳其余能量，以便将各分轨相加后还原混音；否则，未请求的乐器就会消失。
• **“移除一种乐器”（减去该轨／练习伴奏）：**对该乐器请求 residual: true，即可在一个目标中获得其余部分，而不必请求所有其他分轨再重新求和。
• **本地化／配音（M&E）：**请求 dialogue（翻译参考）+ music_fx（用于叠加新配音的背景音轨）。只有当工作流需要分别处理音乐和音效时，才单独添加 effects（例如，重新混音但保留音效）。
• **采访／播客清理：**如果说话者的声音重叠且需要将其分开，请使用 multi_voice。如果语音被噪声或浑浊的房间声掩盖，请先串联使用 speech_denoise 和／或 speech_dereverb，再进行分离。
• **长篇内容的版权清查：**使用 music_detection 查找音乐出现的位置，然后对这些片段使用 music_identification；如果必须交付无音乐版本，则使用 music_removal。

优先选择交付内容所需的最精细分轨；如果各分轨必须重新合成为原始混音，务必包含 residual／other 目标。

检查分离后的分轨

分离永远不可能完美。以下是用于评估输出的制作经验法则，并非有文档依据的保证。

逐条单独试听分轨，也要合在一起试听，并检查以下情况：

• 串音／串扰——其他声源的痕迹泄漏到某条分轨中（例如“人声”轨中残留军鼓声，或“鼓”轨中混入呼吸声）。在单独试听的分轨和安静片段中最明显。
• 音乐噪声／“水声”伪影——由频谱空洞产生的咕噜声般的水下质感，在 vocals 和内容繁杂的 other 分轨中最严重；源音频经过重度压缩时（低比特率 MP3）也会更明显。
• 瞬态模糊／预回声——鼓击和拨弦起音变得柔和或出现重影；请检查 drums、bass 和拨弦 guitar。
• 相位／抵消问题——将分轨相加，并与原始音频进行相位抵消测试：良好的多目标分轨集应能近乎完整地还原混音。残留能量过大，意味着有声源缺失（未请求 other／residual 目标），或某条分轨发生了相位旋转。
• 能量缺失——持续铺底音、混响尾音和房间底噪通常会归入 other；如果没有请求该目标，这些内容就会直接消失。

修复策略

1. 提供更干净的源音频。 分离质量与输入质量直接相关——24 位 WAV 母带的分离效果远胜于 128 kbps MP3。切勿将有损文件升采样后指望有所改善。
2. 补足残余部分。 如果各分轨相加后无法还原混音，请添加 other/other-x-guitar 目标，或使用 residual: true，避免能量被悄然丢弃。
3. 按正确顺序先分离，再清理。 对语音而言，如果录音质量较差，应先运行 speech_denoise/speech_dereverb，再运行 multi_voice；对音乐分轨，应先进行分离，再使用专用工具（例如 iZotope RX 频谱修复）修复分离出的单独分轨，而不是处理源音频。
4. 使用更细分的目标以减少串音。 如果只需要主唱，vocals_lead + vocals_backing 通常比单独使用 vocals 留下的串音更少。
5. 通过相减重新推导 DME。 如果 dialogue 很干净，但 effects 有串音，那么将效果音作为对白和音乐的 residual 推导出来，在某些素材上可能优于直接使用 effects 模型——请进行 A/B 对比。
6. 必要时转为手动精修。 如果伪影持续存在，问题属于混音/修复范畴：将分轨交给频谱编辑器处理，而不是反复重新调用 API。

权利、同意与隐私

分离录音不会赋予你该录音的权利。以下内容属于法律/政策事实（已于 2026-07-10 对照 AudioShake 的服务条款和公开声明核实）以及制作方面的注意事项，并非法律建议——对于重大用途，请建议用户咨询法律顾问。

• 你必须拥有上传音频的权利。 AudioShake 的服务条款要求用户声明并保证自己拥有上传和处理内容所需的全部权利，且内容不侵犯任何第三方的权利；如违反该保证而引发索赔，用户须赔偿 AudioShake。
• 用户仍拥有其内容的所有权；上传内容仅授予 AudioShake 处理该内容的有限许可。分离音轨不会转让或洗白底层录音或作品的所有权。
• 受版权保护录音的分轨仍是该录音的衍生作品。 从你无权控制的商业曲目中提取阿卡贝拉或伴奏，并不意味着它已获得使用许可——同步、采样、混音和发行权仍归母带和出版权利人所有。每当用户希望分离已发行的商业歌曲，且用途超出私人学习范围时，都应指出这一点。
• 重复侵权者/下架政策。 AudioShake 表示，对于其善意认定为侵权的内容，会予以屏蔽或移除，并停止向屡次侵权者提供服务。
• 人声属于敏感信息。 多人语音分离和对白隔离会产生可识别个人身份的人声数据；应按照适用于任何语音录音的同等同意和隐私义务处理这些数据（GDPR/CCPA，以及某些司法管辖区的生物特征语音法律）。在分离并重新使用他人隔离后的人声之前，请先取得同意。
• 机密素材的数据处理。 AudioShake 的公开隐私政策未明确说明上传的音频是否会用于改进模型（已于 2026-07-10 核实）。对于未发行的母带或机密影视音频，请向 AudioShake 获取书面的数据处理/保留承诺（企业版/DPA），或完全避免将音频上传至云端（参见下方的 SDK / 本地模型选项）。

设备端 SDK 与云 API

AudioShake 还提供本地推理 SDK（已于 2026-07-10 验证），可在设备端运行分离功能，支持 Linux、Windows、macOS、Android、iOS（x86_64 / ARM64），可使用 CPU 或 GPU（CUDA、DirectX 12、Apple Metal/Neural Engine、OpenGL ES），并提供实时流式处理路径（AudioShakeSeparator）和文件处理路径（SourceSeparationTask）。使用该 SDK 需要 AudioShake 提供的 Client ID/Secret（联系 [email protected]）。如果工作流需要实时处理／低延迟（现场移除音乐、应用内卡拉 OK、游戏音频）、离线处理，或受到隐私限制，音频绝不能离开设备，请选择 SDK 而不是云 API。对于批量／历史内容处理、完整模型目录、转录／对齐，以及不想自行分发和更新模型的情况，请选择云 Tasks API。

何时选择本地开源模型（例如 Demucs）

这里只说明选择边界，不介绍如何运行 Demucs。Meta 的 Demucs / HTDemucs（htdemucs、htdemucs_ft）可通过 UVR 或 StemRoller 使用，是最强的开放权重分离模型，可免费在本地运行，通常能分离为 4 个音轨（人声／鼓／贝斯／其他）。

独立基准测试和第一方基准测试均表明 AudioShake 的测量结果更高（AudioShake 第一方声称：人声 SDR 比 Demucs 高约 2 dB，跨音源平均高约 1 dB；并在 2023 年 Sony Sound Demixing Challenge 的音乐（MDX）和电影音频（CDX）赛道均获胜——具体 dB 数值应视为第一方／次级证据，已于 2026-07-10 验证）。但正确选择取决于各种限制条件，而不仅仅是 SDR：

适合选择本地模型（Demucs）的情况： 每分钟额度的预算实际上为零且处理量很大；音频绝不能上传（隐私／NDA）；需要无限量／批量离线运行；或者质量良好但不必达到最佳水平的普通 4 音轨分离就已足够。

适合选择 AudioShake 的情况： 需要处理困难素材时获得最高实测质量（密集混音、伴唱、低音量细节）；需要 Demucs 完全不具备的功能——DME／对话分离、按说话人分离的 multi_voice、歌词转录／对齐、音乐检测／识别，以及 guitar_acoustic、keys、strings、wind 等精细乐器音轨；或者需要带 SLA 的托管服务，而不想自行维护模型。

一种常见的生产模式：先在本地使用 Demucs 进行原型验证和批量初筛，再将必须达到广播级纯净度或需要 DME／转录的片段交给 AudioShake 处理。

示例 A — 为已授权的目录曲目制作卡拉 OK 套件（API）

这是一个完整示例，不是必需的模板。

意图： 从用户已获授权用于卡拉 OK 的 3:20 母带中，生成伴奏和带时间戳的屏幕歌词。

请求（POST https://api.audioshake.ai/tasks，请求头 x-api-key: …）：

{
  "assetId": "asset_9f3c...",
  "targets": [
    { "model": "instrumental",  "formats": ["wav"] },
    { "model": "vocals",        "formats": ["wav"] },
    { "model": "transcription", "formats": ["json"] }
  ],
  "metadata": "catalog:track-8842"
}

原因： instrumental 是交付内容；保留 vocals 作为参考／质量检查结果，在同一任务中添加它几乎不产生额外费用；transcription 可提供歌词显示所需的逐行时间信息。费用约为 ceil(3:20)=4 分钟 × 3 个目标，每个目标每分钟 1.0 个额度 → 约 12 个额度。 接下来： 轮询 GET /tasks/{id}（或使用 webhook），直到每个目标的状态均为 completed；在一小时内从 output 下载，或将 writeDestination 设置为你的存储桶。 可能的故障模式： 如果源文件是有损 MP3，instrumental 可能会显得单薄／水声感明显（请提供 WAV 母带）；混响很重的人声可能导致歌词时间漂移（使用 alignment 并提供经过人工校对的转录文本，以实现更紧密的同步）。 变体： 对于可按需静音某种乐器的练习应用，请请求该乐器，并设置 residual: true，而不是请求 instrumental。

示例 B — 从单集混音版制作本地化 M&E（API）

实际示例。

**意图：**为一集 22 分钟的电视剧立体声混音版制作西班牙语配音素材——一份干净的对白参考音轨，以及一份音乐与音效底音轨，用于叠加新的配音。

请求：

{
  "url": "https://assets.studio.example/ep204_stereo_mix.wav",
  "targets": [
    { "model": "dialogue", "formats": ["wav"] },
    { "model": "music_fx", "formats": ["wav"] }
  ],
  "language": "en"
}

原因：dialogue 用于翻译和 ADR；music_fx 用作新配音下方的填充音轨，因此移除英语对白时不会丢失音乐和音效。费用约为 22 分钟 × 2 个目标 × 1.5/分钟 → 约 66 积分。 **审核：**单独播放 music_fx，并在原对白所在位置聆听——残留的对白“嗡嗡声”通常是常见缺陷。如果存在，可与从 dialogue 提取的 residual 底音轨进行 A/B 对比，或者单独请求 effects 并重新制作底音轨。确认对白与底音轨相加后，与原始音轨几乎完全抵消。 **版权提示：**确认工作室拥有制作 M&E 的权利；如果混音尚未发行，请确保获得数据处理/保留承诺，或使用设备端 SDK。

示例 C — 审核并修复多说话人访谈中的噪声

审核/修复流程的实际示例，并非模板。

**情况：**一段 40 分钟的双人访谈，录制于有混响的房间；用户希望分离出每位说话人的音轨，以便编辑。

**方法：**由于房间低频隆隆声较重，先清理，再分离——

1. 对源音频使用 speech_dereverb（如果存在嘶声，也使用 speech_denoise）调用 POST /tasks；
2. 将清理后的输出作为新素材，并调用 POST /tasks 使用 multi_voice，为每位说话人生成一个分离音轨。

为什么按此顺序处理：multi_voice 可以分离人声，但无法修复糟糕的房间音效；输入去混响后的音频，比输入带混响的音频并输出仍带混响的音频，能得到更干净的逐人音轨。费用提示：multi_voice 是较昂贵的模型（10.0/分钟）——先清理，这样只需运行一次。注意 1.5 小时的时长上限（40 分钟没有问题）。 **审核：**单独播放每位说话人的音轨，检查串音（重叠时段中另一位说话人的声音泄漏）以及去混响过度（语音听起来单薄、带有相位感）。如果过于干涩，可仅使用 speech_denoise。 **同意：**分离出的声音可识别具体身份——在分发音轨前，确认两位说话人均同意进行处理和再利用。

来源

均已于 2026-07-10 核实：

• AudioShake 开发者文档 — 简介、快速入门、Tasks/Assets/Webhooks API 参考、模型、计费与积分、格式、速率限制、多说话人、对白/DME、语音修复、转录、SDK 概览：https://developer.audioshake.ai/ 及其下的 *.md 参考页面（网站地图：https://developer.audioshake.ai/llms.txt；架构：https://developer.audioshake.ai/api-reference/openapi.json）。
• AudioShake 服务条款和隐私政策：https://www.audioshake.ai/terms、https://www.audioshake.ai/privacy-policy；版权政策：https://www.audioshake.ai/copyright。
• 基准测试（第一方/二手资料，已注明）：AudioShake 关于 Sony Sound Demixing Challenge 2023 和人声模型 SDR 的文章（https://www.audioshake.ai/post/audioshake-sony-demixing-2023、https://www.audioshake.ai/post/audioshake-voice-model-achieves-highest-quality-state-of-the-art-benchmark）；Sound Demixing Challenge 2023 介绍（https://arxiv.org/html/2308.06979v4）。
• Demucs（开源模型）能力参考：https://github.com/facebookresearch/demucs。