audioshake-stem-separation

AudioShake ステム分離

AudioShake は、ホスト型の音声 音源分離 サービスです。1 つのミックス済み録音を受け取り、分離した各構成トラック（「ステム」）を返します。音声の生成、合成、ミックス、マスタリングは行わず、既存のミックスを分解します。このスキルでは、開発者向け API の操作方法、制作案件に適した分離ターゲットの選び方、生成されたステムの評価と修復方法、分離に伴う権利上の問題、そして代わりにローカルのオープンモデルを使うべき場合について説明します。

以下の API に関する情報は、2026-07-10 に developer.audioshake.ai で確認しました。エンドポイント、モデル名、クレジット料金、上限は変更される可能性があるため、本番環境で特定の数値を前提とする前に、最新の models ／ billing ／ rate-limits リファレンスページと OpenAPI 仕様（https://developer.audioshake.ai/api-reference/openapi.json）を再確認してください。

このスキルが適用される場合

録音を 分離する 作業に使用します。

• 音楽ステム — リミックス、カラオケ、サンプリング、同期、イマーシブ／Atmos 向けの再制作、または練習用・マイナスワントラックのために、ボーカル、ドラム、ベース、ギター、ピアノ、キーボード、弦楽器、管楽器を分離します。
• Dialogue / Music / Effects（DME） — 映画、テレビ番組、ポッドキャストのミックスを、ローカライズ、外国語吹き替え、M&E（音楽と効果音）の納品、または元のステムが失われた音源のアーカイブ修復のために、クリアな台詞、音楽と効果音のベッド、または効果音のみのベッドに分割します。
• 複数話者 — インタビュー、パネルディスカッション、会議、または台詞が重なった録音を、話者ごとのステムに分離します。
• 歌詞の文字起こし／アラインメント — 行単位の歌詞の文字起こしや、単語単位のカラオケ用タイミングを作成します。
• コンテンツ分析／クリーンアップ — 長尺コンテンツ内の音楽を検出または特定する（権利処理）ほか、音声のノイズや残響を除去します。

音声の作成、生成、合成、作曲、ミックス、マスタリング、エフェクトの追加には使用しないでください。これらは生成またはエンジニアリングの作業であり、分離ではありません。ユーザーがすでにクリアなステムを持っており、それらをまとめたり処理したりしたい場合は、対象外です。

API モデル：Tasks API

ベース URL： https://api.audioshake.ai（2026-07-10 に確認）。 認証： すべてのリクエストにヘッダー x-api-key: <key> を含めます。キーはダッシュボード（dashboard.audioshake.ai）で作成できます。新規アカウントには登録時に 10 クレジットが付与されます（提供元による情報。2026-07-10 に確認）。

注：AudioShake は、旧 Jobs API（/job、/upload、リクエストごとの callbackUrl）を Tasks API に置き換えました。現在のインターフェースは Tasks API です。/upload の代わりに POST /assets、/job の代わりに POST /tasks、/job/{id} の代わりに GET /tasks/{id} を使用し、ジョブごとのコールバックの代わりに POST /webhooks で Webhook を一度登録します。/job を使用するコードを見つけた場合は、レガシーのパスです。

ジョブのライフサイクル

1. ソース音声を指定します。 HTTPS の公開 url を直接渡すか、ローカルファイルを POST /assets でアップロードし、返された assetId を渡します。1 つのタスクでは url と assetId を同時に指定できません。
2. POST /tasks でタスクを作成し、 1 つ以上の ターゲット を指定します。各ターゲットは { "model": "<name>", "formats": ["<fmt>", ...] } です。1 つのタスクでは 1 ～ 20 個の重複しないターゲットを指定してまとめて実行できます。これはラウンドトリップを減らすだけでなく、レート制限を回避するためにも推奨される方法です。
3. 完了を待ちます。 GET /tasks/{id} をポーリングするか、Webhook を登録します。各ターゲットは processing から completed または error に遷移します。
4. output 配列から出力をダウンロードします。 ダウンロード URL は署名付きで、タスク完了後 約 1 時間で期限切れになります。速やかに取得して保存するか、独自のバケットに直接書き込んでください（writeDestination を参照）。

リクエスト本文のリファレンス（2026-07-10 検証済み）

フィールド	型	備考
url または assetId	文字列	ソースメディア。いずれか一方のみ。
targets	配列（1～20件、重複なし）	各項目は model（2～255文字）と formats 配列で構成されます。
formats	配列	ターゲットごとに指定します。音声は wav / mp3 / flac / aiff、動画は mp4、文字起こしと検出は json / srt / txt です。利用可能な形式はモデルによって異なります。
residual	ブール値	ターゲットのステム以外のすべて（補集合）を返します。「Xを除去」する処理や、ターゲットが取りこぼした音を捉える場合に便利です。
language	文字列（ISO 639-1）	文字起こし／アラインメント用です。省略した場合は自動検出されます。
transcriptAssetId または transcriptUrl	文字列	alignment モデルでのみ必須です。アラインメント対象となる既知の文字起こしを指定します。
writeDestination	文字列	期限付き署名付き URL の代わりに、自分のバケットへ出力を書き込むための S3 URI プレフィックスです。
metadata	文字列（4096文字以下）	不透明なクライアントメタデータで、応答にそのまま含まれます。

応答フィールド

id、createdAt、completedAt（または null）、cost（実際に請求されたクレジット数）、targets[]（各要素に status、output ファイル、error を含む）、ダウンロード可能なファイルを含むトップレベルの output[]、および error（コードとメッセージ。成功時は null）。

制限と形式（2026-07-10 検証済み）

• レート制限： 約60リクエスト／秒です。429 が返された場合は指数バックオフを行い、多数のターゲットを1つのタスクにまとめ、頻繁なポーリングよりウェブフックを優先してください。
• 入力音声： WAV、AIFF、FLAC、MP3、AAC（最大192 kHz。16／24ビット WAV を推奨）。
• 入力動画： MP4、MOV（AAC または PCM 音声。動画トラックは無視され、音声が抽出されます）。
• 出力： WAV、MP3、FLAC、AIFF、MP4（分離した音声を元のコンテナに格納）、テキスト用の JSON／SRT／TXT。
• 未対応： DRM／暗号化コンテンツ、およびマルチチャンネル／サラウンド形式（例：5.1）。必要に応じて、先にステレオへダウンミックスしてください。
• モデルごとの長さ制限： multi_voice は最大1.5時間、transcription と alignment は最大45分です。その他の分離モデルには公表されている上限はありませんが、長さに応じてコストが増加します。

モデルカタログ

クレジットは、ソース音声の分数、ターゲットモデルごとに請求され、次の整数分に切り上げられます（2026-07-10 検証済み）。したがって、3分10秒の曲を2つのターゲットで処理した場合、4分 × 2ターゲット分が請求されます。以下は公表されている1分あたりの料金です。

音楽／楽器ステム — 各1.0クレジット／分

vocals（歌唱音声全体。リード＋バック） · vocals_lead（リードのみ） · vocals_backing（ハーモニー、アドリブ、コーラス） · instrumental（ボーカルを除いた全ミックス） · drums · bass · guitar（すべてのギター） · guitar_electric · guitar_acoustic · piano（アコースティックピアノ） · keys（電子ピアノ／デジタルピアノを含むキーボード系） · strings · wind（木管楽器＋金管楽器） · other（ボーカル／ドラム／ベース以外のすべて） · other-x-guitar（ボーカル／ドラム／ベース／ギター以外のすべて）。

ポストプロダクション用 DME — 各1.5クレジット／分

dialogue（クリーンな音声ステム） · effects（環境音＋効果音のトラック。音声と音楽を除去） · music_fx（音楽＋効果音。音声を除去）。

音声モデル

multi_voice（10.0クレジット／分、最大1.5時間）— 検出された話者ごとに1つのステムを生成し、発話が重なっている場合も各話者を分離した状態に保ちます。speech_denoise（1.5／分）— 背景ノイズ、ハム、干渉音を除去します。speech_dereverb（2.0／分）— 部屋の残響／エコーを除去し、よりドライで近い音にします。

著作権コンプライアンス／分析

music_detection（0.5／分）— 音楽が存在する時間範囲を返します。music_identification — 音楽を特定し、トラックのメタデータを返します。music_removal — 音声＋効果音を残し、背景音楽を除去します。

歌詞の文字起こし — 各1.0クレジット／分（最大45分）

transcription — 行単位のタイムスタンプ付き歌詞文字起こし（JSON。SRT／VTT に変換可能）。alignment — 単語単位および行単位の正確なタイムスタンプ。指定済みの文字起こし（transcriptUrl／transcriptAssetId）が必須です。

本番ジョブ向けのターゲットの選び方

最もよくある間違いは、粒度を間違えてリクエストすることです。誰も使わないステムに料金を支払うか、細かいステムが必要なジョブで粗いステムをリクエストしてしまうかのどちらかです。納品物に合わせてターゲットを選びましょう。

• カラオケ／インストゥルメンタルの伴奏： vocals ＋ instrumental で対応できます。画面に表示するタイミング付きの歌詞も必要な場合は、transcription を追加してください（正確な歌詞がすでにあり、タイミングだけが必要な場合は alignment を追加します）。製品で個別に再生するのでなければ、drums／bass などもリクエストするとクレジットの無駄になります。
• リミックス／制作向けステム： リミキサーが扱う楽器を具体的にリクエストしてください（vocals_lead、drums、bass、guitar、keys…）。残りの音をまとめて収録し、合計でミックスを再構成できるように、other／other-x-guitar を使用してください。そうしないと、リクエストしなかった楽器が消えてしまいます。
• 「楽器を1つ取り除く」（マイナスワン／練習用トラック）： ほかのすべてのステムをリクエストして再度ミックスする代わりに、対象の楽器を residual: true とともにリクエストして、補完音声を1つのターゲットとして取得してください。
• ローカライズ／吹き替え（M&E）： dialogue（翻訳の参照用）＋ music_fx（新しいボイスオーバーを重ねるためのベッド）をリクエストしてください。ワークフロー上、音楽と効果音を個別に扱う必要がある場合（例：効果音は維持したまま音楽をリミックスする場合）に限り、effects も個別に追加してください。
• インタビュー／ポッドキャストのクリーンアップ： 話者が重なっていて分離が必要な場合は、multi_voice を使います。ノイズや響きすぎる部屋のせいで音声が埋もれている場合は、先に speech_denoise や speech_dereverb を適用してから分離してください。
• 長尺コンテンツの権利確認： 音楽が含まれる箇所を見つけるには music_detection を使い、該当範囲に対して music_identification を実行します。音楽なしのバージョンを納品する必要がある場合は、music_removal を使ってください。

納品物で必要とされる範囲で最も細かいステムを優先し、ステムを元のミックスに再度まとめる必要がある場合は、必ず残余／other ターゲットを含めてください。

分離したステムの確認

分離が完璧になることはありません。以下は出力を評価するための制作上の経験則であり、文書化された保証ではありません。

各ステムをソロで聴き、さらにまとめて再生して、次の点を確認してください。

• 漏れ／クロストーク — 別の音源の痕跡がステムに漏れ込んでいる状態（「vocals」トラックにスネアのゴースト音が入る、drums に声の息遣いが入るなど）。ソロで聴くときや静かな箇所で、最も目立ちます。
• ミュージカルノイズ／「水っぽい」アーティファクト — スペクトルの欠落によって生じる、ゴボゴボとした水中のような質感です。vocals や音の密度が高い other ステム、また強く圧縮されたソース（低ビットレートの MP3）で特に目立ちます。
• トランジェントのにじみ／プリエコー — ドラムのヒット音や弦をはじく音の立ち上がりが弱まったり、ゴースト音のようになったりする現象です。drums、bass、弦をはじく guitar を確認してください。
• 位相／ヌルの問題 — ステムを合成し、元の音源とのヌルテストを行ってください。良好なマルチターゲットセットは、ミックスを元に近い状態に再構成できます。大きな残留音がある場合は、音源が欠落している（other／残余ターゲットをリクエストしていない）か、ステムの位相が回転しています。
• 音の欠落 — 持続するパッド、リバーブの余韻、ルームトーンは other にまとまることがよくあります。リクエストしていない場合、それらはそのまま失われます。

修復方法

1. よりクリーンなソースを用意します。 分離品質は入力品質に直接左右されます。24-bit WAV のマスターは、128 kbps MP3 よりもはるかにきれいに分離できます。非可逆圧縮ファイルをアップトランスコードしても改善は期待できません。
2. 残差を補います。 各ステムを合算してもミックスを再構成できない場合は、other／other-x-guitar のターゲットを追加するか、residual: true を指定して、音声成分が気づかないうちに欠落しないようにします。
3. 適切な順序で分離してから修復します。 音声の場合、録音品質が劣化しているなら、multi_voice の前に speech_denoise／speech_dereverb を実行します。音楽のステムの場合は、まず分離し、その後、ソースではなく専用ツール（例：iZotope RX のスペクトル修復）で分離したステムを修復します。
4. ターゲットを細分化して音漏れを減らします。 リードボーカルだけが必要な場合、単一の vocals よりも、vocals_lead と vocals_backing に分けたほうが音漏れを抑えられることがよくあります。
5. 差し引きで DME を再導出します。 dialogue はクリーンでも effects に音漏れがある場合、dialogue と music の residual としてエフェクトを導出すると、素材によっては effects の直接モデルより良い結果になることがあります。A/B テストしてください。
6. 手動の仕上げに切り替えます。 アーティファクトが残る場合は、ミックスまたは修復の問題です。API を繰り返し実行するのではなく、ステムをスペクトルエディターで処理してください。

権利、同意、プライバシー

録音を分離しても、その録音に対する権利が発生するわけではありません。以下は法的助言ではなく、法令／ポリシーに関する事実（2026-07-10 時点の AudioShake の利用規約および公開声明に基づいて確認済み）と制作上の注意事項です。重大な影響を伴う用途では、弁護士に確認するようユーザーに案内してください。

• アップロードする音声の権利を有している必要があります。 AudioShake の利用規約では、ユーザーはコンテンツのアップロードおよび処理に必要なすべての権利を有し、第三者の権利を侵害していないことを表明し、保証する必要があります。また、その保証への違反に起因する請求について、ユーザーは AudioShake を補償します。
• ユーザーは自身のコンテンツの所有権を保持します。 アップロードによって AudioShake に付与されるのは、コンテンツを処理するための限定的なライセンスのみです。トラックを分離しても、元の録音や楽曲の所有権が移転したり、権利上の問題が解消されたりすることはありません。
• 著作権で保護された録音のステムも、依然としてその録音の派生物です。 権利を保有していない市販楽曲からアカペラやインストゥルメンタルを抽出しても、利用許諾を得られるわけではありません。同期、サンプリング、リミックス、配布の権利は引き続き、原盤および出版権の所有者に帰属します。ユーザーが、非公開の研究を超える目的でリリース済みの市販楽曲を分離しようとしている場合は、必ずこの点を伝えてください。
• 反復侵害者への対応／削除ポリシー。 AudioShake は、侵害にあたると善意で判断したコンテンツをブロックまたは削除し、違反を繰り返すユーザーへのサービスを停止すると表明しています。
• 声は機微な情報です。 複数話者の分離や会話音声の分離によって、個人を特定できる音声データが生成されます。音声録音と同じ同意およびプライバシー上の義務（GDPR／CCPA、および一部の地域における生体音声関連法）の対象として扱ってください。誰かの分離音声を分離して再利用する前に、同意を得てください。
• 機密情報のデータ取り扱い。 AudioShake の公開プライバシーポリシーには、アップロードした音声がモデルの改善に利用されるかどうかが明確に記載されていません（2026-07-10 確認済み）。未公開のマスター音源や機密性の高い映画音声については、AudioShake から書面でデータ処理／保持に関する確約（エンタープライズ／DPA）を得るか、音声をクラウドに一切送信しないようにしてください（下記の SDK／ローカルモデルの選択肢を参照してください）。

デバイス上の SDK とクラウド API

AudioShake は、デバイス上で分離処理を実行するローカル推論 SDK（2026-07-10 に確認済み）も提供しています。Linux、Windows、macOS、Android、iOS（x86_64 / ARM64）に対応し、CPU または GPU（CUDA、DirectX 12、Apple Metal/Neural Engine、OpenGL ES）で動作します。リアルタイムのストリーミング経路（AudioShakeSeparator）と、ファイル処理経路（SourceSeparationTask）があります。利用するには、AudioShake から取得する Client ID/Secret が必要です（[email protected] にお問い合わせください）。ワークフローがリアルタイム／低レイテンシ（ライブ音楽の消音、アプリ内カラオケ、ゲーム音声）、オフライン、または音声をデバイスの外に出せないプライバシー上の制約がある場合は、クラウド API より SDK を選んでください。一括処理やバックカタログの処理、モデルカタログ全体、文字起こし／アラインメントが必要な場合や、モデルの配布・更新を避けたい場合は、クラウド Tasks API を選んでください。

ローカルのオープンモデル（Demucs など）のほうが適している場合

ここでは選択の判断基準だけを示します。Demucs の実行方法を説明するガイドではありません。Meta の Demucs / HTDemucs（htdemucs、htdemucs_ft）は、UVR または StemRoller から利用できる、最も強力なオープンウェイトの分離モデルです。無料でローカル実行でき、通常は 4 ステム（ボーカル／ドラム／ベース／その他）に分離します。

独立したベンチマークと AudioShake によるベンチマークの両方で、AudioShake の測定値がより高いことが示されています（AudioShake による自社の主張では、ボーカルの SDR は Demucs より約 2 dB 高く、音源全体の平均では約 1 dB 高いとのことです。また、2023 年の Sony Sound Demixing Challenge では、音楽（MDX）とシネマティック（CDX）の両トラックで優勝しています。具体的な dB 値は、自社発表および二次資料に基づくものとして扱ってください。2026-07-10 に確認済み）。ただし、適切な選択は SDR だけでなく、制約によって決まります。

ローカルモデル（Demucs）を選ぶ場合： 分単位のクレジット予算が実質ゼロで処理量が多い場合、音声を絶対にアップロードできない場合（プライバシー／NDA）、無制限の一括オフライン処理が必要な場合、または最高品質ではなくても十分な品質で 4 ステムに分離できればよい場合です。

AudioShake を選ぶ場合： 難しい素材（音が密集したミックス、バックボーカル、音量の小さい細部）で最高水準の測定品質が必要な場合、Demucs ではまったく対応できない機能（**DME／ダイアログ分離、話者ごとの multi_voice、歌詞の文字起こし／アラインメント、音楽の検出／識別、guitar_acoustic、keys、strings、wind などの細かな楽器ステム）が必要な場合、またはモデルを自分で保守するのではなく、SLA 付きのマネージドサービスが必要な場合です。

よくある本番運用のパターンは、まず Demucs をローカルで使って試作や一括トリアージを行い、その後、放送品質が求められる素材や DME／文字起こしが必要な素材を AudioShake に送る方法です。

例 A — ライセンス取得済みカタログ曲のカラオケパッケージ（API）

これは実例であり、必須のテンプレートではありません。

目的： カラオケ利用のライセンスを取得した 3 分 20 秒のマスター音源から、伴奏と、画面に表示するタイミング付きの歌詞を作成します。

リクエスト（POST https://api.audioshake.ai/tasks、ヘッダー x-api-key: …）：

{
  "assetId": "asset_9f3c...",
  "targets": [
    { "model": "instrumental",  "formats": ["wav"] },
    { "model": "vocals",        "formats": ["wav"] },
    { "model": "transcription", "formats": ["json"] }
  ],
  "metadata": "catalog:track-8842"
}

理由： 納品物は instrumental です。vocals はガイド／品質確認用に保持します。同じタスクに追加してもほぼコストがかからず、transcription で歌詞表示用の行単位のタイミングを取得できます。料金は概算で、ceil(3:20)=4 分 × 3 ターゲット × 1.0 クレジット／分 → 約 12 クレジットです。 次の手順： 各ターゲットが completed になるまで GET /tasks/{id} をポーリングするか、Webhook を利用します。1 時間以内に output からダウンロードするか、writeDestination にバケットを指定します。 考えられる失敗要因： 元の音源が非可逆圧縮の MP3 だと、instrumental が薄く、水っぽい音になることがあります（WAV マスターを入力してください）。リバーブが強いボーカルでは歌詞のタイミングがずれることがあります（手動で確認した文字起こしと alignment に切り替えると、同期が向上します）。 バリエーション： 楽器をオンデマンドでミュートする練習用アプリの場合は、instrumental の代わりに、その楽器を residual: true とともにリクエストします。

例 B — エピソードのミックスダウンからローカライズ用 M&E を作成（API）

実例です。

目的： 22 分のテレビエピソードのステレオミックスダウンをスペイン語吹き替え用に準備します。クリーンな台詞リファレンスと、新しい吹き替え音声を重ねるための音楽・効果音のベッドを作成します。

リクエスト：

{
  "url": "https://assets.studio.example/ep204_stereo_mix.wav",
  "targets": [
    { "model": "dialogue", "formats": ["wav"] },
    { "model": "music_fx", "formats": ["wav"] }
  ],
  "language": "en"
}

理由： dialogue は翻訳／ADR に使用します。music_fx は新しいナレーションの下に敷くため、英語の台詞を取り除いても音楽／効果音が失われません。料金の目安は、22 分 × 2 ターゲット × 1.5／分で、約 66 クレジットです。 レビュー： music_fx のみをソロにし、台詞があった箇所の下で聴きます。残留する台詞の「もごもごした」音漏れが、よく見られる不具合です。発生した場合は、dialogue の residual としてベッドを作成する方法と A/B 比較するか、effects を別途リクエストしてベッドを再構築してください。台詞とベッドを合算した音声が元の音声とほぼヌルになることを確認します。 権利に関する注意： スタジオが M&E 作成の権利を保有していることを確認してください。また、ミックスが未公開の場合は、データの取り扱い／保持に関する確約を得るか、オンデバイス SDK を使用してください。

例 C — ノイズの多い複数話者インタビューのレビューと修復

テンプレートではなく、レビュー／修復のループの実例です。

状況： 残響のある部屋で録音された、40 分間の 2 人のインタビューです。ユーザーは編集用に各話者を分離したいと考えています。

アプローチ： 部屋の音がこもっているため、分離する前にクリーンアップします —

1. ソースに対して speech_dereverb（ヒスノイズがある場合は speech_denoise も）を指定して POST /tasks を実行します；
2. クリーンアップした出力を新しいアセットとして使用し、multi_voice を指定して POST /tasks を実行し、話者ごとに 1 つのステムを取得します。

この順序にする理由： multi_voice は音声を分離しますが、部屋の音響の問題を修正するわけではありません。残響を除去した入力を使用すると、残響のある入力をそのまま処理するより、話者ごとのステムがクリーンになります。料金に関する注意：multi_voice は料金の高いモデル（10.0／分）です。最初にクリーンアップして、一度だけ実行するようにしてください。1.5 時間の上限に注意してください（40 分なら問題ありません）。 レビュー： 各話者のステムをソロにし、かぶりの間にもう一方の話者の音声が漏れていないか、また残響除去の過剰処理（薄く、位相感のある音声）がないかを確認します。ドライになりすぎている場合は、speech_denoise のみを使用するように調整してください。 同意： 個人を特定できる音声を分離するため、ステムを配布する前に、両方の話者から処理と再利用への同意を得ていることを確認してください。

出典

すべて 2026-07-10 に検証済みです。

• AudioShake Developers — Introduction、Quickstart、Tasks/Assets/Webhooks API リファレンス、Models、Billing & Credits、Formats、Rate Limits、Multi-Speaker、Dialogue/DME、Speech Recovery、Transcription、SDK Overview：https://developer.audioshake.ai/ およびその配下の *.md リファレンスページ（サイトマップ：https://developer.audioshake.ai/llms.txt、スキーマ：https://developer.audioshake.ai/api-reference/openapi.json）。
• AudioShake の利用規約とプライバシーポリシー：https://www.audioshake.ai/terms、https://www.audioshake.ai/privacy-policy；著作権ポリシー：https://www.audioshake.ai/copyright。
• ベンチマーク（一次情報／二次情報。区別して記載）：Sony Sound Demixing Challenge 2023 とボーカルモデルの SDR に関する AudioShake の投稿（https://www.audioshake.ai/post/audioshake-sony-demixing-2023、https://www.audioshake.ai/post/audioshake-voice-model-achieves-highest-quality-state-of-the-art-benchmark）；Sound Demixing Challenge 2023 の解説（https://arxiv.org/html/2308.06979v4）。
• Demucs（オープンモデル）の機能に関するリファレンス：https://github.com/facebookresearch/demucs。