mcpField
N
nvidia-maxine-audio-effects

nvidia-maxine-audio-effects

github.com/calesthioクリエイティブ・メディア219102 回インストール15 週間前に更新
リポジトリ

nvidia-maxine-audio-effects について

nvidia-maxine-audio-effects は、音声のクリーンアップ工程で NVIDIA Maxine Audio Effects を計画・運用するスキルです。エフェクトと実行環境の選択に加え、原音の保持、結果の確認、話者の権利への配慮を扱います。

主な機能

  1. 01ノイズ・残響・エコーに応じた効果選択
  2. 02ローカル SDK と BNR NIM の選択
  3. 03リアルタイム/オフライン処理の設計
  4. 04音声の準備と実行要件の確認
  5. 05処理アーティファクトの試聴確認

活用シーン

  1. 01インタビューやポッドキャストのノイズ除去
  2. 02会議録音の室内残響の低減
  3. 03ライブ通話向けエコーキャンセルの設定
  4. 04納品や音声認識向けの狭帯域音声補正

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/calesthio/generative-media-skills --skill nvidia-maxine-audio-effects

インストール後、Claude Code で/nvidia-maxine-audio-effectsを入力して読み込まれたか確認します。

同梱ファイルEVAL.md

詳細

NVIDIA Maxine オーディオエフェクト

このスキルを使って、NVIDIA AI for Media の一部となった NVIDIA Maxine Audio Effects を、音声のクリーンアップおよび品質向上の工程として計画・運用します。これはサウンド生成用のプロンプト作成手法ではなく、本番運用と統合のためのスキルとして扱ってください。中心となる作業は、適切なエフェクトの選択、音声の適切な準備、話者の権利の保護、適切な実行環境での SDK または NIM の実行、そして処理後の音声がパフォーマンスを損なうことなく明瞭になったことの確認です。

以下の情報は、2026-07-10 に NVIDIA の公式ドキュメントと照合して確認済みです。本番提案でモデルプロファイル、サポート対象 GPU、SDK バージョン、ファイル制限、アクセス要件を正確に引用する前に、NVIDIA のドキュメント、NGC、ライセンス条項を再確認してください。

機能の範囲

NVIDIA は、Audio Effects SDK の以下の機能を文書化しています。

  • denoiser / Background Noise Removal (BNR):自然な音声をできる限り保ちながら、音声に含まれる一般的な背景雑音を除去します。
  • dereverb:反響の多い部屋で録音された音声から、室内エコーや残響を抑制します。
  • dereverb_denoiser:雑音と残響の両方がある場合は、ノイズ除去と残響除去を組み合わせたモデルを使用します。NVIDIA がそのケース向けの統合エフェクトを提供している場合は、個別の denoiser と dereverb のエフェクトを連続して適用しないでください。
  • aec:双方向のライブ通信向けの音響エコーキャンセルです。dereverb とは異なり、近端のマイク音声と遠端/参照信号が必要です。
  • superres:通常は 8 kHz → 16 kHz、または 16 kHz → 48 kHz に変換するオーディオ超解像で、欠落した高周波成分を復元または予測します。
  • studio_voice_high_quality:低品質のマイク、ノイズフィルター、ビームフォーミング、静電気、または理想的でない音響環境によって劣化した音声を、オフラインで品質向上します。
  • studio_voice_low_latency:Studio Voice のリアルタイム版です。ライブ会議や放送に使用し、オフラインのバッチ仕上げには使用しないでください。
  • speaker_focus:Early Access の話者分離機能です。他の話者や一部の雑音を抑制しながら、主要な話者を残します。
  • voice_font_high_quality / voice_font_low_latency:参照音声を使った Early Access の任意の話者間の音声変換です。明示的な同意とレビューが必要な、音声アイデンティティの変換として扱ってください。

NVIDIA BNR NIM の機能範囲は、AFX SDK 全体よりも限定されています。コンテナ化された gRPC サービスまたはホスト型 Try API を通じた Background Noise Removal に使用してください。最新の NVIDIA ドキュメントに記載がない限り、NIM が dereverb、AEC、超解像、Studio Voice、Speaker Focus、Voice Font を提供すると想定しないでください。

ユーザーが以下を必要とする場合は、Maxine オーディオエフェクトを使用しないでください。

  • 音楽生成、フォーリー、またはサウンドデザイン
  • 音楽ステムのソース分離
  • 創作的な声の演技または TTS
  • 法的基準に耐えるフォレンジック修復
  • エンハンスメントで妥当に復元できる範囲を超えた、クリッピング、過度な圧縮、または欠落した音声内容の復元

まず実行環境を選択する

クリーンアップのチェーンを設計する前に、デプロイ経路を選択してください。

ローカル AFX SDK

アプリケーションで、BNR に加えて 1 つ以上の SDK エフェクト、ローカル環境でのデータ管理、低遅延のクライアント統合、またはサンプル形式、バッチ処理、エフェクトの連鎖を直接制御する必要がある場合は、AFX SDK を使用します。NVIDIA は、Windows SDK パッケージをクライアント側アプリケーション向けに、Linux SDK パッケージをサーバー/データセンター/クラウドへのデプロイ向けに位置付けています。SDK の実行には Tensor Core 搭載 NVIDIA GPU が必要です。公式ドキュメントでは、現在の Linux SDK のサポート対象として Turing、Ampere、Ada、Hopper、Blackwell の各ファミリーが記載されています。

運用上の留意事項:

  • 基本 SDK と、対象のエフェクト、サンプルレート、SDK バージョン、GPU のコンピュートアーキテクチャに対応する機能パッケージ/モデルをインストールします。
  • NGC/API キーを使用してアクセスし、必要に応じて NVIDIA AI Enterprise/製品の利用条件を遵守します。
  • サンプルレート、チャンネル数、フレームサイズはハードコードせず、SDK からサポート対象を取得します。
  • 選択したエフェクトの最新ドキュメントに別途記載がない限り、SDK エフェクトへの入力/出力音声は 32 ビット浮動小数点形式にします。
  • ハードウェアとライセンスの条件が許す場合、機密情報、未公開情報、医療、法務、企業、またはタレント保護の対象となる録音には、ローカル SDK による処理を優先します。
BNR NIM

処理内容が Background Noise Removal に特化しており、gRPC、クラウド/データセンターへのデプロイ、ヘルスチェック、可観測性、スケーラブルな推論を備えたコンテナ化サービスが必要な場合は、BNR NIM を使用します。

BNR NIM には 2 つのモードがあります。

  • ストリーミングモード:ライブアプリケーションに推奨されます。音声は 10 ms のチャンク単位で処理されます。
  • トランザクションモード:オフラインでの音質向上やポストプロダクション向けの、ファイル全体を対象としたリクエスト/レスポンス方式です。公式の Try API ドキュメントには、プレビュー形式のホスト型リクエストに WAV のみという入力制限と、35 MB/6 分という上限が記載されています。

運用上の留意事項:

  • 明示的にプロファイルを選択する場合は、Docker、NVIDIA Container Toolkit、サポート対象の Tensor Core GPU、NGC_API_KEY、互換性のある NIM_MODEL_PROFILE を使用して起動します。
  • サービスポートで gRPC を使用し、本番環境に移行する前にヘルスチェックを実行して、スループットと障害に関する Prometheus/Triton メトリクスを収集します。
  • ネットワーク経由でデプロイする場合は TLS または mTLS を使用します。ホスト型のプレビューリクエストには TLS が必要です。
  • 許可されている場合は、繰り返し実行できるようモデルアーティファクトをローカルにキャッシュします。
  • ユーザーが音声を NVIDIA のホスト型インフラストラクチャにアップロードすることを承認し、利用条件がプロジェクトに適合している場合を除き、ホスト型 Try API はテスト用途として扱います。

エフェクト選択マップ

ツール名ではなく、素材の状態を起点に選択してください。

入力の課題推奨される Maxine の処理避けること
音声に混じるファン、キーボード、交通、空調、生活騒音BNR / denoiser。ASR 前処理には、現行のドキュメントと利用条件が対応していれば BNR 2.0 も検討してください子音、息づかい、感情表現を確認する前に、強度を上げすぎること
残響のあるラベリアマイク、エコーのかかったウェビナー、反射音の多いオフィスdereverb。ノイズもある場合は dereverb_denoiser を使用してください室内の残響に AEC を使うこと。AEC は遠端再生音のエコーを解消するものです
ライブ通話で、遠隔の相手に自分の声が遅れて聞こえる近端マイクと遠端の参照信号を使った aecオフラインで dereverb のみを使って処理すること
48 kHz の納品音声にする必要がある、帯域の狭い電話/Zoom のアーカイブ基本的なクリーンアップ後に superres を使用するか、ドキュメントに記載された superres -> denoise などの対応済みチェーンを使用してください実際の高域を復元したと主張すること。推定に基づく補正として説明してください
安価なヘッドセットやノート PC のマイクの音が薄い/ノイズっぽい/加工されたように聞こえるオフラインでは Studio Voice High Quality、ライブでは Low Latency を使用してくださいバッチのポストプロダクションに Low Latency の Studio Voice を使うこと
メインのプレゼンターの背後で他の人が話しているEarly Access/アクセス上の制約を許容でき、クリップで主話者が明確な場合に限り、speaker_focus を使用してください完璧な話者識別や複数話者の保持を保証すること
ある人の声を別の人のようにしたいという依頼明示的な権利/同意、参照音声の管理、開示ポリシーがある場合に限り、Voice Font を使用してくださいひそかな音声変換、なりすまし、ライセンスのない参照音声の使用

ポッドキャスト、広告、アバター、ソーシャルメディアのワークフローでは、Maxine をより広範な音声仕上げの一工程として使用してください。

  1. 未加工のオリジナルを取り込み、アーカイブします。
  2. 作業用コピーを、必要なモノラル/ステレオ、サンプルレート、32-bit float 形式に変換します。
  3. 選択した Maxine のエフェクトを実行します。
  4. オリジナルと比較します。
  5. クリーンアップ後に、一般的な仕上げ処理を行います。必要に応じて、トリミング、クリックノイズの除去、ラウドネスの正規化、EQ、圧縮、リミッター、字幕/ASR、最終的な多重化を行ってください。

処理順序のヒューリスティクス

ドキュメントに記載されたエフェクトの制約は、以下のヒューリスティクスより優先されます。

  • 未加工のマスターを保持してください。唯一のコピーに対して破壊的な処理を行わないでください。
  • ノイズと残響のある音声には、個別のノイズ除去と残響除去より、NVIDIA の複合処理 dereverb_denoiser を優先してください。
  • 帯域の狭い音声では、目標が明瞭度か納品帯域幅かを判断してください。
    • ASR では、超解像の前にネイティブの 16 kHz でノイズ除去をテストしてください。
    • 最終メディアの納品では、クリーンアップ後に超解像を適用すると、より洗練された音になる場合がありますが、高域が金属的になっていないか確認してください。
  • ライブ会議では、以下の点に注意してください。
    • AEC は、同期された遠端参照信号を伴う双方向の音声経路に配置してください。
    • BNR/Dereverb/Studio Voice Low Latency は、近端のマイク経路に配置できます。
    • 各段階でバッファリングが追加されるため、音声全体のレイテンシー予算を常に把握してください。
  • オフラインのポストプロダクションでは、以下の点に注意してください。
    • NVIDIA が提供している場合は、より高品質なオフライン版を使用してください。
    • ミックス済みの番組全体に単一の設定を適用するのではなく、シーンごと、または話者ごとに処理してください。
    • ハンドル、ファイルハッシュ、モデル/エフェクトのバージョン、強度、サンプルレート、出力パスを音声台帳に記録してください。

入力の準備

エフェクトを実行する前に、次のことを行います。

  • 音源の種類を確認します。単独話者のナレーション、ライブ通話、パネル形式のポッドキャスト、リモート出演者、アバターのナレーション、広告のナレーション、電話音声のアーカイブ、ノイズの多いUGCなどです。
  • 権利を確認します。話者の同意、クライアントの許可、組合や出演者に関する制限、クラウド処理が許可されているかどうかを確認します。
  • 診断情報を記録します。
    • サンプルレート、ビット深度/形式、チャンネル数
    • 長さとファイルサイズ
    • 音声部分と無音/音楽部分
    • 主な欠陥:定常ノイズ、突発性ノイズ、残響の尾、遠端エコー、競合する話者、コーデックのアーティファクト、クリッピング
  • 作業用コピーのみを変換します。元のファイルのタイムコードとファイルハッシュは保持してください。
  • SDK エフェクトでは、モデルのサンプルレートと GPU アーキテクチャを一致させます。NIM では、クライアントのサンプルレートを選択した NIM モデルプロファイルに一致させます。
  • AEC では、遠端の参照信号を入力します。参照信号がない場合は、AEC の指定が不十分であることを伝え、該当する欠陥があれば、残響除去/ノイズ除去の代替案を提示します。

強度と修復戦略

コンテンツの問題を解決するために必要な、最小限の処理を使用します。NVIDIA では、複数のワークフローで intensity_ratio が公開されており、0 は実質的にパススルー、1 は最大の効果を表します。本番環境では、処理を確定する前に、小規模な A/B 比較用の段階的な出力を作成します。

  • 0.35-0.50:高品質なナレーション、インタビュー、感情を伴う演技向けの軽いクリーンアップ。
  • 0.60-0.80:リモート出演者、ウェビナー、ソーシャルクリップで一般的なクリーンアップ。
  • 0.85-1.00:自然さより明瞭度が重要な、音声の救済処理。

過剰処理の兆候に注意します。

  • 舌足らずな音、消えた摩擦音、こもった子音
  • 長く伸ばした母音の揺れや位相感
  • 単語の間で変動するルームトーン
  • 演技の一部である息づかいや笑い声が除去されている
  • 超解像後の金属的、または「AI のようにつややかな」高音
  • ストリーミング処理や連結処理後のタイミングのずれ、または長さの不一致

アーティファクトが現れた場合は、強度を下げる、クリップを区間に分割する、問題のない部分は処理をバイパスする、超解像の前にネイティブサンプルレートでクリーンアップを試す、または強力な AI クリーンアップの代わりに従来の編集でクリックノイズやクリッピングを修正します。

本番環境での用途

ビデオ会議とライブ配信

低遅延の経路のみを使用します。双方向通話では、必要に応じてマイク音声を BNR/残響除去/Studio Voice Low Latency に通し、エコーキャンセルは遠端信号を使って AEC に通します。往復遅延を測定し、ライブ経路に高品質なオフライン版 Studio Voice や大きなバッファーを使用するバッチ処理を追加しないでください。

ポッドキャストとインタビューのクリーンアップ

可能な場合は、参加者ごとに個別に処理します。背景ノイズには BNR、ヒスノイズと残響の両方があるリモート収録の部屋には dereverb_denoiser を使用し、背景の話者を除去しても問題ない場合に限り Speaker Focus を使用します。依頼内容で除去するよう指定されていない限り、笑い声、ため息、感情的なニュアンスは保ちます。音量の正規化は AI クリーンアップの後に行います。

アバター、スポークスパーソン、広告のナレーション

録音された人間のナレーションでは、最大限の抑制より自然さを優先します。軽度から中程度の BNR または Studio Voice High Quality を使用し、その後に EQ/コンプレッサーを適用します。合成/アバター音声のトラックでは、実際に生成ノイズがない限り、強力なノイズ除去は避けます。多くのアーティファクトはボコーダーの問題であり、音声を再生成するなど、上流工程での修正が適しています。

ソーシャルメディアと UGC の救済

プラットフォームとコンテンツが加工された音声を許容する場合は、より強力なクリーンアップを使用します。まず 10~20 秒の確認用セグメントを作成します。ジョークやストーリーに関係する場合は、話題性を生んだ周囲の音を残します。デフォルトで、音声以外のすべてを除去しないでください。

ローカライズと ASR の準備

文字起こしの前に音声をクリーンアップする場合は、スタジオのような音質より単語誤りの低減を優先します。BNR 2.0 は、ASR の精度向上に焦点を当てた新しい実験的なノイズ除去機能として記載されています。現在の SDK/NIM 経路でサポートされている場合にのみ使用し、実験的な選択であることを明記してください。必ず ASR で処理前後を抜き取り確認し、人名、数値、コードスイッチングを確認します。

プライバシー、同意、セキュリティ

音声には、生体認証に使われる声のデータ、プライベートな会話、未公開の台本、周囲にいる人の発話が含まれていることがよくあります。処理を行う前に、以下を確認してください。

  • 機密性が高いプロジェクトや契約上の制約があるプロジェクトでは、ローカルの AFX SDK またはセルフホストの NIM を使用します。
  • 音声を NVIDIA がホストする Try API またはサードパーティのクラウドに送信する前に、明示的な承認を得ます。
  • API キーは環境変数またはシークレットマネージャーに保存し、コマンドライン、ノートブック、成果物にキーを記録しないでください。
  • 音声がホスト間を移動するネットワーク接続型 NIM サービスでは、TLS/mTLS を使用します。
  • 保持期間を最小限に抑えます。オリジナル、処理済み出力、ログ、参照サンプルは、プロジェクトに必要な期間だけ保持します。
  • Voice Font では、入力音声の話者と参照音声の話者の両方から明示的な許可を得て、使用目的と開示内容を記録します。秘密裏のなりすまし、詐欺、嫌がらせ、同意のないアイデンティティ変換は拒否します。
  • Speaker Focus では、背景の話者を抑制すると、文脈や同意の証拠が失われる可能性があることに留意し、オリジナルを保管します。

成果物の管理チェックリスト

Maxine の処理を実行するたびに、以下を記録します。

  • ソースファイルのパス、ソースのハッシュ、長さ、サンプルレート、チャンネル数。
  • エフェクトセレクターとバリアント、SDK/NIM のバージョン、モデル/プロファイル、GPU アーキテクチャ、検証日。
  • 実行環境:Windows SDK、Linux SDK、セルフホストの NIM、またはホスト型 Try API。
  • 正確なパラメーター:強度、サンプルレート、ストリーミング/トランザクション処理、バッチ/同時実行数、チェーンの順序。
  • プライバシー対策:ローカル/クラウド、TLS/mTLS、キーの取り扱い、保持期間。
  • 出力ファイルのパスとハッシュ。
  • 代表的な A/B のタイムスタンプを含む QA メモ。

QA 基準

処理済みファイルは、適用されるすべてのチェックを満たす場合にのみ合格とします。

  • ノイズの多い区間で、音声明瞭度が向上しているか、十分な水準を維持している。
  • 話者のアイデンティティと感情のトーンが、要件に対して許容できる状態に保たれている。
  • 子音、息づかい、笑い声/ため息の合図、部屋の中の間が、不自然に除去されていない。
  • ノイズフロアが安定しており、フレーズ間でゲーティングやポンピングが気にならない。
  • 声が水中にいるように聞こえることなく、残響の尾が低減されている。
  • AEC 出力が、ダブルトークや近端の音声を抑制せずに遠端エコーを除去している。
  • 超解像によって、耳障りで金属的な高音を生じさせずに、知覚される帯域幅が向上している。
  • 明示的に意図されている場合を除き、Studio Voice によって話者が別人のように聞こえていない。
  • Speaker Focus によって、意図した話者が除去されたり、切り替えが不自然に急になったりしていない。
  • 出力の長さ、同期、サンプルレートが、後続の動画/音声パイプラインと一致している。
  • 最終ラウドネスは、配信先の目標に応じてクリーンアップ後に調整されている。

客観的なチェックと主観的なチェックの両方を行います。客観的なチェックには、波形の長さ、LUFS、ピーク/トゥルーピーク、スペクトログラムの確認、代表的な区間における ASR の処理前後の比較、動画の多重化後のドロップフレーム/同期チェックなどがあります。主観的なチェックでは、ヘッドフォンで確認し、少なくとも一度はスピーカーでも再生します。ノイズ除去のアーティファクトは、再生機器によって現れ方が異なることが多いためです。

例:オフラインのポッドキャスト出演者の音声を修復する

制作の目的:冷蔵庫の低い唸り音、ノート PC のファン音、部屋の残響が入った、42 分間のリモートポッドキャスト出演者の音声をクリアにします。

手順:

  1. 加工前の WAV をアーカイブします。
  2. 出演者のトラックを、ホストの音声や音楽のトラックから分離します。
  3. 選択した SDK エフェクトで必要な、対応済みの 48 kHz、32-bit float、モノラル/ステレオ形式に出演者の作業用コピーを変換します。
  4. dereverb_denoiser を強度 0.55、0.70、0.85 に設定し、30 秒のテスト音源をレンダリングします。
  5. 笑い声や子音の明瞭さを損なわずに言葉が聞き取りやすくなる、最も低い設定を選びます。
  6. Maxine によるクリーンアップの後、最終的な EQ、コンプレッション、LUFS ノーマライズを適用します。
  7. 笑い声が多い箇所、早口の箇所、無音部分のタイムスタンプをスポットチェックします。

理由:この複合エフェクトはノイズと残響を同時に除去するよう設計されています。段階的にテストすることで、長時間の音声を過度に処理するのを避けられます。

期待される結果:出演者らしさを保ちながら、音声がより明瞭になり、部屋の環境音が低減されます。

失敗につながる要因:強度が高すぎる場合の母音の水っぽい響き、どのデノイザーでも修復できない破裂音のクリッピング、冒頭数秒の後も残る背景の物音、固有名詞に対する ASR の精度低下です。

例:ライブウェビナーの音声経路

制作の目的:目立った遅延を加えずに、ライブのパネル形式ウェビナーの音声を改善します。

手順:

  1. リアルタイム対応のエフェクトのみを使用します。
  2. 各スピーカーのストリームについて、主な問題が背景ノイズの場合は、近端マイクを BNR に経由させます。
  3. 参加者に自分の声が返ってくる場合は、近端マイクと遠端の再生/参照信号の両方を使って AEC を設定します。
  4. Studio Voice を使用する場合は、Low Latency を選び、バッファーのアンダーランを起こさずに GPU が目標を達成できることを確認します。
  5. 合計遅延、ドロップしたチャンク、GPU 使用率、ダブルトーク時の品質を監視します。

理由:AEC は遠端のエコーを解消し、BNR/残響除去はマイクの音声経路をクリアにします。オフライン用/高品質モデルは、ライブの遅延予算には適していません。

期待される結果:大幅な遅延を加えずに、フィードバックやノイズを抑え、パネルの音声を聞き取りやすくします。

失敗につながる要因:正しい遠端参照信号を設定せずに使用する AEC、ダブルトーク中の過度な抑制、同時処理数が GPU リソースを超えた場合の遅延の急増です。

例:クラウドに依存しない BNR NIM の本番運用計画

制作の目的:社内 GPU サーバーでセルフホスト可能な BNR NIM を使用し、キャプションを付ける前に短いソーシャルメディア用クリップをバッチ処理でクリーンアップします。

計画:

  1. ジョブで必要なのが Background Noise Removal のみであることを確認します。
  2. 対応 GPU、NGC_API_KEY、選択した互換性のある NIM_MODEL_PROFILE、公開するサービスのポート、クライアントがリモートの場合は TLS/mTLS を指定して、セルフホスト可能な NIM を起動します。
  3. ヘルスチェックを実行し、メトリクスエンドポイントが参照可能であることを確認します。
  4. 完全な WAV ファイルにはトランザクションモードを使用します。クリップが現在の制限を超える場合や WAV 形式でない場合は、処理前に作業用コピーを分割/変換します。
  5. 代表的なクリップに対して処理前後の ASR を実行し、名前や数字の認識精度を比較します。
  6. ソースハッシュ、モデルプロファイル、モード、強度、出力ハッシュ、保持ポリシーを記録したアーティファクト台帳を作成します。

理由:NIM を使うことで、組織のインフラストラクチャ内に音声を保持したまま、サービスのデプロイと可観測性を実現できます。

期待される結果:公開前のソーシャルメディア用素材をホスト型プレビューエンドポイントにアップロードせずに、キャプションの品質を高め、ASR のエラーを減らします。

失敗につながる要因:GPU に合わないモデルプロファイル、WAV/サンプルレートの不一致、保護されていない内部サービス、またはプレビュー API の制限を本番環境でも保証される条件として扱うことです。

2026-07-10 に確認済みの公式情報

コメント