gemini-audio-mcp

🎵 Gemini Audio MCP

Gemini Audio MCP は、プロフェッショナル品質のオーディオ合成向けに設計された、高性能な Model Context Protocol（MCP）サーバーです。Gemini 2.5 Multimodal Live API と Google DeepMind の Lyria 3 モデルを活用し、高忠実度の環境音、楽曲、表現豊かなナレーションをオンデマンドで生成します。

---

🛠 前提条件

サーバーをデプロイする前に、お使いの環境が以下の技術要件を満たしていることを確認してください。

1. FFmpeg（コア処理エンジン）

高性能なオーディオのエンコード、デコード、トランスコードに必要です。

• macOS：brew install ffmpeg
• Windows：winget install ffmpeg または ffmpeg.org からダウンロードします。
• Linux (Ubuntu/Debian)：sudo apt update && sudo apt install ffmpeg

2. Rust ツールチェーン（コンパイル）

ソースからサーバーをビルドするために必要です。

• rustup.rs からインストールします：curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

3. Node.js と NPM（ランタイム）

コンパイル済みの NPM パッケージを使用する場合に必要です。

• バージョン：node >= 18.0.0

---

🚀 インストールとデプロイ

グローバルインストール（NPX 経由）

MCP クライアント（Claude Desktop など）にサーバーを統合する最も簡単な方法です。

{
  "mcpServers": {
    "gemini-audio": {
      "command": "npx",
      "args": ["-y", "gemini-audio-mcp"],
      "env": {
        "GEMINI_API_KEY": "YOUR_SECURE_API_KEY"
      }
    }
  }
}

手動ビルド（最適化）

最大限のパフォーマンスを得るには、Rust バイナリをローカルでビルドします。

1. クローンとビルド：

   git clone https://github.com/mcp-servers/gemini-audio-mcp.git
   cd gemini-audio-mcp
   cargo build --release
   

2. バイナリの場所：最適化されたバイナリは ./target/release/gemini-audio-mcp にあります。

---

🔑 API キーの管理

サーバーには有効な Google AI Studio API キーが必要です。

1. Google AI Studio からキーを取得します。
2. セキュリティのベストプラクティス：キーをコードに直接記述しないでください。GEMINI_API_KEY 環境変数を通じてキーを渡します。
3. ティアに関する注意：Lyria 3（Pro/Clip）モデルを利用するには、通常、Google AI Studio の 有料ティア または特定のプレビューアクセスが必要です。

---

🎮 ツールの使用ガイド

1. 環境音の生成（generate_soundscape）

没入感のある、ボーカルのないアンビエントサウンドを合成します。

{
  "name": "generate_soundscape",
  "arguments": {
    "prompt": "Deep underwater abyss, low-frequency whale songs, rhythmic air bubbles rising, muffled aquatic pressure.",
    "duration": 60,
    "quality": "high",
    "auto_play": true
  }
}

2. プロフェッショナルな音楽（generate_music）

ボーカルを任意で制御しながら、構成のある楽曲を生成します。

{
  "name": "generate_music",
  "arguments": {
    "prompt": "Melancholic solo cello in a vast cathedral with 5-second decay reverb.",
    "bpm": 72,
    "song_key": "D minor",
    "intensity": 4
  }
}

3. 表現豊かな音声（generate_voice）

Gemini 2.5 Native Audio を使用して、ナレーションやキャラクターのセリフを生成します。

{
  "name": "generate_voice",
  "arguments": {
    "text": "The artifacts are stable, but the rift remains open.",
    "voice_direction": "Gravelly, urgent, whispered"
  }
}

4. 動的な変化（transition_soundscape）

異なる2つの環境音をクロスフェードし、シームレスなシーン切り替えを実現します。

{
  "name": "transition_soundscape",
  "arguments": {
    "from_prompt": "Quiet library silence.",
    "to_prompt": "Sudden heavy rain on a tin roof.",
    "transition_duration": 8
  }
}

---

⚙️ 高度なパラメーター

パラメーター	型	説明
seed	Integer	決定論的で再現可能なオーディオ出力を保証します。
image_path	String	マルチモーダル：ローカル画像を使って、音響の雰囲気（共鳴など）を誘導します。
bpm	Number	リズムのテンポを明示的に設定します（音楽では必須です）。
intensity	Number	ダイナミックレンジと複雑さを制御する1～10のスケールです。
guidance	Number	プロンプトへの準拠度を指定する0.0～6.0のスケールです（Lyria モデル）。
duration	Number	目標の長さを秒単位で指定します。シームレスループエンジンを起動します。

---

🔬 アーキテクチャの概要

Gemini Audio MCP は、独自の ハイブリッドエンジン戦略を採用しています。

• WebSocket ループ：Gemini 2.5 Live に接続し、低遅延の対話型音声およびフォーリー処理を行います。
• REST パイプライン：Lyria 3 Pro と連携し、高忠実度の音楽合成を行います。
• PCM 処理：Rust ベースの内部ループ（decode -> crossfade -> loop -> encode）により、短いクリップをクリック音のないシームレスな無限ループのサウンドスケープに変換します。

---

🧪 トラブルシューティング

FFmpeg のエラー

• 「FFmpeg が見つかりません」：ffmpeg がシステムの PATH にあることを確認してください。ターミナルで ffmpeg -version を実行して確認してください。
• トランスコードの失敗：必要なコーデック（MP3 用の libmp3lame など）があることを確認してください。通常、標準的な FFmpeg のインストールにはこれらが含まれています。

API の問題

• 429 レート制限：サーバーは同時実行数を制限するセマフォを実装していますが、ご利用の API プランがリクエストしたモデルに対応していることを確認してください。
• 音声出力が空：GEMINI_API_KEY が正しいこと、およびアカウントがリクエストしたモデル（特に lyria-3-pro-preview）を利用できることを確認してください。

---

📄 ライセンス

MIT License の下でライセンスされています。MCP コミュニティが精密に開発しました。