mcp-llm-gateway

MCP LLM Gateway

OpenAI 互換の下流プロバイダーに補完リクエストを中継する、MCP 互換の LLM ゲートウェイです。

mcp-name: io.github.daedalus/mcp-llm-gateway

インストール

pip install mcp-llm-gateway

使い方

設定

以下の環境変数を設定します。

• DOWNSTREAM_URL：OpenAI 互換の下流 API のベース URL（必須）
• DEFAULT_MODEL：補完に使用するデフォルトのモデル（必須）
• MODEL_LIST_URL：利用可能なモデルを取得する URL（任意。デフォルトは models.dev）
• API_KEY：下流用の任意の API キー（そのまま転送）
• TIMEOUT：リクエストのタイムアウト秒数（任意。デフォルト：60）

MCP サーバー

stdio トランスポートで MCP サーバーを実行します。

mcp-llm-gateway

MCP ツール

サーバーは以下のツールを公開します。

• list_models()：リモートエンドポイントから利用可能なすべてのモデルを一覧表示します
• complete(prompt, model, max_tokens, temperature)：下流の LLM プロバイダーに補完リクエストを送信します

MCP リソース

• models://list：利用可能なモデルの一覧を返します
• config://info：現在のゲートウェイ設定を返します

開発

git clone https://github.com/daedalus/mcp-llm-gateway.git
cd mcp-llm-gateway
pip install -e ".[test]"

# run tests
pytest

# format
ruff format src/ tests/

# lint
ruff check src/ tests/

# type check
mypy src/

API

core.models

• Model：利用可能な LLM モデルを表すデータクラス
• CompletionRequest：補完リクエストのペイロード用データクラス
• GatewayConfig：ゲートウェイ設定用データクラス

adapters.http

• HTTPAdapter：下流 API との通信に使用する HTTP クライアント
• ModelListAdapter：リモートエンドポイントからモデル一覧を取得するアダプター

services.gateway

• ModelService：モデルの検出とキャッシュを管理するサービス
• CompletionService：補完リクエストを処理するサービス
• ConfigService：ゲートウェイ設定を管理するサービス