mcpField
M
mcp-llm-gateway

mcp-llm-gateway

本地服务
github.com/daedalusAI 与智能体027 周前更新
代码仓库

关于 mcp-llm-gateway

mcp-llm-gateway 是将补全请求转发到兼容 OpenAI 的下游服务商的 MCP 服务，适合需要统一调用入口的用户。它还提供模型发现和网关配置资源。

主要功能

  1. 01列出下游模型
  2. 02提交补全请求
  3. 03提供模型列表资源
  4. 04提供网关配置资源

适用场景

  1. 01查看服务商提供的模型
  2. 02向下游 LLM 发送提示词
  3. 03检查网关配置

MCP 相关

该 MCP 服务提供 `list_models` 和 `complete` 工具，以及 `models://list`、`config://info` 资源。

配置

本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置
{
  "mcpServers": {
    "daedalus-mcp-llm-gateway": {
      "command": "uvx",
      "args": [
        "mcp-llm-gateway"
      ]
    }
  }
}
启动命令uvx mcp-llm-gateway

本地服务需要在你的电脑上安装运行环境（如 Node.js 18+）。各客户端的配置文件位置不同，请参考客户端文档。

安装包
pypimcp-llm-gateway0.1.0

工具

2

收录的工具列表 · 更新于 3 周前

参数类型必填说明
providerany否用于筛选模型的可选提供方 ID。

详细介绍

MCP LLM Gateway

兼容 MCP 的 LLM 网关，可将补全请求代理到下游兼容 OpenAI 的服务提供商。

PyPI Python Ruff

mcp-name: io.github.daedalus/mcp-llm-gateway

安装

pip install mcp-llm-gateway

用法

配置

设置以下环境变量：

  • DOWNSTREAM_URL：兼容 OpenAI 的下游 API 基础 URL（必需）
  • DEFAULT_MODEL：用于补全的默认模型（必需）
  • MODEL_LIST_URL：获取可用模型的 URL（可选，默认使用 models.dev）
  • API_KEY：下游 API 密钥（可选，透传）
  • TIMEOUT：请求超时时间，单位为秒（可选，默认值：60）
MCP 服务

使用 stdio 传输运行 MCP 服务：

mcp-llm-gateway
MCP 工具

该服务提供以下工具：

  • list_models()：列出远程端点上的所有可用模型
  • complete(prompt, model, max_tokens, temperature)：向下游 LLM 服务提供商发送补全请求
MCP 资源
  • models://list：返回可用模型列表
  • config://info：返回当前网关配置

开发

git clone https://github.com/daedalus/mcp-llm-gateway.git
cd mcp-llm-gateway
pip install -e ".[test]"

# run tests
pytest

# format
ruff format src/ tests/

# lint
ruff check src/ tests/

# type check
mypy src/

API

core.models
  • Model：表示可用 LLM 模型的数据类
  • CompletionRequest：用于补全请求负载的数据类
  • GatewayConfig：用于网关配置的数据类
adapters.http
  • HTTPAdapter：用于与下游 API 通信的 HTTP 客户端
  • ModelListAdapter：用于从远程端点获取模型列表的适配器
services.gateway
  • ModelService：用于管理模型发现和缓存的服务
  • CompletionService：用于处理补全请求的服务
  • ConfigService：用于管理网关配置的服务

评论

支持 Markdown

第一次接触 MCP？

从协议是什么，到在客户端里装上第一个服务，这几条回答覆盖了大多数入门问题。

一个开放协议，规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话，MCP 服务负责提供工具、资源和提示模板，两者通过标准消息通信，同一个服务可以被不同客户端复用。