MCP-LLM Bridge

MCP-LLM Bridge

一个 TypeScript 实现，可将本地大模型（通过 Ollama）连接到 Model Context Protocol（MCP）服务。这个桥接工具让开源模型能够使用与 Claude 相同的工具和功能，从而打造强大的本地 AI 助手。

概述

本项目在本地大模型与 MCP 服务之间搭建桥梁，提供多种功能，例如：

• 文件系统操作
• Brave 网页搜索
• GitHub 交互
• Google Drive 和 Gmail 集成
• 记忆/存储
• 使用 Flux 生成图像

该桥接工具可转换大模型的输出与 MCP 的 JSON-RPC 协议，让任何兼容 Ollama 的模型都能像 Claude 一样使用这些工具。

当前配置

• 大模型：通过 Ollama 使用 Qwen 2.5 7B（qwen2.5-coder:7b-instruct）
• MCP 服务：
  • 文件系统操作（@modelcontextprotocol/server-filesystem）
  • Brave Search（@modelcontextprotocol/server-brave-search）
  • GitHub（@modelcontextprotocol/server-github）
  • Memory（@modelcontextprotocol/server-memory）
  • Flux 图像生成（@patruff/server-flux）
  • Gmail 和 Drive（@patruff/server-gmail-drive）

架构

• 桥接工具：核心组件，负责管理工具注册和执行
• 大模型客户端：处理 Ollama 交互并格式化工具调用
• MCP 客户端：管理 MCP 服务连接和 JSON-RPC 通信
• 工具路由器：根据工具类型将请求路由到相应的 MCP 服务

主要功能

• 支持多个 MCP 服务，并能动态路由工具
• 验证工具调用的结构化输出
• 根据用户提示词自动检测工具
• 稳健管理 Ollama 进程
• 详细的日志记录和错误处理

设置

1. 安装 Ollama 和所需模型：

ollama pull qwen2.5-coder:7b-instruct

2. 安装 MCP 服务：

npm install -g @modelcontextprotocol/server-filesystem
npm install -g @modelcontextprotocol/server-brave-search
npm install -g @modelcontextprotocol/server-github
npm install -g @modelcontextprotocol/server-memory
npm install -g @patruff/server-flux
npm install -g @patruff/server-gmail-drive

3. 配置凭据：
   • 为 Brave Search 设置 BRAVE_API_KEY
   • 为 GitHub 设置 GITHUB_PERSONAL_ACCESS_TOKEN
   • 为 Flux 设置 REPLICATE_API_TOKEN
   • 运行 Gmail/Drive MCP 身份验证：node path/to/gmail-drive/index.js auth
   • 例如：node C:\Users\patru\AppData\Roaming\npm\node_modules@patruff\server-gmail-drive\dist\index.js auth

配置

通过 bridge_config.json 配置桥接工具：

• MCP 服务定义
• 大模型设置（模型、温度等）
• 工具权限和路径

示例：

{
  "mcpServers": {
    "filesystem": {
      "command": "node",
      "args": ["path/to/server-filesystem/dist/index.js"],
      "allowedDirectory": "workspace/path"
    },
    // ... other MCP configurations
  },
  "llm": {
    "model": "qwen2.5-coder:7b-instruct",
    "baseUrl": "http://localhost:11434"
  }
}

使用

1. 启动桥接工具：

npm run start

2. 可用命令：
   • list-tools：显示可用工具
   • 普通文本：向大模型发送提示词
   • quit：退出程序

交互示例：

> Search the web for "latest TypeScript features"
[Uses Brave Search MCP to find results]

> Create a new folder called "project-docs"
[Uses Filesystem MCP to create directory]

> Send an email to [email protected]
[Uses Gmail MCP to compose and send email]

技术细节

工具检测

桥接工具会根据用户输入智能检测工具：

• 电子邮件操作：通过电子邮件地址和关键词检测
• Drive 操作：通过文件/文件夹关键词检测
• 搜索操作：根据上下文路由到合适的搜索工具

响应处理

响应会经过多个阶段处理：

1. 大模型生成结构化工具调用
2. 桥接工具验证请求并路由到相应的 MCP 服务
3. MCP 服务执行操作并返回结果
4. 桥接工具为用户格式化响应

扩展能力

此桥接工具有效地将 Claude 的工具能力带给本地模型：

• 文件系统操作
• 网页搜索与研究
• 电子邮件和文档管理
• 代码和 GitHub 交互
• 图像生成
• 持久化记忆

所有操作均通过开源模型完全在本地运行。

后续改进

• 支持更多 MCP 服务
• 实现并行工具执行
• 添加流式响应
• 改进错误恢复
• 添加对话记忆
• 支持更多 Ollama 模型

相关项目

此桥接工具集成了更广泛的 Claude 生态系统：

• Model Context Protocol（MCP）
• Claude Desktop Configuration
• Ollama Project
• 各种 MCP 服务实现

最终打造出功能强大的本地 AI 助手，能够实现 Claude 的许多功能，同时完全运行在你自己的硬件上。