Nest Llm Aigent

nest-llm-aigent

1. 背景
   随着 MCP（Model Context Protocol）协议的推出，统一协议的同时，为大模型扩展程序（MCP server）能一次开发，处处运行提供了条件。 但是由于MCP天然侧重CS架构，导致我们很难方便的集成到公司的现有业务中，在这个背景下我写了这个转发方案，不仅解决了这个问题，从可以把这个项目理解为一个ai agent,可以配置他的多个mcp server,统一对外提供大模型的http服务。

具体架构图如下：

2. 目标

• 轻松集成：适配层可以快速对接现有的 Web 服务（如基于 NestJS 构建的服务）。
• 无缝扩展：通过私有 NPM 包的形式，实现 MCP Server 的快速集成与统一管理，保持 MCP Server 的高度可移植性。
• 便捷部署：通过私有 NPM 包，实现 MCP Server 的集中管理和版本控制，无缝集成到现有的发布流程中，方便部署。
• 大模型支持情况：几乎支持所有的大模型调用。

3. 接口定义
   为了满足不同场景下的功能需求，设计了以下标准化的接口：

功能	HTTP 方法	路径	描述
获取所有工具	POST	/api/mcp/tools	获取所有工具列表
获取function calls工具	POST	/api/mcp/functools	获取openai function call 定义
调用 MCP 工具	POST	/api/mcp/tools/call	调用 MCP 工具
获取资源列表	POST	/api/mcp/resources	获取所有资源
获取所有提示	POST	/api/mcp/prompts	获取所有提示
获取所有工具、资源、提示词	POST	/api/mcp/all	返回格式：{tools:[],resources:[],prompts:[]}
调用llm接口	POST	/api/mcp/agent	输入格式：messages:["role":"user","content":"你的问题"]，返回messages

4. 示例
   .....

5. MCP Servers 部署方式
   推荐将 MCP Server 集成部署，以提高灵活性与统一管理能力。建议以下方案：

• 私有 NPM 包：将 MCP Server 打包为 NPM 包，结合企业私有 NPM 仓库进行分发管理。
• 安装与配置：通过 npm install 直接安装 MCP Server 包，并通过配置文件（如 mcp.config.json）实现快速集成。

示例配置文件 mcp.config.json：

{
  "mcpServers": {
    "server1": {
      "name": "example-server",
      "args": ["server.js"],
      "path": "./servers/server1/"
    }
  },
  "mcpClient": {
    "name": "mcp-client",
    "version": "1.0.0"
  }
}

6. 未来

• 目前mcp server sse协议 server只做了stdio 。
• 请求时上下文协议及全局变量可以在接口层、mcp client层、mcp server层共享。
• 目前支持http接口，最好未来可以把这些接口封装成一个socket，更有利于聊天场景。
• 写完后，其实有另外一个想法，就是能不能基于mcp 原始协议，写一个公共类，对于基于类写的mcp server,编译后不仅支持mcp client的调用，也可以支持引入模块后的，函数调用。这可能是另外一个项目。
• 大概花了1天时间，完成了这个项目，时间有点紧张，后续有时间再完善。