mcp_llm_inferencer

mcp_llm_inferencer

简介

mcp_llm_inferencer 是一个开源库，旨在利用 Claude 和 OpenAI 的 GPT 等大模型，将映射到提示词的输入转换为 MCP 服务的具体组件。这些组件包括工具、资源模板和提示词处理器，使其成为适用于 MCP 服务环境的开发者的多功能工具。

特性

• 大模型调用引擎：通过内置的重试和回退逻辑高效调用大模型，确保响应可靠。
• Claude 和 OpenAI 可互换支持：根据偏好或可用性，在 Claude 和 OpenAI API 之间无缝切换。
• 支持 Claude Desktop 流式传输：直接从 Claude Desktop 流式传输响应，提供实时反馈。
• 工具和资源响应验证：确保生成的工具和资源符合预定义标准后再部署。
• 结构化输出打包：按组件将输出整理成结构化包，简化集成和使用。

安装说明

前置条件

• Python 3.6 或更高版本
• Claude 或 OpenAI 的 API 密钥

安装 mcp_llm_inferencer

1. 克隆代码库：

   git clone https://github.com/your-repo/mcp_llm_inferencer.git
   cd mcp_llm_inferencer
   

2. 使用 pip 安装软件包：

   pip install .
   

3. 将 API 密钥设置为环境变量：

   • 对于 Claude：

     export CLAUDE_API_KEY='your-claude-api-key'
     

   • 对于 OpenAI：

     export OPENAI_API_KEY='your-openai-api-key'
     

使用示例

基础示例

以下简单示例演示如何通过 OpenAI API 使用 mcp_llm_inferencer：

from mcp_llm_inferencer import MCPInferencer

# Initialize the inferencer with OpenAI API
inferencer = MCPInferencer(api_type='openai')

# Define your prompt
prompt = "Generate a tool to extract emails from text."

# Generate components
components = inferencer.generate_components(prompt)

print(components)

使用 Claude 的高级示例

此示例展示如何通过 Claude API 使用该库并处理流式响应：

from mcp_llm_inferencer import MCPInferencer

# Initialize the inferencer with Claude API
inferencer = MCPInferencer(api_type='claude', stream=True)

# Define your prompt
prompt = "Create a resource template for an S3 bucket."

# Generate components with streaming support
for component in inferencer.generate_components(prompt):
    print(component)

API 文档

类：MCPInferencer

初始化

MCPInferencer(api_type, api_key=None, stream=False)

• api_type (str)：要使用的大模型 API 类型（'claude' 或 'openai'）。
• api_key (str, optional)：指定大模型的 API 密钥。如果未提供，将尝试从环境变量中读取。
• stream (bool, optional)：启用对 Claude Desktop 流式传输的支持。

方法

• generate_components(prompt)
  • 根据给定的提示词生成 MCP 服务组件。
  • prompt (str)：要发送给大模型的输入提示词。
  • 返回：包含生成组件的字典或字典流。

方法使用示例

components = inferencer.generate_components("Generate a tool for sentiment analysis.")

许可证

mcp_llm_inferencer 采用 MIT 许可证发布。详情请参阅 LICENSE 文件。

---

欢迎通过在我们的 GitHub 代码库中提交问题或拉取请求，为 mcp_llm_inferencer 作出贡献。

⚠️ 开发状态

该库目前处于早期开发阶段。部分测试可能会因以下问题而失败：

欢迎贡献力量来修复这些问题！如果你有解决方案，请提交拉取请求。