MCP Host CLI

LLM 聊天服务

用于与 LLM（OpenAI）进行聊天交互的 FastAPI 服务。

配置

通过环境变量和 CLI 参数管理配置。

环境变量

变量	说明	默认值
LLM_API_KEY	LLM 提供商的 API 密钥（可替代 --api-key-file）	-
LLM_MODEL	要使用的模型名称	qwen2.5-coder:latest
PORT	服务运行端口	8000
LLM_PROVIDER	LLM 提供商（openai）	openai
OPENAI_BASE_URL	OpenAI 兼容 API 的基础 URL	https://openrouter.ai/api/v1

.env 文件示例：

LLM_API_KEY=your-api-key
LLM_MODEL=qwen2.5-coder:latest
PORT=8000
LLM_PROVIDER=openai

CLI 参数

参数	说明	示例
--model	要使用的 LLM 模型	--model qwen2.5-coder:latest
--port	服务运行端口	--port 8000
--provider	LLM 提供商（openai）	--provider openai
--openai-base-url	OpenAI API 的基础 URL	--openai-base-url https://api.openai.com/v1
--api-key-file	包含 API 密钥的文件路径	--api-key-file /path/to/api.key
--servers-config	服务配置文件的路径	--servers-config config/servers.json
--current-directory	工作目录	--current-directory /projects
--context-window-size	上下文窗口大小	--context-window-size 2048
--temperature	温度参数	--temperature 0.7
--stream	启用流式模式	--stream
--retries-on-llm-error	LLM 出错时的重试次数	--retries-on-llm-error 3
--debug-messages	启用调试消息日志，写入 /tmp/llm-requester.messages.log	--debug-messages

CLI 用法示例：

# Using environment variable
export LLM_API_KEY=your-api-key
uv run main.py --model qwen2.5-coder:latest --port 8000

# Using API key file
uv run main.py --model qwen2.5-coder:latest --port 8000 --api-key-file /path/to/api.key

API 端点

• POST /user_request - 处理用户聊天请求
• POST /approve - 处理工具批准或拒绝
• GET /session_state - 获取当前会话状态
• POST /start_session - 创建新会话

请求/响应格式

请求（POST /user_request）

{
    "input": "user message"
}

响应

{
    "request_id": "uuid",
    "requires_approval": true,
    "tool": {
        "name": "tool-name",
        "arguments": {
            "arg1": "value1",
            "arg2": "value2"
        }
    },
    "message": "response content",
    "model": "model-name",
    "role": "assistant"
}

工具批准（POST /approve）

{
    "request_id": "uuid",
    "approve": true
}

用法示例

import requests

# Start session
response = requests.post("http://localhost:8000/start_session", json={
    "current_directory": "/projects",
    "model": "qwen2.5-coder:latest"
})

# Send message
response = requests.post("http://localhost:8000/user_request", json={
    "input": "Hello, how are you?"
})

# Approve tool call
response = requests.post("http://localhost:8000/approve", json={
    "request_id": "12345",
    "approve": true
})