mcp-rquest

mcp-rquest

一个 Model Context Protocol（MCP）服务，为 Claude 和其他大模型提供高级 HTTP 请求功能。该服务基于 rquest 构建，可逼真地模拟浏览器，准确生成 TLS/JA3/JA4 指纹，让模型能够更自然地与网站交互并绕过常见的反机器人措施。它还支持将 PDF 和 HTML 文档转换为 Markdown，便于大模型处理。

功能

• 完整的 HTTP 方法：支持 GET、POST、PUT、DELETE、PATCH、HEAD、OPTIONS 和 TRACE
• 浏览器指纹：准确的 TLS、JA3/JA4 和 HTTP/2 浏览器指纹
• 内容处理：
  • 自动处理大型响应并统计令牌数
  • 将 HTML 转换为 Markdown，便于大模型处理
  • 使用 Marker 库将 PDF 转换为 Markdown
  • 将响应安全地存储在系统临时目录中
• 身份验证支持：Basic、Bearer 和自定义身份验证方式
• 请求自定义：
  • 标头、Cookie、重定向
  • 表单数据、JSON 负载、multipart/form-data
  • 查询参数
• SSL 安全性：使用 BoringSSL 建立安全连接，并生成逼真的浏览器指纹

可用工具

• HTTP 请求工具：

  • http_get - 执行带可选参数的 GET 请求
  • http_post - 通过 POST 请求提交数据
  • http_put - 通过 PUT 请求更新资源
  • http_delete - 通过 DELETE 请求删除资源
  • http_patch - 部分更新资源
  • http_head - 仅获取资源的标头
  • http_options - 获取资源的选项
  • http_trace - 诊断请求跟踪

• 响应处理工具：

  • get_stored_response - 获取已存储的大型响应，可按行范围检索
  • get_stored_response_with_markdown - 将 HTML 或 PDF 响应转换为 Markdown 格式，便于大模型处理
  • get_model_state - 获取 PDF 模型加载过程的当前状态
  • restart_model_loading - 如果 PDF 模型加载失败或卡住，则重新启动加载过程

PDF 支持

mcp-rquest 现已支持将 PDF 转换为 Markdown，您可以下载 PDF 文件并将其转换为便于大模型处理的 Markdown 格式：

1. 自动检测 PDF：根据内容类型自动检测 PDF 文件
2. 无缝转换：同一个 get_stored_response_with_markdown 工具可用于 HTML 和 PDF 文件
3. 高质量转换：使用 Marker 库准确地将 PDF 转换为 Markdown
4. 优化性能：在安装软件包时预先下载模型，避免处理请求时出现延迟

安装

使用 uv（推荐）

使用 uv 时无需专门安装。我们将使用 uvx 直接运行 mcp-rquest。

使用 pip

您也可以通过 pip 安装 mcp-rquest：

pip install mcp-rquest

安装后，可将其作为脚本运行：

python -m mcp_rquest

配置

为 Claude.app 配置

添加到 Claude 设置中：

使用 uvx：

{
  "mcpServers": {
    "http-rquest": {
      "command": "uvx",
      "args": ["mcp-rquest"]
    }
  }
}

使用 pip：

{
  "mcpServers": {
    "http-rquest": {
      "command": "python",
      "args": ["-m", "mcp_rquest"]
    }
  }
}

使用 pipx：

{
  "mcpServers": {
    "http-rquest": {
      "command": "pipx",
      "args": ["run", "mcp-rquest"]
    }
  }
}

## 浏览器模拟

mcp-rquest 利用 rquest 强大的浏览器模拟功能，提供逼真的浏览器指纹，有助于绕过机器人检测并访问通常仅标准浏览器可访问的内容。支持的浏览器指纹包括：

• Chrome（多个版本）
• Firefox
• Safari（包括 iOS 和 iPad 版本）
• Edge
• OkHttp

这样可确保通过 mcp-rquest 发送的请求看起来像合法的浏览器流量，而非机器人请求。

开发

设置开发环境

1. 克隆仓库
2. 使用 uv 创建虚拟环境：

   uv venv
   

3. 激活虚拟环境：

   # Unix/macOS
   source .venv/bin/activate
   # Windows
   .venv\Scripts\activate
   

4. 安装开发依赖：

   uv pip install -e ".[dev]"
   

致谢

• 本项目基于 rquest 构建，后者提供了具备浏览器指纹识别能力的高级 HTTP 客户端。
• rquest 基于 reqwest 的一个分支。