Fetch MCP Server

Fetch MCP 服务

一个模型上下文协议服务，使用浏览器自动化、OCR 和多种提取方法提供网页内容抓取功能。此服务使大模型能够检索和处理网页内容，即使网页需要 JavaScript 渲染，或采用了阻止简单抓取的技术。

可用工具

• fetch - 使用浏览器自动化和多种提取方法（包括 OCR）从互联网抓取 URL。
  • url（字符串，必填）：要抓取的 URL
  • raw（布尔值，可选）：如果请求的页面包含 HTML 内容，则获取未经简化的实际 HTML 内容（默认值：false）

此服务使用多种方法提取内容：

1. 使用 undetected-chromedriver 进行浏览器自动化
2. 使用带布局检测的 pytesseract 进行 OCR
3. 使用 requests/BeautifulSoup 提取 HTML
4. 解析文档（PDF、DOCX、PPTX）
5. 原始 Markdown 转换方法

此服务使用精密的评分系统来选择最佳结果，考量因素包括：

1. 内容基础评分（最高 50 分）

   • 根据内容长度加分（每 100 个字符得 1 分，最高 50 分）
   • 对极短内容（少于 100 个字符）进行扣分

2. 结构加分（最高 20 分）

   • 内容结构良好且包含段落时加分
   • 段落越多，内容组织越好

3. 质量扣分

   • 检测错误消息并进行扣分
   • 对包含错误指示信息的内容降低评分
   • 验证内容结构和可读性

无论使用哪种提取方法，评分系统都能确保选出最可靠、质量最高的内容。可以使用调试日志跟踪评分决策。

提示词

• fetch
  • 使用浏览器自动化抓取 URL，并将其内容提取为 Markdown
  • 参数：
    • url（字符串，必填）：要抓取的 URL

安装

使用 Docker

按照以下步骤使用 Docker 安装并运行 mcp-server-fetch：

1. 构建 Docker 镜像：

   docker build -t mcp-server-fetch .
   

2. 运行 Docker 容器：

   docker run --rm -i mcp-server-fetch
   

配置

配置 Roo Code 或 Claude App

添加到 Claude 设置中：

{
  "mcpServers": {
    "fetch": {
      "command": "docker",
      "args": [
        "run",
        "--rm",
        "-i",
        "mcp-server-fetch"
      ],
      "disabled": false,
      "alwaysAllow": []
    }
  }
}

自定义 - User-agent

默认情况下，服务会根据请求是由模型发起的（通过工具），还是由用户发起的（通过提示词），使用相应的 user-agent：

ModelContextProtocol/1.0 (Autonomous; +https://github.com/modelcontextprotocol/servers)

或

ModelContextProtocol/1.0 (User-Specified; +https://github.com/modelcontextprotocol/servers)

可以在配置的 args 列表中添加参数 --user-agent=YourUserAgent 来自定义此设置。

浏览器自动化和 OCR

此服务现已具备高级内容提取能力：

• 自动处理 Cookie 同意横幅
• 捕获整页截图
• 使用带布局检测的 pytesseract 进行 OCR
• 使用多种提取方法并自动选择最佳结果

贡献

我们欢迎大家贡献力量，帮助拓展和改进 mcp-server-fetch。无论是添加新工具、增强现有功能，还是改进文档，你的贡献都很有价值。

如需查看其他 MCP 服务和实现模式的示例，请参阅： https://github.com/modelcontextprotocol/servers

欢迎提交拉取请求！欢迎贡献新想法、错误修复或增强功能，让 mcp-server-fetch 变得更强大、更实用。

许可证

mcp-server-fetch 使用 MIT License 授权。这意味着你可以自由使用、修改和分发此软件，但须遵守 MIT License 的条款和条件。详情请参阅项目仓库中的 LICENSE 文件。