Scrapingbee

mcp-scrapingbee

ScrapingBee MCP — 封装 ScrapingBee 无头抓取 API（scrapingbee.com）

属于 Pipeworx — 一个将 AI Agent 连接到 1683+ 个实时数据源的 MCP 网关。

工具

工具	描述
scrapingbee_scrape	通过 ScrapingBee（无头浏览器 + 代理轮换）抓取并渲染任意网页，返回生成的 HTML。支持 JS 密集型网站、地理位置和广告拦截。示例：scrapingbee_scrape({ url: "https://example.com", render_js: true, _apiKey: "your-key" })
scrapingbee_ai_extract	使用 ScrapingBee 的 AI 从网页提取结构化数据。通过 ai_query 传入自然语言问题或字段描述，并获取结构化 JSON。示例：scrapingbee_ai_extract({ url: "https://example.com/product", ai_query: "product name and price", _apiKey: "your-key" })
scrapingbee_google	通过 ScrapingBee 的 Google SERP API 抓取 Google 搜索结果。返回包含自然搜索结果、AI 概览、本地结果、相关搜索等内容的结构化 JSON。示例：scrapingbee_google({ search: "best coffee grinder", country_code: "us", _apiKey: "your-key" })

快速开始

添加到你的 MCP 客户端（Claude Desktop、Cursor、Windsurf 等）：

{
  "mcpServers": {
    "scrapingbee": {
      "url": "https://gateway.pipeworx.io/scrapingbee/mcp"
    }
  }
}

此端点实际提供的内容

https://gateway.pipeworx.io/scrapingbee/mcp 上的 tools/list 会返回上表中的工具，以及 Pipeworx 共享元工具 — ask_pipeworx、 discover_tools、search_within、remember/recall 和网关级别的其他工具。因此，你看到的工具数量会多于此表：目前，单个工具包端点除了该工具包自身的工具外，还会列出大约 30 个共享工具。连接的 initialize 响应会说明其确切范围，是当天情况的权威依据。

这是有意为之，并非意外复用。元工具让受限连接也能回答该工具包未覆盖的问题 — 通过 ask_pipeworx 跨整个目录进行路由 — 无需你添加第二个 MCP 服务。目前无法挂载不含这些元工具的工具包端点；如果额外的架构占用的上下文超过路由带来的价值，请连接一次完整网关，而不要连接多个工具包端点。

或者连接完整的 Pipeworx 网关，直接列出每个工具包的工具，而不只是当前工具包的工具：

{
  "mcpServers": {
    "pipeworx": {
      "url": "https://gateway.pipeworx.io/mcp"
    }
  }
}

两个 URL 都连接到同一个网关和相同的 1683+ 个数据源。唯一的区别是，哪个工具包的工具会被直接列出；从任一端点都可以通过 ask_pipeworx 访问所有工具。

没有 MCP 客户端？通过 HTTP 调用

此工具包需要你自己的 API 密钥（_apiKey）— 我们不会为它代理 API 密钥，因此这里没有无需密钥即可运行的 curl 命令。检查任意工具：GET https://gateway.pipeworx.io/v1/tools/scrapingbee_scrape。查找工具：使用 {"query":"..."} 调用 POST https://gateway.pipeworx.io/v1/tools/search_packs。

独立运行（无需网关账户）

此软件包也可以作为本地 stdio MCP 服务运行 — 无需 Pipeworx 账户，也无需经过网关往返：

{
  "mcpServers": {
    "scrapingbee": {
      "command": "npx",
      "args": ["-y", "@pipeworx/mcp-scrapingbee"]
    }
  }
}

也可以直接运行以确认其已启动：

npx -y @pipeworx/mcp-scrapingbee

它通过 stdin/stdout 使用 MCP 通信，并响应 initialize/tools/list/tools/call，仅提供此工具包的工具 — 不含上述网关连接额外提供的任何共享元工具。相同的源代码，相同的工具，但没有 ask_pipeworx 路由。

使用 ask_pipeworx

你可以用自然语言提问，而不是直接调用工具 — 这既适用于上面的工具包端点，也适用于完整网关：

ask_pipeworx({ question: "your question about Scrapingbee data" })

网关会选择合适的工具并自动填入参数。

更多信息

• 文档和指南
• pipeworx.io

许可证

MIT