Crawlbase

mcp-crawlbase

Crawlbase MCP — 封装 Crawlbase Crawling API（crawlbase.com，前身为 ProxyCrawl）。一个端点即可实现所有功能：轮换住宅和数据中心代理、服务端反机器人检测绕过（Cloudflare、DataDome、hCaptcha 等）、可选的无头浏览器渲染、截图，以及一系列命名……

属于 Pipeworx — 一个将 AI Agent 连接到 1875+ 个实时数据源的 MCP 网关。这是一个独立的非官方集成，与上游提供商无关联、未获其认可，也非由其发布。

工具

工具	描述
crawlbase_scrape	通过 Crawlbase 轮换住宅代理抓取任意网站，并在服务端绕过反机器人检测（为你处理 Cloudflare、DataDome、hCaptcha）。以 HTML（默认）、纯净 Markdown（format:"md" — 非常适合用作大模型上下文）或包含元数据的 JSON 封装（format:"json"）返回页面。传入你的 Crawlbase JavaScript token 作为 _apiKey 后，即可渲染 JavaScript 密集型页面（SPA）；Normal token 则会快速获取静态内容。示例：crawlbase_scrape({ url: "https://example.com", format: "md", _apiKey: "your-crawlbase-token" })
crawlbase_screenshot	通过 Crawlbase（无头浏览器 + 轮换代理，绕过反机器人检测）截取渲染后的网页。返回存储的 screenshot_url（JPEG，链接约一小时后过期）以及抓取元数据。需要将你的 Crawlbase JavaScript token 作为 _apiKey 传入 — 截图始终在真实浏览器中渲染。默认截取完整页面；传入 mode:"viewport" 以及 width/height 可限制截图范围。示例：crawlbase_screenshot({ url: "https://example.com", _apiKey: "your-js-token" })
crawlbase_structured	使用命名的 Crawlbase scraper 将页面抓取为纯净的结构化 JSON — 无需解析 HTML。常见 scraper 名称："amazon-product-details"、"amazon-serp"、"google-serp"、"facebook-page"、"facebook-profile"、"instagram-profile"、"instagram-post"、"linkedin-profile"、"linkedin-company"、"tiktok-profile"、"ebay-product"、"walmart-product-details"、"github-repository"、"generic-extractor"。完整目录：https://crawlbase.com/docs/scrapers/ — 社交媒体 scraper（Facebook/Instagram/LinkedIn）使用你的 JavaScript token 效果最佳。示例：crawlbase_structured({ url: "https://www.amazon.com/dp/1098145356", scraper: "amazon-product-details", _apiKey: "your-crawlbase-token" })

快速开始

添加到你的 MCP 客户端（Claude Desktop、Cursor、Windsurf 等）：

{
  "mcpServers": {
    "crawlbase": {
      "url": "https://gateway.pipeworx.io/crawlbase/mcp"
    }
  }
}

此端点实际提供的内容

https://gateway.pipeworx.io/crawlbase/mcp 上的 tools/list 会返回上表中的工具， 以及共享的 Pipeworx 元工具 — ask_pipeworx、 discover_tools、search_within、remember/recall 以及其他 全网关通用工具。因此，你看到的工具数量会多于此表所列：目前，单个工具包端点 除工具包自身的工具外，还会列出约 30 个共享工具。连接的 initialize 响应会注明 其确切范围，是当天有效范围的权威依据。

这是有意为之，并非意外的多路复用。元工具使限定范围的连接也能回答本工具包未覆盖的问题 — 通过 ask_pipeworx 跨整个目录进行路由 — 无需再添加第二个 MCP 服务。目前无法挂载不含这些元工具的 工具包端点；如果额外的 schema 占用的上下文超过路由功能带来的价值， 请连接完整网关一次，而不是连接多个工具包端点。

或者连接完整的 Pipeworx 网关，直接列出每个工具包的工具， 而不只是当前工具包的工具：

{
  "mcpServers": {
    "pipeworx": {
      "url": "https://gateway.pipeworx.io/mcp"
    }
  }
}

两个 URL 都指向同一个网关和相同的 1875+ 个数据源。唯一的区别是哪些工具包的工具会被 直接列出；无论连接哪一个，ask_pipeworx 都可以访问所有工具。

没有 MCP 客户端？通过 HTTP 调用

此工具包使用你自己的 API 密钥（_apiKey）——我们不会为它提供密钥，因此这里没有无需密钥即可运行的 curl 命令。检查任意工具：GET https://gateway.pipeworx.io/v1/tools/crawlbase_scrape。查找工具包：POST https://gateway.pipeworx.io/v1/tools/search_packs，并使用 {"query":"..."}。

独立运行（无需网关账户）

此软件包也可以作为本地 stdio MCP 服务运行——无需 Pipeworx 账户，也无需经过网关往返：

{
  "mcpServers": {
    "crawlbase": {
      "command": "npx",
      "args": ["-y", "@pipeworx/mcp-crawlbase"]
    }
  }
}

或者直接运行它，确认服务可以启动：

npx -y @pipeworx/mcp-crawlbase

它通过 stdin/stdout 使用 MCP，并且仅针对此工具包的工具响应 initialize/tools/list/tools/call——不包含上述网关连接额外提供的任何共享元工具。相同的源代码、相同的工具，不经过 ask_pipeworx 路由。

使用 ask_pipeworx

你可以用通俗的英语提问，而不是直接调用工具——这既适用于上面的工具包端点，也适用于完整网关：

ask_pipeworx({ question: "your question about Crawlbase data" })

网关会选择合适的工具并自动填写参数。

更多信息

• 文档和指南
• pipeworx.io

许可证

MIT