Scrapingdog

mcp-scrapingdog

Scrapingdog MCP — 封装了 Scrapingdog（scrapingdog.com），一个基于代理的网页

属于 Pipeworx — 一个将 AI Agent 连接到 1683+ 个实时数据源的 MCP 网关。

工具

工具	描述
scrapingdog_scrape	通过 Scrapingdog 的轮换代理抓取任意网站并返回其内容。默认返回 HTML，或使用 format:"markdown" 返回干净的 Markdown（非常适合输入给大模型）。设置 dynamic:true 可在无头浏览器中渲染 JavaScript，适用于 SPA 和动态页面（费用为 5 个点数，而非 1 个）；设置 premium:true 可用于难以抓取的网站（住宅代理，10 个点数）；设置 country 可指定代理的地理位置。例如：scrapingdog_scrape({ url: "https://example.com", format: "markdown", dynamic: true, _apiKey: "your-key" })
scrapingdog_google_search	Google SERP API — 通过 Scrapingdog 执行 Google 搜索并获取结构化结果：解析后的自然搜索结果（标题、链接、摘要）、相关搜索和“其他人也会问”问题。每次搜索需 5 个点数。例如：scrapingdog_google_search({ query: "best running shoes 2026", country: "us", _apiKey: "your-key" })
scrapingdog_amazon_product	通过 Scrapingdog 按 ASIN 获取 Amazon 商品数据 — 标题、价格、评分、评论数、库存情况、特色要点和图片，均以解析后的 JSON 返回。传入 asin（例如 "B0BFC7WQ6R"）或完整的 Amazon 商品 url。例如：scrapingdog_amazon_product({ asin: "B0BFC7WQ6R", domain: "com", _apiKey: "your-key" })

快速开始

添加到你的 MCP 客户端（Claude Desktop、Cursor、Windsurf 等）：

{
  "mcpServers": {
    "scrapingdog": {
      "url": "https://gateway.pipeworx.io/scrapingdog/mcp"
    }
  }
}

此端点实际提供的内容

https://gateway.pipeworx.io/scrapingdog/mcp 上的 tools/list 会返回上表中的工具，以及 Pipeworx 的共享元工具 — ask_pipeworx、 discover_tools、search_within、remember/recall，以及网关全局工具集中的其他工具。因此，你看到的工具数量会多于此表：目前，单个工具包端点会列出大约 30 个共享工具，以及该工具包自身的工具。连接的 initialize 响应会说明其确切范围，是当天情况的权威依据。

这是有意设计的，并非意外地进行了多路复用。元工具让限定范围的连接也能回答此工具包未覆盖的问题 — 通过 ask_pipeworx 在整个目录中进行路由 — 而无需添加第二个 MCP 服务。目前无法挂载不包含这些元工具的工具包端点；如果额外的 schema 所占用的上下文超过了路由带来的价值，请连接一次完整网关，而不是连接多个工具包端点。

或者连接完整的 Pipeworx 网关，直接列出所有工具包的工具，而不仅是此工具包的工具：

{
  "mcpServers": {
    "pipeworx": {
      "url": "https://gateway.pipeworx.io/mcp"
    }
  }
}

两个 URL 都连接到同一个网关和相同的 1683+ 个数据源。唯一的区别是哪些工具包的工具会被直接列出；无论连接哪个端点，ask_pipeworx 都能访问所有工具。

没有 MCP 客户端？通过 HTTP 调用

此工具包使用你自己的 API 密钥（_apiKey）——我们不会代为提供密钥，因此这里没有无需密钥即可运行的 curl 命令。查看任意工具：GET https://gateway.pipeworx.io/v1/tools/scrapingdog_scrape。查找工具：使用 {"query":"..."} 向 POST https://gateway.pipeworx.io/v1/tools/search_packs 发送请求。

独立运行（无需网关账户）

此软件包也可作为本地 stdio MCP 服务运行 — 无需 Pipeworx 账户，也无需往返网关：

{
  "mcpServers": {
    "scrapingdog": {
      "command": "npx",
      "args": ["-y", "@pipeworx/mcp-scrapingdog"]
    }
  }
}

或者直接运行以确认其能够启动：

npx -y @pipeworx/mcp-scrapingdog

它通过 stdin/stdout 使用 MCP 协议，并为仅属于此工具包的工具响应 initialize/tools/list/tools/call — 不包含上述网关连接额外提供的任何共享元工具。来源相同，工具相同，不提供 ask_pipeworx 路由。

使用 ask_pipeworx

你可以用自然语言提问，而不是直接调用工具 — 此功能既适用于上方的工具包端点，也适用于完整网关：

ask_pipeworx({ question: "your question about Scrapingdog data" })

网关会选择合适的工具并自动填充参数。

More

• Docs and guides
• pipeworx.io

License

MIT