Scrapingant

mcp-scrapingant

ScrapingAnt MCP — 封装 ScrapingAnt 网页抓取 API（scrapingant.com）

属于 Pipeworx — 一个将 AI Agent 连接到 1683+ 个实时数据源的 MCP 网关。

工具

工具	描述
scrapingant_scrape	使用 ScrapingAnt 抓取网页并返回原始 HTML（无头浏览器渲染 + 轮换代理）。可处理 JS 密集型网站和反机器人页面。示例：scrapingant_scrape({ url: "https://example.com", browser: true, _apiKey: "your-key" })
scrapingant_markdown	使用 ScrapingAnt 获取网页并返回简洁、适合大模型使用的 Markdown（已去除模板内容）。非常适合将页面内容提供给模型。示例：scrapingant_markdown({ url: "https://example.com/article", _apiKey: "your-key" })
scrapingant_extract	使用 ScrapingAnt AI 提取功能从网页提取结构化数据。在 extract_properties 中描述你需要的字段（以逗号分隔），即可获取包含匹配 camelCase 键的 JSON 对象。示例：scrapingant_extract({ url: "https://example.com/product", extract_properties: "product title, price(number), full description", _apiKey: "your-key" })

快速开始

添加到你的 MCP 客户端（Claude Desktop、Cursor、Windsurf 等）：

{
  "mcpServers": {
    "scrapingant": {
      "url": "https://gateway.pipeworx.io/scrapingant/mcp"
    }
  }
}

此端点实际提供的内容

https://gateway.pipeworx.io/scrapingant/mcp 上的 tools/list 会返回上表中的工具，以及 Pipeworx 共享元工具——ask_pipeworx、 discover_tools、search_within、remember/recall 和网关范围内的其他工具。因此，你看到的工具数量会多于此表所列：单个工具包端点目前会列出大约 30 个共享工具，以及该工具包自身的工具。连接的 initialize 响应会说明其确切范围，是特定日期的权威答案。

这是有意设计的，并非意外的多路复用。元工具可以让特定范围的连接回答此工具包无法覆盖的问题——通过可跨整个目录路由的 ask_pipeworx——而无需添加第二个 MCP 服务。目前无法挂载不包含这些工具的工具包端点；如果额外的架构信息带来的上下文成本超过路由的价值，请连接一次完整网关，而不是连接多个工具包端点。

或者连接完整的 Pipeworx 网关，直接列出每个工具包的工具，而不仅仅是此工具包的工具：

{
  "mcpServers": {
    "pipeworx": {
      "url": "https://gateway.pipeworx.io/mcp"
    }
  }
}

这两个 URL 都会连接到同一个网关和同一组 1683+ 个数据源。唯一的区别是会直接列出哪个工具包的工具；无论连接哪个端点，ask_pipeworx 都可以访问所有工具。

没有 MCP 客户端？通过 HTTP 调用

此工具包需要你自己的 API 密钥（_apiKey）——我们不会代为提供，因此这里没有无需密钥即可运行的 curl 命令。查看任意工具：GET https://gateway.pipeworx.io/v1/tools/scrapingant_scrape。查找工具：使用 {"query":"..."} 调用 POST https://gateway.pipeworx.io/v1/tools/search_packs。

独立运行（无需网关账户）

此软件包也可以作为本地 stdio MCP 服务运行——无需 Pipeworx 账户，也无需经过网关：

{
  "mcpServers": {
    "scrapingant": {
      "command": "npx",
      "args": ["-y", "@pipeworx/mcp-scrapingant"]
    }
  }
}

或者直接运行以确认它能启动：

npx -y @pipeworx/mcp-scrapingant

它通过 stdin/stdout 使用 MCP 通信，并响应 initialize/tools/list/tools/call，仅包含此工具包的工具——不包含上述网关连接额外添加的任何共享元工具。源码相同，工具相同，但没有 ask_pipeworx 路由。

使用 ask_pipeworx

你可以用普通英语提问，而不是直接调用工具——此方式既适用于上面的工具包端点，也适用于完整网关：

ask_pipeworx({ question: "your question about Scrapingant data" })

网关会自动选择合适的工具并填入参数。

更多信息

• 文档和指南
• pipeworx.io

许可证

MIT