mcpField
S
Scraperapi

Scraperapi

远程服务
pipeworx.io浏览器自动化05 周前更新

关于 Scraperapi

Scraperapi 提供网页抓取、Amazon 商品与搜索数据以及 Google 搜索结果的 MCP 工具,适合需要网页内容或结构化结果的用户,并支持 JavaScript 渲染和地域定位选项。

主要功能

  1. 01以 HTML 或 Markdown 抓取网页
  2. 02渲染 JavaScript 密集型页面
  3. 03按 ASIN 获取 Amazon 商品详情
  4. 04获取结构化 Amazon 与 Google 搜索结果

适用场景

  1. 01收集网页内容以供分析
  2. 02抓取由 JavaScript 驱动的网站
  3. 03查询 Amazon 商品详情或列表
  4. 04获取指定查询的 Google 搜索结果

MCP 相关

向 MCP 客户端提供 ScraperAPI 网页抓取和搜索工具。可通过 Pipeworx 连接,也可作为本地 stdio MCP 服务独立运行;调用需要用户自己的 ScraperAPI 密钥。

配置

远程服务无需本地安装。选择你使用的客户端,复制配置或使用一键安装。

服务地址https://gateway.pipeworx.io/scraperapi/mcp
一键复制安装命令
Claude CodeTerminal
Cursor.cursor/mcp.json
VS Code.vscode/mcp.json
Claude Desktopclaude_desktop_config.json
Windsurf~/.codeium/windsurf/mcp_config.json

命令在终端中运行;JSON 粘贴到对应客户端的 MCP 配置后重启。需要授权的服务会在首次连接时提示登录。

工具

详细介绍

mcp-scraperapi

ScraperAPI MCP — 封装 ScraperAPI(scraperapi.com),一种基于代理的网页

属于 Pipeworx — 一个将 AI Agent 连接到 1683+ 个实时数据源的 MCP 网关。

工具

工具描述
scraperapi_scrape通过 ScraperAPI 的轮换代理抓取任意网页并返回其内容。默认返回 HTML,也可使用 output_format:"markdown" 返回简洁的 Markdown(适合提供给大模型)。对于大量使用 JavaScript 的页面(SPA),使用 render:true;对于难以抓取的网站(住宅代理),使用 premium:true;使用 country_code 指定地理位置。示例:scraperapi_scrape({ url: "https://example.com", output_format: "markdown", render: true, _apiKey: "your-key" })
scraperapi_amazon_product根据 ASIN 获取结构化的 Amazon 商品数据 — 标题、价格、评分、评论数、特性、图片和库存情况。示例:scraperapi_amazon_product({ asin: "B0BFC7WQ6R", country: "us", tld: "com", _apiKey: "your-key" })
scraperapi_amazon_search搜索 Amazon 并获取结构化结果 — 商品标题、ASIN、价格、评分和缩略图。示例:scraperapi_amazon_search({ query: "wireless earbuds", country: "us", tld: "com", _apiKey: "your-key" })
scraperapi_google_search执行 Google 搜索并获取结构化的 SERP 结果 — 自然搜索结果、标题、链接、摘要及相关数据。示例:scraperapi_google_search({ query: "best running shoes 2026", country_code: "us", tld: "com", _apiKey: "your-key" })

快速开始

添加到你的 MCP 客户端(Claude Desktop、Cursor、Windsurf 等):

{
  "mcpServers": {
    "scraperapi": {
      "url": "https://gateway.pipeworx.io/scraperapi/mcp"
    }
  }
}
此端点实际提供的内容

https://gateway.pipeworx.io/scraperapi/mcp 上的 tools/list 会返回上表中的工具,以及 Pipeworx 共享的元工具 — ask_pipeworx、 discover_tools、search_within、remember/recall,以及网关范围内的其他工具。因此,你看到的工具数量会多于此表:目前,单个工具包端点除了工具包自身的工具外,还会列出大约 30 个共享工具。连接的 initialize 响应会说明其确切范围,是当天最权威的答案。

这是有意为之,并非意外复用。元工具可以让限定范围的连接回答此工具包未涵盖的问题 — 通过 ask_pipeworx 跨整个目录进行路由 — 无需你再添加第二个 MCP 服务。目前无法挂载不含这些工具的工具包端点;如果额外的架构定义占用的上下文比路由功能带来的价值更多,建议只连接一次完整网关,而不是连接多个工具包端点。

也可以连接完整的 Pipeworx 网关,直接列出每个工具包的所有工具,而不只是此工具包的工具:

{
  "mcpServers": {
    "pipeworx": {
      "url": "https://gateway.pipeworx.io/mcp"
    }
  }
}

两个 URL 都会访问相同的网关和相同的 1683+ 个数据源。唯一的区别在于直接列出哪个工具包的工具;从任一端点都可以通过 ask_pipeworx 访问所有工具。

没有 MCP 客户端?通过 HTTP 调用

此工具包需要你提供自己的 API 密钥(_apiKey)— 我们不会代为提供,因此这里没有不带密钥也能运行的 curl 命令。查看任意工具:GET https://gateway.pipeworx.io/v1/tools/scraperapi_scrape。查找工具:使用 {"query":"..."} 向 POST https://gateway.pipeworx.io/v1/tools/search_packs 发送请求。

独立运行(无需网关账户)

此软件包也可以作为本地 stdio MCP 服务运行 — 无需 Pipeworx 账户,也无需往返网关:

{
  "mcpServers": {
    "scraperapi": {
      "command": "npx",
      "args": ["-y", "@pipeworx/mcp-scraperapi"]
    }
  }
}

或者直接运行,确认它可以启动:

npx -y @pipeworx/mcp-scraperapi

它通过 stdin/stdout 使用 MCP,并响应 initialize/tools/list/tools/call,仅提供此工具包的工具 — 不包含上述网关连接额外提供的任何共享元工具。相同的源代码、相同的工具,但没有 ask_pipeworx 路由功能。

使用 ask_pipeworx

你也可以用通俗语言提问,而不是直接调用工具 — 此功能既适用于上面的工具包端点,也适用于完整网关:

ask_pipeworx({ question: "your question about Scraperapi data" })

网关会自动选择合适的工具并填入参数。

More

License

MIT

评论

支持 Markdown

第一次接触 MCP?

从协议是什么,到在客户端里装上第一个服务,这几条回答覆盖了大多数入门问题。

一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。