Web Scraping API

Name: Web Scraping API
Author: zeeb0tt

本地服务

github.com/zeeb0tt浏览器自动化274 周前更新

代码仓库

关于 Web Scraping API

Web Scraping API 将网页抓取端点接入 AI Agent 工作流，面向需要自动获取网页数据的开发者。Agent 可调用抓取、链接提取、翻页和搜索端点完成任务。

主要功能

01调用网页抓取端点
02提取页面链接
03获取后续页面内容
04搜索网页数据

适用场景

01抓取网页并提取房产信息
02分页收集近期发布的房源
03在 AI Agent 工作流中自动获取网页数据

MCP 相关

提供 MCP 服务配置，使 MCP 客户端能够连接网页抓取 API，并调用 /scrape、/links、/next 和 /search 端点。

#web-scraping #api #ai-agents

配置

本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置

{
  "mcpServers": {
    "web-scraping-api": {
      "command": "npx",
      "args": [
        "-y",
        "mcp-remote"
      ],
      "env": {
        "AUTH_HEADER": "<AUTH_HEADER>"
      }
    }
  }
}

启动命令npx -y mcp-remote

需要配置的环境变量

AUTH_HEADER密钥

本地服务需要在你的电脑上安装运行环境（如 Node.js 18+）。各客户端的配置文件位置不同，请参考客户端文档。

安装包

npmmcp-remotestdio

工具

收录的工具列表 · 更新于 3 周前

参数	类型	必填	说明
url	string	是
fields	object	是

详细介绍

🚀 我们刚刚推出了全新的 MCP 服务！

如果你正在构建或使用 AI Agent，现在可以将我们的网页抓取 API 直接接入自主工作流。只需将以下内容添加到 MCP 配置中：

{
  "mcpServers": {
    "web-scraping-api-by-instantapi-ai": {
      "command": "npx",
      "args": [
        "-y",
        "mcp-remote",
        "https://web-scraping-api-by-instantapi-ai.help-052.workers.dev/sse",
        "--header",
        "Authorization:${AUTH_HEADER}"
      ],
      "env": {
        "AUTH_HEADER": "Bearer <YOUR_API_KEY>"
      }
    }
  }
}

🔐 只需将 <YOUR_API_KEY> 替换为你从 InstantAPI.ai 获取的 API 密钥。在此注册并获取专属 API 密钥：https://web.instantapi.ai/#pricing-03-254921

连接后，你的 AI Agent 可以自动调用我们的任意抓取端点——/scrape、/links、/next、/search——完成复杂的网页数据任务，无需使用任何 HTML 选择器或编写手动逻辑。

🧠 用户分享的真实任务示例：

Go to https://www.domain.com.au/sale/bowral-nsw-2576/?bedrooms=1-any&bathrooms=1-any&excludeunderoffer=1&establishedtype=established&sort=dateupdated-desc
Extract each property link.
For each, get the full physical address and how many days since it was listed. If not known, assume 0 (today).
Keep paginating until no properties are listed in the last 7 days.
Return all matching addresses.

✅ Agent 自主完成了任务——为抵押贷款经纪人抓取新的潜在客户，全程无需编写代码。

如果你正在构建 AI 工作流，这能大幅减少胶水代码和边缘情况处理。只需给 Agent 一个目标，然后让它获取数据。

支持 Markdown

登录后评论