mcpField
W
web-scraper

web-scraper

远程服务
github.com/DataLeadsPRO浏览器自动化06 周前更新
代码仓库

关于 web-scraper

DataLeads 的网页抓取 API，可供需要读取受保护网页的开发者使用。它通过真实浏览器渲染并处理反爬，将内容返回为 JSON 或 Markdown。

主要功能

  1. 01抓取、浏览网页
  2. 02爬取网站
  3. 03处理反爬保护页面
  4. 04返回 JSON 或 Markdown
  5. 05验证码处理端点

适用场景

  1. 01提取受保护网页内容
  2. 02爬取网站页面
  3. 03将网页转换为便于处理的格式

MCP 相关

提供远程 Streamable HTTP MCP 服务，也可通过 Docker 以 Stdio 方式运行；MCP 客户端可使用其网页抓取和浏览端点。

配置

远程服务无需本地安装。选择你使用的客户端，复制配置或使用一键安装。

服务地址https://data.dataleads.pro/mcp/web-scraper
一键复制安装命令
Claude CodeTerminal
Cursor.cursor/mcp.json
VS Code.vscode/mcp.json
Claude Desktopclaude_desktop_config.json
Windsurf~/.codeium/windsurf/mcp_config.json

命令在终端中运行；JSON 粘贴到对应客户端的 MCP 配置后重启。需要授权的服务会在首次连接时提示登录。

工具

4
参数类型必填说明
urlstring否
maxTimeoutinteger否

详细介绍

网页抓取 API（反机器人）

获取、爬取和浏览受保护的页面，并处理反机器人机制——在真实浏览器中渲染，然后返回干净的 JSON 或 Markdown。

属于 DataLeads API 套件（数据类别）。请求会在真实浏览器中渲染，并内置反机器人处理和受保护页面支持——无需管理代理，也无需运行基础设施。

端点

方法路径描述
POST/fetchV1 获取
POST/web/crawlV1 网页爬取
POST/browseV1 浏览
POST/captcha/solveV1 验证码求解

快速开始

curl -X POST https://data.dataleads.pro/v1/fetch \
  -H 'Content-Type: application/json' \
  -d '{"clientKey": "YOUR_CLIENT_KEY", "url": "https://www.zillow.com/homes/Austin,-TX_rb/"}'

将 YOUR_CLIENT_KEY 替换为你的密钥。前往 https://data.dataleads.pro 获取密钥，包含免费套餐。

MCP 服务

  • 远程服务（Streamable HTTP）： https://data.dataleads.pro/mcp/web-scraper
  • 标准输入输出（Docker）： docker run -e DATALEADS_API_KEY=yourkey ghcr.io/dataleads/web-scraper-mcp:latest

定价

套餐价格请求数
免费$0500/月
入门版$9/月5,000
专业版$29/月25,000
商业版$99/月100,000
企业版定制定制

完整套餐详情请访问 https://data.dataleads.pro。

许可证

MIT——参见 LICENSE。

评论

支持 Markdown

第一次接触 MCP？

从协议是什么，到在客户端里装上第一个服务，这几条回答覆盖了大多数入门问题。

一个开放协议，规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话，MCP 服务负责提供工具、资源和提示模板，两者通过标准消息通信，同一个服务可以被不同客户端复用。