Scrapfly MCP Server

Scrapfly MCP 服务

让你的 AI 实时访问任意网站

🌐 产品页面 • 📖 文档 • 🎮 在线演示 • 🔑 获取 API 密钥

什么是 Scrapfly MCP？

Scrapfly MCP 服务通过 Model Context Protocol 将你的 AI 助手连接到实时网络数据。让你的 AI 摆脱训练数据的限制，实时访问任意网站。

✨ AI 能做什么

🏆 为什么选择 Scrapfly？

基于经过实战检验的基础设施构建，已被数千名开发者使用：

• 99.9% 正常运行时间 — 企业级可靠性
• 100+ 个国家/地区 — 全球代理网络，提供数据中心和住宅 IP，支持三种代理池（Basic、Unblocker、Unblocker Ultra）或 Auto，由 API 选择代理池
• 绕过反机器人系统 — 先进的 Unblocker 技术可应对现代防护措施
• OAuth2 安全性 — 面向生产部署的企业级身份验证

📖 了解更多：为什么选择 Scrapfly MCP？

🚀 快速安装

点击下方任意按钮，在首选 IDE 中安装 MCP 服务：

📦 手动安装

标准配置

适用于大多数兼容 MCP 的工具：

{
  "servers": {
    "scrapfly-cloud-mcp": {
      "type": "http",
      "url": "https://mcp.scrapfly.io/mcp"
    }
  }
}

云端配置（NPX）

适用于需要本地进程的工具：

{
  "mcpServers": {
    "scrapfly": {
      "command": "npx",
      "args": [
        "mcp-remote",
        "https://mcp.scrapfly.io/mcp"
      ]
    }
  }
}

🔧 IDE 专属设置

code --add-mcp '{"name":"scrapfly-cloud-mcp","type":"http","url":"https://mcp.scrapfly.io/mcp"}'

code-insiders --add-mcp '{"name":"scrapfly-cloud-mcp","type":"http","url":"https://mcp.scrapfly.io/mcp"}'

claude mcp add scrapfly-cloud-mcp --url https://mcp.scrapfly.io/mcp

{
  "mcpServers": {
    "scrapfly": {
      "command": "npx",
      "args": ["mcp-remote", "https://mcp.scrapfly.io/mcp"]
    }
  }
}

{
  "scrapfly-cloud-mcp": {
    "type": "http",
    "url": "https://mcp.scrapfly.io/mcp"
  }
}

{
  "context_servers": {
    "scrapfly-cloud-mcp": {
      "type": "http",
      "url": "https://mcp.scrapfly.io/mcp"
    }
  }
}

[mcp_servers.scrapfly-cloud-mcp]
url = "https://mcp.scrapfly.io/mcp"

{
  "$schema": "https://opencode.ai/config.json",
  "mcp": {
    "scrapfly-cloud-mcp": {
      "type": "http",
      "url": "https://mcp.scrapfly.io/mcp",
      "enabled": true
    }
  }
}

🛠️ 可用工具

Scrapfly MCP 服务提供 5 个强大的工具，可满足 99% 的网页抓取需求：

📖 完整参考：工具与 API 规范

代理池

web_scrape 和 web_get_page 接受 proxy_pool，用于同时设置代理和解锁器（反机器人绕过）：

根据网站的需求选择代理池：数据中心代理可以访问的网站使用 basic；需要住宅代理和解锁器的网站使用 unblocker 或 unblocker_ultra；也可以使用 auto，让 API 进行选择。 自身有价格的目标网站或反机器人保护会拒绝 basic 和 unblocker，并返回 ERR::PROXY::UNBLOCKER_ULTRA_REQUIRED（HTTP 422，不计费）：使用 proxy_pool=unblocker_ultra 重新发送请求，或使用 proxy_pool=auto。auto 适用于所有目标网站，包括要求使用 unblocker_ultra 的网站，并会将相应价格计入费用。public_tor_pool 使用 Tor 网络（.onion）。

已弃用：unblocker 和 asp

web_scrape 的 unblocker 输入及其旧名称 asp 已弃用：请改用 proxy_pool（解锁器使用 unblocker_ultra）。 迁移指南介绍了代理池推出前编写的请求，也包括代理池名称 public_datacenter_pool 和 public_residential_pool。 如果未提供 proxy_pool，服务器会向 API 发送不含代理池的请求，并默认设置 asp=true；该指南也涵盖此类请求。

示例：抓取页面

User: "What are the top posts on Hacker News right now?"

AI: Uses web_get_page to fetch https://news.ycombinator.com and returns current top stories

示例：提取结构化数据

User: "Get all product prices from this Amazon page"

AI: Uses web_scrape with extraction_model="product_listing" to return structured JSON

📖 更多示例：真实场景示例

🔐 身份验证

Scrapfly MCP 支持多种身份验证方式：

🔑 获取你的 API key：Scrapfly 控制面板

📊 配置参考

🖥️ 自托管 / 本地部署

你可以在本地运行 Scrapfly MCP 服务，也可以自行托管。

CLI 参数

环境变量

每个请求单独提供密钥：启动服务时不内置密钥（仅使用 -http），并由 每个调用方在每个请求中提供自己的密钥，形式为 Authorization: Bearer <key>、 或 ?key=<key> / ?apiKey=<key>。此方式需要身份验证；而上文所述的服务端密钥 方式不需要，因此默认仅绑定到回环地址。

示例

# Start HTTP server on port 8080
./scrapfly-mcp -http :8080

# Start HTTP server using PORT env var
PORT=8080 ./scrapfly-mcp

# Start with an API key. Prefer the environment variable: a key passed as a
# flag lands in your shell history and in the process list.
# Server-key mode has no per-caller auth, so it binds 127.0.0.1 here.
SCRAPFLY_API_KEY=... ./scrapfly-mcp -http :8080

# Same, but expose it on all interfaces — only behind your own auth proxy.
SCRAPFLY_API_KEY=... ./scrapfly-mcp -http 0.0.0.0:8080 -allow-remote

# Start in stdio mode (for local MCP clients)
./scrapfly-mcp

Docker

# Build
docker build -t scrapfly-mcp .

# Run (Smithery compatible - uses PORT env var)
docker run -p 8080:8080 scrapfly-mcp

# Run with custom port
docker run -e PORT=9000 -p 9000:9000 scrapfly-mcp

🤝 框架集成

Scrapfly MCP 也可与 AI 框架和自动化工具配合使用：

📖 所有集成：集成索引

📚 资源

• 🌐 MCP Cloud 落地页 — 产品概览和功能
• 🎮 n8n 在线演示 — 在浏览器中试用
• 📖 完整文档
• 🛠️ 工具参考
• 💡 示例和用例
• ❓ 常见问题
• 🔐 身份验证指南

💬 需要帮助？

• 📖 Scrapfly 文档
• 📧 联系支持团队
• 🌐 Model Context Protocol

由 Scrapfly 倾心打造 ❤️
_{面向开发者的网页抓取 API}