mcpField
O
Oxylabs MCP Server

Oxylabs MCP Server

远程服务
oxylabs.io浏览器自动化104今天更新

关于 Oxylabs MCP Server

Oxylabs MCP Server 通过 Oxylabs 抓取和 AI Studio 工具将 AI 助手连接到网页数据。它支持动态页面、结构化提取、搜索、爬取、浏览器操作和地理定位访问,并可连接托管实例或本地部署。

主要功能

  1. 01抓取 URL 并可选渲染 JavaScript
  2. 02搜索 Google 和 Amazon 结果
  3. 03提取适用于 AI 的内容和结构化数据
  4. 04爬取网站并映射 URL
  5. 05通过提示词执行浏览器操作
  6. 06处理 CAPTCHA 和地理定位

适用场景

  1. 01采集含 JavaScript 的动态网站内容
  2. 02获取结构化的 Google 或 Amazon 结果
  3. 03按提示词爬取多页并收集数据
  4. 04让 AI 助手搜索并概述网页内容

MCP 相关

它将 Oxylabs Web Scraper API 和 AI Studio 功能作为 MCP 工具提供,包括抓取、搜索、爬取、浏览器控制和架构生成。客户端可连接托管端点或本地运行的服务。

配置

远程服务无需本地安装。选择你使用的客户端,复制配置或使用一键安装。

服务地址https://mcp.oxylabs.io/mcp
一键复制安装命令
Claude CodeTerminal
Cursor.cursor/mcp.json
VS Code.vscode/mcp.json
Claude Desktopclaude_desktop_config.json
Windsurf~/.codeium/windsurf/mcp_config.json

命令在终端中运行;JSON 粘贴到对应客户端的 MCP 配置后重启。需要授权的服务会在首次连接时提示登录。

全部服务地址
Streamable HTTPhttps://mcp.oxylabs.io/mcp需要授权
安装包
pypioxylabs-mcp0.10.1

工具

10
参数类型必填说明
urlstring是开始抓取的 URL。
schemaany否抓取页面中结构化数据提取所用的 JSON schema。仅当 output_format 为 json、csv 或 toon 时才需要。
user_promptstring是用户希望从该域名提取的信息。
geo_locationany否用于抓取代理的两字母 ISO 国家代码。
output_formatenum否输出格式。如果为 json、csv 或 toon,则需要 schema。Markdown 返回页面的完整文本。CSV 以 CSV 格式返回数据。Toon(Token-Oriented Object Notation)以 Toon 格式返回数据,该格式针对 AI agents 进行了优化。json | markdown | csv | toon
render_javascriptboolean否是否使用 JavaScript 渲染页面的 HTML。此操作速度慢,仅用于需要 JavaScript 才能渲染页面的网站。除非用户要求使用,否则先尝试不启用此功能抓取页面。如果结果不理想,再尝试启用。
return_sources_limitinteger否要返回的来源数量上限。

详细介绍

Oxylabs + MCP

Oxylabs MCP 服务

连接 AI 模型与真实网络的关键桥梁:通过一个 API,从任何网站获取干净、结构化的数据。


📖 概述

Oxylabs MCP 服务在 AI 模型与网络之间搭建桥梁。它支持抓取任意 URL、渲染 JavaScript 密集型页面、提取并格式化内容以供 AI 使用、处理 CAPTCHA,并访问来自 195 多个国家/地区的地理限制网络数据。

它基于 Model Context Protocol(MCP) 构建。这是连接 AI 助手与外部工具和数据的开放标准。

mcp-name: io.oxylabs/oxylabs-mcp

🛠️ MCP 工具

Oxylabs MCP 提供两组工具,可搭配使用,也可独立使用:

Oxylabs Web Scraper API 工具
  1. universal_scraper:抓取任意 URL,可选择启用 JavaScript 渲染、地理定位,并输出 Markdown/HTML/链接;
  2. google_search_scraper:提取 Google Search 的结果,可选择将结果解析为结构化 JSON;
  3. amazon_search_scraper:抓取 Amazon 搜索结果页面,可选择将结果解析为结构化 JSON;
  4. amazon_product_scraper:提取 Amazon 单个商品页面的数据。
Oxylabs AI Studio 工具
  1. ai_scraper:使用 AI 驱动的提取功能抓取任意 URL 的内容,支持 JSON、CSV、Markdown 或 TOON 格式;
  2. ai_crawler:根据提示词从起始 URL 开始爬取网站,并从多个页面收集数据;
  3. ai_browser_agent:根据提示词控制真实浏览器——导航、点击、填写表单——并返回结果;
  4. ai_search:搜索网络,并可选择返回每个结果的 Markdown 内容;
  5. ai_map:根据关键词或提示词筛选并映射网站的 URL;
  6. generate_schema:为上述 AI 工具的结构化提取生成功能生成 OpenAPI 格式的 JSON 模式。

✅ 前置条件

开始之前,请确保至少具备以下其中一项:

  • Oxylabs Web Scraper API 账户:从 Oxylabs 控制面板 获取 API 令牌(或用户名和密码)(可免费试用 1 周);
  • Oxylabs AI Studio API 密钥:从 Oxylabs AI Studio 获取 API 密钥(免费获得 1000 个点数)。

若要在本地运行服务(下方的选项 2),还需要安装 uv 包管理器:

# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

📦 配置

有两种使用服务的方式:连接到托管实例(无需安装), 或在环境变量中配置凭据后在本地运行。

选项 1:托管服务(无需安装)

Oxylabs 在以下地址运行托管 MCP 服务:

https://mcp.oxylabs.io/mcp

凭据通过请求标头传递:

凭据标头
Web Scraper API 令牌(推荐)Authorization: Bearer <token>
Web Scraper API 令牌(备用)X-Oxylabs-Api-Token
Web Scraper API 用户名和密码Authorization: Basic <base64(username:password)>
Web Scraper API 用户名和密码(备用)X-Oxylabs-Username and X-Oxylabs-Password
AI StudioX-Oxylabs-AI-Studio-Api-Key

如果同时传入 API 令牌、用户名和密码,则会使用令牌。

使用 Claude Code 进行配置:

claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
  --header "Authorization: Bearer YOUR_API_TOKEN" \
  --header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"

使用 Cursor 或任何支持通过自定义标头连接远程 MCP 服务的客户端进行配置:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://mcp.oxylabs.io/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_TOKEN",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

该服务也已列在 Smithery 上。

**注意:**目前,仅支持通过 OAuth 连接远程服务的客户端(例如,在 claude.ai 网页界面中添加自定义 连接器)无法传递标头——我们已将 OAuth 登录列入路线图。在此期间,请使用下方的本地配置方式。

选项 2:本地运行
环境变量

Oxylabs MCP 服务支持以下环境变量:

名称说明默认值
OXYLABS_API_TOKEN你的 Oxylabs Web Scraper API 令牌
OXYLABS_USERNAME你的 Oxylabs Web Scraper API 用户名
OXYLABS_PASSWORD你的 Oxylabs Web Scraper API 密码
OXYLABS_AI_STUDIO_API_KEY你的 Oxylabs AI Studio API 密钥
LOG_LEVEL返回给客户端的日志级别INFO

对于 Web Scraper API 工具,请设置 OXYLABS_API_TOKEN,或同时设置 OXYLABS_USERNAME 和 OXYLABS_PASSWORD。如果两者都已设置,则会使用令牌。对于 AI Studio 工具,请设置 OXYLABS_AI_STUDIO_API_KEY。

所有工具始终都会列出;如果调用工具时缺少所需凭据,则会返回错误消息,说明需要配置什么。

❗ 重要提示:只设置你拥有真实凭据的环境变量。 占位值会导致工具调用失败。

使用 uvx 配置

安装 PyPI 上的软件包 并自动运行:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uvx",
      "args": ["oxylabs-mcp"],
      "env": {
        "OXYLABS_API_TOKEN": "YOUR_API_TOKEN",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}
使用本地检出配置

适用于开发——从此仓库的本地克隆运行服务:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uv",
      "args": [
        "--directory",
        "/<absolute-path-to-folder>/oxylabs-mcp",
        "run",
        "oxylabs-mcp"
      ],
      "env": {
        "OXYLABS_API_TOKEN": "YOUR_API_TOKEN",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}
作为远程 HTTP 服务运行(可自托管)

该服务也支持 MCP 流式 HTTP 传输。使用以下命令启动:

MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp

使用 HTTP 传输时,凭据按请求传递,而不是通过环境变量传递:

凭据传递方式
Web Scraper API 令牌(推荐)Authorization: Bearer <token>
Web Scraper API 令牌(替代方式)X-Oxylabs-Api-Token 请求头
Web Scraper API 用户名和密码Authorization: Basic <base64(username:password)>(HTTP Basic 身份验证)
Web Scraper API 用户名和密码(替代方式)X-Oxylabs-Username 和 X-Oxylabs-Password 请求头
AI StudioX-Oxylabs-AI-Studio-Api-Key 请求头

客户端配置示例:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://your-host:8000/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_TOKEN",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

无论是否提供凭据,所有工具都会始终列出;如果调用工具时缺少所需凭据,则会返回错误消息,准确说明需要配置的内容。

使用 Claude Desktop 进行设置

前往 Claude → Settings → Developer → Edit Config,并将上述某种配置添加到 claude_desktop_config.json 文件中。

使用 Cursor AI 进行设置

前往 Cursor → Settings → Cursor Settings → MCP。点击 Add new global MCP server,并添加上述某种配置。

📝 日志记录

该服务会在 notification/message 事件中提供有关工具调用的其他信息:

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Job info: job_id=7333113830223918081 job_status=done"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "error",
    "data": "Error: request to Oxylabs API failed"
  }
}

✨ 主要功能

抓取任意网站的内容
  • 从任意 URL 提取数据,包括复杂的单页应用
  • 使用无头浏览器支持,完整渲染动态网站
  • 可选择完整 JavaScript 渲染、仅 HTML 渲染或不渲染
  • 模拟移动设备和桌面设备的视口,实现逼真渲染
自动获取适用于 AI 的数据
  • 自动清理 HTML 并转换为 Markdown,提升可读性
  • 使用针对 Google、Amazon 等热门目标的自动解析器
处理 CAPTCHA 和地理限制
  • 高成功率地应对复杂的自动化请求管理系统
  • 可靠抓取最复杂的网站
  • 从覆盖 195+ 个国家/地区的代理池中自动获取轮换 IP
灵活设置并支持跨平台
  • 根据需要设置渲染和解析选项
  • 直接将数据输入 AI 模型或分析工具
  • 支持 macOS、Windows 和 Linux
内置错误处理和请求管理
  • 全面的错误处理和报告
  • 智能速率限制和请求管理
## 为什么选择 Oxylabs MCP?  🕸️ ➜ 📦 ➜ 🤖

想象一下,你对大模型说 “总结一下 Hacker News 上关于 GPT‑5 的最新讨论”,它就能直接给出答案。 Oxylabs MCP 服务会为你处理那些繁琐的工作:

Oxylabs MCP 的功能对你有何帮助
通过 Oxylabs 全球代理网络管理自动化请求拦截帮助访问网站并保持匿名
在无头 Chrome 中渲染 JavaScript轻松处理单页应用
将 HTML 清理并转换为 Markdown可直接用于向量数据库或提示词
可选的结构化解析器(Google、Amazon 等)一行代码即可访问热门目标

🛡️ 许可证

根据 MIT License 分发,详情请参阅 LICENSE。


关于 Oxylabs

Oxylabs 成立于 2015 年,是市场领先的网络情报采集平台,秉持最高的商业、道德和合规标准,帮助全球企业发掘数据驱动的洞察。

图像

由 Oxylabs 用 ☕ 制作。如果我们的 MCP 为你省下了一个周末,欢迎给我们一个 ⭐ 并关注我们。

基于此 MCP 构建的解决方案:

Michelin Detour

评论

支持 Markdown

第一次接触 MCP?

从协议是什么,到在客户端里装上第一个服务,这几条回答覆盖了大多数入门问题。

一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。