关于 Oxylabs MCP Server
Oxylabs MCP Server 通过 Oxylabs 抓取和 AI Studio 工具将 AI 助手连接到网页数据。它支持动态页面、结构化提取、搜索、爬取、浏览器操作和地理定位访问,并可连接托管实例或本地部署。
主要功能
- 01抓取 URL 并可选渲染 JavaScript
- 02搜索 Google 和 Amazon 结果
- 03提取适用于 AI 的内容和结构化数据
- 04爬取网站并映射 URL
- 05通过提示词执行浏览器操作
- 06处理 CAPTCHA 和地理定位
适用场景
- 01采集含 JavaScript 的动态网站内容
- 02获取结构化的 Google 或 Amazon 结果
- 03按提示词爬取多页并收集数据
- 04让 AI 助手搜索并概述网页内容
MCP 相关
它将 Oxylabs Web Scraper API 和 AI Studio 功能作为 MCP 工具提供,包括抓取、搜索、爬取、浏览器控制和架构生成。客户端可连接托管端点或本地运行的服务。
配置
远程服务无需本地安装。选择你使用的客户端,复制配置或使用一键安装。
https://mcp.oxylabs.io/mcpclaude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp{"mcpServers":{"oxylabs":{"type":"http","url":"https://mcp.oxylabs.io/mcp"}}}在 Cursor 中打开{"servers":{"oxylabs":{"type":"http","url":"https://mcp.oxylabs.io/mcp"}}}在 VS Code 中打开{"mcpServers":{"oxylabs":{"type":"http","url":"https://mcp.oxylabs.io/mcp"}}}{"mcpServers":{"oxylabs":{"serverUrl":"https://mcp.oxylabs.io/mcp"}}}命令在终端中运行;JSON 粘贴到对应客户端的 MCP 配置后重启。需要授权的服务会在首次连接时提示登录。
https://mcp.oxylabs.io/mcp需要授权工具
10| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| url | string | 是 | 开始抓取的 URL。 |
| schema | any | 否 | 抓取页面中结构化数据提取所用的 JSON schema。仅当 output_format 为 json、csv 或 toon 时才需要。 |
| user_prompt | string | 是 | 用户希望从该域名提取的信息。 |
| geo_location | any | 否 | 用于抓取代理的两字母 ISO 国家代码。 |
| output_format | enum | 否 | 输出格式。如果为 json、csv 或 toon,则需要 schema。Markdown 返回页面的完整文本。CSV 以 CSV 格式返回数据。Toon(Token-Oriented Object Notation)以 Toon 格式返回数据,该格式针对 AI agents 进行了优化。json | markdown | csv | toon |
| render_javascript | boolean | 否 | 是否使用 JavaScript 渲染页面的 HTML。此操作速度慢,仅用于需要 JavaScript 才能渲染页面的网站。除非用户要求使用,否则先尝试不启用此功能抓取页面。如果结果不理想,再尝试启用。 |
| return_sources_limit | integer | 否 | 要返回的来源数量上限。 |
详细介绍
Oxylabs MCP 服务
连接 AI 模型与真实网络的关键桥梁:通过一个 API,从任何网站获取干净、结构化的数据。
📖 概述
Oxylabs MCP 服务在 AI 模型与网络之间搭建桥梁。它支持抓取任意 URL、渲染 JavaScript 密集型页面、提取并格式化内容以供 AI 使用、处理 CAPTCHA,并访问来自 195 多个国家/地区的地理限制网络数据。
它基于 Model Context Protocol(MCP) 构建。这是连接 AI 助手与外部工具和数据的开放标准。
mcp-name: io.oxylabs/oxylabs-mcp
🛠️ MCP 工具
Oxylabs MCP 提供两组工具,可搭配使用,也可独立使用:
Oxylabs Web Scraper API 工具
- universal_scraper:抓取任意 URL,可选择启用 JavaScript 渲染、地理定位,并输出 Markdown/HTML/链接;
- google_search_scraper:提取 Google Search 的结果,可选择将结果解析为结构化 JSON;
- amazon_search_scraper:抓取 Amazon 搜索结果页面,可选择将结果解析为结构化 JSON;
- amazon_product_scraper:提取 Amazon 单个商品页面的数据。
Oxylabs AI Studio 工具
- ai_scraper:使用 AI 驱动的提取功能抓取任意 URL 的内容,支持 JSON、CSV、Markdown 或 TOON 格式;
- ai_crawler:根据提示词从起始 URL 开始爬取网站,并从多个页面收集数据;
- ai_browser_agent:根据提示词控制真实浏览器——导航、点击、填写表单——并返回结果;
- ai_search:搜索网络,并可选择返回每个结果的 Markdown 内容;
- ai_map:根据关键词或提示词筛选并映射网站的 URL;
- generate_schema:为上述 AI 工具的结构化提取生成功能生成 OpenAPI 格式的 JSON 模式。
✅ 前置条件
开始之前,请确保至少具备以下其中一项:
- Oxylabs Web Scraper API 账户:从 Oxylabs 控制面板 获取 API 令牌(或用户名和密码)(可免费试用 1 周);
- Oxylabs AI Studio API 密钥:从 Oxylabs AI Studio 获取 API 密钥(免费获得 1000 个点数)。
若要在本地运行服务(下方的选项 2),还需要安装 uv 包管理器:
# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
📦 配置
有两种使用服务的方式:连接到托管实例(无需安装), 或在环境变量中配置凭据后在本地运行。
选项 1:托管服务(无需安装)
Oxylabs 在以下地址运行托管 MCP 服务:
https://mcp.oxylabs.io/mcp
凭据通过请求标头传递:
| 凭据 | 标头 |
|---|---|
| Web Scraper API 令牌(推荐) | Authorization: Bearer <token> |
| Web Scraper API 令牌(备用) | X-Oxylabs-Api-Token |
| Web Scraper API 用户名和密码 | Authorization: Basic <base64(username:password)> |
| Web Scraper API 用户名和密码(备用) | X-Oxylabs-Username and X-Oxylabs-Password |
| AI Studio | X-Oxylabs-AI-Studio-Api-Key |
如果同时传入 API 令牌、用户名和密码,则会使用令牌。
使用 Claude Code 进行配置:
claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
--header "Authorization: Bearer YOUR_API_TOKEN" \
--header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"
使用 Cursor 或任何支持通过自定义标头连接远程 MCP 服务的客户端进行配置:
{
"mcpServers": {
"oxylabs": {
"url": "https://mcp.oxylabs.io/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_TOKEN",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
该服务也已列在 Smithery 上。
**注意:**目前,仅支持通过 OAuth 连接远程服务的客户端(例如,在 claude.ai 网页界面中添加自定义 连接器)无法传递标头——我们已将 OAuth 登录列入路线图。在此期间,请使用下方的本地配置方式。
选项 2:本地运行
环境变量
Oxylabs MCP 服务支持以下环境变量:
| 名称 | 说明 | 默认值 |
|---|---|---|
OXYLABS_API_TOKEN | 你的 Oxylabs Web Scraper API 令牌 | |
OXYLABS_USERNAME | 你的 Oxylabs Web Scraper API 用户名 | |
OXYLABS_PASSWORD | 你的 Oxylabs Web Scraper API 密码 | |
OXYLABS_AI_STUDIO_API_KEY | 你的 Oxylabs AI Studio API 密钥 | |
LOG_LEVEL | 返回给客户端的日志级别 | INFO |
对于 Web Scraper API 工具,请设置 OXYLABS_API_TOKEN,或同时设置 OXYLABS_USERNAME 和
OXYLABS_PASSWORD。如果两者都已设置,则会使用令牌。对于 AI Studio 工具,请设置
OXYLABS_AI_STUDIO_API_KEY。
所有工具始终都会列出;如果调用工具时缺少所需凭据,则会返回错误消息,说明需要配置什么。
❗ 重要提示:只设置你拥有真实凭据的环境变量。 占位值会导致工具调用失败。
使用 uvx 配置
安装 PyPI 上的软件包 并自动运行:
{
"mcpServers": {
"oxylabs": {
"command": "uvx",
"args": ["oxylabs-mcp"],
"env": {
"OXYLABS_API_TOKEN": "YOUR_API_TOKEN",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
使用本地检出配置
适用于开发——从此仓库的本地克隆运行服务:
{
"mcpServers": {
"oxylabs": {
"command": "uv",
"args": [
"--directory",
"/<absolute-path-to-folder>/oxylabs-mcp",
"run",
"oxylabs-mcp"
],
"env": {
"OXYLABS_API_TOKEN": "YOUR_API_TOKEN",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
作为远程 HTTP 服务运行(可自托管)
该服务也支持 MCP 流式 HTTP 传输。使用以下命令启动:
MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp
使用 HTTP 传输时,凭据按请求传递,而不是通过环境变量传递:
| 凭据 | 传递方式 |
|---|---|
| Web Scraper API 令牌(推荐) | Authorization: Bearer <token> |
| Web Scraper API 令牌(替代方式) | X-Oxylabs-Api-Token 请求头 |
| Web Scraper API 用户名和密码 | Authorization: Basic <base64(username:password)>(HTTP Basic 身份验证) |
| Web Scraper API 用户名和密码(替代方式) | X-Oxylabs-Username 和 X-Oxylabs-Password 请求头 |
| AI Studio | X-Oxylabs-AI-Studio-Api-Key 请求头 |
客户端配置示例:
{
"mcpServers": {
"oxylabs": {
"url": "https://your-host:8000/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_TOKEN",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
无论是否提供凭据,所有工具都会始终列出;如果调用工具时缺少所需凭据,则会返回错误消息,准确说明需要配置的内容。
使用 Claude Desktop 进行设置
前往 Claude → Settings → Developer → Edit Config,并将上述某种配置添加到 claude_desktop_config.json 文件中。
使用 Cursor AI 进行设置
前往 Cursor → Settings → Cursor Settings → MCP。点击 Add new global MCP server,并添加上述某种配置。
📝 日志记录
该服务会在 notification/message 事件中提供有关工具调用的其他信息:
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
}
}
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Job info: job_id=7333113830223918081 job_status=done"
}
}
{
"method": "notifications/message",
"params": {
"level": "error",
"data": "Error: request to Oxylabs API failed"
}
}
✨ 主要功能
抓取任意网站的内容
- 从任意 URL 提取数据,包括复杂的单页应用
- 使用无头浏览器支持,完整渲染动态网站
- 可选择完整 JavaScript 渲染、仅 HTML 渲染或不渲染
- 模拟移动设备和桌面设备的视口,实现逼真渲染
自动获取适用于 AI 的数据
- 自动清理 HTML 并转换为 Markdown,提升可读性
- 使用针对 Google、Amazon 等热门目标的自动解析器
处理 CAPTCHA 和地理限制
- 高成功率地应对复杂的自动化请求管理系统
- 可靠抓取最复杂的网站
- 从覆盖 195+ 个国家/地区的代理池中自动获取轮换 IP
灵活设置并支持跨平台
- 根据需要设置渲染和解析选项
- 直接将数据输入 AI 模型或分析工具
- 支持 macOS、Windows 和 Linux
内置错误处理和请求管理
- 全面的错误处理和报告
- 智能速率限制和请求管理
想象一下,你对大模型说 “总结一下 Hacker News 上关于 GPT‑5 的最新讨论”,它就能直接给出答案。 Oxylabs MCP 服务会为你处理那些繁琐的工作:
| Oxylabs MCP 的功能 | 对你有何帮助 |
|---|---|
| 通过 Oxylabs 全球代理网络管理自动化请求拦截 | 帮助访问网站并保持匿名 |
| 在无头 Chrome 中渲染 JavaScript | 轻松处理单页应用 |
| 将 HTML 清理并转换为 Markdown | 可直接用于向量数据库或提示词 |
| 可选的结构化解析器(Google、Amazon 等) | 一行代码即可访问热门目标 |
🛡️ 许可证
根据 MIT License 分发,详情请参阅 LICENSE。
关于 Oxylabs
Oxylabs 成立于 2015 年,是市场领先的网络情报采集平台,秉持最高的商业、道德和合规标准,帮助全球企业发掘数据驱动的洞察。
基于此 MCP 构建的解决方案:
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。
