mcpField
P
proxy4agents-mcp

proxy4agents-mcp

本地服务
github.com/NovadaLabs浏览器自动化419 周前更新

关于 proxy4agents-mcp

proxy4agents-mcp(README 中称 Novada Proxy)是面向 AI Agent 的住宅代理 MCP 服务,用于代理网页请求并执行搜索、抓取和内容提取。它支持地理位置定向、粘性会话及多个代理提供商,也提供预设工作流和参考资源。

主要功能

  1. 01住宅代理请求与地理定向
  2. 02批量抓取及递归爬取
  3. 03提取网页结构化字段
  4. 04搜索网页并渲染 JavaScript
  5. 05粘性会话复用 IP
  6. 06提供工作流提示词与参考资源

适用场景

  1. 01抓取带反爬限制的网页
  2. 02按国家或城市获取本地化内容
  3. 03批量收集多个页面的产品信息
  4. 04搜索主题并抓取相关页面

MCP 相关

该 MCP 服务向兼容客户端提供网页代理、抓取、搜索、渲染和提取工具,以及用于组合操作的提示词和参考资源。代理功能需要代理凭据;搜索和浏览器渲染分别需要相应配置。

配置

本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置
{
"mcpServers": {
"novadalabs-proxy4agents": {
"command": "npx",
"args": [
"-y",
"bestproxy4agents-mcp"
],
"env": {
"NOVADA_PROXY_USER": "<NOVADA_PROXY_USER>",
"NOVADA_PROXY_PASS": "<NOVADA_PROXY_PASS>",
"NOVADA_API_KEY": "<NOVADA_API_KEY>",
"NOVADA_BROWSER_WS": "<NOVADA_BROWSER_WS>",
"BRIGHTDATA_USER": "<BRIGHTDATA_USER>",
"BRIGHTDATA_PASS": "<BRIGHTDATA_PASS>",
"SMARTPROXY_USER": "<SMARTPROXY_USER>",
"SMARTPROXY_PASS": "<SMARTPROXY_PASS>",
"OXYLABS_USER": "<OXYLABS_USER>",
"OXYLABS_PASS": "<OXYLABS_PASS>",
"PROXY_URL": "<PROXY_URL>"
}
}
}
}
启动命令npx -y bestproxy4agents-mcp
需要配置的环境变量
NOVADA_PROXY_USER密钥Novada residential proxy username
NOVADA_PROXY_PASS密钥Novada residential proxy password
NOVADA_API_KEY密钥Novada Scraper API key for search tool
NOVADA_BROWSER_WS密钥Novada Browser API WebSocket URL for render tool
BRIGHTDATA_USER密钥BrightData full username including zone
BRIGHTDATA_PASS密钥BrightData proxy password
SMARTPROXY_USER密钥Smartproxy username
SMARTPROXY_PASS密钥Smartproxy password
OXYLABS_USER密钥Oxylabs username
OXYLABS_PASS密钥Oxylabs password
PROXY_URL密钥Generic HTTP proxy URL (http://user:pass@host:port)

本地服务需要在你的电脑上安装运行环境(如 Node.js 18+)。各客户端的配置文件位置不同,请参考客户端文档。

安装包
npmbestproxy4agents-mcp1.7.0

工具

6

收录的工具列表 · 更新于 2 周前

参数类型必填说明
urlstring是要获取的 URL
citystring否城市级定位:newyork、london、tokyo、……
formatenum否markdown 会移除 HTML 标签;raw 会返回完整 HTMLmarkdown | raw
countrystring否2 位国家/地区代码:US、DE、JP、GB、BR 等(195 个以上的选项)
timeoutnumber否超时时间(秒)(1-120)
session_idstring否在多次调用中使用相同的 ID,以保持使用同一 IP(仅限字母、数字和下划线 — 不允许连字符)

详细介绍

Novada Proxy

面向 Agent 的住宅代理 MCP——兼容任何提供商。

通过 200 多万台真实家庭设备(Android 手机、Windows PC 和 Mac)转发任何 HTTP 请求,绕过反机器人系统、按国家或城市定位地理位置,并在多步骤工作流中保持粘性会话。由 Novada 提供支持。

npm 版本 npm 下载量 许可证:MIT 持续集成 Node.js

10 个工具 5 个提示词 5 个资源 430 项测试 5 个提供商

LobeHub MCP LobeHub MCP 完整版 Smithery MCP 注册表

英语 中文文档

为什么选择 · 安装 · 工具 · 提示词 · 资源 · 提供商 · 面向 Agent 的设计


兼容 Claude Code、Cursor、Windsurf、Cline、Continue 以及任何兼容 MCP 的 AI Agent。

提示

提供免费套餐——在 novada.com 注册,无需信用卡。免费使用 Scraper API、Web Unblocker 和住宅代理,立即开始构建。


开始使用

第 1 步 第 2 步 第 3 步

### 面向用户
  1. 创建免费账户:novada.com——无需信用卡
  2. 获取凭据:前往 Dashboard → Residential Proxies → Endpoint Generator,复制用户名和密码
  3. 安装并运行:
# Claude Code
claude mcp add novada-proxy-mcp \
  -e NOVADA_PROXY_USER=your_username \
  -e NOVADA_PROXY_PASS=your_password \
  -- npx -y novada-proxy-mcp

# Or use the CLI directly
npx novada-proxy-mcp status
npx novada-proxy fetch https://example.com
面向 Agent

说明

**Agent:**请告知用户完成上述步骤 1–2。设置好环境变量中的凭据后,即可立即使用全部 10 个工具。无需轮换 API 密钥,也无需刷新令牌——代理凭据是持久有效的。

Required env vars:
  NOVADA_PROXY_USER   — from novada.com dashboard
  NOVADA_PROXY_PASS   — from novada.com dashboard

Optional (for extra features):
  NOVADA_API_KEY      — enables novada_proxy_search (Google search)
  NOVADA_BROWSER_WS   — enables novada_proxy_render (JS rendering)
  NOVADA_PROXY_ZONE   — "res" (default), "isp", or "dcp"

**需要帮助?**请联系 [email protected]


为什么选择 Novada Proxy

AI Agent 在 60–70% 的商业网站上会被拦截。Cloudflare、Akamai、DataDome 和 PerimeterX 会检测并拒绝标准 HTTP 请求。Novada Proxy 会通过真实的住宅 IP 路由 Agent,使其看起来与真人浏览器无异。

问题解决方案
Amazon、LinkedIn、Cloudflare 会拦截你的 Agent来自真实家庭设备的 200 万多个住宅 IP
机器人验证会返回 403 / CAPTCHA真实设备指纹可绕过检测
由 JS 渲染的页面返回空白内容novada_proxy_render 使用真实 Chromium 运行
地理位置受限或本地化内容覆盖 195 多个国家/地区,可定位到城市
多步骤工作流需要使用相同 IP粘性会话——多次调用保持 IP 一致
抓取 10 多个 URL 耗时太久novada_proxy_batch_fetch——并发处理
需要结构化字段,而非原始 HTMLnovada_proxy_extract——标题、价格、评分等
抓取前需要查找 URLnovada_proxy_map——发现所有内部链接
需要干净的搜索结果novada_proxy_search——以 JSON 格式获取 Google 结果

10 个工具一览

工具功能所需条件
novada_proxy_fetch通过住宅代理获取任意 URL代理凭据
novada_proxy_batch_fetch并发获取 2–20 个 URL(最多 5 倍并行)代理凭据
novada_proxy_extract提取结构化字段——启发式模式(fields)或 LLM 模式(schema)代理凭据
novada_proxy_map抓取一个 URL,并将所有内部链接作为 JSON 数组返回代理凭据
novada_proxy_crawl递归抓取网站(BFS,深度 1-5)并发现 URL代理凭据
novada_proxy_session粘性会话——每次调用都使用相同 IP代理凭据
novada_proxy_searchGoogle 搜索 -> 结构化 JSON(标题、URL、摘要)NOVADA_API_KEY
novada_proxy_render使用真实 Chromium 渲染 JS 密集型页面 [BETA]NOVADA_BROWSER_WS
novada_proxy_research一次性深度研究——搜索 + 获取 + 综合NOVADA_API_KEY + 代理
novada_proxy_status检查代理网络状态和版本(无)

快速选择指南

我想要……使用此工具
获取单个 URLnovada_proxy_fetch
一次获取 2–20 个 URLnovada_proxy_batch_fetch
提取特定字段(标题、价格……)使用 fields 的 novada_proxy_extract
通过 schema 提取任意字段使用 schema 的 novada_proxy_extract
查找页面上的所有链接novada_proxy_map
抓取整个网站novada_proxy_crawl
研究某个主题novada_proxy_research
搜索 Googlenovada_proxy_search
渲染 JS 密集型页面novada_proxy_render
多次调用保持 IP 不变novada_proxy_session
检查代理是否可用novada_proxy_status

何时使用哪个工具

Goal: "Scrape a single URL"
  └─ Static HTML page?          → novada_proxy_fetch
  └─ Need specific fields?      → novada_proxy_extract (fields or schema mode)
  └─ React/Vue SPA / blank page? → novada_proxy_render

Goal: "Scrape multiple URLs"
  └─ You have the URLs already  → novada_proxy_batch_fetch
  └─ You need links from one page → novada_proxy_map → novada_proxy_batch_fetch
  └─ You need to crawl a whole site → novada_proxy_crawl → novada_proxy_batch_fetch

Goal: "Research a topic"        → novada_proxy_research (search + fetch + findings in one call)

Goal: "Search the web"          → novada_proxy_search → novada_proxy_batch_fetch

Goal: "Login + multi-page flow" → novada_proxy_session (same session_id)

Goal: "Check if proxy works"    → novada_proxy_status

5 个提示词

预构建的 Agent 工作流,可将多个工具串联起来。从任意 MCP 客户端调用,即可一步执行常见模式。

提示词描述关键参数
fetch_url通过住宅代理获取 URL,并绕过反机器人机制url、country、format
research_topic搜索 + 批量读取工作流——查找并读取某个主题的热门页面query、num_results、country
extract_product从任意电商 URL 提取结构化产品数据url、fields
crawl_site发现网站上的所有页面,然后并行获取url、limit、country
troubleshoot出现问题时逐步诊断代理error_message

说明

提示词会自动编排多工具工作流。例如,research_topic 会依次运行 novada_proxy_search 和 novada_proxy_batch_fetch,Agent 无需自行确定流程。


5 个资源

随时可读取的参考数据,Agent 可在任何时候访问,无需调用代理。

资源 URI描述
proxy://countries包含 195 个以上国家/地区代码的完整列表,支持定位到城市级别
proxy://error-codes所有类型化错误代码及恢复说明
proxy://workflows常见 Agent 工作流模式(爬取、研究、监控)
proxy://supported-fieldsnovada_proxy_extract 可提取的所有字段及其策略
proxy://cost-guide各工具的积分消耗、缓存行为和成本优化建议

快速安装

核心功能——通过住宅代理获取任意 URL:

claude mcp add novada-proxy-mcp \
  -e NOVADA_PROXY_USER=your_username \
  -e NOVADA_PROXY_PASS=your_password \
  -- npx -y novada-proxy-mcp

仅搜索:

claude mcp add novada-proxy-mcp \
  -e NOVADA_API_KEY=your_key \
  -- npx -y novada-proxy-mcp

所有工具(代理 + 搜索 + 浏览器渲染):

claude mcp add novada-proxy-mcp \
  -e NOVADA_PROXY_USER=your_username \
  -e NOVADA_PROXY_PASS=your_password \
  -e NOVADA_API_KEY=your_key \
  -e NOVADA_BROWSER_WS=your_browser_ws_url \
  -- npx -y novada-proxy-mcp

Cursor / Windsurf / Cline——添加到 MCP 配置:

{
  "mcpServers": {
    "novada-proxy-mcp": {
      "command": "npx",
      "args": ["-y", "novada-proxy-mcp"],
      "env": {
        "NOVADA_PROXY_USER": "your_username",
        "NOVADA_PROXY_PASS": "your_password"
      }
    }
  }
}

获取凭据:novada.com -> Dashboard -> Residential Proxies -> Endpoint Generator


服务提供商

Novada Proxy 可与任何 HTTP 代理服务提供商配合使用。Novada 是内置默认服务,集成最深入。

优先级: Novada -> BrightData -> Smartproxy -> Oxylabs -> Generic。优先使用第一个已配置的服务提供商。

功能NovadaBrightDataSmartproxyOxylabs通用 HTTP
自动定位国家/地区✓✓✓✓手动
自动定位城市✓✓✓✓手动
粘性会话✓✓✓✓手动
内置搜索 API✓————
浏览器 API(JS 渲染)✓————
BrightData 配置
claude mcp add novada-proxy-mcp \
  -e BRIGHTDATA_USER="brd-customer-abc123-zone-residential" \
  -e BRIGHTDATA_PASS=your_password \
  -- npx -y novada-proxy-mcp

BRIGHTDATA_USER 是包含 zone 的完整用户名。可选:BRIGHTDATA_HOST、BRIGHTDATA_PORT(默认值为 zproxy.lum-superproxy.io:22225)。

Smartproxy 配置
claude mcp add novada-proxy-mcp \
  -e SMARTPROXY_USER=your_username \
  -e SMARTPROXY_PASS=your_password \
  -- npx -y novada-proxy-mcp

可选:SMARTPROXY_HOST、SMARTPROXY_PORT(默认值为 gate.smartproxy.com:10001)。

Oxylabs 配置
claude mcp add novada-proxy-mcp \
  -e OXYLABS_USER=your_username \
  -e OXYLABS_PASS=your_password \
  -- npx -y novada-proxy-mcp

可选:OXYLABS_HOST、OXYLABS_PORT(默认值为 pr.oxylabs.io:7777)。

通用 HTTP 代理(IPRoyal,任意服务提供商)
claude mcp add novada-proxy-mcp \
  -e PROXY_URL="http://username:[email protected]:12321" \
  -- npx -y novada-proxy-mcp

使用 Generic 时会忽略 country、city、session_id 参数——请直接在代理 URL 中设置定位参数。


面向 Agent 的设计

说明

Novada Proxy 是唯一专为自主 AI Agent 设计的代理 MCP。每条响应、错误和描述都针对机器处理进行了优化。

功能含义
错误中的 agent_instruction每条错误都会明确告知 Agent 下一步该怎么做
描述中的决策树每个工具都提供 WHEN TO USE / USE INSTEAD 指引
cache_hit 元数据Agent 可知何时未使用 0 积分(缓存响应)
每次调用的 credits_estimated每条响应都内置成本跟踪
类型化错误代码机器可读:BOT_DETECTION_SUSPECTED、PAGE_NOT_FOUND 等
5 个工作流提示词预构建的 Agent 工作流:研究、爬取、提取、诊断
5 个参考资源国家、错误代码、成本指南——随时可访问

工具

novada_proxy_fetch

通过住宅代理获取任意 URL。返回包含内容、状态码和元数据的结构化 JSON。网络错误时自动重试。缓存重复调用(默认 TTL 为 300s——meta.cache_hit: true 表示未使用代理积分)。

参数类型默认值描述
urlstring必填目标 URL(http:// 或 https://)
countrystring—2 位字母的 ISO 代码:US、DE、JP、GB、BR……(195+ 个选项)
citystring—城市:newyork、london、tokyo、paris、berlin……
session_idstring—多次调用使用相同 ID 以复用同一 IP(无连字符,最多 64 个字符)
formatstringmarkdownmarkdown 会去除 HTML / raw 会返回完整 HTML
timeoutnumber60超时时间,单位为秒(1–120)

响应:

{
  "ok": true,
  "tool": "novada_proxy_fetch",
  "data": { "url": "...", "status_code": 200, "content": "...", "size_bytes": 34000 },
  "meta": { "latency_ms": 1800, "cache_hit": false, "quota": { "credits_estimated": 1 } }
}

novada_proxy_batch_fetch

通过住宅代理并发获取 2–20 个 URL。速度最高可达顺序获取的 5 倍。每个 URL 的错误会单独捕获——即使部分 URL 获取失败,批次本身仍会成功。已获取过的 URL 会复用响应缓存。

参数类型默认值描述
urlsstring[]必填要获取的 2–20 个 URL
concurrencynumber3并行请求数(1–5)
countrystring—为所有 URL 使用相同的国家/地区
formatstringmarkdownmarkdown 或 raw
timeoutnumber60每个 URL 的超时时间,单位为秒

响应:

{
  "ok": true,
  "tool": "novada_proxy_batch_fetch",
  "data": {
    "requested": 3,
    "succeeded": 3,
    "failed": 0,
    "results": [
      { "url": "https://...", "ok": true, "content": "...", "cache_hit": false, "latency_ms": 1200 },
      { "url": "https://...", "ok": true, "content": "...", "cache_hit": true,  "latency_ms": 0 },
      { "url": "https://...", "ok": false, "error": { "code": "TLS_ERROR", "message": "..." } }
    ]
  },
  "meta": { "latency_ms": 4100, "quota": { "credits_estimated": 3 } }
}

novada_proxy_extract

使用启发式模式匹配(meta 标签、Open Graph、JSON-LD、Schema.org)从任意 URL 提取结构化字段。轻量级,无需大模型。设置 render_fallback: true,即可在代理获取失败时自动通过真实 Chromium 重试。

参数类型默认值描述
urlstring必填目标 URL
fieldsstring[]必填要提取的字段:title、price、description、rating、image、author、date……
render_fallbackbooleanfalse遇到 TLS/机器人拦截时,通过 novada_proxy_render 自动重试
countrystring—为获取请求指定地理位置
timeoutnumber60超时时间,单位为秒

响应:

{
  "ok": true,
  "tool": "novada_proxy_extract",
  "data": {
    "url": "https://books.toscrape.com/...",
    "fields": { "title": "A Light in the Attic", "price": "£51.77", "description": null },
    "extracted_via": "proxy_fetch"
  },
  "meta": { "latency_ms": 2100, "quota": { "credits_estimated": 1 } }
}

novada_proxy_map

爬取 URL 并将所有内部链接作为结构化 JSON 数组返回。可作为使用 novada_proxy_batch_fetch 爬取整个网站前的发现步骤,无需猜测 URL。

参数类型默认值描述
urlstring必填要爬取的起始 URL
limitnumber50最多返回的 URL 数量(10–200)
include_externalbooleanfalse是否包含站外链接
countrystring—为获取请求指定地理位置
timeoutnumber60超时时间,单位为秒

响应:

{
  "ok": true,
  "tool": "novada_proxy_map",
  "data": {
    "domain": "books.toscrape.com",
    "internal_url_count": 20,
    "internal_urls": ["https://books.toscrape.com/catalogue/...", "..."],
    "sitemap_hint": "https://books.toscrape.com/sitemap.xml (check manually)"
  },
  "meta": { "latency_ms": 3800, "quota": { "credits_estimated": 1 } }
}

novada_proxy_session

粘性会话抓取 — 使用相同 session_id 的每次调用都会使用同一个住宅 IP。对于登录流程、分页抓取和价格监控至关重要。支持 verify_sticky: true,可在依赖 IP 一致性之前进行确认。

ParameterTypeDefaultDescription
session_idstringrequired唯一 ID — 重复使用即可保持 IP 不变(不能包含连字符,最长 64 个字符)
urlstringrequired目标 URL
countrystring—2 个字母的国家/地区代码
citystring—按城市定位
verify_stickybooleanfalse发起 3 次代理调用以确认 IP 一致性(耗时增加约 15–25 秒)
formatstringmarkdownmarkdown 或 raw
timeoutnumber60超时时间,单位为秒

novada_proxy_search

通过 Novada Scraper API 进行结构化 Google 搜索。以干净的 JSON 返回标题、URL 和摘要 — 无需解析 HTML。

ParameterTypeDefaultDescription
querystringrequired搜索查询
numnumber10结果数量(1–20)
countrystring—本地化:us、uk、de、jp...
languagestring—语言:en、zh、de、ja...

novada_proxy_render [BETA]

使用 Novada 的 Browser API 渲染 JavaScript 密集型页面(真实 Chromium,完整执行 JS)。适用于 SPA、React/Vue 应用,以及通过标准 HTTP 抓取时返回空白的页面。

需要: NOVADA_BROWSER_WS — 从 Dashboard -> Browser API -> Playground 复制 Puppeteer URL

ParameterTypeDefaultDescription
urlstringrequired目标 URL
formatstringmarkdownmarkdown / html / text
wait_forstring—提取内容前等待的 CSS 选择器(例如 .product-title)
timeoutnumber60超时时间,单位为秒(5–120)

每次调用约消耗 5 个代理积分,而 novada_proxy_fetch 仅消耗 1 个。需要时,可通过 novada_proxy_extract 配合 render_fallback: true 自动升级处理。


novada_proxy_crawl

通过 BFS 遍历递归抓取网站。从一个 URL 开始,发现每个深度层级的链接,并返回包含元数据的完整 URL 树。

ParameterTypeDefaultDescription
urlstringrequired要抓取的起始 URL
depthnumber2BFS 深度(1–5)
limitnumber50最多抓取的页面数(10–200)
include_contentbooleanfalse同时返回每个 URL 对应的页面内容
countrystring—对所有抓取请求进行地理定位
formatstringmarkdowninclude_content: true 时的内容格式
timeoutnumber60每页超时时间,单位为秒

适用场景: 全站抓取、生成站点地图、内容索引 — 当你需要的不止是单个页面时。

以下情况请改用 novada_proxy_map: 只需获取一个页面的链接(仅深入一层)。对于单页链接发现,Map 更快且成本更低。

链式调用: 使用 novada_proxy_batch_fetch 抓取 URL 树中的指定页面。

示例:

{
  "url": "https://example.com",
  "depth": 2,
  "limit": 50,
  "include_content": false
}

响应: data.pages[](url、depth、status_code、total_links)、data.urls[](可用于链式传入 novada_proxy_batch_fetch 的扁平数组)

novada_proxy_research

一次性研究工具 — 搜索网页、获取排名靠前的结果,并返回包含来源预览的结构化发现。Agent 可以分析这些发现,进行更深入的综合分析。

参数类型默认值说明
querystring必填研究问题或主题
depthstring"standard""quick"(3 个来源)、"standard"(5 个来源)、"deep"(10 个来源)
countrystring—将搜索结果本地化
timeoutnumber60超时时间,单位为秒

需要: NOVADA_API_KEY(用于 Google 搜索)+ Proxy 凭据(用于获取来源)

适用场景: 研究问题、主题调查、竞争分析、事实查证 — 需要一次调用从多个来源获取内容时。

如果只需要搜索结果 URL,而不需要完整页面内容: 改用 novada_proxy_search。

后续调用: 对特定的 urls[] 使用 novada_proxy_fetch,以深入阅读单个来源。

注意: findings_summary 是多个来源的拼接预览 — Agent 应分析 findings[],以进行实际的综合分析。

示例:

{
  "query": "best residential proxy providers 2026",
  "depth": "standard"
}

响应: data.findings[](包含标题、URL、摘要、内容预览)、data.urls[](用于后续调用)、data.findings_summary


novada_proxy_extract — Schema 模式

除了 fields(启发式提取)之外,novada_proxy_extract 还支持 schema 参数,可通过 Agent 的大模型提取任意字段 — 不产生额外的 API 费用。

Schema 模式(LLM 提取)

传入 schema 而不是 fields,即可提取任意字段。工具会返回清理后的页面内容和提取提示词 — 由 Agent 执行提取(不产生额外的 API 费用)。

参数类型默认值说明
urlstring必填目标 URL
schemaobject—键为字段名称,值为字段说明。替代 fields 使用。
render_fallbackbooleanfalse遇到 TLS/机器人拦截时,自动通过 novada_proxy_render 重试
countrystring—为抓取设置地理位置目标
timeoutnumber60超时时间,单位为秒

示例:

{
  "url": "https://example.com/product",
  "schema": {
    "product_name": "The full product name",
    "price": "Current price with currency",
    "warranty": "Warranty terms and duration",
    "return_policy": "Return policy summary"
  }
}

响应: data.mode = "llm_extract"、data.content(清理后的 Markdown)、data.extraction_prompt(供 Agent 遵循并提取字段的说明)

安全性: Schema 键必须由字母数字字符和下划线组成(a-z、0-9、_),长度最多为 50 个字符。值的长度最多为 200 个字符。


novada_proxy_status

检查代理网络连接和版本。执行实时代理调用以确认连接正常。无需凭据。


Agent 工作流

网站爬取流水线(map -> batch)
# Agent task: "Read all products on this catalogue"
1. novada_proxy_map(url="https://books.toscrape.com", limit=50)
   → returns 20–50 internal URLs in 4s, 1 credit

2. novada_proxy_batch_fetch(urls=[...20 URLs], concurrency=5)
   → fetches all 20 pages in parallel, ~4s wall time, 20 credits
   (vs ~60s sequential = 15x speedup)
研究流水线(search -> batch)
# Agent task: "Find and read top 5 pages about X"
1. novada_proxy_search(query="residential proxy MCP", num=5)
   → structured JSON: titles, URLs, snippets

2. novada_proxy_batch_fetch(urls=[...5 URLs], format="markdown")
   → full content of all 5 pages in parallel
粘性会话 — 登录 + 多页面抓取
# Same IP across all calls
novada_proxy_session(session_id="job_001", url="https://example.com/login")
novada_proxy_session(session_id="job_001", url="https://example.com/dashboard")
novada_proxy_session(session_id="job_001", url="https://example.com/data/page/1")
novada_proxy_session(session_id="job_001", url="https://example.com/data/page/2")
价格监控 — 同一商品,三个市场
novada_proxy_fetch(url="https://amazon.com/dp/B0BSHF7WHW", country="US")
novada_proxy_fetch(url="https://amazon.com/dp/B0BSHF7WHW", country="DE")
novada_proxy_fetch(url="https://amazon.com/dp/B0BSHF7WHW", country="JP")
# Second call per URL is a cache hit (0ms, 0 credits) if within 300s TTL
提取结构化数据
# Agent task: "Get product details without parsing HTML"
novada_proxy_extract(
  url="https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html",
  fields=["title", "price", "description", "rating"],
  render_fallback=true  # auto-retry via Chromium if proxy gets blocked
)

响应缓存

所有 novada_proxy_fetch 和 novada_proxy_batch_fetch 调用都会在进程内缓存。在 TTL 时间窗口内,重复抓取相同 URL 不会消耗 任何代理额度。

行为详情
默认 TTL300 秒(5 分钟)
缓存键url + format + country
会话绕过存在 session_id -> 永不缓存(粘性路由需要实时调用)
禁用将 PROXY4AGENT_CACHE_TTL_SECONDS=0
最大条目数200(缓存满时淘汰最旧条目)

读取响应中的缓存状态:

"meta": {
  "cache_hit": true,          // served from cache — no proxy credit used
  "cache_age_seconds": 12,    // seconds since the entry was stored
  "latency_ms": 0             // ~0ms for cache hits
}

类型化错误代码

每个错误响应都包含类型化的 error.code、recoverable 标志,以及提供正确后续步骤的 agent_instruction。Agent 无需解析错误消息。

代码含义可恢复Agent 操作
BOT_DETECTION_SUSPECTEDHTTP 4xx — 目标网站拦截了请求✓使用 novada_proxy_render 或更换 country 重试
TLS_ERROR通过代理建立 TLS/SSL 连接失败✓使用不同的 country 参数重试
TIMEOUT请求超出超时限制✓增加 timeout 或重试
RATE_LIMITEDHTTP 429 — 请求过多✓等待 5 秒后重试
NETWORK_ERRORDNS 失败 — 找不到主机名✗确认 URL 正确
SESSION_STICKINESS_FAILED未能维持相同 IP✓使用 verify_sticky: true 重试以确认
INVALID_INPUT参数值无效✗修正参数后重试
PROVIDER_NOT_CONFIGURED缺少环境变量✗设置凭据并重启 MCP
UNKNOWN_ERROR意外错误✓检查 novada_proxy_status,然后重试

错误响应格式:

{
  "ok": false,
  "error": {
    "code": "BOT_DETECTION_SUSPECTED",
    "message": "HTTP 403 — request blocked by target",
    "recoverable": true,
    "agent_instruction": "Try novada_proxy_render (real browser). Or retry with a different country/session_id."
  }
}

地理覆盖范围

覆盖 195+ 个国家/地区,包括:

US GB DE FR JP CA AU BR IN KR SG NL IT ES MX RU PL SE NO DK FI CH AT BE PT CZ HU RO UA TR IL ZA NG EG AR CL CO PE VN TH ID MY PH TW HK NZ + 更多 148 个

城市级定向: newyork · losangeles · chicago · london · paris · berlin · tokyo · seoul · sydney · toronto · singapore · dubai · mumbai · saopaulo


兼容

客户端安装方法
Claude Codeclaude mcp add novada-proxy-mcp -e ... -- npx -y novada-proxy-mcp
Cursor设置 -> MCP -> 添加服务 -> npx -y novada-proxy-mcp
WindsurfMCP 配置 -> npx -y novada-proxy-mcp
ClineMCP 设置 -> 命令:npx,参数:["-y", "novada-proxy-mcp"]
Continue.continue/config.json -> mcpServers
Smitherysmithery.ai/server/novada-proxy-mcp
任何 MCP 客户端stdio 传输 / npx -y novada-proxy-mcp

网络

指标数值
住宅 IP2,000,000+
在线节点7,000+
国家/地区195+
设备类型Android、Windows、Mac
正常运行时间99.9%

已确认可用

电商: Amazon、eBay、Walmart、Etsy、Shopify 商店
专业平台: LinkedIn
受反机器人保护的网站: Cloudflare、Akamai、DataDome
新闻与内容: HackerNews、Reddit、BBC、CNN、NYTimes
科技: GitHub、Wikipedia、Stack Overflow、IMDB


真实场景测试结果

使用 3 种 Novada 代理类型进行了 33 项真实场景测试(2026-04-28):

代理类型测试数通过备注
住宅代理119Wikipedia、Shopify、HackerNews 和地理定向均可正常使用。粘性会话需要配置端点。
ISP 代理77所有工具均可正常使用,包括粘性会话(session_verified: true)。
数据中心代理88速度快、成本效益高。受反机器人保护的网站(Amazon、CNN)可能会屏蔽数据中心 IP — 这些网站请使用住宅代理。
错误处理77所有错误代码都会返回包含 agent_instruction 的结构化 JSON。

成功率:94%(31/33 通过)。失败源于代理类型的限制(数据中心代理用于受反机器人保护的网站),而非代码缺陷。

代理类型指南
使用场景推荐代理原因
受反机器人保护的网站(Amazon、LinkedIn、CNN)住宅代理使用真实家庭 IP,最难被检测到
快速批量抓取数据中心代理延迟最低,每 GB 成本最低
粘性会话(登录流程)ISP 代理粘性时长为 6 小时,IP 稳定
一般抓取任意类型所有类型都能处理大多数网站

Known Limitations

LimitationWorkaround
Datacenter IPs blocked on anti-bot sitesUse residential or ISP proxy type (NOVADA_PROXY_ZONE=res)
Proxy-side DNS errors surface as TLS_ERRORCheck if domain exists before retrying with different country
CLI is stateless (no cross-invocation cache)Use MCP server for cache benefits, or re-fetch same URLs within one CLI batch
novada_proxy_render requires Browser API keySet NOVADA_BROWSER_WS env var — get it from novada.com dashboard
Heuristic extraction misses a fieldUse schema mode: pass schema:{"field":"description"} — returns cleaned content + extraction prompt for your agent to extract any field (zero-cost LLM extraction)

Feedback & Support


License

MIT © Novada — see LICENSE



Novada Proxy(中文文档)

AI 智能体专属住宅代理 MCP — 支持任意供应商。

通过 200 万+ 真实家庭设备(Android 手机、Windows 电脑、Mac)路由 HTTP 请求,绕过反机器人系统,按国家/城市精准定位,跨请求保持同一 IP。

返回英文 10 个工具 5 个提示词 5 个资源 430 个测试

工具 · 提示词 · 资源 · 安装 · 智能体优先 · 供应商


支持 Claude Code、Cursor、Windsurf、Cline、Continue 及所有 MCP 兼容智能体。由 Novada 提供支持。

提示

免费套餐 — 在 novada.com 注册,无需信用卡。免费使用 Scraper API、Web Unblocker 和住宅代理。


10 个工具

novada_proxy_fetch       → 通过住宅代理抓取任意 URL
novada_proxy_batch_fetch → 并发抓取 2-20 个 URL(最高 5 倍加速)
novada_proxy_extract     → 从页面提取结构化字段(标题、价格、评分…)
novada_proxy_map         → 爬取页面,返回所有内部链接 JSON 数组
novada_proxy_crawl       → 递归爬取站点(BFS,深度 1-5),自动发现 URL
novada_proxy_session     → 粘性会话 — 同一 session_id 始终同一 IP
novada_proxy_search      → Google 搜索,返回结构化 JSON(无需解析 HTML)
novada_proxy_render      → 真实 Chromium 渲染 JS 页面 [BETA]
novada_proxy_research    → 一键深度研究 — 搜索 + 抓取 + 综合分析
novada_proxy_status      → 检查代理网络健康状态

5 个提示词

预构建的智能体工作流,将多个工具链式组合。

提示词描述主要参数
fetch_url通过住宅代理抓取 URL,自动绕过反机器人url, country, format
research_topic搜索 + 批量阅读工作流 — 搜索主题并阅读排名靠前的页面query, num_results, country
extract_product从任意电商 URL 提取结构化产品数据url, fields
crawl_site发现站点所有页面,然后并行抓取url, limit, country
troubleshoot代理故障逐步诊断error_message

5 个资源

智能体可随时读取的参考数据,无需消耗代理额度。

资源 URI描述
proxy://countries195+ 国家代码完整列表,含城市级定位
proxy://error-codes所有类型化错误码及恢复指令
proxy://workflows常用智能体工作流模式(爬取、研究、监控)
proxy://supported-fieldsnovada_proxy_extract 支持的所有提取字段及策略
proxy://cost-guide每个工具的额度消耗、缓存行为、成本优化技巧

快速决策指南

我想要...使用工具
抓取单个 URLnovada_proxy_fetch
同时抓取 2-20 个 URLnovada_proxy_batch_fetch
提取特定字段(标题、价格…)novada_proxy_extract 使用 fields
提取任意字段(Schema 模式)novada_proxy_extract 使用 schema
获取页面上的所有链接novada_proxy_map
爬取整个站点novada_proxy_crawl
研究某个主题novada_proxy_research
搜索 Googlenovada_proxy_search
渲染 JS 重型页面novada_proxy_render
跨请求保持同一 IPnovada_proxy_session
检查代理是否正常novada_proxy_status

工具选择决策树

目标:抓取单个 URL
  ├─ 静态 HTML 页面?                    → novada_proxy_fetch
  ├─ 需要特定字段(价格/标题)?          → novada_proxy_extract(fields 或 schema 模式)
  └─ React/Vue SPA / 内容为空?          → novada_proxy_render

目标:批量抓取多个 URL
  ├─ 已有 URL 列表?                     → novada_proxy_batch_fetch
  ├─ 需要获取单页链接?                  → novada_proxy_map → novada_proxy_batch_fetch
  └─ 需要爬取整个站点?                  → novada_proxy_crawl → novada_proxy_batch_fetch

目标:研究某个主题                       → novada_proxy_research(一次调用搜索 + 抓取 + 分析)

目标:网页搜索                          → novada_proxy_search → novada_proxy_batch_fetch

目标:登录 + 多步骤流程                  → novada_proxy_session(相同 session_id)

目标:验证代理是否正常工作               → novada_proxy_status

三大流水线模式

全站爬取流水线(推荐)
novada_proxy_map(url, limit=50)
        │
        ▼
  返回 20-50 个内部链接(1 credit,4 秒)
        │
        ▼
novada_proxy_batch_fetch(urls, concurrency=5)
        │
        ▼
  并发抓取所有页面(N credits,~4 秒,比串行快 15x)
搜索研究流水线
novada_proxy_search(query, num=10)
        │
        ▼
  结构化 JSON:标题 + URL + 摘要
        │
        ▼
novada_proxy_batch_fetch(urls, format="markdown")
        │
        ▼
  全部页面内容并行返回
粘性会话 — 登录 + 多页抓取
session_id = "job_001"

novada_proxy_session(session_id, url="/login")    → 同一 IP
novada_proxy_session(session_id, url="/dashboard") → 同一 IP
novada_proxy_session(session_id, url="/data/1")    → 同一 IP
novada_proxy_session(session_id, url="/data/2")    → 同一 IP

智能体优先设计

说明

Novada Proxy 是唯一专为自主 AI 智能体设计的代理 MCP。每个响应、错误和描述都为机器消费而优化。

特性含义
错误中的 agent_instruction每个错误都告诉智能体下一步该做什么
描述中的决策树每个工具都有 WHEN TO USE / USE INSTEAD 指引
cache_hit 元数据智能体知道是否消耗了 0 额度(缓存命中)
credits_estimated每个响应都内置成本追踪
类型化错误码机器可读:BOT_DETECTION_SUSPECTED、PAGE_NOT_FOUND 等
5 个工作流提示词预构建工作流:研究、爬取、提取、诊断
5 个参考资源国家、错误码、成本指南 — 随时可访问

核心特性

1. 住宅 IP 网络
  • 200 万+ 真实设备:Android 手机、Windows 电脑、Mac
  • 7,000+ 活跃节点,99.9% 在线率
  • 真实家庭 IP 指纹,绕过 Cloudflare、Akamai、DataDome 检测
2. 地理定向
  • 195+ 国家,两字母 ISO 代码(US、DE、JP、BR...)
  • 城市级定位:newyork、london、tokyo、singapore...
  • 同一 URL 不同国家 = 独立缓存键,互不干扰
3. 响应缓存

重复抓取相同 URL 不消耗代理额度:

// 第一次调用(live fetch)
"meta": { "cache_hit": false, "latency_ms": 1800, "quota": { "credits_estimated": 1 } }

// 第二次调用(cache hit)
"meta": { "cache_hit": true, "cache_age_seconds": 5, "latency_ms": 0 }
配置项说明
默认 TTL300 秒(5 分钟)
缓存键url + format + country
禁用缓存PROXY4AGENT_CACHE_TTL_SECONDS=0
session_id有 session_id 的请求永不缓存(粘性路由需要实时调用)
4. 智能体优先的 JSON 输出

所有工具返回统一结构:

{
  "ok": true / false,
  "tool": "工具名称",
  "data": { ... },
  "meta": {
    "latency_ms": 1800,
    "cache_hit": false,
    "quota": { "credits_estimated": 1 }
  }
}
5. 类型化错误码 + 恢复指令

每个错误都包含 code(枚举)、recoverable(布尔)、agent_instruction(下一步操作):

{
  "ok": false,
  "error": {
    "code": "BOT_DETECTION_SUSPECTED",
    "recoverable": true,
    "agent_instruction": "Try novada_proxy_render (real browser). Or retry with a different country/session_id."
  }
}
错误码含义可恢复
BOT_DETECTION_SUSPECTED被目标站点封锁(403)✓
TLS_ERRORTLS/SSL 连接失败✓
TIMEOUT请求超时✓
RATE_LIMITEDHTTP 429 限速✓
NETWORK_ERRORDNS 解析失败✗
INVALID_INPUT参数错误✗
PROVIDER_NOT_CONFIGURED缺少凭证✗
6. 批量并发抓取

novada_proxy_batch_fetch 内置信号量并发控制:

// 10 个 URL,concurrency=5,wall time = ~8.8s(串行估计 ~50s)
{
  "data": {
    "results": [
      { "url": "...", "ok": true, "cache_hit": false, "latency_ms": 1200 },
      { "url": "...", "ok": true, "cache_hit": true,  "latency_ms": 0 },
      { "url": "...", "ok": false, "error": { "code": "TLS_ERROR" } }
    ]
  },
  "meta": { "latency_ms": 8800, "quota": { "credits_estimated": 10 } }
}
7. 多供应商支持
供应商环境变量说明
Novada(推荐)NOVADA_PROXY_USER + NOVADA_PROXY_PASS最深度集成,含搜索 + 浏览器 API
BrightDataBRIGHTDATA_USER + BRIGHTDATA_PASS完整自动定位
SmartproxySMARTPROXY_USER + SMARTPROXY_PASS完整自动定位
OxylabsOXYLABS_USER + OXYLABS_PASS完整自动定位
通用 HTTPPROXY_URL=http://user:pass@host:port任意代理服务商
8. 渐进式降级(render_fallback)

novada_proxy_extract 支持自动升级到浏览器渲染:

代理抓取失败(TLS / Bot检测)
        │
        ▼ render_fallback=true
novada_proxy_render(真实 Chromium)
        │
        ▼
data.extracted_via = "render"  (agent 知道走了哪条路径)
data.fetch_warning = "Proxy fetch failed... escalated to render"

快速安装

# 核心(住宅代理抓取)
claude mcp add novada-proxy-mcp \
  -e NOVADA_PROXY_USER=你的用户名 \
  -e NOVADA_PROXY_PASS=你的密码 \
  -- npx -y novada-proxy-mcp

# 仅搜索
claude mcp add novada-proxy-mcp \
  -e NOVADA_API_KEY=你的_API_Key \
  -- npx -y novada-proxy-mcp

# 全功能(代理 + 搜索 + 浏览器渲染)
claude mcp add novada-proxy-mcp \
  -e NOVADA_PROXY_USER=你的用户名 \
  -e NOVADA_PROXY_PASS=你的密码 \
  -e NOVADA_API_KEY=你的_API_Key \
  -e NOVADA_BROWSER_WS=你的_Browser_WS_URL \
  -- npx -y novada-proxy-mcp

获取凭证:novada.com -> 仪表盘 -> 住宅代理 -> 端点生成器

Cursor / Windsurf / Cline 配置:

{
  "mcpServers": {
    "novada-proxy-mcp": {
      "command": "npx",
      "args": ["-y", "novada-proxy-mcp"],
      "env": {
        "NOVADA_PROXY_USER": "你的用户名",
        "NOVADA_PROXY_PASS": "你的密码"
      }
    }
  }
}

工具参数速查

novada_proxy_fetch
参数类型默认说明
urlstring必填目标 URL
countrystring—国家代码(US、DE、JP...)
citystring—城市(newyork、london...)
session_idstring—复用同一 IP(不含连字符,最多 64 字符)
formatstringmarkdownmarkdown(去 HTML)或 raw(原始 HTML)
timeoutnumber60超时秒数(1-120)
novada_proxy_batch_fetch
参数类型默认说明
urlsstring[]必填2-20 个 URL
concurrencynumber3并发数(1-5)
countrystring—对所有 URL 使用相同国家
formatstringmarkdownmarkdown 或 raw
novada_proxy_extract
参数类型默认说明
urlstring必填目标 URL
fieldsstring[]必填要提取的字段(title、price、description、rating...)
render_fallbackbooleanfalse代理失败时自动切换到浏览器渲染
countrystring—地理定向
novada_proxy_map
参数类型默认说明
urlstring必填起始 URL
limitnumber50最多返回 URL 数(10-200)
include_externalbooleanfalse包含站外链接
novada_proxy_session
参数类型默认说明
session_idstring必填会话 ID(不含连字符,最多 64 字符)
urlstring必填目标 URL
verify_stickybooleanfalse验证 IP 一致性(需额外 15-25 秒)
countrystring—国家代码
novada_proxy_search
参数类型默认说明
querystring必填搜索关键词
numnumber10结果数量(1-20)
countrystring—本地化结果(us、de、jp...)
languagestring—语言(en、zh、de...)
novada_proxy_render [BETA]
参数类型默认说明
urlstring必填目标 URL
formatstringmarkdownmarkdown · html · text
wait_forstring—等待 CSS 选择器后再提取(如 .product-title)
timeoutnumber60超时秒数(5-120)
novada_proxy_crawl

递归 BFS 爬取站点,从起始 URL 出发,按深度逐层发现链接,返回完整 URL 树及元数据。

参数类型默认说明
urlstring必填起始 URL
depthnumber2BFS 深度(1-5)
limitnumber50最大爬取页数(10-200)
include_contentbooleanfalse同时返回每个页面的内容
countrystring—地理定向所有请求
formatstringmarkdowninclude_content: true 时的内容格式
timeoutnumber60每页超时秒数

适用场景: 全站抓取、站点地图生成、内容索引 — 需要抓取多个页面时使用。

改用 novada_proxy_map 的情况: 只需要单页链接(一层深度)。Map 更快、更省额度。

组合使用: 将 data.urls[] 传入 novada_proxy_batch_fetch 并发抓取。

请求示例:

{
  "url": "https://example.com",
  "depth": 2,
  "limit": 50,
  "include_content": false
}

响应: data.pages[](url、depth、status_code、total_links),data.urls[](扁平数组,可直接传给 novada_proxy_batch_fetch)


novada_proxy_research

一键深度研究工具 — 搜索网络、抓取排名靠前的结果,返回含来源预览的结构化分析。智能体可对 findings 进行进一步综合分析。

参数类型默认说明
querystring必填研究问题或主题
depthstring"standard""quick"(3 个来源)、"standard"(5 个)、"deep"(10 个)
countrystring—本地化搜索结果
timeoutnumber60超时秒数

需要: NOVADA_API_KEY(Google 搜索)+ 代理凭证(抓取来源页面)

适用场景: 研究问题、主题调研、竞品分析、事实核查 — 需要一次调用获取多个来源内容时。

改用 novada_proxy_search 的情况: 只需要搜索结果 URL,不需要完整页面内容。

组合使用: 对 data.urls[] 中的特定 URL 调用 novada_proxy_fetch 进行深度阅读。

注意: findings_summary 是各来源内容的拼接预览 — 智能体应分析 findings[] 进行实质性综合。

请求示例:

{
  "query": "2026年最佳住宅代理服务商",
  "depth": "standard"
}

响应: data.findings[](title、url、snippet、content_preview),data.urls[](可链式传给其他工具),data.findings_summary


novada_proxy_extract — Schema 模式(LLM 提取)

除 fields(启发式提取)外,novada_proxy_extract 还支持 schema 参数,通过智能体自身的 LLM 提取任意字段 — 零额外 API 费用。

传入 schema 替代 fields,工具返回清洗后的页面内容 + 提取提示词 — 由你的智能体完成提取。

参数类型默认说明
urlstring必填目标 URL
schemaobject—键 = 字段名,值 = 字段描述。替代 fields 使用。
render_fallbackbooleanfalse代理失败时自动切换到浏览器渲染
countrystring—地理定向
timeoutnumber60超时秒数

请求示例:

{
  "url": "https://example.com/product",
  "schema": {
    "product_name": "完整的产品名称",
    "price": "当前价格(含货币符号)",
    "warranty": "保修条款和期限",
    "return_policy": "退货政策摘要"
  }
}

响应: data.mode = "llm_extract",data.content(清洗后的 Markdown 内容),data.extraction_prompt(供智能体遵循并提取字段的指令)

安全限制: Schema 键名只能包含字母、数字、下划线(a-z、0-9、_),最多 50 字符;值最多 200 字符。


使用场景

AI 智能体需要:

  • 抓取电商网站(Amazon、eBay、Walmart)不被封锁
  • 跨国家监控价格变动
  • 访问 195+ 国家的地区限制内容
  • 对 Cloudflare/Akamai 保护站点进行竞争情报收集
  • 执行多步登录流程并保持同一 IP
  • 渲染无真实浏览器就返回空白的 JS 页面
  • Google 搜索返回结构化 JSON 结果

开发者构建:

  • AI 驱动的网页研究工具
  • 价格比较智能体
  • 全站内容爬取管道
  • SEO 监控仪表盘
  • 市场调研自动化

已验证可用

电商: Amazon、eBay、Walmart、Etsy、Shopify
职业网络: LinkedIn
反机器人保护: Cloudflare 站点、Akamai、DataDome
新闻内容: HackerNews、Reddit、BBC、CNN、NYTimes
科技: GitHub、Wikipedia、Stack Overflow、IMDB


反馈与支持


许可证

MIT © Novada

评论

支持 Markdown

第一次接触 MCP?

从协议是什么,到在客户端里装上第一个服务,这几条回答覆盖了大多数入门问题。

一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。