scrapeunblocker-mcp-remote

ScrapeUnblocker 远程 MCP 服务

一个托管式（HTTP）Model Context Protocol 服务，用于 ScrapeUnblocker，通过 Vercel 无服务器函数部署。它可以让 claude.ai（网页端和移动端）、Claude Desktop、Claude Code 以及其他任何 MCP 客户端通过 ScrapeUnblocker 的反机器人 API 获取任意网页的 HTML、AI 解析后的 JSON 或 Google 搜索结果，费用计入你自己的账户。

想要无需托管的本地安装？请改用 stdio 软件包： scrapeunblocker-mcp。

也已收录在 Smithery。

端点

https://mcp.scrapeunblocker.com/mcp

你需要一个 ScrapeUnblocker 账户——免费注册。 有两种身份验证方式，只需选择其中一种。

A. 使用 OAuth 登录（推荐）——无需复制或粘贴任何内容。该服务是由 Auth0 支持的 OAuth 2.1 资源服务器，因此客户端会运行标准的 PKCE 流程，服务端会根据你登录的账户解析出 ScrapeUnblocker 密钥（根据 RFC 8707，令牌绝不会传递到后端）。

如果客户端要求提供 OAuth 客户端 ID，请使用公开的 ID——这是一个 PKCE 客户端，不包含密钥，可以安全共享：

5BM5Wk2dE4ABkDITmuKfemPLnn3QQ8jd

客户端密钥栏请留空。

B. 使用自己的 API 密钥——适合脚本和不支持 OAuth 流程的客户端。 可通过以下三种方式之一提供密钥：

1. 在 URL 中使用 ?key=YOUR_KEY（或 ?token=YOUR_KEY）。
2. 使用 Authorization: Bearer YOUR_KEY 标头（非 JWT 值）。
3. 使用 x-scrapeunblocker-key: YOUR_KEY 标头。

如果客户端支持设置标头，请优先使用标头（或 OAuth）。?key= 形式是为只接受 URL 的客户端（ChatGPT、某些连接器 UI）提供的；URL 中的密钥可能会出现在客户端日志或历史记录中，因此请像保护密钥本身一样保护该 URL。如果密钥泄露，请在控制面板中轮换密钥。

列出工具（initialize、tools/list）完全不需要凭据，因此 MCP 目录和检查器可以检查此服务；但实际运行工具时需要凭据。

OAuth 配置（维护者）

环境变量	用途
AUTH0_ISSUER	Auth0 颁发者 URL，例如 https://TENANT.auth0.com/（末尾带斜杠）。与 MCP_AUDIENCE 一起启用 OAuth。
MCP_AUDIENCE	规范 MCP URI，即 Auth0 API 标识符：https://mcp.scrapeunblocker.com/mcp。令牌的 aud 必须与此匹配。
MCP_EMAIL_CLAIM	可选的命名空间声明，用于携带用户的电子邮件地址（由 Auth0 Post-Login Action 设置），例如 https://scrapeunblocker.com/email。若未设置，则使用标准的 email 声明。
MCP_RESOURCE_METADATA_URL	可选，用于覆盖在 WWW-Authenticate 中公布的 RFC 9728 元数据 URL。
UTILS_API_BASE_URL	email_to_key 查询所用的 utils-api 基础 URL，例如 https://utils-api.scrapeunblocker.com。
AWS_ACCESS_KEY_ID / AWS_SECRET_ACCESS_KEY / AWS_REGION	用于调用 utils-api 的 IAM 凭据（SigV4、execute-api）。

通过 vercel.json 重写规则提供的发现端点： /.well-known/oauth-protected-resource 和 /.well-known/oauth-protected-resource/mcp。

添加到 claude.ai

1. Customize → Connectors → + → Add custom connector。
2. URL： https://mcp.scrapeunblocker.com/mcp
3. 在 Advanced settings 中，将 OAuth Client ID 设为 5BM5Wk2dE4ABkDITmuKfemPLnn3QQ8jd 并将 OAuth Client Secret 留空。
4. 点击 Add，然后登录并点击 Authorize。这些工具会显示在 claude.ai 网页端、移动端和 Claude Desktop 中。

也可以完全跳过 OAuth，直接粘贴个性化 URL： https://mcp.scrapeunblocker.com/mcp?key=YOUR_API_KEY

添加到 Claude Code

claude mcp add --transport http scrapeunblocker "https://mcp.scrapeunblocker.com/mcp?key=YOUR_API_KEY"

添加到 ChatGPT

使用付费套餐（Plus/Pro/Business/Enterprise）并启用开发者模式，在 ChatGPT 网页版（chatgpt.com）中操作——不要使用桌面应用。所有工具均为只读，因此 Plus 套餐就足够了。

1. 在 Settings → Plugins 中，开启 Developer mode。
2. 在 Plugins 中，点击 + 打开 New Plugin。
3. 将 Connection 保持为 Server URL，将 Authentication 设为 No Auth，勾选风险提示框，并粘贴带有密钥的 URL： https://mcp.scrapeunblocker.com/mcp?key=YOUR_API_KEY
4. 点击 Create。之后便可在任意聊天中使用这些工具。

包含截图的完整操作指南： docs.scrapeunblocker.com/sdks/chatgpt。

工具

工具	功能
fetch_html	获取 URL 完全渲染后的 HTML。
browse_page	在真实浏览器中对页面执行 steps（搜索、点击、输入、翻页），然后返回生成的 HTML。此工具不是只读工具：它会在网站上执行操作。
fetch_parsed	获取页面并返回由 AI 解析的结构化 JSON。
google_search	执行 Google 搜索并以 JSON 格式返回自然搜索结果。
fetch_markdown	获取页面并将其作为简洁的 Markdown 返回：包含带绝对链接的主要内容，不含脚本、样式、导航或页脚。通常只有 HTML 大小的 2-25%，因此这是让模型读取页面的低成本方式。
search_and_read	一次调用即可搜索 Google 并读取排名靠前的结果：Google 的 AI Overview（如果有）、前 1-5 个结果页面的 Markdown，以及其他结果的标题、URL 和摘要。计费方式为一次搜索加上每个已读取页面的一次请求。
list_elements	以 JSON 格式返回页面中的交互元素（按钮、输入框、选择框、链接、表单）及可直接使用的选择器，以便构建 steps。
list_plugins	列出可直接使用的网站插件（100 多个：Amazon、Walmart、Zillow、Booking.com、Indeed、Google Trends、YouTube、App Store……）及其参数。免费——不会发起任何调用。
run_plugin	运行一个网站插件并返回其结构化 JSON。
amazon_search, amazon_product, amazon_reviews, walmart_search, ebay_search, google_shopping, google_local, maps_place_details, google_images, youtube_search, youtube_transcript, zillow_search, indeed_jobs, trustpilot_reviews, booking_hotels	使用最频繁的网站插件各自作为独立工具提供，每个工具的参数都列在工具架构中——调用一次即可，无需先查询 list_plugins。返回的 JSON 与 run_plugin 相同。

与页面交互（steps）

browse_page 接受一个 steps 数组——按顺序排列的浏览器操作，会在页面加载后、捕获 HTML 前于真实浏览器中执行。支持的操作包括：wait_for、wait_for_text、wait、click、type（模拟真人按键）、select、press_key、scroll。典型流程是：先调用 list_elements 查找选择器，然后调用 browse_page 并传入 steps 来操作页面。它是唯一未标记为只读的工具，因为 steps 会在网站上执行操作。

steps 不具备幂等性——请求只运行一次，不会重试。如果某个步骤失败（选择器无效或元素始终未出现），工具会返回 HTTP 422 结果，其中会指出出错的步骤（step_index、action、reason、selector），并附上失败时页面的 HTML，方便你修正步骤。

部署（维护者）

这是一个标准的 Vercel 项目——无需构建步骤，函数位于 api/mcp.ts 中。在推送前，可通过 npm run typecheck 和 npm test（这些工具会针对 API 的本地替代实现运行）进行检查。

vercel            # preview
vercel --prod     # production

然后将 mcp.scrapeunblocker.com 域名指向 Vercel 项目。抓取调用可能耗时较长，某些插件运行时间会超过一分钟，因此 vercel.json 中将函数的 maxDuration 设为了 300s。

许可证

MIT