Scrapeless Mcp Server

Scrapeless MCP 服务

欢迎使用官方的 Scrapeless Model Context Protocol（MCP）服务——这是一个强大的集成层，让大模型、AI Agent 和 AI 应用能够实时与 Web 交互。

Scrapeless MCP 服务基于开放的 MCP 标准构建，可无缝连接 ChatGPT、Claude 等模型，以及 Cursor 和 Windsurf 等工具，提供广泛的外部能力，包括：

• Google 服务集成（搜索、趋势）
• 浏览器自动化，实现页面级导航和交互
• 抓取动态的、依赖大量 JavaScript 的网站，并导出为 HTML、Markdown 或截图
• 爬取整个网站，沿链接访问并以多种格式捕获每个页面
• AI 抓取工具：为 ChatGPT、Gemini、Perplexity、Copilot、Google AI Mode、Google AI Overview、Grok 或 Alexa 创建 AI 抓取任务

无论你是在构建 AI 研究助手、编码副驾驶，还是自主 Web Agent，这项服务都能为你的工作流提供所需的动态上下文和真实数据——且不会被拦截。

使用示例

1. 使用 Claude 自动执行 Web 交互和数据提取

使用 Scrapeless MCP Browser，Claude 可以通过对话指令执行复杂任务，例如网页导航、点击、滚动和抓取，并通过 live sessions 实时预览 Web 交互结果。

2. 绕过 Cloudflare，获取目标页面内容

使用 Scrapeless MCP Browser 服务自动访问 Cloudflare 页面，完成后提取页面内容并以 Markdown 格式返回。

3. 提取动态渲染的页面内容并写入文件

使用 Scrapeless MCP Universal API 抓取上方目标页面经 JavaScript 渲染的内容，将其导出为 Markdown 格式，最后写入名为 text.md 的本地文件。

4. 自动抓取 SERP

使用 Scrapeless MCP 服务，在 Google 搜索中查询关键词“web scraping”，获取前 10 条搜索结果（包括标题、链接和摘要），并将内容写入名为 serp.text 的文件。

以下是如何使用这些服务的其他示例：

示例
通过 Google 搜索搜索 scrapeless。
查找过去一年中“AI”的搜索热度。
使用浏览器访问 chatgpt.com，搜索“今天天气怎么样？”，并总结结果。
抓取 scrapeless.com 页面的 HTML 内容。
抓取 scrapeless.com 页面的 Markdown 内容。
获取 scrapeless.com 的截图。

设置指南

1. 获取 Scrapeless 密钥

• 登录 Scrapeless 控制台（提供免费试用）
• 然后点击左侧的“Setting” -> 选择“API Key Management” -> 点击“Create API Key”。最后，点击创建的 API Key 将其复制。

2. 配置你的 MCP 客户端

Scrapeless MCP 服务支持 Stdio 和 Streamable HTTP 两种传输模式。

🖥️ Stdio（本地执行）

{
  "mcpServers": {
    "Scrapeless MCP Server": {
      "command": "npx",
      "args": ["-y", "scrapeless-mcp-server"],
      "env": {
        "SCRAPELESS_API_KEY": "YOUR_SCRAPELESS_KEY"
      }
    }
  }
}

🌐 Streamable HTTP（托管 API 模式）

{
  "mcpServers": {
    "Scrapeless MCP Server": {
      "type": "streamable-http",
      "url": "https://api.scrapeless.com/mcp",
      "headers": {
        "x-api-token": "YOUR_SCRAPELESS_KEY"
      },
      "disabled": false,
      "alwaysAllow": []
    }
  }
}

高级选项

使用可选参数自定义浏览器会话行为。这些参数可通过环境变量（用于 Stdio）或 HTTP 标头（用于 Streamable HTTP）设置：

Stdio（环境变量）	Streamable HTTP（HTTP 标头）	说明
BROWSER_PROFILE_ID	x-browser-profile-id	指定可复用的浏览器配置文件 ID，以保持会话连续性。
BROWSER_PROFILE_PERSIST	x-browser-profile-persist	启用 Cookie、本地存储等的持久化存储。
BROWSER_SESSION_TTL	x-browser-session-ttl	定义最长会话超时时间，单位为秒。会话将在此时长的非活动状态后自动过期。

与 Claude Desktop 集成

1. 打开 Claude Desktop
2. 前往：Settings → Tools → MCP Servers
3. 点击 "Add MCP Server"
4. 粘贴上方的 Stdio 或 Streamable HTTP 配置
5. 保存并启用该服务
6. 现在，Claude 可以使用 Scrapeless 发起网页查询、提取内容并与页面交互

与 Cursor IDE 集成

1. 打开 Cursor
2. 按 Cmd + Shift + P 并搜索：Configure MCP Servers
3. 使用上方的格式添加 Scrapeless MCP 配置
4. 保存文件并重启 Cursor（如有需要）
5. 现在，你可以向 Cursor 提出以下问题：
   1. "Search StackOverflow for a solution to this error"
   2. "Scrape the HTML from this page"
6. 然后，它会在后台使用 Scrapeless。

支持的 MCP 工具

名称	描述
google_search	通用信息搜索引擎。
google_trends	获取 Google Trends 的热门搜索数据。
browser_create	使用 Scrapeless 创建或复用云浏览器会话。
browser_close	断开云浏览器连接，以关闭当前会话。
browser_goto	将浏览器导航至指定 URL。
browser_go_back	在浏览器历史记录中后退一步。
browser_go_forward	在浏览器历史记录中前进一步。
browser_click	点击页面上的特定元素。
browser_type	在指定输入框中输入文本。
browser_press_key	模拟按键操作。
browser_wait_for	等待特定页面元素出现。
browser_wait	暂停执行一段固定时间。
browser_screenshot	截取当前页面的屏幕截图。
browser_get_html	获取当前页面的完整 HTML。
browser_get_text	获取当前页面上的所有可见文本。
browser_scroll	滚动至页面底部。
browser_scroll_to	滚动至特定元素，使其进入视野。
scrape_html	抓取 URL 并返回其完整 HTML 内容。
scrape_markdown	抓取 URL 并以 Markdown 格式返回其内容。
scrape_screenshot	截取任意网页的高质量屏幕截图。
crawl_start	从基础 URL 启动异步爬取任务并返回其任务 ID。
crawl_cancel	根据任务 ID 取消正在进行的爬取任务。
crawl_result	根据任务 ID 轮询爬取任务，直到任务完成并返回爬取的数据。
ai_scraper	为 ChatGPT、Gemini、Perplexity、Copilot、Google AI Mode、Google AI Overview、Grok 或 Alexa 创建 AI Scraper 任务。

安全最佳实践

将 Scrapeless MCP Server 与大模型（如 ChatGPT、Claude 或 Cursor）配合使用时，务必谨慎处理所有抓取或提取的网页内容。网页数据默认不可信，处理不当可能使你的应用遭受提示词注入或其他安全漏洞。

✅ 推荐做法

• 切勿将未经处理的抓取内容直接传入大模型提示词。 原始 HTML、JavaScript 或用户生成的文本可能包含隐藏的注入载荷。
• 清理并验证所有提取的内容。 在将内容用于下游逻辑或 AI 模型前，剥离或转义可能有害的标签和脚本。
• 优先使用结构化提取，而非自由格式文本。 使用 scrape_html、scrape_markdown 等工具，或通过已知安全的选择器使用定向的 browser_get_text，仅提取可信内容。
• 对动态生成的页面进行抓取时，设置域名或选择器白名单，将数据流限制在已知且可信的来源。
• 记录并监控通过浏览器或抓取工具发出的所有外部请求，尤其是在处理敏感数据、令牌或内部网络访问时。

🚫 应避免

• 将抓取的 HTML 直接注入提示词
• 未经验证便允许用户指定任意 URL 或 CSS 选择器
• 存储未经筛选的抓取内容，以供之后在提示词中使用

社区

• MCP 服务 Discord

联系我们

如有问题、建议或合作意向，欢迎通过以下方式联系我们：

• 电子邮件：[email protected]
• 官方网站：https://www.scrapeless.com
• 社区论坛：https://discord.gg/Np4CAHxB9a