Crawlbase Web MCP Server

什么是 Crawlbase MCP？

Crawlbase MCP 是一个模型上下文协议（MCP）服务，可连接 AI Agent 与实时网络。无需再依赖过时的训练数据，现在你的大模型可以获取最新、结构化的实时内容，这得益于 Crawlbase 久经验证的爬取基础设施，全球已有 70,000 多名开发者信赖它。

它会为你处理抓取工作的复杂部分：

• 为现代 Web 应用渲染 JavaScript
• 轮换代理并绕过反机器人机制
• 提供结构化输出（HTML、Markdown、截图）

工作原理

• 获取免费的 Crawlbase 令牌 → 在 Crawlbase ↗️ 注册，即可获取免费的普通令牌和 JavaScript 令牌。
• 设置 MCP 配置 → 更新 MCP Servers 设置，在你首选的客户端（Claude、Cursor 或 Windsurf）中配置 MCP 服务。
• 开始爬取 → 使用 crawl、crawl_markdown 或 crawl_screenshot 等命令，将实时网络数据引入 AI Agent。

设置与集成

Claude Desktop

1. 打开 Claude Desktop → Settings → Developer → Edit Config
2. 添加到 claude_desktop_config.json：
3. 将 your_token_here 和 your_js_token_here 替换为你在控制面板中获取的令牌。

{
  "mcpServers": {
    "crawlbase": {
      "type": "stdio",
      "command": "npx",
      "args": ["@crawlbase/mcp@latest"],
      "env": {
        "CRAWLBASE_TOKEN": "your_token_here",
        "CRAWLBASE_JS_TOKEN": "your_js_token_here"
      }
    }
  }
}

Claude Code

添加到你的 claude.json 配置中：

{
  "mcpServers": {
    "crawlbase": {
      "type": "stdio",
      "command": "npx",
      "args": ["@crawlbase/mcp@latest"],
      "env": {
        "CRAWLBASE_TOKEN": "your_token_here",
        "CRAWLBASE_JS_TOKEN": "your_js_token_here"
      }
    }
  }
}

Cursor IDE

1. 打开 Cursor IDE → File → Preferences → Cursor Settings → Tools and Integrations → Add Custom MCP
2. 添加到 mcp.json：
3. 将 your_token_here 和 your_js_token_here 替换为你在控制面板中获取的令牌。

{
  "mcpServers": {
    "crawlbase": {
      "type": "stdio",
      "command": "npx",
      "args": ["@crawlbase/mcp@latest"],
      "env": {
        "CRAWLBASE_TOKEN": "your_token_here",
        "CRAWLBASE_JS_TOKEN": "your_js_token_here"
      }
    }
  }
}

Windsurf IDE

1. 打开 WindSurf IDE → File → Preferences → WindSurf Settings → General → MCP Servers → Manage MCPs → View raw config
2. 添加到 mcp_config.json：
3. 将 your_token_here 和 your_js_token_here 替换为你在控制面板中获取的令牌。

{
  "mcpServers": {
    "crawlbase": {
      "type": "stdio",
      "command": "npx",
      "args": ["@crawlbase/mcp@latest"],
      "env": {
        "CRAWLBASE_TOKEN": "your_token_here",
        "CRAWLBASE_JS_TOKEN": "your_js_token_here"
      }
    }
  }
}

HTTP 传输模式

如果你需要通过 HTTP 访问共享的 MCP 服务（例如，多用户环境或自定义集成），可以在 HTTP 模式下运行服务：

# Clone and install
git clone https://github.com/crawlbase/crawlbase-mcp.git
cd crawlbase-mcp
npm install

# Start HTTP server with tokens (default port: 3000)
CRAWLBASE_TOKEN=your_token CRAWLBASE_JS_TOKEN=your_js_token npm run start:http

# Or with custom port
CRAWLBASE_TOKEN=your_token CRAWLBASE_JS_TOKEN=your_js_token MCP_PORT=8080 npm run start:http

服务会提供：

• POST /mcp - MCP Streamable HTTP 端点
• GET /health - 健康检查端点

按请求进行令牌身份验证

HTTP 模式支持通过请求头传入令牌，让多个用户可以共用一个服务：

curl -X POST http://localhost:3000/mcp \
  -H "Content-Type: application/json" \
  -H "Accept: application/json, text/event-stream" \
  -H "X-Crawlbase-Token: your_token" \
  -H "X-Crawlbase-JS-Token: your_js_token" \
  -d '{"jsonrpc": "2.0", "method": "tools/list", "id": 1}'

请求头：

• X-Crawlbase-Token - 用于 HTML 请求的普通令牌
• X-Crawlbase-JS-Token - 用于 JS 渲染页面和截图的 JavaScript 令牌

提供请求头时，它们会覆盖环境变量，从而支持多租户部署。

🔑 前往 Crawlbase ↗️ 获取免费令牌。

使用方法

完成配置后，可在 Claude、Cursor 或 Windsurf 中使用以下命令：

• crawl → 获取原始 HTML
• crawl_markdown → 提取整洁的 Markdown
• crawl_screenshot → 截取屏幕截图

提示词示例：

• “抓取 Hacker News，并以 Markdown 格式返回热门故事。”
• “截取 TechCrunch 首页的屏幕截图。”
• “以 HTML 格式获取 Tesla 投资者关系页面。”

使用云存储进行异步爬取

对于较大的任务，Crawlbase MCP 可以将爬取结果推送到 Crawlbase Cloud Storage，而不是立即返回。之后，你的 AI Agent 可以再回来读取、列出或清理这些页面。当你一次爬取许多 URL、需要跨会话重新查看数据集，或希望在实际需要前不将大量 HTML 放入聊天中时，这种方式很实用。

提示词示例：

• “抓取这 50 个产品页面并保存到我的 Crawlbase 存储中。保存后，分别总结每个页面。”
• “将 Hacker News 首页保存到存储中，方便我稍后分析。”
• “我现在在 Crawlbase 中存储了多少个页面？显示最近的 20 个。”
• “从我的 Crawlbase 存储中取回昨天保存的所有内容，并给我一份报告。”
• “删除我在 Crawlbase 存储中的所有页面——这个项目已经完成了。”

使用场景

• 市场调研 → 获取竞争对手、新闻和报告的实时数据
• 电商监控 → 实时跟踪产品、评论和价格
• 新闻与金融资讯 → 让 AI Agent 随时掌握最新动态
• 自主 AI Agent → 赋予它们洞察最新网页数据并据此采取行动的能力

资源与后续步骤

想用实时网页数据增强 AI Agent 的能力？从这里开始：

• ✍️ 了解更多 – 查看 MCP 如何利用实时网页数据为 AI Agent 提供支持 ↗️
• 🌐 Crawlbase 网站 – 获取免费令牌，立即开始爬取 ↗️

---

版权所有 2026 Crawlbase