Crawleo Mcp Server

Crawleo MCP Server

通过 Model Context Protocol（MCP）为 AI 助手提供实时网页搜索和抓取功能。

概览

Crawleo MCP 可让 AI 助手通过两种强大的工具访问实时网页数据：

• web.search - 支持多种输出格式的实时网页搜索
• web.crawl - 从任意 URL 深度提取内容

功能

✅ 实时网页搜索，支持任何国家/地区和语言
✅ 多种输出格式 - 增强型 HTML、原始 HTML、Markdown、纯文本
✅ 特定设备的结果 - 桌面、移动设备或平板电脑视图
✅ 深度内容提取，支持 JavaScript 渲染
✅ 不保留数据 - 完全保护隐私
✅ 搜索结果支持自动抓取选项

---

安装

选项 1：NPM（推荐用于本地使用）

通过 npm 全局安装：

npm install -g crawleo-mcp

也可以使用 npx，无需安装：

npx crawleo-mcp

选项 2：克隆仓库

git clone https://github.com/Crawleo/Crawleo-MCP.git
cd Crawleo-MCP
npm install
npm run build

选项 3：Docker

使用 Docker 构建并运行：

# Build the image
docker build -t crawleo-mcp .

# Run with your API key
docker run -e CRAWLEO_API_KEY=your_api_key crawleo-mcp

MCP 客户端的 Docker 配置：

{
  "mcpServers": {
    "crawleo": {
      "command": "docker",
      "args": ["run", "-i", "--rm", "-e", "CRAWLEO_API_KEY=YOUR_API_KEY_HERE", "crawleo-mcp"]
    }
  }
}

选项 4：远程服务（无需安装）

使用托管版本 https://api.crawleo.dev/mcp - 配置示例见下文。

---

获取 API 密钥

1. 访问 crawleo.dev
2. 注册免费账号
3. 前往控制面板
4. 复制 API 密钥（以 sk_ 开头）

---

配置说明

使用本地 MCP 服务（npm 软件包）

通过 npm 安装后，配置 MCP 客户端以使用本地服务：

Claude Desktop / Cursor / Windsurf（本地）：

{
  "mcpServers": {
    "crawleo": {
      "command": "npx",
      "args": ["crawleo-mcp"],
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

或者，如果是全局安装：

{
  "mcpServers": {
    "crawleo": {
      "command": "crawleo-mcp",
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

从克隆的仓库运行：

{
  "mcpServers": {
    "crawleo": {
      "command": "node",
      "args": ["/path/to/Crawleo-MCP/dist/index.js"],
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

---

使用远程服务（托管）

1. Claude Desktop

配置文件位置：

• macOS：~/Library/Application Support/Claude/claude_desktop_config.json
• Windows：%APPDATA%\Claude\claude_desktop_config.json
• Linux：~/.config/Claude/claude_desktop_config.json

配置：

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

将 YOUR_API_KEY_HERE 替换为你从 crawleo.dev 获取的实际 API 密钥。

步骤：

1. 在文本编辑器中打开配置文件
2. 添加 Crawleo MCP 配置
3. 保存文件
4. 完全重启 Claude Desktop（退出后重新打开）
5. 开始新的对话，并让 Claude 搜索网页！

使用示例：

"Search for the latest AI news and summarize the top 5 articles"
"Find Python web scraping tutorials and extract code examples"

---

2. Cursor IDE

配置文件位置：

• macOS：~/.cursor/config.json 或 ~/Library/Application Support/Cursor/config.json
• Windows：%APPDATA%\Cursor\config.json
• Linux：~/.config/Cursor/config.json

配置：

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

步骤：

1. 找到并打开 Cursor 配置文件
2. 添加 Crawleo MCP 配置
3. 保存文件
4. 重启 Cursor
5. 这些 MCP 工具即可在 AI 助手中使用

Cursor 中的使用示例：

"Search for React best practices and add them to my code comments"
"Find the latest documentation for this API endpoint"

---

3. Windsurf IDE

配置文件位置：

• macOS：~/Library/Application Support/Windsurf/config.json
• Windows：%APPDATA%\Windsurf\config.json
• Linux：~/.config/Windsurf/config.json

配置：

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

步骤：

1. 打开 Windsurf 配置文件
2. 添加 Crawleo MCP 服务配置
3. 保存并重启 Windsurf
4. 开始在编码工作流中使用网页搜索

---

4. GitHub Copilot

配置文件位置：

对于 VS Code 或兼容编辑器中的 GitHub Copilot，你需要配置 MCP 服务。

配置：

创建或编辑 MCP 配置文件，并添加：

{
  "servers": {
    "Crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

包含多个服务的完整示例：

{
  "servers": {
    "Crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

步骤：

1. 打开 GitHub Copilot MCP 配置
2. 添加 Crawleo 服务配置
3. 保存文件
4. 重启 VS Code 或 IDE
5. GitHub Copilot 现在可以使用 Crawleo 搜索网页了！

使用示例：

Ask Copilot: "Search for the latest Python best practices"
Ask Copilot: "Find documentation for this library"

---

5. OpenAI Platform（直接集成）

OpenAI 现在直接支持 MCP 服务！以下是通过 OpenAI API 使用 Crawleo 的方法：

Python 示例：

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-4",
    input=[
        {
            "role": "user",
            "content": [
                {
                    "type": "input_text",
                    "text": "search for latest news about openai models"
                }
            ]
        }
    ],
    text={
        "format": {
            "type": "text"
        },
        "verbosity": "medium"
    },
    reasoning={
        "effort": "medium"
    },
    tools=[
        {
            "type": "mcp",
            "server_label": "Crawleo",
            "server_url": "https://api.crawleo.dev/mcp",
            "server_description": "Crawleo MCP Server - Real-Time Web Knowledge for AI",
            "authorization": "YOUR_API_KEY_HERE",
            "allowed_tools": [
                "web.search",
                "web.crawl"
            ],
            "require_approval": "always"
        }
    ],
    store=True,
    include=[
        "reasoning.encrypted_content",
        "web_search_call.action.sources"
    ]
)

print(response)

关键参数：

• server_url - Crawleo MCP 端点
• authorization - 你的 Crawleo API 密钥
• allowed_tools - 启用 web.search 和／或 web.crawl
• require_approval - 设为 "always"、"never" 或 "conditional"

Node.js 示例：

import OpenAI from 'openai';

const client = new OpenAI();

const response = await client.responses.create({
  model: 'gpt-4',
  input: [
    {
      role: 'user',
      content: [
        {
          type: 'input_text',
          text: 'search for latest AI developments'
        }
      ]
    }
  ],
  tools: [
    {
      type: 'mcp',
      server_label: 'Crawleo',
      server_url: 'https://api.crawleo.dev/mcp',
      server_description: 'Crawleo MCP Server - Real-Time Web Knowledge for AI',
      authorization: 'YOUR_API_KEY_HERE',
      allowed_tools: ['web.search', 'web.crawl'],
      require_approval: 'always'
    }
  ]
});

console.log(response);

---

可用工具

web.search

通过可自定义的参数实时搜索网页。

参数：

• query (必填) - 搜索词
• max_pages - 结果页数（默认值：1）
• setLang - 语言代码（例如 "en"、"ar"）
• cc - 国家／地区代码（例如 "US"、"EG"）
• device - 设备类型："desktop"、"mobile"、"tablet"（默认值："desktop"）
• enhanced_html - 获取简洁 HTML（默认值：true）
• raw_html - 获取原始 HTML（默认值：false）
• markdown - 获取 Markdown 格式（默认值：true）
• page_text - 获取纯文本（默认值：false）
• auto_crawling - 自动抓取结果 URL（默认值：false）

示例：

Ask your AI: "Search for 'Python web scraping' and return results in Markdown"

---

web.crawl

从指定 URL 提取内容。

参数：

• urls (必填) - 要抓取的 URL 列表
• rawHtml - 返回原始 HTML（默认值：false）
• markdown - 转换为 Markdown（默认值：false）
• screenshot - 截取屏幕截图（可选）
• country - 地理位置

示例：

Ask your AI: "Crawl https://example.com and extract the main content in Markdown"

---

故障排除

未显示 MCP 服务

1. 检查配置文件位置 - 确保你正在编辑正确的文件
2. 验证 JSON 语法 - 使用 JSON 验证器检查语法错误
3. 重启应用程序 - 完全退出并重新打开（不仅仅是重新加载）
4. 检查 API 密钥 - 确保你的 API 密钥在 crawleo.dev 上有效且已启用

身份验证错误

• 确认 API 密钥正确（应以 sk_ 开头）
• 确保密钥用引号括起来
• 检查 Authorization 标头中是否包含 "Bearer " 前缀（适用于 Claude/Cursor/Windsurf）
• 对于 OpenAI Platform，在 authorization 字段中直接使用密钥
• 确认你的账户在 crawleo.dev 上有可用额度

未返回结果

• 检查网络连接
• 确认搜索查询不为空
• 先尝试更简单的搜索查询
• 在 crawleo.dev 上检查 API 状态

无法识别工具名称

确保使用正确的工具名称：

• 使用 web.search（不要用 search_web）
• 使用 web.crawl（不要用 crawl_web）

---

使用示例

研究助手

"Search for recent developments in quantum computing and summarize the key findings"

内容分析

"Search for competitor pricing pages and extract their pricing tiers"

代码文档

"Find the official documentation for FastAPI and extract the quickstart guide"

新闻监控

"Search for today's news about artificial intelligence from US sources"

市场研究

"Search for customer reviews of iPhone 15 and analyze sentiment"

---

定价

Crawleo MCP 采用与我们的 API 相同的实惠定价：

• 10,000 次搜索 → $20
• 100,000 次搜索 → $100
• 250,000 次搜索 → $200

在 crawleo.dev 查看用量并管理订阅

---

隐私与安全

✅ 零数据保留 - 我们绝不会存储你的搜索查询或结果
✅ 安全身份验证 - API 密钥通过 HTTPS 传输
✅ 无跟踪 - 你的使用模式会保持私密

---

支持

• 文档：crawleo.dev/docs
• API 状态：crawleo.dev/status
• 联系邮箱：[email protected]

---

链接

• 🌐 网站：crawleo.dev
• 📚 文档：crawleo.dev/docs
• 🔑 获取 API Key：crawleo.dev

---

这样更好吗？您希望我再添加什么内容，或创建其他指南吗？