Crawl4ai Middleware

Crawl4AI MCP 服务器

这是一个MCP（模型上下文协议）服务器，用于将crawl4ai的网页抓取功能集成到支持MCP的应用程序中，如Cursor IDE。

功能

该服务器提供以下工具：

1. create_crawl_task - 创建网页抓取任务并获取任务ID
2. get_crawl_result - 根据任务ID获取抓取结果并保存到本地文件
3. list_saved_results - 列出已保存的抓取结果文件
4. read_saved_result - 读取已保存的抓取结果文件内容。

文件存储

所有抓取的网页内容会保存在服务器脚本同级目录下的 url 文件夹中，文件命名格式为： extracted_域名_任务ID_时间戳.txt

这样可以避免因内容过大导致的显示问题，并可随时查看完整抓取结果。

安装依赖

pip install mcp[cli] httpx python-dotenv

配置

默认配置

服务器默认配置为：

• API地址：http://192.168.31.12:11235/
• API密钥：sk-3180623

环境变量配置

你可以通过以下两种方式配置环境变量：

1. 创建.env文件

   在与crawl4ai_server.py同一目录下创建一个名为.env的文件，内容如下：

   CRAWL4AI_API_BASE=http://192.168.31.12:11235
   CRAWL4AI_API_KEY=sk-3180623
   OUTPUT_DIR=
   LOG_LEVEL=INFO
   

   注意：确保.env文件使用UTF-8编码保存，不要包含BOM头。

2. 设置系统环境变量

   你也可以直接在操作系统中设置以下环境变量：

   • CRAWL4AI_API_BASE - API服务器地址
   • CRAWL4AI_API_KEY - API密钥
   • OUTPUT_DIR - 自定义输出目录（可选）
   • LOG_LEVEL - 日志级别（可选，默认INFO）

在Cursor中使用

1. 确保已安装所需依赖项

2. 修改Cursor的配置文件，路径通常为：

   • Windows: %APPDATA%\Cursor\User\settings.json

3. 在配置文件中添加以下内容：

{
  "mcpServers": {
    "crawl4ai": {
      "command": "python",
      "args": [
        "E:/APP/craw14ai-middleware/crawl4ai_server.py"
      ]
    }
  }
}

4. 重启Cursor以加载MCP服务器

使用示例

在Cursor中，你可以让AI助手使用这些工具：

1. "请帮我抓取网页 https://example.com"
2. "请获取任务ID为 abc123 的抓取结果"
3. "请列出已保存的抓取结果文件"
4. "请读取文件 extracted_example_com_abc123.txt 的内容"