mcpField
C
crawl4-mcp

crawl4-mcp

本地服务
github.com/ShiDuLin浏览器自动化473 周前更新
代码仓库

关于 crawl4-mcp

crawl4-mcp 是基于 crawl4ai 的网络爬虫 MCP 服务，可抓取网页内容并保存为本地 Markdown 文件，供后续 RAG 工作流使用。

主要功能

  1. 01抓取网页内容
  2. 02将抓取内容保存为本地 Markdown

适用场景

  1. 01为 RAG 工作流收集网页
  2. 02将抓取材料保存为 Markdown 以便后续使用

MCP 相关

该服务可通过 SSE 传输运行，MCP 客户端可使用配置的 URL 连接。

#crawl4ai#web-scraper#data-collection

配置

本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。

暂未收录安装方式

我们还没有获取到这个服务的安装包或远程地址，请按项目 README 中的说明安装。

代码仓库

工具

还没有获取到工具列表

本地服务需要在你的电脑上运行后才能读取工具，维护者暂未提供工具列表。

README 原文English

来自项目 README

README 暂无中文译文，以下为英文原文；中文介绍见上方。

crawl4-mcp

本项目是一个crawl4ai 的爬虫MCP SERVER，提供高级网络爬虫。使用此 MCP SERVER，您可以抓取任何内容，将内容保存为本地markdown文件，然后在任何地方将该知识用于 RAG。

环境要求

  • Python 3.12 或更高版本
  • uv 包管理器

安装步骤

  1. 克隆仓库

    git clone <仓库地址>
cd crawl4-mcp

  2. 使用 uv 创建虚拟环境并安装依赖

    uv venv -p 3.12
.\.venv\Scripts\activate
uv sync
crawl4ai-setup

  3. 根据下面的配置部分创建一个.env文件

运行

```bash
uv run src/crawl4ai_mcp.py
```

server将启动并监听配置的主机和端口。

与 MCP client集成

一旦服务器使用 SSE 传输运行，您就可以使用以下配置连接到它：

{
  "mcpServers": {
    "crawl4-mcp": {
      "transport": "sse",
      "url": "http://localhost:8051/sse"
    }
  }
}

评论

支持 Markdown

第一次接触 MCP？

从协议是什么，到在客户端里装上第一个服务，这几条回答覆盖了大多数入门问题。

一个开放协议，规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话，MCP 服务负责提供工具、资源和提示模板，两者通过标准消息通信，同一个服务可以被不同客户端复用。