mcpField
R
RAG Documentation Scraper

RAG Documentation Scraper

本地服务
github.com/LernowaAdmin浏览器自动化
代码仓库

关于 RAG Documentation Scraper

RAG Documentation Scraper 可抓取文档网站，将主要内容整理为带来源元数据的 RAG 分块。它提供多种分块与输出格式，并支持增量抓取及供 AI 客户端调用的 MCP 封装。

主要功能

  1. 01使用 Playwright 抓取文档
  2. 02提取页面主体内容
  3. 03按可配置策略切分文本
  4. 04导出 RAG 与框架专用格式
  5. 05跟踪变更并去重分块
  6. 06支持 PDF 文本与 OCR 提取

适用场景

  1. 01为向量数据库准备文档数据
  2. 02跳过未变更页面以更新文档语料
  3. 03抓取指定版本的文档
  4. 04通过 MCP 客户端调用文档抓取

MCP 相关

项目附带 MCP 服务，提供 `scrape_documentation_for_rag` 工具，可抓取文档网址并返回带来源元数据的文本分块。支持本地 stdio 和 HTTP SSE 传输。

配置

本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置
{
  "mcpServers": {
    "lernowaadmin-rag-docs-scraper": {
      "command": "npx",
      "args": [
        "-y",
        "rag-docs-scraper-mcp-server"
      ],
      "env": {
        "APIFY_TOKEN": "<APIFY_TOKEN>"
      }
    }
  }
}
启动命令npx -y rag-docs-scraper-mcp-server
需要配置的环境变量
APIFY_TOKEN密钥Your Apify API token — https://console.apify.com/account/integrations

本地服务需要在你的电脑上安装运行环境（如 Node.js 18+）。各客户端的配置文件位置不同，请参考客户端文档。

安装包
npmrag-docs-scraper-mcp-server1.0.0

工具

还没有获取到工具列表

本地服务需要在你的电脑上运行后才能读取工具，维护者暂未提供工具列表。

详细介绍

维护者还没有提供详细介绍，可以先查看代码仓库中的 README。

评论

支持 Markdown

第一次接触 MCP？

从协议是什么，到在客户端里装上第一个服务，这几条回答覆盖了大多数入门问题。

一个开放协议，规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话，MCP 服务负责提供工具、资源和提示模板，两者通过标准消息通信，同一个服务可以被不同客户端复用。