MCP Website Downloader

MCP 网站下载器

用于下载文档网站并为 RAG 索引做准备的简单 MCP 服务。

功能

• 下载完整的文档网站，嗯，至少是大块内容。
• 保留链接结构和导航，才怪。哈哈。
• 下载并整理资源（CSS、JS、图像），但并不太适合 AI，可能还需要进行某种解析或向量化，然后存入数据库之类的东西。
• 为 RAG 系统创建整洁的索引，目前似乎会在每个文件夹中创建一个索引，我甚至都没看过。
• 简单的单一用途 MCP 接口，没错。

安装

Fork 并下载，然后进入该仓库目录。

uv venv
./venv/Scripts/activate
pip install -e .

将以下内容放入你自己的 claude_desktop_config.json，并使用自己的路径：

   "mcp-windows-website-downloader": {
     "command": "uv",
     "args": [
       "--directory",
       "F:/GithubRepos/mcp-windows-website-downloader",
       "run",
       "mcp-windows-website-downloader",
       "--library",
       "F:/GithubRepos/mcp-windows-website-downloader/website_library"
     ]
   },

其他无需在意、可能是幻觉的用法，哈哈：

1. 启动服务：

python -m mcp_windows_website_downloader.server --library docs_library

2. 通过 Claude Desktop 或其他 MCP 客户端使用：

result = await server.call_tool("download", {
    "url": "https://docs.example.com"
})

输出结构

docs_library/
  domain_name/
    index.html
    about.html
    docs/
      getting-started.html
      ...
    assets/
      css/
      js/
      images/
      fonts/
    rag_index.json

开发

该服务遵循标准 MCP 架构：

src/
  mcp_windows_website_downloader/
    __init__.py
    server.py    # MCP server implementation
    core.py      # Core downloader functionality
    utils.py     # Helper utilities

组件

• server.py：负责处理工具注册和请求的 MCP 服务主实现
• core.py：网站下载核心功能，包含适当的资源处理
• utils.py：用于文件处理和 URL 处理的辅助工具

设计原则

1. 单一职责

   • 每个模块都有一个明确的用途
   • 服务负责处理 MCP 接口
   • 核心模块负责下载
   • 工具模块负责常见操作

2. 结构清晰

   • 保留原始网站结构
   • 按类型整理资源
   • 为 RAG 系统创建清晰的索引

3. 稳健运行

   • 适当的错误处理
   • 合理的深度限制
   • 资源下载验证
   • 整洁的 URL/路径处理

RAG 索引

rag_index.json 文件包含：

{
  "url": "https://docs.example.com",
  "domain": "docs.example.com", 
  "pages": 42,
  "path": "/path/to/site"
}

贡献

1. Fork 仓库
2. 创建功能分支
3. 进行更改
4. 提交拉取请求

许可证

MIT License - 参见 LICENSE 文件

错误处理

该服务会处理常见问题：

• 无效的 URL
• 网络错误
• 资源下载失败
• 格式错误的 HTML
• 递归过深
• 文件系统错误

错误响应遵循以下格式：

{
  "status": "error",
  "error": "Detailed error message"
}

成功响应：

{
  "status": "success",
  "path": "/path/to/downloaded/site",
  "pages": 42
}