MCP Website Downloader

MCP Website Downloader

ドキュメントサイトをダウンロードし、RAG インデックス作成に備えるシンプルな MCP サーバーです。

機能

• ドキュメントサイト全体をダウンロードします。まあ、大きなチャンクですが。
• リンク構造とナビゲーションを維持します。実際はそうでもありません。笑
• アセット（CSS、JS、画像）をダウンロードして整理しますが、AI にはあまり使いやすくありません。おそらく、何らかの解析やベクトル化を行ってデータベースなどに格納する必要があります。
• RAG システム用のクリーンなインデックスを作成します。現状では各フォルダーにインデックスを作成しているようですが、確認すらしていません。
• 単一目的のシンプルな MCP インターフェースです。はい。

インストール

フォークしてダウンロードし、リポジトリに移動します。

uv venv
./venv/Scripts/activate
pip install -e .

独自のパスを指定して、これを claude_desktop_config.json に記述します。

   "mcp-windows-website-downloader": {
     "command": "uv",
     "args": [
       "--directory",
       "F:/GithubRepos/mcp-windows-website-downloader",
       "run",
       "mcp-windows-website-downloader",
       "--library",
       "F:/GithubRepos/mcp-windows-website-downloader/website_library"
     ]
   },

気にする必要のない、幻覚かもしれないその他の使い方（笑）：

1. サーバーを起動します。

python -m mcp_windows_website_downloader.server --library docs_library

2. Claude Desktop または他の MCP クライアントから使用します。

result = await server.call_tool("download", {
    "url": "https://docs.example.com"
})

出力構造

docs_library/
  domain_name/
    index.html
    about.html
    docs/
      getting-started.html
      ...
    assets/
      css/
      js/
      images/
      fonts/
    rag_index.json

開発

このサーバーは標準的な MCP アーキテクチャに従っています。

src/
  mcp_windows_website_downloader/
    __init__.py
    server.py    # MCP server implementation
    core.py      # Core downloader functionality
    utils.py     # Helper utilities

コンポーネント

• server.py：ツールの登録とリクエストを処理する、MCP サーバーのメイン実装
• core.py：適切なアセット処理機能を備えた、ウェブサイトのダウンロード機能の中核
• utils.py：ファイル処理と URL 処理のためのヘルパーユーティリティ

設計原則

1. 単一責任

   • 各モジュールには明確な目的があります
   • サーバーは MCP インターフェースを処理します
   • Core はダウンロードを処理します
   • Utils は共通処理を担当します

2. クリーンな構造

   • 元のサイト構造を維持します
   • アセットを種類ごとに整理します
   • RAG システム向けに分かりやすいインデックスを作成します

3. 堅牢な動作

   • 適切なエラー処理
   • 妥当な深度制限
   • アセットのダウンロード検証
   • クリーンな URL／パス処理

RAG インデックス

rag_index.json ファイルには次の内容が含まれます。

{
  "url": "https://docs.example.com",
  "domain": "docs.example.com", 
  "pages": 42,
  "path": "/path/to/site"
}

コントリビューション

1. リポジトリをフォークします
2. 機能ブランチを作成します
3. 変更を加えます
4. プルリクエストを送信します

ライセンス

MIT License - LICENSE ファイルを参照してください

エラー処理

サーバーは一般的な問題に対応します。

• 無効な URL
• ネットワークエラー
• アセットのダウンロード失敗
• 不正な形式の HTML
• 深い再帰
• ファイルシステムエラー

エラーレスポンスの形式：

{
  "status": "error",
  "error": "Detailed error message"
}

成功レスポンス：

{
  "status": "success",
  "path": "/path/to/downloaded/site",
  "pages": 42
}