A Fast Website Reader MCP

@just-every/mcp-read-website-fast

AI エージェント向けの高速でトークン効率に優れたウェブコンテンツ抽出ツール。ウェブサイトをクリーンな Markdown に変換します。

概要

既存の MCP ウェブクローラーは動作が遅く、大量のトークンを消費します。その結果、開発プロセスが滞り、LLM がウェブページ全体を解析する必要があるため、不完全な結果しか得られません。

この MCP パッケージはウェブページをローカルで取得し、不要な情報を取り除いて、リンクを保持しながらコンテンツをクリーンな Markdown に変換します。トークンの使用量を最小限に抑え、Claude Code、IDE、LLM パイプライン向けに設計されています。依存関係を最小限に抑え、サイトをローカルでクロールできます。

注： このパッケージは現在、コアのクロールおよび Markdown 変換機能に @just-every/crawl を使用しています。

特長

• 高速な起動：最適なパフォーマンスを実現する遅延読み込みを備えた公式 MCP SDK を使用
• コンテンツ抽出：Mozilla Readability を使用（Firefox のリーダービューと同じ）
• HTML から Markdown への変換：Turndown と GFM に対応
• スマートキャッシュ：SHA-256 でハッシュ化した URL を使用
• 配慮のあるクロール：robots.txt に対応し、レート制限を実施
• 並行取得：クロール深度を設定可能
• ストリーム優先の設計：メモリー使用量を抑制
• リンクの保持：ナレッジグラフ向け
• 任意のチャンク分割：後続処理向け

インストール

Claude Code

claude mcp add read-website-fast -s user -- npx -y @just-every/mcp-read-website-fast

VS Code

code --add-mcp '{"name":"read-website-fast","command":"npx","args":["-y","@just-every/mcp-read-website-fast"]}'

Cursor

cursor://anysphere.cursor-deeplink/mcp/install?name=read-website-fast&config=eyJyZWFkLXdlYnNpdGUtZmFzdCI6eyJjb21tYW5kIjoibnB4IiwiYXJncyI6WyIteSIsIkBqdXN0LWV2ZXJ5L21jcC1yZWFkLXdlYnNpdGUtZmFzdCJdfX0=

JetBrains IDE

設定 → ツール → AI Assistant → Model Context Protocol（MCP）→ 追加

「As JSON」を選択して、次の内容を貼り付けます。

{"command":"npx","args":["-y","@just-every/mcp-read-website-fast"]}

または、チャットウィンドウで「/add」と入力し、同じ JSON を入力してください。どちらの方法でも、サーバーを 1 回の手順で追加できます。 

生の JSON（任意の MCP クライアントで使用可能）

{
  "mcpServers": {
    "read-website-fast": {
      "command": "npx",
      "args": ["-y", "@just-every/mcp-read-website-fast"]
    }
  }
}

この内容をクライアントの mcp.json（例：.vscode/mcp.json、~/.cursor/mcp.json、または Claude 用の .mcp.json）に追加します。

特長

• 高速な起動：最適なパフォーマンスを実現する遅延読み込みを備えた公式 MCP SDK を使用
• コンテンツ抽出：Mozilla Readability を使用（Firefox のリーダービューと同じ）
• HTML から Markdown への変換：Turndown と GFM に対応
• スマートキャッシュ：SHA-256 でハッシュ化した URL を使用
• 配慮のあるクロール：robots.txt に対応し、レート制限を実施
• 並行取得：クロール深度を設定可能
• ストリーム優先の設計：メモリー使用量を抑制
• リンクの保持：ナレッジグラフ向け
• 任意のチャンク分割：後続処理向け

利用可能なツール

• read_website - ウェブページを取得してクリーンな Markdown に変換します
  • パラメーター：
    • url（必須）：取得する HTTP/HTTPS URL
    • pages（任意）：クロールするページの最大数（デフォルト：1、最大：100）

利用可能なリソース

• read-website-fast://status - キャッシュの統計情報を取得します
• read-website-fast://clear-cache - キャッシュディレクトリをクリアします

開発時の使い方

インストール

npm install
npm run build

単一ページの取得

npm run dev fetch https://example.com/article

深度を指定したクロール

npm run dev fetch https://example.com --depth 2 --concurrency 5

出力形式

# Markdown only (default)
npm run dev fetch https://example.com

# JSON output with metadata
npm run dev fetch https://example.com --output json

# Both URL and markdown
npm run dev fetch https://example.com --output both

CLI オプション

• -p, --pages <number> - クロールするページの最大数（デフォルト：1）
• -c, --concurrency <number> - 同時リクエストの最大数（デフォルト：3）
• --no-robots - robots.txt を無視します
• --all-origins - クロスオリジンのクロールを許可します
• -u, --user-agent <string> - カスタムユーザーエージェント
• --cache-dir <path> - キャッシュディレクトリ（デフォルト：.cache）
• -t, --timeout <ms> - リクエストのタイムアウト（ミリ秒、デフォルト：30000）
• -o, --output <format> - 出力形式：json、markdown、または both（デフォルト：markdown）

キャッシュのクリア

npm run dev clear-cache

自動再起動機能

MCP サーバーには、信頼性を高めるための自動再起動機能がデフォルトで備わっています。

• サーバーがクラッシュすると自動的に再起動します
• 未処理の例外と Promise の拒否を処理します
• 指数バックオフを実装しています（1 分間に最大 10 回試行）
• 監視用にすべての再起動試行を記録します
• シャットダウンシグナル（SIGINT、SIGTERM）を適切に処理します

自動再起動を無効にして開発・デバッグする場合：

# Run directly without restart wrapper
npm run serve:dev

アーキテクチャ

mcp/
├── src/
│   ├── crawler/        # URL fetching, queue management, robots.txt
│   ├── parser/         # DOM parsing, Readability, Turndown conversion
│   ├── cache/          # Disk-based caching with SHA-256 keys
│   ├── utils/          # Logger, chunker utilities
│   ├── index.ts        # CLI entry point
│   ├── serve.ts        # MCP server entry point
│   └── serve-restart.ts # Auto-restart wrapper

開発

# Run in development mode
npm run dev fetch https://example.com

# Build for production
npm run build

# Run tests
npm test

# Type checking
npm run typecheck

# Linting
npm run lint

コントリビューション

コントリビューションを歓迎します。以下の手順でお願いします。

1. リポジトリをフォークします
2. フィーチャーブランチを作成します
3. 新しい機能のテストを追加します
4. プルリクエストを送信します

トラブルシューティング

キャッシュの問題

npm run dev clear-cache

タイムアウトエラー

• -t フラグでタイムアウトを延長します
• ネットワーク接続を確認します
• URL にアクセスできることを確認します

コンテンツが抽出されない

• 自動アクセスをブロックするサイトもあります
• -u フラグでカスタムユーザーエージェントを試します
• サイトで JavaScript が必要かどうかを確認します（サポートされていません）

ライセンス

MIT