Web Crawler MCP Server

Web Crawler MCP サーバー

Claude Desktop、Cursor、その他の MCP 対応クライアントなどの AI アシスタント向けに、ウェブクロールとコンテンツ抽出ツールを提供する Model Context Protocol（MCP）サーバーです。

機能

• 公開されている任意のウェブページから、主要なテキストコンテンツを抽出して整形します。
• ステルスプラグインを使用した Puppeteer により、ボット対策を回避します。
• LLM が利用しやすい、読みやすく空白を正規化したテキストを返します。
• Claude Desktop やその他の MCP クライアントに簡単に統合できます。

前提条件

• Node.js（v16 以降）
• MCP 対応クライアント（例：Claude Desktop、Cursor）
• （任意）一部の Linux 環境向けの Puppeteer の依存関係

インストール

1. 依存関係をインストールします：

   npm install
   

2. サーバーをビルドします：

   npm run build
   

使用方法

サーバーを直接実行できます：

node build/index.js

または、クライアント（例：Claude Desktop）で MCP サーバーとして設定します：

{
  "mcpServers": {
    "web-crawler-mcp": {
      "command": "node",
      "args": ["<absolute-path-to>/server/web_crawler/build/index.js"]
    }
  }
}

利用可能なツール

web-crawler

• 説明： 指定した URL からテキストコンテンツを抽出して整形し、返します。
• 入力：
  • url（文字列、必須）：コンテンツを抽出する URL です。

例

{
  "tool_name": "web-crawler",
  "arguments": {
    "url": "https://openai.com/news"
  }
}

開発

• npm run build — TypeScript を JavaScript にコンパイルします。
• npm run watch — 変更を監視して再ビルドします。
• npm run inspector — デバッグ用に MCP Inspector を起動します。

注意事項

• 最適な互換性を確保するため、サーバーは実際のブラウザーインスタンス（headless: false）を起動します。
• 出力はプレーンテキストで、LLM への入力に適しています。
• より高度な解析を行う場合は、src/index.ts の Cheerio ロジックを変更してください。

ライセンス

MIT