Claude Web Scraper MCP

Claude Web Scraper MCP

Claude for Desktop をローカルで実行中の eGet Web Scraper に接続する、シンプルな Model Context Protocol（MCP）サーバーです。これにより、Claude はローカル API 経由でウェブサイトのコンテンツをスクレイピングできます。

前提条件

• Claude for Desktop
• Python 3.7+
• eGet Web Scraper（https://github.com/vishwajeetdabholkar/eGet-Crawler-for-ai から入手）

セットアップ手順

1. eGet Web Scraper をセットアップする

まず、eGet Web Scraper が実行中であることを確認します。

# Clone the eGet repository
git clone https://github.com/vishwajeetdabholkar/eGet-Crawler-for-ai
cd eGet-Crawler-for-ai

# Set up and run eGet according to its instructions
# (typically using Docker or local Python installation)

# Verify the API is running (default: http://localhost:8000/api/v1/scrape)

2. MCP サーバーをセットアップする

# Create project directory
mkdir claude-scraper-mcp
cd claude-scraper-mcp

# Set up UV and virtual environment
uv venv
source .venv/bin/activate  # On Windows: .venv\Scripts\activate

# Install dependencies
uv add "mcp[cli]" httpx

# Create the MCP server script
touch scrape_mcp_server.py

scrape_mcp_server.py のコードをファイルにコピーします。

3. Claude for Desktop を設定する

1. Claude のデスクトップ設定を作成または編集します。

# On macOS
mkdir -p ~/Library/Application\ Support/Claude/

2. 次の設定を ~/Library/Application Support/Claude/claude_desktop_config.json に追加します。

{
    "mcpServers": {
        "scrape-service": {
            "command": "/absolute/path/to/claude-scraper-mcp/.venv/bin/python",
            "args": [
                "/absolute/path/to/claude-scraper-mcp/scrape_mcp_server.py"
            ]
        }
    }
}

仮想環境とスクリプトへの実際の絶対パスに置き換えてください。

3. Claude for Desktop を再起動します。

使い方

セットアップが完了したら、次のようなコマンドで Claude を使ってウェブサイトをスクレイピングできます。

• 「https://example.com のコンテンツをスクレイピングして要約してください」
• 「https://news.ycombinator.com のウェブサイトについて情報を教えてください」

トラブルシューティング

問題が発生した場合は、次の点を確認してください。

1. eGet スクレイパーが実行中であることを確認します。
2. スクリプト内の API エンドポイントが eGet の設定と一致していることを確認します。
3. Claude for Desktop が正しい Python インタープリターを使用していることを確認します。
4. 設定を変更した後は、Claude for Desktop を再起動します。