Crawlbase Web MCP Server

Crawlbase MCP とは？

Crawlbase MCP は、AI エージェントとライブウェブをつなぐ Model Context Protocol（MCP）サーバーです。古くなった学習データに頼る代わりに、LLM が Crawlbase の実績あるクロールインフラストラクチャを利用して、新鮮で構造化されたリアルタイムのコンテンツを取得できるようになります。このインフラストラクチャは、世界中の 70,000 人以上の開発者に信頼されています。

スクレイピングの複雑さを代わりに処理します。

• 最新のウェブアプリ向けの JavaScript レンダリング
• プロキシローテーションとボット対策の回避
• 構造化された出力（HTML、Markdown、スクリーンショット）

仕組み

• Crawlbase の無料トークンを取得 → Crawlbase ↗️ に登録して、無料の Normal トークンと JavaScript トークンを取得します。
• MCP の設定 → MCP サーバーの設定を更新して、利用するクライアント（Claude、Cursor、Windsurf）で MCP サーバーを設定します。
• クロールを開始 → crawl、crawl_markdown、crawl_screenshot などのコマンドを使って、ライブウェブのデータを AI エージェントに取り込みます。

セットアップと統合

Claude Desktop

1. Claude Desktop → Settings → Developer → Edit Config を開きます。
2. claude_desktop_config.json に追加します。
3. your_token_here と your_js_token_here をダッシュボードにあるトークンに置き換えます。

{
  "mcpServers": {
    "crawlbase": {
      "type": "stdio",
      "command": "npx",
      "args": ["@crawlbase/mcp@latest"],
      "env": {
        "CRAWLBASE_TOKEN": "your_token_here",
        "CRAWLBASE_JS_TOKEN": "your_js_token_here"
      }
    }
  }
}

Claude Code

claude.json の設定に追加します。

{
  "mcpServers": {
    "crawlbase": {
      "type": "stdio",
      "command": "npx",
      "args": ["@crawlbase/mcp@latest"],
      "env": {
        "CRAWLBASE_TOKEN": "your_token_here",
        "CRAWLBASE_JS_TOKEN": "your_js_token_here"
      }
    }
  }
}

Cursor IDE

1. Cursor IDE → File → Preferences → Cursor Settings → Tools and Integrations → Add Custom MCP を開きます。
2. mcp.json に追加します。
3. your_token_here と your_js_token_here をダッシュボードにあるトークンに置き換えます。

{
  "mcpServers": {
    "crawlbase": {
      "type": "stdio",
      "command": "npx",
      "args": ["@crawlbase/mcp@latest"],
      "env": {
        "CRAWLBASE_TOKEN": "your_token_here",
        "CRAWLBASE_JS_TOKEN": "your_js_token_here"
      }
    }
  }
}

Windsurf IDE

1. WindSurf IDE → File → Preferences → WindSurf Settings → General → MCP Servers → Manage MCPs → View raw config を開きます。
2. mcp_config.json に追加します。
3. your_token_here と your_js_token_here をダッシュボードにあるトークンに置き換えます。

{
  "mcpServers": {
    "crawlbase": {
      "type": "stdio",
      "command": "npx",
      "args": ["@crawlbase/mcp@latest"],
      "env": {
        "CRAWLBASE_TOKEN": "your_token_here",
        "CRAWLBASE_JS_TOKEN": "your_js_token_here"
      }
    }
  }
}

HTTP トランスポートモード

HTTP 経由でアクセスできる共有 MCP サーバーが必要な場合（複数ユーザー環境やカスタム統合など）、サーバーを HTTP モードで実行できます。

# Clone and install
git clone https://github.com/crawlbase/crawlbase-mcp.git
cd crawlbase-mcp
npm install

# Start HTTP server with tokens (default port: 3000)
CRAWLBASE_TOKEN=your_token CRAWLBASE_JS_TOKEN=your_js_token npm run start:http

# Or with custom port
CRAWLBASE_TOKEN=your_token CRAWLBASE_JS_TOKEN=your_js_token MCP_PORT=8080 npm run start:http

サーバーは以下を公開します。

• POST /mcp - MCP Streamable HTTP エンドポイント
• GET /health - ヘルスチェックエンドポイント

リクエストごとのトークン認証

HTTP モードでは、ヘッダーを使ってリクエストごとにトークンを指定できるため、複数のユーザーで単一のサーバーを共有できます。

curl -X POST http://localhost:3000/mcp \
  -H "Content-Type: application/json" \
  -H "Accept: application/json, text/event-stream" \
  -H "X-Crawlbase-Token: your_token" \
  -H "X-Crawlbase-JS-Token: your_js_token" \
  -d '{"jsonrpc": "2.0", "method": "tools/list", "id": 1}'

ヘッダー：

• X-Crawlbase-Token - HTML リクエスト用の Normal トークン
• X-Crawlbase-JS-Token - JavaScript レンダリングされたページやスクリーンショット用の JavaScript トークン

ヘッダーが指定されている場合は環境変数より優先されるため、マルチテナント環境で利用できます。

🔑 Crawlbase ↗️ で無料トークンを取得できます。

使い方

設定が完了したら、Claude、Cursor、Windsurf 内で以下のコマンドを使います。

• crawl → 生の HTML を取得
• crawl_markdown → 読みやすい Markdown を抽出
• crawl_screenshot → スクリーンショットを撮影

プロンプトの例：

• 「Hacker News をクロールして、トップ記事を Markdown で返してください。」
• 「TechCrunch のホームページのスクリーンショットを撮ってください。」
• 「Tesla の投資家向け情報ページを HTML で取得してください。」

クラウドストレージを使った非同期クロール

大規模なジョブでは、Crawlbase MCP はクロール結果をすぐに返す代わりに、Crawlbase Cloud Storage に送信できます。その後、AI エージェントはページを読み込んだり、一覧表示したり、削除したりできます。これは、一度に多数の URL をクロールする場合、複数のセッションにわたってデータセットを再確認する場合、必要になるまで大きな HTML をチャットに表示せずに保管しておく場合に便利です。

プロンプトの例：

• 「この 50 件の商品ページをクロールして、Crawlbase のストレージに保存してください。保存できたら、それぞれを要約してください。」
• 「後で分析できるように、Hacker News のトップページをストレージに保存してください。」
• 「現在、Crawlbase に保存されているページはいくつありますか？最新の 20 件を表示してください。」
• 「昨日、Crawlbase のストレージに保存したものをすべて取得して、レポートを作成してください。」
• 「Crawlbase のストレージにあるページをすべて削除してください。このプロジェクトは終了しました。」

ユースケース

• 市場調査 → 競合他社、ニュース、レポートから最新データを取得
• Eコマースのモニタリング → 商品、レビュー、価格をリアルタイムで追跡
• ニュース・金融フィード → AI エージェントを最新の出来事に対応させます
• 自律型 AI エージェント → 最新のウェブデータを活用して行動できるようにします

リソースと次のステップ

AI エージェントを最新のウェブデータで強化しませんか？こちらから始めましょう：

• ✍️ 詳細を見る – MCP がリアルタイムのウェブデータで AI エージェントを強化する方法 ↗️
• 🌐 Crawlbase のウェブサイト – 無料トークンを取得して、今すぐクロールを始めましょう ↗️

---

Copyright 2026 Crawlbase