Crawleo Mcp Server

Crawleo MCP サーバー

Model Context Protocol（MCP）を通じて、AI アシスタントにリアルタイムのウェブ検索とクロール機能を提供します。

概要

Crawleo MCP を使うと、AI アシスタントは次の 2 つの強力なツールで、最新のウェブデータにアクセスできます。

• web.search - 複数の出力形式に対応したリアルタイムのウェブ検索
• web.crawl - 任意の URL からコンテンツを詳細に抽出

機能

✅ あらゆる国・言語に対応したリアルタイムのウェブ検索
✅ 複数の出力形式 - 拡張 HTML、生 HTML、Markdown、プレーンテキスト
✅ デバイス別の検索結果 - デスクトップ、モバイル、タブレット表示
✅ JavaScript レンダリングに対応した詳細なコンテンツ抽出
✅ データを一切保持しません - 完全なプライバシー
✅ 検索結果の自動クロール オプション

---

インストール

オプション 1：NPM（ローカルでの使用におすすめ）

npm を使ってグローバルにインストールします。

npm install -g crawleo-mcp

または、インストールせずに npx を使用します。

npx crawleo-mcp

オプション 2：リポジトリのクローン

git clone https://github.com/Crawleo/Crawleo-MCP.git
cd Crawleo-MCP
npm install
npm run build

オプション 3：Docker

Docker を使ってビルドして実行します。

# Build the image
docker build -t crawleo-mcp .

# Run with your API key
docker run -e CRAWLEO_API_KEY=your_api_key crawleo-mcp

MCP クライアント用の Docker 設定：

{
  "mcpServers": {
    "crawleo": {
      "command": "docker",
      "args": ["run", "-i", "--rm", "-e", "CRAWLEO_API_KEY=YOUR_API_KEY_HERE", "crawleo-mcp"]
    }
  }
}

オプション 4：リモートサーバー（インストール不要）

ホスト版の https://api.crawleo.dev/mcp を使用します。以下の設定例を参照してください。

---

API キーの取得

1. crawleo.dev にアクセスします
2. 無料アカウントを登録します
3. ダッシュボードに移動します
4. API キーをコピーします（sk_ で始まります）

---

セットアップ手順

ローカル MCP サーバーの使用（npm パッケージ）

npm でインストールした後、ローカルサーバーを使用するように MCP クライアントを設定します。

Claude Desktop / Cursor / Windsurf（ローカル）：

{
  "mcpServers": {
    "crawleo": {
      "command": "npx",
      "args": ["crawleo-mcp"],
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

または、グローバルにインストールした場合：

{
  "mcpServers": {
    "crawleo": {
      "command": "crawleo-mcp",
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

クローンしたリポジトリから使用する場合：

{
  "mcpServers": {
    "crawleo": {
      "command": "node",
      "args": ["/path/to/Crawleo-MCP/dist/index.js"],
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

---

リモートサーバーの使用（ホスト版）

1. Claude Desktop

設定ファイルの場所：

• macOS：~/Library/Application Support/Claude/claude_desktop_config.json
• Windows：%APPDATA%\Claude\claude_desktop_config.json
• Linux：~/.config/Claude/claude_desktop_config.json

設定：

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

YOUR_API_KEY_HERE を crawleo.dev で取得した実際の API キーに置き換えます。

手順：

1. 設定ファイルをテキストエディターで開きます
2. Crawleo MCP の設定を追加します
3. ファイルを保存します
4. Claude Desktop を完全に終了し、再起動します
5. 新しい会話を開始し、Claude にウェブ検索を依頼します。

使用例：

"Search for the latest AI news and summarize the top 5 articles"
"Find Python web scraping tutorials and extract code examples"

---

2. Cursor IDE

設定ファイルの場所：

• macOS：~/.cursor/config.json または ~/Library/Application Support/Cursor/config.json
• Windows：%APPDATA%\Cursor\config.json
• Linux：~/.config/Cursor/config.json

設定：

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

手順：

1. Cursor の設定ファイルを見つけて開きます
2. Crawleo MCP の設定を追加します
3. ファイルを保存します
4. Cursor を再起動します
5. AI アシスタントで MCP ツールを利用できるようになります

Cursor での使用例：

"Search for React best practices and add them to my code comments"
"Find the latest documentation for this API endpoint"

---

3. Windsurf IDE

設定ファイルの場所：

• macOS：~/Library/Application Support/Windsurf/config.json
• Windows：%APPDATA%\Windsurf\config.json
• Linux：~/.config/Windsurf/config.json

設定：

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

手順：

1. Windsurf の設定ファイルを開きます
2. Crawleo MCP サーバーの設定を追加します
3. 保存して Windsurf を再起動します
4. コーディングのワークフローでウェブ検索を使い始めます

---

4. GitHub Copilot

設定ファイルの場所：

VS Code または互換性のあるエディターで GitHub Copilot を使用するには、MCP サーバーを設定する必要があります。

設定：

MCP 設定ファイルを作成または編集し、次の内容を追加します。

{
  "servers": {
    "Crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

複数のサーバーを含む完全な例：

{
  "servers": {
    "Crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

手順：

1. GitHub Copilot の MCP 設定を開きます
2. Crawleo サーバーの設定を追加します
3. ファイルを保存します
4. VS Code または IDE を再起動します
5. GitHub Copilot で Crawleo をウェブ検索に使用できるようになります！

使用例：

Ask Copilot: "Search for the latest Python best practices"
Ask Copilot: "Find documentation for this library"

---

5. OpenAI Platform（直接統合）

OpenAI では MCP サーバーを直接サポートするようになりました！OpenAI の API で Crawleo を使用する方法は次のとおりです。

Python の例：

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-4",
    input=[
        {
            "role": "user",
            "content": [
                {
                    "type": "input_text",
                    "text": "search for latest news about openai models"
                }
            ]
        }
    ],
    text={
        "format": {
            "type": "text"
        },
        "verbosity": "medium"
    },
    reasoning={
        "effort": "medium"
    },
    tools=[
        {
            "type": "mcp",
            "server_label": "Crawleo",
            "server_url": "https://api.crawleo.dev/mcp",
            "server_description": "Crawleo MCP Server - Real-Time Web Knowledge for AI",
            "authorization": "YOUR_API_KEY_HERE",
            "allowed_tools": [
                "web.search",
                "web.crawl"
            ],
            "require_approval": "always"
        }
    ],
    store=True,
    include=[
        "reasoning.encrypted_content",
        "web_search_call.action.sources"
    ]
)

print(response)

主なパラメーター：

• server_url - Crawleo MCP エンドポイント
• authorization - Crawleo API キー
• allowed_tools - web.search および／または web.crawl を有効にします
• require_approval - 「always」、「never」、または「conditional」に設定します

Node.js の例：

import OpenAI from 'openai';

const client = new OpenAI();

const response = await client.responses.create({
  model: 'gpt-4',
  input: [
    {
      role: 'user',
      content: [
        {
          type: 'input_text',
          text: 'search for latest AI developments'
        }
      ]
    }
  ],
  tools: [
    {
      type: 'mcp',
      server_label: 'Crawleo',
      server_url: 'https://api.crawleo.dev/mcp',
      server_description: 'Crawleo MCP Server - Real-Time Web Knowledge for AI',
      authorization: 'YOUR_API_KEY_HERE',
      allowed_tools: ['web.search', 'web.crawl'],
      require_approval: 'always'
    }
  ]
});

console.log(response);

---

利用可能なツール

web.search

カスタマイズ可能なパラメーターを使用して、ウェブをリアルタイムで検索します。

パラメーター：

• query (必須) - 検索語
• max_pages - 検索結果のページ数（デフォルト：1）
• setLang - 言語コード（例：「en」、「ar」）
• cc - 国コード（例：「US」、「EG」）
• device - デバイスの種類：「desktop」、「mobile」、「tablet」（デフォルト：「desktop」）
• enhanced_html - クリーンな HTML を取得します（デフォルト：true）
• raw_html - 生の HTML を取得します（デフォルト：false）
• markdown - Markdown 形式で取得します（デフォルト：true）
• page_text - プレーンテキストを取得します（デフォルト：false）
• auto_crawling - 検索結果の URL を自動クロールします（デフォルト：false）

例：

Ask your AI: "Search for 'Python web scraping' and return results in Markdown"

---

web.crawl

指定した URL からコンテンツを抽出します。

パラメーター：

• urls (必須) - クロールする URL のリスト
• rawHtml - 生の HTML を返します（デフォルト：false）
• markdown - Markdown に変換します（デフォルト：false）
• screenshot - スクリーンショットを撮影します（任意）
• country - 地理的な場所

例：

Ask your AI: "Crawl https://example.com and extract the main content in Markdown"

---

トラブルシューティング

MCP サーバーが表示されない

1. 設定ファイルの場所を確認する - 正しいファイルを編集していることを確認します
2. JSON の構文を確認する - JSON バリデーターを使って構文エラーがないか確認します
3. アプリケーションを再起動する - 完全に終了して再度開きます（再読み込みだけでは不十分です）
4. API キーを確認する - crawleo.dev で API キーが有効で、使用可能な状態であることを確認します

認証エラー

• API キーが正しいことを確認します（sk_ で始まる必要があります）
• キーが引用符で囲まれていることを確認します
• Authorization ヘッダーに「Bearer 」プレフィックスが含まれていることを確認します（Claude／Cursor／Windsurf の場合）
• OpenAI Platform の場合は、authorization フィールドにキーを直接指定します
• crawleo.dev でアカウントに利用可能なクレジットがあることを確認します

結果が返されない

• インターネット接続を確認します
• 検索クエリが空でないことを確認します
• まず、より簡単な検索クエリを試します
• crawleo.dev で API のステータスを確認します

ツール名が認識されない

正しいツール名を使用していることを確認します。

• search_web ではなく web.search を使用します
• crawl_web ではなく web.crawl を使用します

---

使用例

リサーチアシスタント

"Search for recent developments in quantum computing and summarize the key findings"

コンテンツ分析

"Search for competitor pricing pages and extract their pricing tiers"

コードドキュメント

"Find the official documentation for FastAPI and extract the quickstart guide"

ニュースモニタリング

"Search for today's news about artificial intelligence from US sources"

市場調査

"Search for customer reviews of iPhone 15 and analyze sentiment"

---

料金

Crawleo MCP は、API と同じ手頃な料金で利用できます。

• 10,000 件の検索 → $20
• 100,000 件の検索 → $100
• 250,000 件の検索 → $200

crawleo.dev で使用状況を確認し、サブスクリプションを管理できます。

---

プライバシーとセキュリティ

✅ データを一切保持しません - 検索クエリや結果を保存することはありません
✅ 安全な認証 - API キーは HTTPS 経由で送信されます
✅ トラッキングなし - 使用パターンのプライバシーは保護されます

---

サポート

• ドキュメント：crawleo.dev/docs
• API ステータス：crawleo.dev/status
• お問い合わせ：[email protected]

---

リンク

• 🌐 ウェブサイト：crawleo.dev
• 📚 ドキュメント：crawleo.dev/docs
• 🔑 API キーを取得：crawleo.dev

---

こちらのほうがよいでしょうか？ほかに追加したい内容や、作成してほしいガイドはありますか？