Webcrawl Anything

@webcrawl/mcp

Webcrawl Anything 用の Model Context Protocol（MCP）サーバーです。

Claude Code、Cursor、Codex、Windsurf、Gemini CLI から、ウェブ検索、構造化されたカテゴリ（ショッピング、航空券、ホテル、不動産、地域のビジネス、CVE）、JavaScript を多用するサイトのページ読み込み、PDF／Office ファイルの解析をリアルタイムで利用できます。API キーもアカウントも不要で、お使いのマシン上で動作します。

1 つのコマンドでエージェントをセットアップ

@webcrawl/mcp を登録し、webcrawl-anything Agent Skill（SKILL.md）を自動的にインストールします。

npx webcrawl setup

MCP の手動設定

.cursor/mcp.json、~/.claude.json、または MCP クライアントの設定に追加します。

{
  "mcpServers": {
    "webcrawl": {
      "command": "npx",
      "args": ["-y", "@webcrawl/mcp@latest"],
      "env": {
        "WEBCRAWL_MCP_SCHEMA_PROFILE": "compact"
      }
    }
  }
}

オプション：webcrawl.app クラウド

ローカルモードがデフォルトで、それ以外の設定は不要です。同じツールをホストサービスで実行するには、次のいずれかを行います。

• 上記の env に "WEBCRAWL_API_KEY": "wc_live_..." を追加します（キーは webcrawl.app で取得できます）。または
• クライアントをホストエンドポイント https://webcrawl.app/mcp に接続し、ブラウザーでサインインします。ローカルへのインストールは不要です。

WEBCRAWL_MODE には local、cloud、auto を設定できます（デフォルト：キーが設定されていない場合は local）。

コンパクトなスキーマプロファイル

WEBCRAWL_MCP_SCHEMA_PROFILE=compact を設定すると（npx webcrawl setup でインストールした場合のデフォルト）、サーバー側の完全な検証を維持しながら、コンテキストに制約のあるエージェントでツールスキーマが使用するトークンを最小限に抑えられます。詳細なパラメーター説明を使用するには、WEBCRAWL_MCP_SCHEMA_PROFILE=full を設定します。

提供されるツール

• web_search — ウェブまたは構造化されたカテゴリ（shopping、flights、hotels、real-estate、business、security、academic、tech、news）を検索します。
• web_read — URL を取得し、対象の根拠情報を含む整形済み Markdown を返します。
• web_parse / web_parse_status — PDF（ネイティブ形式＋OCR）、Word／Excel／PowerPoint ファイル、YouTube 動画、音声／動画を Markdown に解析します。
• web_map — ドメイン上のすべての URL を検出します（sitemap.xml、robots.txt、リンクグラフ）。
• web_crawl — URL を起点に最大 25 ページをクロールします。
• web_extract — プロンプトまたは JSON Schema を使って、URL から構造化 JSON を抽出します。
• web_rerank — クエリとの関連性に基づいて候補ドキュメントを再ランク付けします。
• web_monitor — ページ、URL リスト、またはサイトをスケジュールに従って監視し、トリガー条件に応じてメール／Webhook アラートを送信します（クラウドのみ）。
• search_categories — サポート対象の検索カテゴリ、サブカテゴリ、フィルターをすべて一覧表示します。

ライセンス

MIT