Watercrawl Mcp

WaterCrawl MCP

FastMCP で構築された、WaterCrawl 用の Model Context Protocol（MCP）サーバーです。このパッケージは、標準化されたインターフェースを通じて、AI システムにウェブのクロール、スクレイピング、検索機能を提供します。

npx ですぐに使う（インストール不要）

npx を使うと、インストールせずに WaterCrawl MCP を直接利用できます。

npx @watercrawl/mcp --api-key YOUR_API_KEY

AI アシスタントでの使用

Codeium/Windsurf

このパッケージをインストールせずに、Codeium または Windsurf を設定できます。

{
  "mcpServers": {
    "watercrawl": {
      "command": "npx",
      "args": [
        "@watercrawl/mcp",
        "--api-key",
        "YOUR_API_KEY",
        "--base-url",
        "https://app.watercrawl.dev"
      ]
    }
  }
}

Claude Desktop

WaterCrawl MCP を SSE モードで実行します。

npx @watercrawl/mcp sse --port 3000 --endpoint /sse --api-key YOUR_API_KEY

次に、SSE サーバーに接続するよう Claude Desktop を設定します。

コマンドラインオプション

• -b, --base-url <url>：WaterCrawl API のベース URL（デフォルト：https://app.watercrawl.dev）
• -k, --api-key <key>：必須。WaterCrawl API キー
• -h, --help：ヘルプ情報を表示します
• -V, --version：バージョン情報を表示します

SSE モードの追加オプション：

• -p, --port <number>：SSE サーバーのポート（デフォルト：3000）
• -e, --endpoint <path>：SSE エンドポイントのパス（デフォルト：/sse）

開発とコントリビューション

プロジェクト構成

wc-mcp/
├── src/                   # Source code
│   ├── cli/               # Command-line interface
│   ├── config/            # Configuration management
│   ├── mcp/               # MCP implementation
│   ├── services/          # WaterCrawl API services
│   └── tools/             # MCP tools implementation
├── tests/                 # Test suite
├── dist/                  # Compiled JavaScript
├── tsconfig.json          # TypeScript configuration
├── package.json           # npm package configuration
└── README.md              # This file

開発環境のセットアップ

1. リポジトリをクローンし、依存関係をインストールします。

git clone https://github.com/watercrawl/watercrawl-mcp
cd watercrawl-mcp
npm install

2. プロジェクトをビルドします。

npm run build

3. ローカル開発用にパッケージをリンクします。

npm link @watercrawl/mcp

コントリビューションガイドライン

1. リポジトリをフォークします
2. 機能ブランチを作成します（git checkout -b feature/your-feature）
3. 変更をコミットします（git commit -m 'Add your feature'）
4. ブランチにプッシュします（git push origin feature/your-feature）
5. プルリクエストを作成します

インストール（npx の代替手段）

グローバルインストール

npm install -g @watercrawl/mcp

ローカルインストール

npm install @watercrawl/mcp

設定

環境変数またはコマンドラインパラメーターを使って WaterCrawl MCP を設定します。

環境変数

.env ファイルを作成するか、環境変数を設定します。

WATERCRAWL_BASE_URL=https://app.watercrawl.dev
WATERCRAWL_API_KEY=YOUR_API_KEY
SSE_PORT=3000                  # Optional, for SSE mode
SSE_ENDPOINT=/sse              # Optional, for SSE mode

利用可能なツール

WaterCrawl MCP サーバーは、次のツールを提供します。

1. scrape-url

カスタマイズ可能なオプションを指定して、URL のコンテンツをスクレイピングします。

{
  "url": "https://example.com",
  "pageOptions": {
    "exclude_tags": ["script", "style"],
    "include_tags": ["p", "h1", "h2"],
    "wait_time": 1000,
    "only_main_content": true,
    "include_html": false,
    "include_links": true,
    "timeout": 15000,
    "accept_cookies_selector": ".cookies-accept-button",
    "locale": "en-US",
    "extra_headers": {
      "User-Agent": "Custom User Agent"
    },
    "actions": [
      {"type": "screenshot"},
      {"type": "pdf"}
    ]
  },
  "sync": true,
  "download": true
}

2. search

WaterCrawl を使ってウェブを検索します。

{
  "query": "artificial intelligence latest developments",
  "searchOptions": {
    "language": "en",
    "country": "us",
    "time_range": "recent",
    "search_type": "web",
    "depth": "deep"
  },
  "resultLimit": 5,
  "sync": true,
  "download": true
}

3. download-sitemap

クロールリクエストからサイトマップをさまざまな形式でダウンロードします。

{
  "crawlRequestId": "uuid-of-crawl-request",
  "format": "json" // or "graph" or "markdown"
}

4. manage-crawl

クロールリクエストを管理します。リスト表示、詳細の取得、停止、結果のダウンロードができます。

{
  "action": "list", // or "get", "stop", "download"
  "crawlRequestId": "uuid-of-crawl-request", // for get, stop, and download actions
  "page": 1,
  "pageSize": 10
}

5. manage-search

検索リクエストを管理します。リスト表示、詳細の取得、実行中の検索の停止ができます。

{
  "action": "list", // or "get", "stop"
  "searchRequestId": "uuid-of-search-request", // for get and stop actions
  "page": 1,
  "pageSize": 10,
  "download": true
}

6. monitor-request

タイムアウトを制御しながら、クロールまたは検索リクエストをリアルタイムで監視します。

{
  "type": "crawl", // or "search"
  "requestId": "uuid-of-request",
  "timeout": 30, // in seconds
  "download": true
}

ライセンス

ISC