Watercrawl Mcp

WaterCrawl MCP

一个用于 WaterCrawl 的模型上下文协议（MCP）服务，基于 FastMCP 构建。此软件包通过标准化接口为 AI 系统提供网页爬取、抓取和搜索功能。

使用 npx 快速开始（无需安装）

使用 npx 直接运行 WaterCrawl MCP，无需安装：

npx @watercrawl/mcp --api-key YOUR_API_KEY

与 AI 助手搭配使用

Codeium/Windsurf

无需安装此软件包，即可为 Codeium 或 Windsurf 配置：

{
  "mcpServers": {
    "watercrawl": {
      "command": "npx",
      "args": [
        "@watercrawl/mcp",
        "--api-key",
        "YOUR_API_KEY",
        "--base-url",
        "https://app.watercrawl.dev"
      ]
    }
  }
}

Claude Desktop

以 SSE 模式运行 WaterCrawl MCP：

npx @watercrawl/mcp sse --port 3000 --endpoint /sse --api-key YOUR_API_KEY

然后配置 Claude Desktop 以连接到你的 SSE 服务。

命令行选项

• -b, --base-url <url>：WaterCrawl API 基础 URL（默认值：https://app.watercrawl.dev）
• -k, --api-key <key>：必填，你的 WaterCrawl API 密钥
• -h, --help：显示帮助信息
• -V, --version：显示版本信息

SSE 模式的其他选项：

• -p, --port <number>：SSE 服务的端口（默认值：3000）
• -e, --endpoint <path>：SSE 端点路径（默认值：/sse）

开发与贡献

项目结构

wc-mcp/
├── src/                   # Source code
│   ├── cli/               # Command-line interface
│   ├── config/            # Configuration management
│   ├── mcp/               # MCP implementation
│   ├── services/          # WaterCrawl API services
│   └── tools/             # MCP tools implementation
├── tests/                 # Test suite
├── dist/                  # Compiled JavaScript
├── tsconfig.json          # TypeScript configuration
├── package.json           # npm package configuration
└── README.md              # This file

开发环境设置

1. 克隆仓库并安装依赖：

git clone https://github.com/watercrawl/watercrawl-mcp
cd watercrawl-mcp
npm install

2. 构建项目：

npm run build

3. 链接软件包以进行本地开发：

npm link @watercrawl/mcp

贡献指南

1. Fork 此仓库
2. 创建功能分支（git checkout -b feature/your-feature）
3. 提交更改（git commit -m 'Add your feature'）
4. 推送到分支（git push origin feature/your-feature）
5. 发起 Pull Request

安装（npx 的替代方式）

全局安装

npm install -g @watercrawl/mcp

本地安装

npm install @watercrawl/mcp

配置

使用环境变量或命令行参数配置 WaterCrawl MCP。

环境变量

创建 .env 文件或设置环境变量：

WATERCRAWL_BASE_URL=https://app.watercrawl.dev
WATERCRAWL_API_KEY=YOUR_API_KEY
SSE_PORT=3000                  # Optional, for SSE mode
SSE_ENDPOINT=/sse              # Optional, for SSE mode

可用工具

WaterCrawl MCP 服务提供以下工具：

1. scrape-url

使用可自定义选项抓取 URL 内容。

{
  "url": "https://example.com",
  "pageOptions": {
    "exclude_tags": ["script", "style"],
    "include_tags": ["p", "h1", "h2"],
    "wait_time": 1000,
    "only_main_content": true,
    "include_html": false,
    "include_links": true,
    "timeout": 15000,
    "accept_cookies_selector": ".cookies-accept-button",
    "locale": "en-US",
    "extra_headers": {
      "User-Agent": "Custom User Agent"
    },
    "actions": [
      {"type": "screenshot"},
      {"type": "pdf"}
    ]
  },
  "sync": true,
  "download": true
}

2. search

使用 WaterCrawl 搜索网页。

{
  "query": "artificial intelligence latest developments",
  "searchOptions": {
    "language": "en",
    "country": "us",
    "time_range": "recent",
    "search_type": "web",
    "depth": "deep"
  },
  "resultLimit": 5,
  "sync": true,
  "download": true
}

3. download-sitemap

以不同格式下载爬取请求中的站点地图。

{
  "crawlRequestId": "uuid-of-crawl-request",
  "format": "json" // or "graph" or "markdown"
}

4. manage-crawl

管理爬取请求：列出请求、获取详情、停止请求或下载结果。

{
  "action": "list", // or "get", "stop", "download"
  "crawlRequestId": "uuid-of-crawl-request", // for get, stop, and download actions
  "page": 1,
  "pageSize": 10
}

5. manage-search

管理搜索请求：列出请求、获取详情或停止正在运行的搜索。

{
  "action": "list", // or "get", "stop"
  "searchRequestId": "uuid-of-search-request", // for get and stop actions
  "page": 1,
  "pageSize": 10,
  "download": true
}

6. monitor-request

实时监控爬取或搜索请求，并控制超时时间。

{
  "type": "crawl", // or "search"
  "requestId": "uuid-of-request",
  "timeout": 30, // in seconds
  "download": true
}

许可证

ISC