Webcrawl Anything

@webcrawl/mcp

适用于 Webcrawl Anything 的模型上下文协议（MCP）服务。

为 Claude Code、Cursor、Codex、Windsurf 和 Gemini CLI 提供对网页搜索、结构化垂直领域（购物、航班、酒店、房地产、本地商家、CVE）、JavaScript 密集型网站页面读取以及 PDF/Office 解析的实时访问。它在你的设备上运行，无需 API 密钥或账户。

一条命令完成 Agent 设置

自动注册 @webcrawl/mcp 并安装 webcrawl-anything Agent Skill（SKILL.md）：

npx webcrawl setup

手动配置 MCP

将以下内容添加到 .cursor/mcp.json、~/.claude.json 或你的 MCP 客户端配置中：

{
  "mcpServers": {
    "webcrawl": {
      "command": "npx",
      "args": ["-y", "@webcrawl/mcp@latest"],
      "env": {
        "WEBCRAWL_MCP_SCHEMA_PROFILE": "compact"
      }
    }
  }
}

可选：webcrawl.app 云服务

默认使用本地模式，无需其他设置。要在托管服务上运行相同的工具，可选择：

• 在上方的 env 中添加 "WEBCRAWL_API_KEY": "wc_live_..."（在 webcrawl.app 获取密钥），或
• 将客户端连接到托管端点 https://webcrawl.app/mcp，并在浏览器中登录。无需本地安装。

WEBCRAWL_MODE 可以设为 local、cloud 或 auto（默认值：除非设置了密钥，否则为 local）。

紧凑架构配置

设置 WEBCRAWL_MCP_SCHEMA_PROFILE=compact（通过 npx webcrawl setup 安装时的默认值），可在保留完整服务端验证的同时，减少上下文受限 Agent 的工具架构令牌用量。设置 WEBCRAWL_MCP_SCHEMA_PROFILE=full 可显示详细的参数说明。

提供的工具

• web_search — 搜索网页或结构化垂直领域（shopping、flights、hotels、real-estate、business、security、academic、tech、news）。
• web_read — 获取 URL 并返回包含目标证据的整洁 Markdown。
• web_parse / web_parse_status — 将 PDF（原生解析 + OCR）、Word/Excel/PowerPoint 文件、YouTube 视频以及音频/视频解析为 Markdown。
• web_map — 发现某个域名下的所有 URL（sitemap.xml、robots.txt 和链接图谱）。
• web_crawl — 从某个 URL 开始抓取最多 25 个页面。
• web_extract — 使用提示词或 JSON Schema 从 URL 中提取结构化 JSON。
• web_rerank — 根据与查询的相关性对候选文档重新排序。
• web_monitor — 按计划监控页面、URL 列表或网站，并根据触发条件发送电子邮件/网页钩子提醒（仅限云服务）。
• search_categories — 列出所有受支持的搜索类别、子类别和筛选条件。

许可证

MIT