WebCrawlerAPI

WebCrawlerAPI MCP 服务

一个远程 Model Context Protocol 服务，可让 AI 助手将任意网页读取为整洁的 Markdown。它运行在 WebCrawlerAPI 上，因此可以处理由 JavaScript 渲染的网页，并会剔除导航、广告和模板内容。可用它将文档、文章和产品页面导入知识库或聊天中。

• 远程 URL：https://mcp.webcrawlerapi.com/mcp
• 传输方式：Streamable HTTP（无状态）
• 登录：通过 https://auth.webcrawlerapi.com 使用 OAuth 2.1，无需粘贴 API 密钥
• 工具：get_markdown

你需要一个 WebCrawlerAPI 账户。请访问 https://dash.webcrawlerapi.com 注册。

连接

一键安装：添加到 Cursor · 添加到 VS Code

在以下每个客户端中，首次请求都会打开浏览器窗口，让你登录并批准其中一个组织的访问权限。请求费用将计入该组织。

Claude Code

claude mcp add --transport http webcrawlerapi https://mcp.webcrawlerapi.com/mcp

然后在 Claude Code 中运行 /mcp，选择 webcrawlerapi 并选择 Authenticate。

Claude.ai 和 Claude Desktop

1. 打开 Settings，然后选择 Connectors。
2. 选择 Add custom connector。
3. 名称：WebCrawlerAPI。URL：https://mcp.webcrawlerapi.com/mcp。
4. 点击 Connect，并在浏览器中批准访问权限。

Cursor

将以下内容添加到 ~/.cursor/mcp.json（或项目中的 .cursor/mcp.json）：

{
  "mcpServers": {
    "webcrawlerapi": {
      "url": "https://mcp.webcrawlerapi.com/mcp"
    }
  }
}

打开 Cursor Settings，然后选择 MCP，并点击 webcrawlerapi 旁边的 Connect。

VS Code

将以下内容添加到 .vscode/mcp.json（或运行 "MCP: Add Server" 并选择 HTTP）：

{
  "servers": {
    "webcrawlerapi": {
      "type": "http",
      "url": "https://mcp.webcrawlerapi.com/mcp"
    }
  }
}

从条目上方的 CodeLens 启动服务，并在浏览器中批准访问权限。

MCP Inspector

npx @modelcontextprotocol/inspector

选择传输方式 "Streamable HTTP"，URL 为 https://mcp.webcrawlerapi.com/mcp，然后在 Auth 选项卡中使用 OAuth 流程，并调用 get_markdown。

ChatGPT

1. 打开 Settings，然后选择 Connectors，并开启 Developer mode（Advanced）。
2. 使用 URL https://mcp.webcrawlerapi.com/mcp 创建连接器，并将身份验证设置为 OAuth。
3. 在聊天中启用连接器，并在浏览器中批准访问权限。

ChatGPT 不同套餐和版本中的菜单名称可能有所变化。某些套餐可能不支持自定义连接器。

工具参考

get_markdown

抓取公开网页，并将其主要内容作为整洁的 Markdown 返回。

输入	类型	必填	描述
url	string	是	绝对 http:// 或 https:// URL，最多 2048 个字符

以 Markdown 文本形式返回网页内容。失败时，工具会返回错误结果，并附上简短易懂的说明（例如网站无法访问、网页被 robots.txt 屏蔽、请求超时或余额不足）。

注解：只读、幂等、非破坏性、开放世界（会访问公共网络）。

每次调用的费用都会计入你的 WebCrawlerAPI 组织。请参阅 https://webcrawlerapi.com/pricing。

身份验证

该服务是 OAuth 资源服务器。客户端会从 https://mcp.webcrawlerapi.com/.well-known/oauth-protected-resource 发现授权服务器，该地址指向 https://auth.webcrawlerapi.com。

• 范围：markdown:read（唯一的范围）
• 令牌与 MCP 服务 URL（资源指示器）以及你批准的组织绑定。
• 你可以在控制面板的 Connected apps 下查看并撤销已连接的应用。
• 服务绝不会将你的令牌转发给其他服务。

隐私和条款

• 隐私政策：https://webcrawlerapi.com/privacy
• 服务条款：https://webcrawlerapi.com/tos

服务会接收你要求抓取的 URL，并返回页面内容。它不会记录令牌或包含查询字符串的完整 URL。

定价

费用计入你的组织。当前价格：https://webcrawlerapi.com/pricing

贡献

请参阅 CONTRIBUTING.md 和 行为准则。变更记录见 CHANGELOG.md。

支持

[email protected]。安全问题报告：请参阅 SECURITY.md。

开发

需要 Node 22 和 pnpm。

pnpm install
cp .env.example .env   # fill in the values
pnpm dev               # tsx watch
pnpm lint && pnpm test && pnpm build

配置通过环境变量进行，详见 .env.example 和 CONTRIBUTING.md。注册表发布步骤见 docs/registry-verification.md。

许可证

MIT，详见 LICENSE。