mcpField
W
Web Crawler MCP Server

Web Crawler MCP Server

本地服务
github.com/JonathanHsuHH浏览器自动化179 周前更新
代码仓库

关于 Web Crawler MCP Server

Web Crawler MCP Server 为 AI 助手和兼容 MCP 的客户端提取公开网页的清理后文本。它使用 Puppeteer，并返回经过空白规范化的纯文本，供大模型处理。

主要功能

  1. 01提取公开网页的主要文本
  2. 02清理并规范化网页文本
  3. 03使用带隐身插件的 Puppeteer

适用场景

  1. 01向 AI 助手提供网页文本
  2. 02从公开 URL 收集可读内容

MCP 相关

它向 MCP 客户端提供 `web-crawler` 工具。该工具接收 URL 并返回清理后的文本内容。

配置

本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。

暂未收录安装方式

我们还没有获取到这个服务的安装包或远程地址，请按项目 README 中的说明安装。

代码仓库

工具

还没有获取到工具列表

本地服务需要在你的电脑上运行后才能读取工具，维护者暂未提供工具列表。

详细介绍

网页爬虫 MCP 服务

一个模型上下文协议（MCP）服务，为 Claude Desktop、Cursor 和其他兼容 MCP 的客户端提供网页爬取与内容提取工具。

功能

  • 从任意公开网页提取并清理正文内容。
  • 使用带有隐身插件的 Puppeteer 绕过反机器人保护。
  • 返回经过空白字符规范化、便于大模型使用的可读文本。
  • 可轻松集成到 Claude Desktop 和其他 MCP 客户端。

先决条件

  • Node.js（v16 或更高版本）
  • 兼容 MCP 的客户端（例如 Claude Desktop、Cursor）
  • （可选）部分 Linux 环境需要的 Puppeteer 依赖项

安装

  1. 安装依赖项： 
    npm install
  2. 构建服务： 
    npm run build

用法

你可以直接运行服务：

node build/index.js

也可以在客户端中将其配置为 MCP 服务（例如 Claude Desktop）：

{
  "mcpServers": {
    "web-crawler-mcp": {
      "command": "node",
      "args": ["<absolute-path-to>/server/web_crawler/build/index.js"]
    }
  }
}
可用工具

web-crawler

  • 描述： 从指定 URL 提取并返回清理后的文本内容。
  • 输入：
    • url（字符串，必填）：要提取内容的 URL。
示例
{
  "tool_name": "web-crawler",
  "arguments": {
    "url": "https://openai.com/news"
  }
}

开发

  • npm run build — 将 TypeScript 编译为 JavaScript。
  • npm run watch — 监视更改并重新构建。
  • npm run inspector — 启动 MCP Inspector 进行调试。

备注

  • 服务会启动一个真实的浏览器实例（headless: false），以获得最佳兼容性。
  • 输出为纯文本，适合输入给大模型。
  • 如需高级解析，可修改 src/index.ts 中的 Cheerio 逻辑。

许可证

MIT

评论

支持 Markdown

第一次接触 MCP？

从协议是什么，到在客户端里装上第一个服务，这几条回答覆盖了大多数入门问题。

一个开放协议，规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话，MCP 服务负责提供工具、资源和提示模板，两者通过标准消息通信，同一个服务可以被不同客户端复用。