关于 Mcp_web_scrapper
Mcp_web_scrapper 是一个 Node.js 抓取工具，用于从 glama.ai 收集 MCP 服务链接及详情，并将结果保存为 JSON 文件供后续使用。
主要功能
- 01收集 MCP 服务链接
- 02处理链接指向的服务页面
- 03将链接写入 server-links.json
- 04将抓取数据保存到 servers-json
适用场景
- 01建立本地 MCP 服务链接集合
- 02提取链接页面中的服务详情
- 03以 JSON 文件查看抓取的服务数据
MCP 相关
尽管名称如此，该项目实际抓取 glama.ai 上的 MCP 服务列表；没有说明向客户端提供 MCP 服务。
配置
本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。
暂未收录安装方式
我们还没有获取到这个服务的安装包或远程地址，请按项目 README 中的说明安装。
工具
还没有获取到工具列表
本地服务需要在你的电脑上运行后才能读取工具，维护者暂未提供工具列表。
详细介绍
开始使用 MCP Server Scraper
此项目可帮助你从 glama.ai 抓取并提取 MCP 网页服务。请按照以下步骤高效地设置并运行抓取程序。
📦 前置条件
- Node.js
- npm
🔧 安装
-
克隆仓库：
git clone https://github.com/Neche-Stephen/mcp_web_scrapper cd mcp_web_scrapper -
安装依赖项：
npm install
🗃 检查是否已有数据
开始新的抓取之前：
-
检查
servers-json文件夹是否存在。 -
如果文件夹存在且包含文件，则表示之前已经抓取过数据。
-
要开始新一轮抓取，请删除
servers-json文件夹：rm -rf servers-json
步骤 1：抓取 MCP 服务链接
运行抓取程序，从网站收集所有 MCP 服务链接：
node scraper.js
- 抓取程序会启动无头浏览器并开始收集数据。
- 请耐心等待——这可能需要几分钟。
- 看到消息 "Closing browser" 后，即表示抓取完成。
- 此时可以使用
CTRL + C安全地终止进程。
输出：将在
servers-json文件夹中生成一个名为server-links.json的文件，其中包含所有抓取到的链接。
步骤 2：处理并提取服务数据
现在，获取并处理每个服务链接中的详细信息：
node process-links.js
- 脚本会读取
server-links.json，并访问其中的每个链接来抓取所需数据。 - 脚本运行时，终端会显示进度报告。
- 看到表示已完成的成功消息后，按
CTRL + C终止进程。
所有抓取到的数据都将存储在
servers-json目录中，并分别保存为以 MCP 服务命名的文件
评论
支持 Markdown
一个开放协议，规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话，MCP 服务负责提供工具、资源和提示模板，两者通过标准消息通信，同一个服务可以被不同客户端复用。