mcpField
M
mcp-server-spider: A spider MCP server

mcp-server-spider: A spider MCP server

本地服务
github.com/GeorgeLS浏览器自动化179 周前更新
代码仓库

关于 mcp-server-spider: A spider MCP server

mcp-server-spider 将 Spider 的网页爬取和抓取能力提供给 MCP 客户端，可遍历页面并返回发现的 URL，或返回页面内容及链接。目前仍处于早期开发阶段。

主要功能

  1. 01爬取页面并发现 URL
  2. 02抓取页面内容和链接
  3. 03控制遍历深度
  4. 04使用允许列表和屏蔽列表筛选 URL
  5. 05配置请求标头和用户代理

适用场景

  1. 01发现某个 URL 链接到的页面
  2. 02收集页面内容和链接

MCP 相关

向 MCP 客户端提供 crawl 和 scrape 工具，返回发现的 URL，或包含页面 URL、链接和内容的 JSON 数据。

配置

本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置
{
  "mcpServers": {
    "spider": {
      "command": "uvx",
      "args": [
        "mcp-server-spider"
      ]
    }
  }
}
启动命令uvx mcp-server-spider

本地服务需要在你的电脑上安装运行环境（如 Node.js 18+）。各客户端的配置文件位置不同，请参考客户端文档。

安装包
pypimcp-server-spider

工具

还没有获取到工具列表

本地服务需要在你的电脑上运行后才能读取工具，维护者暂未提供工具列表。

详细介绍

mcp-server-spider：Spider MCP 服务

概览

用于与 Spider 爬虫交互和自动化的 Model Context Protocol 服务。此服务提供用于爬取和抓取网页的工具。

请注意，mcp-server-spider 目前仍处于早期开发阶段。之后可能会出现错误并添加新功能。

工具
  1. crawl
    • 爬取给定的 url，并返回发现的 URL 列表
    • 输入：
      • url：要爬取的 url
      • headers：随爬取请求一起传递的其他标头
      • user_agent：爬取请求使用的用户代理
      • depth：链接遍历深度
      • blacklist：用于在爬取过程中将 URL 列入黑名单的正则表达式列表
      • whitelist：用于在爬取过程中将 URL 列入白名单的正则表达式列表
      • respect_robots_txt：是否遵循 robots.txt 文件
      • accept_invalid_certs：是否接受无效证书
    • 返回：发现的 URL 列表
  2. scrape
    • 抓取给定的 url，并返回一个 JSON 对象列表，其中包含发现的每个页面的 url、链接和内容
    • 输入：与 crawl 相同
    • 返回：一个 JSON 对象列表（以字符串形式），其中包含发现的每个页面的 url、链接和内容

安装

使用 uv（推荐）

使用 uv 时，无需进行特定安装。我们将 使用 uvx 直接运行 mcp-server-spider。

使用 PIP

或者，你也可以通过 pip 安装 mcp-server-spider：

pip install mcp-server-spider

安装后，你可以将其作为脚本运行：

python -m mcp_server_spider

评论

支持 Markdown

第一次接触 MCP？

从协议是什么，到在客户端里装上第一个服务，这几条回答覆盖了大多数入门问题。

一个开放协议，规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话，MCP 服务负责提供工具、资源和提示模板，两者通过标准消息通信，同一个服务可以被不同客户端复用。