seo-crawler-mcp

Name: seo-crawler-mcp
Author: houtini-ai

本地服务

github.com/houtini-ai商业与营销1612 周前更新

代码仓库

关于 seo-crawler-mcp

seo-crawler-mcp 是已停用的网站爬虫，可将爬取数据存入 SQLite，并为 Claude 提供分析查询。仓库已归档，爬虫现已整合进 SEO Audit Console，后者将爬取数据与搜索数据结合。

主要功能

01将网站爬取结果存入 SQLite
02通过查询分析爬取结果
03仓库已归档且不再发布新版本

适用场景

01通过分析查询检查已存储的爬取数据
02迁移至 SEO Audit Console 继续使用

MCP 相关

已停用的项目曾为 Claude 提供 25 种以上针对爬取数据的分析查询。其爬虫经过改写后，已整合进 SEO Audit Console。

配置

本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置

{
  "mcpServers": {
    "houtini-ai-seo-crawler": {
      "command": "npx",
      "args": [
        "-y",
        "@houtini/seo-crawler-mcp"
      ],
      "env": {
        "OUTPUT_DIR": "<OUTPUT_DIR>",
        "DEBUG": "<DEBUG>"
      }
    }
  }
}

启动命令npx -y @houtini/seo-crawler-mcp

需要配置的环境变量

OUTPUT_DIRDirectory where crawl results are saved

DEBUGEnable verbose debug logging (set to 'true' to enable)

本地服务需要在你的电脑上安装运行环境（如 Node.js 18+）。各客户端的配置文件位置不同，请参考客户端文档。

安装包

npm@houtini/seo-crawler-mcp2.0.1stdio

工具

还没有获取到工具列表

本地服务需要在你的电脑上运行后才能读取工具，维护者暂未提供工具列表。

详细介绍

SEO Crawler MCP - 已停止维护

此项目已由 SEO Audit Console 取代。

SEO Crawler 会将整个网站爬取到 SQLite 中，并为 Claude 提供 25 个以上基于爬取结果的分析查询。爬虫在迁移过程中得以保留——它经过重写，现在可安全地使用 stdio，并成为更大型工具中的爬取部分。

SEO Audit Console 保留了爬取功能，并加入了爬虫无法独立告诉你的信息：人们实际上搜索了什么才找到你的网站。它将爬取结果与你的 Google Search Console 历史记录以及按需获取的 DataForSEO 数据合并，然后根据每项发现可能挽回的点击量进行排序，而不是按严重程度排序。

普通爬虫按严重程度推销问题。这个工具按收益排序。

前往何处

git clone https://github.com/houtini-ai/seo-audit.git

文档和设置：github.com/houtini-ai/seo-audit

这对你意味着什么

npm 包仍可安装。 @houtini/seo-crawler-mcp 已弃用，但并未从 npm 下架。你正在运行的任何内容都不会出问题。
此代码库已归档。 代码仍可阅读，所有现有链接也会继续有效，但不会再发布新版本，问题和拉取请求也已关闭。
爬虫在迁移过程中得到了改进。 它不再依赖 Crawlee（Crawlee 会向 stdout 输出日志，并破坏 MCP 的 JSON-RPC 帧格式），而是从站点地图和已知的 GSC URL 开始发现页面，而不再只依赖链接；它还会防止重定向跳转到站点域名之外。