关于 Librecrawl Technical Seo Audit Mcp
Sitewalk 是基于 LibreCrawl 引擎运行技术 SEO 审计的可自托管 MCP 服务,适合希望通过 AI 助手获取问题排序、修复建议和报告的网站团队及站点所有者。除向受审计网站发送的请求外,爬取活动均在本机进行。
主要功能
- 0130 多项技术 SEO 检查
- 02按影响排序的问题与修复建议
- 03PDF、Markdown 和 CSV 报告
- 04分块爬取与自适应延迟
- 05WAF 挑战检测
适用场景
- 01审计网站的技术 SEO 问题
- 02检查 schema、hreflang 和安全问题
- 03导出审计结果以供分享或复核
MCP 相关
MCP 服务通过 Streamable HTTP 向兼容客户端提供 38 个审计工具,文档也介绍了 stdio 选项。它在本机运行,并向助手返回审计结果和报告文件。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
工具
本地服务需要在你的电脑上运行后才能读取工具,维护者暂未提供工具列表。
详细介绍
此仓库仅包含 Sitewalk MCP 服务:一个由 Python 编写的服务,它驱动开源爬虫 LibreCrawl,执行 30 多项技术 SEO 检查,并向你的 AI 助手提供一份按影响程度排序的报告,以及一个包含 PDF 和 CSV 文件的 zip 压缩包。它在你自己的机器上运行,无需账户、无需登录,也没有页面数量上限。除了爬虫向你审核的网站发出的请求,不会有任何内容离开你的机器。
不想自行托管?同一项审核也可以作为应用在 ChatGPT 中使用。
在你的机器上完成设置
你需要运行 Docker。然后:
git clone https://github.com/adityaarsharma/sitewalk.git
cd sitewalk
./setup.sh
脚本会检查你的机器,询问一个可选问题(Google PageSpeed 密钥),构建并启动整套服务,等待 MCP 服务响应,然后准确告知你如何连接助手。首次构建需要几分钟。
| 命令 | 作用 |
|---|---|
./setup.sh | 引导式设置 |
./setup.sh --yes | 同上,但不提问 |
./setup.sh --check | 仅检查你的机器是否能够运行 |
./setup.sh --update | 拉取最新版本并重新构建 |
./setup.sh --stop | 停止服务(保留你的报告) |
如果没有 Docker,请参阅 docs/GETTING-STARTED.md 中的手动配置方法。
连接助手
服务监听 http://127.0.0.1:5081/mcp(可流式传输的 HTTP)。
- ChatGPT 和 Grok 通过互联网访问服务,因此需要一个能转发到你机器的公共 https 地址。服务本身没有登录机制,因此请将其置于添加访问控制的隧道之后。步骤见 docs/GETTING-STARTED.md。
- 你电脑上的客户端(Codex、Windsurf,以及任何仅支持 stdio 的客户端)通过
mcp-remote连接:
{
"mcpServers": {
"sitewalk": {
"command": "npx",
"args": ["-y", "mcp-remote", "http://127.0.0.1:5081/mcp"]
}
}
}
然后提问:Audit https://yoursite.com for technical SEO problems。
你将获得什么
- 每次审核包含 30 多项检查(失效链接、重定向、规范链接、标题和描述、标题层级、架构、图片、hreflang、站点地图遗漏项等)。完整清单和九份报告文件见:docs/CHECKS.md。
- 带品牌标识的 PDF、Markdown 副本和 CSV 文件,打包在
./reports中。 - 分块爬取,不会超时;检测 WAF 挑战;爬取延迟会根据网站自动调整。
- 38 个 MCP 工具:docs/TOOLS.md。
文档
| 指南 | 内容 |
|---|---|
| 入门指南 | Docker 和手动设置、连接客户端、首次审核 |
| 配置 | 所有环境变量、HTTP 和 stdio 传输 |
| 工具 | 全部 38 个 MCP 工具 |
| 检查项 | 30 多项检查和报告文件 |
| 架构 | 各部分如何协同工作 |
| 故障排除 | 常见错误及解决方法 |
发布
每次合并到 main 的代码变更都会经过测试,并自动发布为新的 GitHub 版本。运行 ./setup.sh --update 即可更新。
许可证与致谢
代码采用 MIT 许可证:请参阅 LICENSE 和 NOTICE.md。基于 LibreCrawl(MIT)、FastMCP 和 WeasyPrint 构建。不会收集遥测数据。
由 Aditya Sharma 构建。
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。