Scrawly MCP Server

Name: Scrawly MCP Server
Author: IliasSami

本地服务

github.com/IliasSami商业与营销193 周前更新

代码仓库

关于 Scrawly MCP Server

Scrawly MCP Server 将 AI 助手连接到 Scrawly 生成的审计结果；Scrawly 是用于技术 SEO、GEO 和 Agentic Web 检查的开源桌面爬虫。它面向分析网站审计的用户，并支持提出需确认后执行的修复建议。

主要功能

01查询本地 Scrawly 审计结果
02检查技术 SEO 与 AI 搜索准备度
03说明问题及受影响页面
04提出需确认的 WordPress 修复

适用场景

01向 AI 助手询问爬取发现
02检查网站的 GEO 与 Agentic Web 准备度
03查看技术问题影响的页面
04准备待审批的可撤销 WordPress 修复

MCP 相关

MCP 服务允许 AI 助手使用 Scrawly 审计结果。README 还提到可提出修复建议，变更须经确认后才会应用。

配置

本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置

{
  "mcpServers": {
    "iliassami-scrawly": {
      "command": "uvx",
      "args": [
        "sentinelseo"
      ]
    }
  }
}

启动命令uvx sentinelseo

本地服务需要在你的电脑上安装运行环境（如 Node.js 18+）。各客户端的配置文件位置不同，请参考客户端文档。

安装包

pypisentinelseo1.0.0stdio

工具

还没有获取到工具列表

本地服务需要在你的电脑上运行后才能读取工具，维护者暂未提供工具列表。

详细介绍

Scrawly 标志

Scrawly：免费开源的 SEO 爬虫和网站审计工具

为任何网站提供免费的技术 SEO、GEO 和 AI 搜索审计。
Screaming Frog 和 Sitebulb 的免费替代方案。无需账户、没有页面数量限制、无需订阅。

Scrawly 是一款免费的开源桌面 SEO 爬虫和技术网站审计工具，适用于 macOS、Windows 和 Linux。它会爬取网站，对每个页面执行 250 项技术 SEO、GEO（生成式引擎优化）和 Agentic Web 检查，绘制网站架构图，并用通俗易懂的语言说明需要修复的问题。对于 WordPress 网站，它还可以安全地应用可撤销的修复。Scrawly 由 Ilias Sami 创建，并以 MIT 许可证面向 SEO 社区发布。

一句话概括： Scrawly 是一款免费的桌面应用，可审计任何网站，检查影响 Google 排名和 AI 搜索曝光度（ChatGPT、 Perplexity、Google AI Overviews）的技术问题；无需账户，也没有页面数量限制。

官方门户与网络：

🌐 官方网站： iliassami.com/scrawly
☁️ Google Sites 枢纽： sites.google.com/view/scrawly-seo-crawler/home
⚡ Cloudflare 边缘节点： iliassami-seo-cloudstack.pages.dev/scrawly-desktop-seo-crawler
📦 GitHub Pages： iliassami.github.io/scrawly-seo-crawler

一行命令安装

Scrawly 会自动安装、添加应用图标（macOS 上的“应用程序”、Windows 上的“开始”菜单、Linux 上的应用菜单），并保持自身为最新版本。

macOS 或 Linux（终端）：

curl -fsSL https://raw.githubusercontent.com/IliasSami/scrawly-seo-crawler/main/install.sh | bash

Windows（PowerShell）：

irm https://raw.githubusercontent.com/IliasSami/scrawly-seo-crawler/main/install.ps1 | iex

然后像打开其他应用一样打开 Scrawly。无需注册。

想手动安装？

你需要 Python 3.11 或更高版本和 git。（不需要 Node.js：发布版本已附带预构建界面。）

git clone https://github.com/IliasSami/scrawly-seo-crawler.git Scrawly
cd Scrawly
python3 scripts/install.py        # Windows: py scripts\install.py

安装程序会创建一个独立的 Python 环境，下载爬虫浏览器（约 150 MB，仅需下载一次），并将 Scrawly 添加到你的应用中。完整指南、Linux 说明和故障排除方法请参阅：docs/DESKTOP.md。

## Scrawly 检查的内容

Scrawly 会运行 250 项检查，分为 23 个类别。每项发现都会说明其重要性、修复方法以及受影响的具体页面。

类别	示例
可抓取性和可索引性	robots.txt 规则、meta robots 和 `X-Robots-Tag`、noindex 冲突、孤立页面、抓取深度
响应代码和重定向	4xx 和 5xx 页面、重定向链和循环、临时重定向与永久重定向
标题、元数据和标题层级	标题缺失、重复、过长或过短；像素宽度截断；对 AI 来说过于单薄的元描述；H1 和标题顺序
规范化	规范链接缺失、冲突、跨域或不可索引
内容质量	内容单薄和重复、近似重复内容、可读性
结构化数据	JSON-LD、Microdata 和 RDFa，并进行架构验证
内部链接和网站架构	链接图、内部 PageRank（“权威度”）、失效链接、通用锚文本
性能和 Core Web Vitals	PageSpeed Insights 实验室和实测（CrUX）数据、TTFB、页面大小
AI 搜索就绪度（GEO）	允许或屏蔽哪些 AI 爬虫、`llms.txt`、AI 引用就绪度
Agentic Web	AI Agent 读取和操作网站的能力
以及更多	图片和替代文本、hreflang、XML 站点地图、安全和 TLS、移动端、JavaScript 渲染、分页、WordPress 专项检查

完整目录列出了每项检查的严重程度和修复级别，详见 docs/CHECK_MANIFEST.yaml。

Scrawly 250+ 项技术 SEO 检查影响矩阵

还包括： JavaScript 渲染、自定义提取、已保存的抓取配置、3D 网站图和深度树、抓取结果对比、带回归提醒的定期审计、Google Search Console 和 GA4 数据、品牌化 HTML 和 PDF 报告、用于生成标题和元描述的 AI 写作工具（使用你自己的 AI 密钥），以及让 AI 助手处理审计结果的 MCP 服务（docs/MCP.md）。

Screaming Frog 和 Sitebulb 的免费替代方案

Screaming Frog SEO Spider 和 Sitebulb 都是出色的工具。Scrawly 是一款免费开源方案，适合希望进行深入技术审计且无需许可证，并需要 AI 搜索检查的用户。

	Screaming Frog / Sitebulb	Scrawly
价格	付费许可证或订阅（免费版或试用版有限制）	免费开源（MIT）
账户或许可证密钥	完整使用需要	无需
页面数量限制	免费版有上限	没有上限：由你设置限制
AI 搜索（GEO）和 Agentic Web 检查	部分版本提供部分检查	专门的一组检查：AI 爬虫访问权限、`llms.txt`、引用和 Agent 就绪度
修复	仅提供报告	在 WordPress 上安全、可撤销的修复
源代码	闭源	开源：可阅读、审计和贡献

Scrawly、Screaming Frog 与 Sitebulb 功能对比

Scrawly 独立运营，与 Screaming Frog Ltd 或 Sitebulb 无关联。

GEO 和 AEO：面向 AI 搜索的审计

如今的搜索已纳入 AI 答案引擎，它们会读取你的网页并决定是否引用你。Scrawly 会审计生成式引擎优化（GEO）和答案引擎优化（AEO）：

**AI 爬虫访问权限：**列出 robots.txt 和防火墙允许或屏蔽的 AI 机器人（GPTBot、ClaudeBot、PerplexityBot、Google-Extended、OAI-SearchBot 等）。
**llms.txt：**检查你是否为 AI 系统发布了精选索引，以及其质量如何。
**作为 AI 上下文的元数据：**描述通常是 AI 读取网页时最先看到的内容，因此 Scrawly 会标记过于简略、难以理解的描述，并可根据网页自身内容起草一份包含丰富实体信息的描述。
**实体和结构化数据：**有助于搜索引擎和 AI 理解网页内容的架构和命名实体。

Scrawly 生成式引擎优化（GEO）和 AI 爬虫审计

代理机构审计工作流的四个步骤

Scrawly 代理机构审计工作流的 4 个步骤

**输入目标 URL：**配置深度、并发数、用户代理和自定义 robots 规则。
**自动启发式扫描：**通过双轮 HTTP 检查和无头 Chromium JavaScript 渲染进行扫描。
**交互式可视化仪表板：**根据影响评分和抓取深度，对问题进行优先级排序。
**可直接交付客户的成果：**即时导出为白标 PDF、Excel/CSV 和可移植 SQLite 数据库。

安全修复 WordPress 问题

通过轻量级的 Scrawly Connector 插件连接 WordPress 网站后，Scrawly 可以帮你修复标题、元描述、规范链接和重定向：

每次更改前都会保存回滚快照，每项修复都可以撤销；
对线上网站的更改始终会先征求你的确认；
绝不会自动应用风险较高的问题；这些问题会被标记，交由人工审核。

请参阅 docs/WORDPRESS_CONNECTOR.md。其他网站（Shopify、Wix、Webflow、Next.js、自定义网站）都可以进行完整的只读审计。

隐私：审计数据仅保存在你的电脑上

Scrawly 不需要账号，也不使用分析功能。你的抓取数据、发现的问题和报告只保存在你的电脑上。Scrawly 会连接到：

你选择审计的网站；
GitHub，用于检查更新（可通过 SCRAWLY_AUTO_UPDATE=0 关闭）；
你配置的服务，例如 PageSpeed Insights、Google Search Console 或你的 AI 服务提供商；
反馈服务，仅当你点击反馈备注上的「发送」时才会连接。

应用的本地引擎只接受来自 Scrawly 窗口本身的请求，因此其他网站无法使用它。请按照 SECURITY.md 中的说明报告安全问题。

常见问题

Scrawly 是什么？ Scrawly 是一款免费、开源的 SEO 爬虫和技术站点审计工具，可在 macOS、Windows 和 Linux 上作为桌面应用运行。它会检查网站的每个页面，排查 250 项技术 SEO、GEO 和 Agentic Web 问题，并说明如何修复。

有没有 Screaming Frog 的免费替代品？ 有。Scrawly 是 Screaming Frog SEO Spider 和 Sitebulb 的免费开源替代品。它没有页面数量上限，也无需许可证，还能检查 AI 搜索（GEO）并提供安全的 WordPress 修复功能。

Scrawly 真的是免费的吗？ 是的。Scrawly 基于 MIT License 免费开源，无需账户、订阅，也没有使用限制。审计在你自己的电脑上运行，因此无需为每次爬取付费。

我需要创建账户吗？ 不需要。安装后即可开始审计，无需注册、登录或审批。

Scrawly 能检查非 WordPress 网站吗？ 可以。审计适用于任何网站。只有一键修复功能专用于 WordPress。

Scrawly 能检查 AI 搜索和 GEO 就绪情况吗？ 可以。它会检查 AI 爬虫访问权限、llms.txt、标题和描述是否为 AI 提供了足够的上下文、结构化数据，以及 AI Agent 使用网站的便利程度。

Scrawly 最多可以爬取多少页面？ 没有固定上限。你可以为每次审计选择上限；实际能爬取多少取决于你的电脑和网站。

Scrawly 是谁开发的？ Scrawly 由 SEO 顾问 Ilias Sami 创建，作为对 SEO 社区的免费贡献。联系方式：[email protected]。

文档

docs/DESKTOP.md：安装、更新、Linux 说明和故障排除
docs/WORDPRESS_CONNECTOR.md：WordPress 修复插件
docs/MCP.md：通过 AI 助手使用你的审计结果（MCP）
docs/CHECK_MANIFEST.yaml：完整的检查目录
CHANGELOG.md：各版本的变更内容

贡献和反馈

社区反馈能让 Scrawly 变得更好：

**在应用中：**点击左侧栏底部的对话气泡图标（发送反馈）。无需 GitHub 账户。
在 GitHub 上：提交问题或拉取请求。请参阅 CONTRIBUTING.md。

许可证和致谢

为 SEO 社区打造。如果 Scrawly 对你有帮助，请在 GitHub 上点个星，让更多人发现它。

支持 Markdown

登录后评论

第一次接触 MCP？

从协议是什么，到在客户端里装上第一个服务，这几条回答覆盖了大多数入门问题。

阅读入门指南

一个开放协议，规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话，MCP 服务负责提供工具、资源和提示模板，两者通过标准消息通信，同一个服务可以被不同客户端复用。