screaming-frog-tool

Screaming Frog 工具

Screaming Frog 是一款桌面爬虫，并提供社区构建的 MCP 服务。即使没有 MCP，Agent 也可以分析导出的爬取数据（CSV/Excel）。这是你的主要技术 SEO 审计工具。

何时使用 Screaming Frog，何时使用其他工具

需求	使用 Screaming Frog	改用
对整个网站进行技术爬取	✅ 细节最全面的爬虫	Semrush 网站审计（较轻量）
大规模审计地点页面质量	✅ 最适合此需求	—
自定义数据提取（NAP、schema 字段）	✅ 独特功能	—
检测重复内容	✅	—
分析内部链接	✅	—
检测重定向链	✅	—
按页面验证 schema	✅ 自定义提取	—
检查数百个页面是否缺少标题/元描述	✅	—
关键词排名	❌	Local Falcon、Semrush
反向链接数据	❌	Ahrefs
搜索流量数据	❌	GSC、GA4
引用数据	❌	BrightLocal

Agent 如何与 Screaming Frog 交互

已连接 MCP 时

Agent 可以直接触发爬取并读取结果。

未连接 MCP 时（更常见）

用户在本地运行爬取并导出数据。Agent 会分析导出的 CSV/Excel 文件。

告知用户要导出哪些内容：

1. 在 Screaming Frog 中运行爬取
2. 导出：Internal > All (CSV)
3. 如有需要：Bulk Export > 特定报告（响应代码、指令、schema 等）
4. 将 CSV 上传到对话中

核心工作流

地点页面技术审计

适用场景： 用户有一个多地点网站，需要确认所有地点页面的技术状况良好。

检查爬取数据的内容：

检查项	查找位置	问题表现……
Title 标签	Title 1 列	多个地点的标题重复、缺少标题或标题被截断
Meta 描述	Meta Description 1	元描述重复、缺少元描述或使用模板化元描述
H1 标签	H1-1 列	缺少 H1、H1 重复，或 H1 未包含服务 + 城市
字数	Word Count 列	少于 300 个单词 = 内容单薄（Google 可能不会将其编入索引）
状态代码	Status Code 列	404 错误、302 重定向（应为 301）、5xx 错误
Canonical 标签	Canonical Link Element 1	缺少指向自身的 canonical，或 canonical 指向错误页面
内部入链	Inlinks 列	内部链接为 0 或 1 条 = 孤立页面
是否存在 Schema	需要自定义提取	地点页面没有 LocalBusiness schema
页面上的 NAP	需要自定义提取	NAP 缺失或不一致
页面速度	PageSpeed 标签页（如果已启用 PSI 集成）	LCP > 2.5 秒，CLS > 0.1

本地 SEO 的自定义提取

告知用户需要配置的内容：

LocalBusiness Schema 提取：

• 提取方式：CSS Selector 或 XPath
• 目标：script[type="application/ld+json"]
• 这会提取完整的 JSON-LD 块，Agent 随后可以验证 schema 字段

NAP 提取：

• 商家名称：包含商家名称的元素所对应的 CSS selector
• 电话：指向 tel: 链接的 CSS selector
• 地址：地址区块所对应的 CSS selector

Agent 应执行的逐页 schema 验证：

1. @type 是否正确？（例如 Dentist、Plumber、LocalBusiness）
2. name 是否与 GBP 完全一致？
3. address 是否与 GBP 完全一致？
4. telephone 是否与 GBP 完全一致？
5. 是否存在 openingHoursSpecification？
6. 是否存在且正确的 geo 坐标？
7. 是否存在 areaServed（针对 SAB）？

重复内容检测

适用情况： 多地点网站通常会有一些套用模板的地点页面，只有城市名称不同。

检查内容：

• 近似重复内容检测（Screaming Frog 内置此功能）
• 字数列 — 如果所有地点页面的字数完全相同，它们很可能是模板生成的
• 标题标签模式 — 如果所有标题都是“[Service] in [City] | [Brand]”，且配套内容完全相同，Google 可能不会将它们全部编入索引

“足够独特”的标准：

• 独特的介绍段落，提及当地地标、社区和人口特征
• 与该地点相关的独特服务详情
• 来自该地区的独特客户评价或案例研究
• 各地点使用不同的照片
• 根据该地区客户常见问题编写的独特常见问题解答

内部链接分析

适用情况： 地点页面没有获得自然流量，且你怀疑它们没有内部链接或链接结构不佳。

检查内容：

• 入链列：有多少个内部页面链接到每个地点页面
• 抓取深度：从首页到达每个地点页面需要点击多少次
• 链接结构：地点页面是否链接自主导航、页脚，还是埋藏在网站深处？

地点页面健康的内部链接结构：

• 每个地点页面都从地点索引/目录页面获得链接
• 地点页面从服务页面获得链接（适用时）
• 地点页面彼此链接（附近的地点）
• 抓取深度：距首页最多 3 次点击

重定向审计

适用情况： 用户迁移了网站、更改了 URL，或有重定向到其他页面的旧地点页面。

检查内容：

• 302 重定向（永久迁移通常应使用 301）
• 重定向链（A → B → C → D — 应改为 A → D）
• 重定向循环（A → B → A）
• 返回 404 而非进行重定向的旧地点 URL

解读本地 SEO 的抓取数据

优先问题（优先修复）

问题	影响	查找方法
地点页面返回 404	页面完全不可见	状态码 = 404，筛选地点 URL
地点页面不在站点地图中	Google 可能无法发现这些页面	对照站点地图 URL 与已抓取 URL
robots.txt 禁止抓取地点页面	Google 无法抓取这些页面	可索引性列 = “Blocked by Robots.txt”
地点页面设置了 noindex	Google 不会将这些页面编入索引	Meta Robots 列包含 “noindex”

重要问题（接下来修复）

问题	影响	查找方法
多个地点页面使用相同标题	Google 可能会过滤重复页面	对 Title 1 列排序并查找重复项
内容过少（少于 300 字）	Google 可能不会将页面编入索引	Word Count 列 < 300
缺少 Schema	结构化数据信号缺失	自定义提取结果为空
孤立页面（0-1 个内部链接）	抓取优先级低，权威度低	Inlinks 列 = 0 或 1

维护问题（条件允许时修复）

问题	影响	查找方法
缺少元描述	搜索结果点击率较低	Meta Description 1 = 空
图片缺少替代文本	影响无障碍体验 + 轻微 SEO 信号	Images 标签页中 Alt Text 列为空
重定向链	浪费抓取预算，页面加载速度慢	Redirect Chains 报告

接下来做什么

发现的问题	下一步行动	技能
地点页面内容单薄	为每个地点重写独特且充实的内容	local-landing-pages
地点页面缺少架构标记	实施 LocalBusiness 架构标记	local-schema
标题和元数据重复	为每个地点重写独特且针对关键词的标题	local-landing-pages
地点页面成为孤立页面	修复内部链接结构	local-landing-pages
索引问题（noindex、robots.txt、网站地图中缺失）	修复技术问题	local-seo-audit
通过自定义提取发现 NAP 不一致	修复页面上的 NAP，使其与 GBP 完全一致	gbp-optimization、local-citations
已记录所有技术问题	整理成审计报告，交付给客户	client-deliverables

默认下一步： Screaming Frog 抓取数据是一座金矿，但它只是原始数据。请始终按以下优先级处理：索引障碍 → 内容问题 → 结构问题 → 优化机会。