mcpField
S
site-crawlability

site-crawlability

github.com/kostja94营销与增长1.1k1.1k 次安装2 天前更新
代码仓库

关于 site-crawlability

site-crawlability 指导技术 SEO 工作，帮助搜索引擎和 AI 爬虫发现网站内容。内容涵盖重定向、失效链接、网站结构、分页、抓取预算及初始 HTML 中的内容可见性。

主要功能

  1. 01检查重定向链与循环
  2. 02修复失效链接
  3. 03梳理网站层级与孤立页面
  4. 04提供可抓取分页建议
  5. 05优化抓取预算
  6. 06保障 AI 爬虫读取初始 HTML

适用场景

  1. 01审查重定向和失效链接
  2. 02查找孤立或层级过深的页面
  3. 03让长列表内容可被抓取
  4. 04检查 AI 爬虫的内容可见性

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/kostja94/marketing-skills --skill site-crawlability

安装后在 Claude Code 中输入/site-crawlability确认已加载。

详细介绍

SEO 技术：可抓取性

介绍如何改进可抓取性：robots、X-Robots-Tag、网站结构和内部链接。

调用时：首次使用时，如果有帮助，可先用 1–2 句话介绍此技能涵盖的内容及其重要性，然后提供主要输出。后续使用时，或用户要求跳过时，直接提供主要输出。

范围（技术 SEO）

  • 重定向链和循环：修复多跳重定向；直接指向最终 URL
  • 失效链接（4xx）：修复失效的内部/外部链接；使用 301 重定向或移除
  • 网站架构：采用合理的层级结构；确保用户从首页出发，点击 3–4 次即可到达页面
  • 孤立页面：为没有入站链接的页面添加内部链接
  • 分页：为了便于抓取，优先使用分页，而非无限滚动
  • 抓取预算：减少重复内容、重定向、低价值 URL 带来的浪费（见下文）
  • AI 爬虫优化：对关键内容使用 SSR；管理 URL；减少 404/重定向带来的浪费（见下文）

初步评估

**项目背景：**如果根目录中存在 contextus.md，请阅读，并且仅加载与此任务相关的模块。如果没有 Contextus，请使用现有项目资料或用户提供的信息，并询问缺失的信息；不要另建一套上下文系统。

请确定：

  1. 网站结构：扁平还是层级较深
  2. 框架：Next.js、静态站点、SPA 等
  3. 关键路径：站点地图、robots.txt、API、静态资源

最佳实践

重定向链和循环
  • 修复多跳重定向；直接指向最终 URL
  • 循环：URL 重定向回自身；打破循环
失效链接（4xx）
  • 修复失效的内部/外部链接；使用 301 重定向或移除
  • 定期审核；更新或移除失效链接
网站架构
原则指南
深度确保用户从首页出发，点击 3–4 次即可到达重要页面
孤立页面为没有入站链接的页面添加内部链接；链接策略请参阅 internal-links
层级结构采用合理的结构；枢纽页面链接到内容页面
分页与无限滚动

问题：使用无限滚动时，爬虫无法模拟用户行为（滚动、点击“加载更多”）；初始页面加载后才载入的内容无法被发现。瀑布流加无限滚动、延迟加载列表及类似模式也存在同样的问题。

解决方案：对关键内容优先使用分页。如果保留无限滚动，请按照 Google 的建议使其便于搜索引擎抓取：

要求做法
组成页面将内容拆分为分页页面，并确保无需 JavaScript 即可访问
完整 URL每页都有唯一的 URL（例如 ?page=1、?lastid=567）；避免使用 #1
无重叠系列中的每个条目只列出一次；页面之间不重复
直接访问URL 可在新标签页中正常使用；不依赖 Cookie/历史记录
pushState/replaceState用户滚动时更新 URL；支持前进/后退，并生成可分享的链接
越界时返回 404如果仅有 998 页，?page=999 应返回 404

参考：无限滚动的搜索友好型建议（Google Search Central，2014 年）

分页（传统方式）
  • 提供指向上一页/下一页的链接；适用时使用 rel="prev" / rel="next"
  • 避免仅通过动态加载内容；确保 HTML 中包含链接
抓取预算

抓取预算是 Googlebot 在给定时间内会抓取你的网站 URL 数量。大型网站（10,000+ 个页面）可能会将多达 30% 的抓取预算浪费在重复内容、重定向和低价值 URL 上。

浪费来源修复方法
重复 URL设置规范 URL；合并内容；使用 301 重定向到首选 URL
重定向链直接指向最终 URL
参数泛滥使用 rel="canonical"；考虑使用 Clean-param（Yandex）
低价值页面对内容单薄或重复的页面设置 noindex；参见 indexing
抓取陷阱避免无限生成 URL（例如分面筛选器）

站点地图：仅包含可编入索引的规范 URL。参见 xml-sitemap、canonical-tag。

AI 爬虫优化

AI 爬虫（GPTBot、ClaudeBot、PerplexityBot 等）目前的抓取量约占 Googlebot 抓取量的 28%。它们的行为与搜索引擎不同，同时针对两者进行优化可提升 GEO（AI 搜索可见度）。GEO 策略参见 generative-engine-optimization。Vercel/MERJ 研究（2024 年 12 月）：

因素AI 爬虫（GPTBot、Claude）Googlebot
JavaScript不执行 JS；无法读取客户端渲染的内容完整渲染 JS
404 比率约 34% 的抓取请求遇到 404约 8%
重定向约 14% 的抓取请求会跟随重定向约 1.5%
初始 HTML 中的内容初始响应中的 JSON、RSC 可编入索引同样如此

提升 AI 抓取能力的建议：

做法操作
服务器端渲染在初始 HTML 中包含关键内容。使用 SSR、ISR 或 SSG。完整指南参见 rendering-strategies。
URL 管理保持站点地图更新；使用一致的 URL 模式；避免使用过时的 /static/ 资源，以免产生 404。AI 爬虫经常访问过时的 URL。
重定向修复重定向链；直接指向最终 URL。AI 爬虫约有 14% 的抓取请求浪费在重定向上。
404 处理修复失效链接；移除过时 URL 或将其重定向。较高的 404 比率可能表明 AI 爬虫使用了过时的 URL 列表。

参考：The rise of the AI crawler（Vercel，2024）

常见问题

问题检查项
重定向链更新链接，使其直接指向最终 URL
失效链接使用 301 重定向或移除；审查内部和外部链接
孤立页面从中心页或导航添加内部链接；策略参见 internal-links
无限滚动提供分页的组件页面；或为关键内容改用分页；参见上文
AI 爬虫无法获取内容确保初始 HTML 中包含关键内容；参见 rendering-strategies

输出格式

  • 重定向审查：需要修复的重定向链和循环
  • 失效链接审查：需要修复的 4xx 链接
  • 网站结构：孤立页面、层级结构
  • 分页：可供抓取的内容的实现方式
  • AI 爬虫：如果目标是 GEO 或 AI 可见度，则检查 SSR/URL/重定向

相关技能

  • seo-strategy：SEO 工作流；可抓取性属于技术阶段（P0）
  • website-structure：规划要构建的页面、页面优先级和结构；在可抓取性审查之前或同时使用
  • robots-txt：robots.txt 配置；允许/屏蔽 AI 爬虫（GPTBot、ClaudeBot）
  • xml-sitemap：发现 URL；保持更新以减少 AI 爬虫遇到的 404
  • google-search-console：索引状态、覆盖率报告
  • indexing：修复索引问题
  • internal-links：内部链接最佳实践
  • masonry：瀑布流 + 无限滚动存在相同的抓取问题；布局技能在此引用相关 SEO 内容
  • generative-engine-optimization：GEO 策略；AI 搜索可见度；可抓取性有助于 AI 引用
  • canonical-tag：规范 URL 可减少重复内容造成的抓取预算浪费
  • rendering-strategies：SSR、SSG、CSR；初始 HTML 中的内容；爬虫可见度

评论

支持 Markdown