indexing

SEO 技术：索引

提供索引问题的排查指南和修复操作。关于如何在 GSC 中查找和诊断问题，请参阅 google-search-console。

调用时：首次使用时，如果有帮助，可以先用 1–2 句话说明此技能涵盖的内容及其重要性，然后提供主要输出。后续使用时，或用户要求跳过时，直接提供主要输出。

范围（技术 SEO）

• 修复操作：noindex、canonical、内容质量、URL Inspection；确认 robots.txt 未阻止抓取（参阅 robots-txt）
• Noindex：页面级索引控制；说明哪些页面应排除以及如何排除。与 robots-txt（路径级抓取控制）和 google-search-console（Coverage 诊断）互为补充

初步评估

**项目背景：**如果根目录中存在 contextus.md，请阅读，并仅加载与此任务相关的模块。若没有 Contextus，请使用现有项目资料或用户提供的信息，并询问缺失的信息；不要创建并行的上下文系统。

从 GSC 识别问题（Coverage 报告、问题类型和诊断流程请参阅 google-search-console）。然后应用下方的修复方案。

已抓取 - 当前未编入索引

原因	操作
质量低、重复、偏离主题	改进内容、修复重复内容、设置正确的 canonical
静态资源（CSS/JS）	参阅下文
Feed、带参数的分享 URL	通常可以忽略；也可以设置 noindex，并将 canonical 指向主 URL
重要内容页面	使用 URL Inspection，确认 canonical、内部链接和 sitemap，并请求编入索引

静态资源（Next.js / Vercel）

Vercel 会为每次部署向静态资源添加唯一的 dpl= 参数，导致出现大量“已抓取 - 当前未编入索引”的 URL。

应做	不应做
保持 robots.txt 允许抓取 /_next/	不要阻止 /_next/（否则会导致 CSS/JS 无法加载）。参阅 robots-txt
在 GSC 中接受静态资源出现此状态是预期情况	不要阻止 /_next/static/css/ 或 ?dpl=
对静态资源使用 X-Robots-Tag	CSS/JS 不应编入索引；这不会影响 SEO

静态资源显示为“已抓取 - 当前未编入索引”是正常且符合预期的。

其他问题类型（来自 GSC Coverage）

问题	修复方法
被「noindex」标记排除	如果是误设，移除 noindex；如果是有意设置，则保留
被 robots.txt 阻止	参阅 robots-txt；移除重要路径的 Disallow 规则
重定向 / 404	修复 URL 或添加重定向
重复内容 / Canonical	设置正确的 canonical；通常没有问题
Soft-404	页面返回 200，但内容显示“未找到”或为空，Google 可能会将其视为 404。修复方法：对于确实不存在的页面，返回 404 状态；或者为返回 200 的页面添加真实内容

Soft-404

Soft-404 指页面返回 HTTP 200，但内容表明页面不存在（例如显示“找不到页面”消息或空状态）。Google 可能会将其视为 404，并将其排除在索引之外。

修复方法	适用情况
返回 404	页面确实不存在；使用正确的 404 状态
添加内容	页面是有意保留的（例如空的搜索结果）；确保内容充实，或使用 noindex
重定向	URL 已迁移时，使用 301 重定向到正确的目标地址

Noindex 的使用

• 方式：metadata.robots = { index: false }、<meta name="robots" content="noindex"> 或 X-Robots-Tag
• 原因：并非网站上的所有内容都应编入索引；对许多页面使用 noindex 都是合理的选择
• 注意：避免对重要内容页面使用 noindex
• 与 robots.txt 配合使用：robots.txt = 路径级抓取控制；noindex = 页面级索引控制。不要在 robots.txt 中阻止 noindex 页面——爬虫必须能够访问页面，才能读取该指令。两者可同时使用：robots 用于 /admin/、/api/；noindex 用于 /login/、/thank-you/ 等。关于何时使用哪种方式，请参阅 robots-txt。
• nofollow ≠ noindex：nofollow 仅控制链接权重；它不能阻止页面编入索引。若要将页面排除在搜索结果之外，请使用 noindex。关于 meta robots 的实现，请参阅 page-metadata。

通常需要设置为 Noindex 的页面类型

类别	页面类型	典型 Meta 指令	原因
身份验证与账户	登录、注册、密码重置、账户仪表板	登录：noindex,nofollow；注册：noindex,follow	没有搜索价值；登录页被索引会带来安全风险；注册页使用 follow 可允许爬取隐私政策／条款链接
管理与私有页面	管理页面、预发布环境、测试页面、内部工具	noindex,nofollow	不面向公众；避免被发现
转化终点	感谢页、确认页、结账成功页、下载门槛页	noindex,follow	转化后的页面；没有 SERP 价值；允许传递链接权重
系统与实用页面	404 页面、站内搜索结果、分面筛选 URL	noindex,follow 或 noindex,nofollow	内容单薄／重复；404 表示错误状态
法律页面	隐私政策、条款、Cookie 政策（可选）	通常为 noindex,follow	被索引的价值较低；减少杂乱内容
重复与单薄内容	适合打印的页面、参数 URL、近似重复页面	noindex,follow 或 canonical	重复内容；条件允许时优先使用 canonical
低价值页面	媒体资料包、反馈板（外部）、内容单薄的新闻页面	noindex，或针对品牌查询允许索引	视具体情况而定

noindex,follow 与 noindex,nofollow 的区别：大多数情况下使用 noindex,follow——不纳入 SERP，但允许传递链接权重。仅对登录页（安全原因）、预发布环境或临时测试页面使用 noindex,nofollow。

页面移除决策框架

有意将页面从网站上移除时，应根据是否存在相关替代页面，以及页面是否仍应保持可访问来选择方法：

场景	方法	理由
有高度相关的替代页面	301 重定向	保留累积的链接信号和用户流程
内容已合并到新页面	301 重定向	将旧 URL 直接指向新的规范位置
永久删除且没有替代页面	410 Gone	明确向搜索引擎表明页面已永久移除
已删除，但不确定是否永久	404 Not Found	安全的默认选择；如有需要，之后可恢复
仍可访问，但不应被索引	noindex	页面仍可供用户访问；但不会纳入 SERP

移除前：检查该 URL 的搜索流量、反向链接、内部链接和转化价值。如果页面有价值，可考虑更新或合并，而不是移除。

常见错误：

• 对存在相关替代页面的页面返回 404（浪费累积的信号）
• 将所有已删除页面都重定向到首页（违背用户意图）
• 创建重定向链（A → B → C），而不是直接重定向
• 移除页面，却未清理指向该页面的内部链接
• 使用 robots.txt 屏蔽 noindex 页面（爬虫必须能访问该页面才能读取 noindex 指令）

移除后的清理：

1. 从 XML 站点地图中移除已删除的 URL；更新并重新提交
2. 更新内部链接，使其直接指向最终 URL（避免依赖重定向）
3. 对于 301 重定向，确保目标 URL 已包含在站点地图中
4. 在 GSC 中使用 URL Inspection 验证重要页面；使用 Removals 工具临时快速隐藏（并非永久移除——永久移除请使用适当的 HTTP 状态码或 noindex）

Google Indexing API

类型	典型用途
JobPosting	招聘网站
BroadcastEvent	直播平台

要求：启用 Indexing API，创建服务账号，在 Search Console 中添加所有者，并申请配额（默认每天 200 个 URL）。

输出格式

• 行动项：按优先级排列的修复项
• 参考资料：页面索引报告

相关技能

• google-search-console：在 GSC 中查找并诊断索引问题
• robots-txt：控制路径级抓取；何时使用 robots.txt 而非 noindex；不要屏蔽 /_next/ 或带有 noindex 的页面
• page-metadata：Meta robots 的实现；noindex 与 nofollow 的区别
• xml-sitemap：提交并维护站点地图
• indexnow：加快 Bing 的索引速度
• canonical-tag：解决重复内容问题