robots-txt

SEO 技术：robots.txt

介绍如何配置和审核 robots.txt，以控制搜索引擎和 AI 爬虫。

调用时：首次使用时，如有帮助，可先用 1–2 句话说明此技能涵盖的内容及其重要性，然后提供主要输出。后续使用或用户要求跳过时，直接提供主要输出。

范围（技术 SEO）

• Robots.txt：配置 Disallow/Allow、Sitemap、Clean-param；审核是否存在意外屏蔽
• 爬虫访问：控制路径级抓取；制定 AI 爬虫的允许/屏蔽策略
• 区别：robots.txt = 抓取控制（哪些对象可以访问哪些路径）；noindex = 索引控制（哪些内容会被编入索引）。页面级排除请参阅 indexing。

初步评估

**项目上下文：**如果根目录存在 contextus.md，请读取，并仅加载与此任务相关的模块。如果没有 Contextus，请使用可用的项目材料或用户提供的信息，并询问缺失信息；不要创建并行的上下文系统。

确定：

1. 网站 URL：基础域名（例如，https://example.com）
2. 索引范围：整个网站、部分内容，或要排除的特定路径
3. AI 爬虫策略：允许搜索/索引，还是屏蔽用于训练数据的爬虫

最佳实践

用途与限制

要点	说明
用途	控制爬虫访问；但不会阻止编入索引（被禁止抓取的 URL 仍可能出现在搜索结果中，只是不显示摘要）
仅供参考	规则仅供参考；恶意爬虫可能会忽略
公开可见	robots.txt 可公开读取；敏感内容请使用 noindex 或身份验证。请参阅 indexing

抓取、索引与链接权重（快速参考）

工具	控制内容	是否阻止编入索引？
robots.txt	抓取（路径级）	否——被屏蔽的 URL 仍可能出现在 SERP 中
noindex（meta / X-Robots-Tag）	索引（页面级）	是。请参阅 indexing
nofollow	仅链接权重	否——不控制索引

何时使用 robots.txt，何时使用 noindex

用途	工具	示例
路径级（整个目录）	robots.txt	Disallow: /admin/、Disallow: /api/、Disallow: /staging/
页面级（特定页面）	noindex meta / X-Robots-Tag	登录、注册、感谢页、404、法律页面。完整列表请参阅 indexing
重要	不要在 robots.txt 中屏蔽	使用 noindex 的页面——爬虫必须能够访问页面，才能读取此指令

在 robots.txt 中屏蔽的路径：/admin/、/api/、/staging/、临时文件。使用 noindex 的路径（允许抓取）：/login/、/signup/、/thank-you/ 等——请参阅 indexing。

位置与格式

项目	要求
路径	网站根目录：https://example.com/robots.txt
编码	UTF-8 纯文本
标准	RFC 9309（Robots Exclusion Protocol）

核心指令

指令	用途	示例
User-agent:	指定目标爬虫	User-agent: Googlebot、User-agent: *
Disallow:	屏蔽路径前缀	Disallow: /admin/
Allow:	允许访问路径（可覆盖 Disallow）	Allow: /public/
Sitemap:	声明站点地图的绝对 URL	Sitemap: https://example.com/sitemap.xml
Clean-param:	移除查询参数（Yandex）	见下文

路径格式规则（重要）

不同指令使用不同的路径格式，这是常见的错误来源：

指令	格式	正确	错误
Disallow / Allow	仅限根相对路径（以 / 开头）	Disallow: /admin/	Disallow: https://example.com/admin/
Sitemap	仅限绝对 URL	Sitemap: https://example.com/sitemap.xml	Sitemap: /sitemap.xml

通配符：* 匹配任意字符序列（Disallow: /tmp/*）。$ 表示 URL 在此处精确结束（Allow: /news/.html$）。

优先级：越具体的路径优先级越高。Allow: /shop/shoes/ 会覆盖 Disallow: /shop/。路径匹配区分大小写：Disallow: /PDF/ 不会匹配 /pdf/。

重要：不要屏蔽

不要屏蔽	原因
CSS、JS、图片	Google 需要这些内容来渲染页面；屏蔽会影响索引
/_next/（Next.js）	会影响 CSS/JS 加载；静态资源在 GSC 中显示为“已抓取 - 尚未编入索引”属于预期情况。参见 indexing
使用 noindex 的页面	爬虫必须访问页面才能读取 noindex 指令；在 robots.txt 中屏蔽会阻止访问

仅屏蔽：不需要抓取的路径：/admin/、/api/、/staging/、临时文件。

AI 爬虫策略

robots.txt 对所有已测量的 AI 爬虫均有效。按 user-agent 设置规则；请查阅各供应商的文档以确认当前使用的 token。

User-agent	用途	通常设置	备注
OAI-SearchBot	ChatGPT 搜索	Allow	遵循 robots.txt
GPTBot	OpenAI 训练	Disallow	遵循 robots.txt；若 OAI-SearchBot 也获准访问，则会与其共享抓取数据
ChatGPT-User	用户发起的浏览	N/A	不再遵循 robots.txt（2025 年 12 月）；请改用服务器端控制
Claude-SearchBot	Claude 搜索	Allow	遵循 robots.txt
Claude-User	Anthropic 用户发起的浏览	Allow	遵循 robots.txt（与 ChatGPT-User 不同）
ClaudeBot	Anthropic 训练	Disallow	遵循 robots.txt

已弃用：anthropic-ai — Anthropic 已停用此爬虫，并由 ClaudeBot / Claude-User / Claude-SearchBot 取代。在 robots.txt 中引用 anthropic-ai 不会产生任何效果。 | PerplexityBot | Perplexity 搜索 | Allow | 遵循 robots.txt | | Google-Extended | Gemini 训练 | Disallow | 遵循 robots.txt | | CCBot | Common Crawl（大模型训练） | Disallow | 遵循 robots.txt | | Bytespider | ByteDance | Disallow | 遵循 robots.txt | | Meta-ExternalAgent | Meta | Disallow | 遵循 robots.txt | | AppleBot | Apple（Siri、Spotlight）；可渲染 JS | 允许用于索引 | 遵循 robots.txt |

Allow 与 Disallow：允许搜索/索引机器人（OAI-SearchBot、Claude-SearchBot、PerplexityBot）；如果不希望内容用于模型训练，则屏蔽仅用于训练的机器人（GPTBot、ClaudeBot、CCBot）。

重要 — ChatGPT-User 豁免：截至 2025 年 12 月，ChatGPT-User 不再遵循 robots.txt 指令。OpenAI 将其视为代替人类用户发起浏览的代理。如果需要屏蔽它，请使用服务器端控制（WAF 规则、IP 速率限制），而不是 robots.txt。有关 AI 爬虫优化（SSR、URL 管理），请参见 site-crawlability。

Clean-param（Yandex）

Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&ref&fbclid&gclid

输出格式

• 当前状态（如进行审计）
• 建议的 robots.txt（完整文件）
• 合规检查清单
• 参考资料：Google robots.txt

相关技能

• indexing：完整的 noindex 页面类型列表；何时使用 noindex 而非 robots.txt；GSC 索引诊断
• page-metadata：Meta robots（noindex、nofollow）的实现
• xml-sitemap：在 robots.txt 中引用的 Sitemap URL
• site-crawlability：更全面的抓取和结构指南；AI 爬虫优化
• rendering-strategies：SSR、SSG、CSR；供爬虫读取的初始 HTML 内容