seo-technical

技术 SEO 审计

适用场景

• 用户希望针对可抓取性、可索引性、性能或渲染进行技术 SEO 审查时。
• 审计 robots.txt、规范化、JavaScript SEO、Core Web Vitals 或 AI 爬虫访问权限时。
• 任务侧重基础设施和实施，而非内容时。

类别

1. 可抓取性

• robots.txt：存在、有效，且未屏蔽重要资源
• XML 站点地图：存在、在 robots.txt 中注明，且格式有效
• Noindex 标签：确认是有意设置还是意外添加
• 抓取深度：重要页面距首页不超过 3 次点击
• JavaScript 渲染：检查关键内容是否需要执行 JS 才能呈现
• 抓取预算：对于大型网站（>10k 个页面），效率很重要

AI 爬虫管理

截至 2025-2026 年，AI 公司会主动抓取网页来训练模型并支持 AI 搜索。通过 robots.txt 管理这些爬虫是技术 SEO 中的重要考量。

已知 AI 爬虫：

爬虫	公司	robots.txt 标识	用途
GPTBot	OpenAI	GPTBot	模型训练
ChatGPT-User	OpenAI	ChatGPT-User	实时浏览
ClaudeBot	Anthropic	ClaudeBot	模型训练
PerplexityBot	Perplexity	PerplexityBot	搜索索引 + 训练
Bytespider	ByteDance	Bytespider	模型训练
Google-Extended	Google	Google-Extended	Gemini 训练（不影响搜索）
CCBot	Common Crawl	CCBot	开放数据集

重要区别：

• 屏蔽 Google-Extended 会阻止内容用于 Gemini 训练，但不会影响 Google 搜索索引或 AI Overviews（它们使用 Googlebot）
• 屏蔽 GPTBot 会阻止 OpenAI 用内容进行训练，但不会阻止 ChatGPT 通过浏览功能引用你的内容（使用 ChatGPT-User）
• 请查阅各供应商当前的文档，核实爬虫用途和控制方式；此表并非完整或永久有效的清单。

示例：选择性屏蔽 AI 爬虫：

# Allow search indexing, block AI training crawlers
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

# Allow all other crawlers (including Googlebot for search)
User-agent: *
Allow: /

**建议：**屏蔽之前，请先考虑你的 AI 曝光策略。被 AI 系统引用有助于提升品牌知名度并带来引荐流量。请参阅 seo-geo 技能，了解完整的 AI 曝光优化方案。

2. 可索引性

• Canonical 标签：指向自身，且不与 noindex 冲突
• 重复内容：近似重复页面、参数 URL、www 与非 www
• 内容单薄：未能提供符合页面用途的足够实用信息；不要设定任意的最低字数要求
• 分页：使用 rel=next/prev 或加载更多模式
• Hreflang：适用于多语言/多地区网站，且设置正确
• 索引膨胀：不必要的页面消耗抓取预算

3. 安全性

• HTTPS：强制使用，SSL 证书有效，且无混合内容
• 安全标头：
  • Content-Security-Policy (CSP)
  • Strict-Transport-Security (HSTS)
  • X-Frame-Options
  • X-Content-Type-Options
  • Referrer-Policy
• HSTS preload：对于高安全性网站，检查是否已加入预加载列表

4. URL 结构

• 简洁 URL：描述清晰，使用连字符，内容页面不使用查询参数
• 层级：文件夹结构合理，能体现网站架构
• 重定向：无重定向链（最多 1 次跳转），永久迁移使用 301
• URL 长度：标记超过 100 个字符的 URL
• 末尾斜杠：用法保持一致

5. 移动端优化

• 响应式设计：包含 viewport meta 标签，并使用响应式 CSS
• 触控目标：至少为 48x48px，间距为 8px
• 字号：基础字号至少为 16px
• 无水平滚动
• 移动优先索引：确认移动端内容一致性，并检查实际的 Googlebot 抓取证据。不要推断所有 Google 爬虫或抓取工具都使用移动端 User-Agent。

6. Core Web Vitals

• LCP（最大内容绘制）：目标 <2.5s
• INP（与下一次绘制的交互）：目标 <200ms
  • INP 于 2024 年 3 月 12 日取代 FID。FID 于 2024 年 9 月 9 日从所有 Chrome 工具（CrUX API、PageSpeed Insights、Lighthouse）中彻底移除。任何地方都不要提及 FID。
• CLS（累积布局偏移）：目标 <0.1
• 评估采用真实用户数据的第 75 百分位数
• 如果 MCP 可用，请使用 PageSpeed Insights API 或 CrUX 数据

7. 结构化数据

• 检测方式：JSON-LD（首选）、Microdata、RDFa
• 根据 Google 支持的类型进行验证
• 完整分析请参阅 seo-schema 技能

8. JavaScript 渲染

• 检查内容是在初始 HTML 中可见，还是需要 JavaScript
• 识别客户端渲染（CSR）与服务端渲染（SSR）
• 标记可能导致索引问题的 SPA 框架（React、Vue、Angular）
• 如适用，请验证动态渲染设置

JavaScript SEO：规范网址与索引指导（2025 年 12 月）

Google 于 2025 年 12 月更新了 JavaScript SEO 文档，并作出以下重要澄清：

1. 规范网址冲突： 如果原始 HTML 中的规范网址标签与 JavaScript 注入的规范网址标签不同，Google 可能会采用其中任意一个。请确保服务端渲染的 HTML 与 JavaScript 渲染的输出中，规范网址标签完全一致。
2. JavaScript 与 noindex： 如果原始 HTML 包含 <meta name="robots" content="noindex">，但 JavaScript 将其移除，Google 仍可能遵循原始 HTML 中的 noindex 指令。请在初始 HTML 响应中提供正确的 robots 指令。
3. 非 200 状态码： Google 可能会跳过对非 200 响应的渲染；请提供正确的状态码、内容和指令，不要依赖客户端修复。
4. JavaScript 中的结构化数据： 通过 JavaScript 注入的 Product、Article 等结构化数据可能会延迟处理。对于时效性要求较高的结构化数据（尤其是电商 Product 标记），请将其包含在初始服务端渲染的 HTML 中。

最佳实践： 请在初始服务端渲染的 HTML 中提供关键 SEO 元素（规范网址、meta robots、结构化数据、标题、meta description），而不要依赖 JavaScript 注入。

9. IndexNow 协议

• 检查网站是否支持面向 Bing、Yandex、Naver 的 IndexNow
• Google 以外的搜索引擎支持该协议
• 建议实施该协议，以便在非 Google 搜索引擎中更快地编入索引

输出

技术评分：XX/100

可选的定性评分：披露评分标准、证据来源和无法执行的检查项。限制抓取请求范围；只读分析期间不要更改 robots、HSTS preload 或生产配置。请依据 Google 爬虫 和 JavaScript SEO 核实有关爬虫和渲染的说法。

类别明细

类别	状态	评分
可抓取性	通过/警告/失败	XX/100
可索引性	通过/警告/失败	XX/100
安全性	通过/警告/失败	XX/100
URL 结构	通过/警告/失败	XX/100
移动端	通过/警告/失败	XX/100
Core Web Vitals	通过/警告/失败	XX/100
结构化数据	通过/警告/失败	XX/100
JS 渲染	通过/警告/失败	XX/100
IndexNow	通过/警告/失败	XX/100

严重问题（立即修复）

高优先级（1 周内修复）

中优先级（1 个月内修复）

低优先级（加入待办列表）

DataForSEO 集成（可选）

如果 DataForSEO MCP 工具可用，请使用 on_page_instant_pages 进行真实页面分析（状态码、页面耗时、失效链接、页面检查），使用 on_page_lighthouse 执行 Lighthouse 审计（性能、无障碍、SEO 评分），并使用 domain_analytics_technologies_domain_technologies 检测技术栈。

错误处理

场景	操作
URL 无法访问	报告连接错误和状态码。建议核实 URL、检查 DNS 解析，并确认该网站可公开访问。
未找到 robots.txt	说明在根域名下未检测到 robots.txt。建议创建一个并设置适当的指令。继续审计其余类别。
未配置 HTTPS	将其标记为严重问题。报告 HTTP 是否未重定向就直接提供服务、是否存在混合内容，或 SSL 证书是否缺失／已过期。
Core Web Vitals 数据不可用	说明 CrUX 数据不可用（低流量网站通常会出现这种情况）。使用 Lighthouse 诊断实验室性能，将其与现场 Core Web Vitals 数据分开标注，且不要人为制造流量来填充 CrUX 数据。

限制

• 仅当任务明确符合上述范围时，才使用此技能。
• 不要将输出视为环境特定验证、测试或专家审查的替代品。
• 如果缺少必要的输入、权限、安全边界或成功标准，请停止并请求澄清。