programmatic-seo-spy

程序化 SEO 竞争对手侦察

在构建自己的程序化 SEO 页面之前，先了解竞争对手已经在做什么。此技能会爬取竞争对手的网站地图，检测哪些 URL 模式属于程序化页面，估算哪些模式实际上能带来流量，评估模板质量，并找出他们遗漏的机会。

核心原则： 最佳 pSEO 策略始于竞争情报。如果有 3 个竞争对手都设有 /vs/ 页面，却没有人设有 /for-{industry}/ 页面，这就是一个信号。此技能可将竞争对手的网站结构转化为战略情报。

适用场景

• “竞争对手在做哪些程序化 SEO？”
• “逆向分析竞争对手的 SEO 页面”
• “我们所在领域中，哪些 pSEO 模式确实有效？”
• “找出竞争对手遗漏的 pSEO 机会”
• “分析竞争对手的 URL 结构，寻找 SEO 模式”

工具增强（可选）

此技能可使用现有功能，但如果能获取显示各 URL 模式实际流量的域名分析数据，效果会好得多。

面向用户的 Agent 提示词

“我可以使用现有的爬取工具分析竞争对手的网站结构。为了获得最准确的结果，尤其是了解哪些模式确实带来流量、哪些只是存在，我建议连接一个域名分析 API。”

推荐：DataForSEO（按使用量付费，每次域名分析约 $0.02-0.05）

• 在 dataforseo.com 注册 → 获取 API 登录名和密码
• 设置 DATAFORSEO_LOGIN 和 DATAFORSEO_PASSWORD 环境变量

也可使用的替代方案：

• SEMrush API（如果你有订阅）→ 设置 SEMRUSH_API_KEY
• Ahrefs API（如果你有订阅）→ 设置 AHREFS_API_TOKEN
• SimilarWeb API（如果你有访问权限）→ 设置 SIMILARWEB_API_KEY

“你想使用其中一种，还是让我以基线模式继续？基线模式会检测模式并评估模板质量，但流量估算将基于推断，而非实际测量。”

模式选择

• 增强模式 — 域名分析 API 提供自然搜索关键词和各 URL 的预估流量。可据此自信地判断“此模式带来 X 流量”。还能展示某个模式下哪些具体页面排名靠前。
• 基线模式 — 使用 site-content-catalog 爬取 URL，使用 seo-domain-analyzer 获取域名级指标，并使用 web_search 抽查排名。模式检测同样准确。流量归因仅提供大致方向，根据页面数量 × 域名权重 × 关键词指标进行估算。

阶段 0：信息收集

1. 竞争对手 — 提供 1-5 个要分析的竞争对手 URL
2. 你的产品 URL — 用于比较覆盖范围
3. 类别 — 这些竞争对手属于哪个市场／类别？
4. 具体关注点？ — 是否有特定关注内容（/vs/ 页面、集成等），还是需要完整分析？
5. 工具偏好 — 使用带域名分析 API 的增强模式，还是基线模式？（见上文“工具增强”）

阶段 1：网站地图爬取

针对每个竞争对手，运行 site-content-catalog：

python3 skills/site-content-catalog/scripts/catalog_content.py \
  --url "<competitor_url>" \
  --output json

收集：

• 网站地图和内部爬取发现的所有 URL
• 页面标题
• URL 结构／层级
• 最后修改日期（如果有）

阶段 2：模式检测

2A：URL 聚类

使用正则表达式匹配，按结构模式对 URL 分组：

模式正则表达式	URL 示例	类别
/vs/.* 或 /compare/.*	/vs/competitor-a, /vs/competitor-b	对比
/integrations?/.*	/integrations/slack, /integrations/hubspot	集成
/for-.* 或 /solutions/.*	/for-startups, /for-enterprise	垂直行业
/use-cases?/.*	/use-cases/project-management	使用场景
/alternatives?(-to)?/.*	/alternatives/competitor-a	替代方案
/templates?/.* 或 /examples?/.*	/templates/invoice, /templates/proposal	模板
/glossary/.* 或 /what-is/.*	/glossary/term-a, /what-is/crm	术语表
/tools?/.* 或 /calculat(or|e)/.*	/tools/roi-calculator	工具
/blog/.*（不纳入 pSEO）	/blog/how-to-x	编辑内容（非 pSEO）

对于检测到的每种模式：

• 页面数量 — 有多少页面符合此模式？
• 数据维度 — 每个页面有哪些变化？（竞争对手名称、工具名称、行业等）
• URL 一致性 — URL 结构是否清晰，还是杂乱无章？
• 覆盖完整性 — 是否涵盖了显而易见的各种变化？

2B：程序化与编辑内容分类

并非每种 URL 模式都是程序化的。请对每个集群进行分类：

• 程序化 — 模板特征明显：URL 结构一致，页面标题遵循相似模式，页面数量较多，内容结构化
• 半程序化 — 使用模板，但经过大量手动定制
• 编辑内容 — 单独撰写，没有模板模式
• 自动生成 — 内容单薄、质量低下的程序化页面（标签页、归档页）

分析仅聚焦于程序化和半程序化集群。

第三阶段：流量与表现分析

增强模式（DataForSEO / SEMrush / Ahrefs）

提取每个竞争对手域名的自然搜索关键词数据：

# DataForSEO example
POST /v3/dataforseo_labs/google/ranked_keywords/live
{
  "target": "competitor.com",
  "filters": [
    ["ranked_serp_element.serp_item.url", "contains", "/vs/"]
  ]
}

对于每个模式集群：

• 该模式下所有页面的排名关键词总数
• 该模式页面的估算月度自然搜索流量
• 该模式页面的平均排名位置
• 该模式下的表现最佳页面（哪些变化形式排名最好？）
• 关键词难度分布（目标关键词是容易还是困难？）

基线模式

估算流量指标：

• 运行 seo-domain-analyzer 获取整体域名指标
• 通过 web_search 抽查每种模式下的 3-5 个页面——它们是否出现在前 10 名？
• 检查页面是否已编入索引（site:competitor.com/vs/）
• 推测相对流量：模式下的页面数量 × 收录率 × 域名权重代理指标
• 注意：这些是趋势性估算，并非精确数据

第四阶段：模板质量评估

通过 fetch_webpage 获取每种程序化模式下的 3-5 个示例页面：

# Pick pages from the pattern — one high-variation, one low-variation, one middle

根据以下维度评估模板质量：

维度	评分 1-5	评估要点
内容深度		字数、章节、细节程度
每页的独特价值		每个页面是否提供了仅靠模板本身无法获得的内容？
数据丰富度		表格、对比、统计数据、截图
内容新鲜度信号		更新日期、当前价格、近期评价
内部链接		指向相关页面的链接、枢纽结构
CTA 集成		情境化 CTA 还是通用横幅
Schema 标记		结构化数据、FAQ Schema、评价 Schema

质量等级：

• 平均 4-5 分： pSEO 执行出色——若没有显著差异化，很难超越
• 平均 3-4 分： 表现尚可，但仍有改进空间——有机会打造更好的模板
• 平均 1-3 分： 内容单薄、质量低下——凭借更优质的内容即可轻松胜出

第五阶段：差距分析

5A：模式覆盖矩阵

模式类型	竞争对手 A	竞争对手 B	竞争对手 C	你	是否存在差距？
vs/ 对比页	25 个页面 ★★★★	10 个页面 ★★★	0	0	✓ A 领先
integrations/	40 个页面 ★★★	60 个页面 ★★★★	20 个页面 ★★	0	✓ B 领先
for-{industry}/	0	0	8 个页面 ★★	0	✓ 机会广阔
alternatives/	5 个页面 ★★★	0	0	0	✓ 竞争较少
glossary/	100 个页面 ★★	0	50 个页面 ★★★	0	⚠️ 以数量取胜

5B：变体差距

在每种竞争对手使用的模式中，找出缺失的变体：

• 竞争对手尚未编写 vs/ 页面进行对比的对象
• 他们支持但尚未创建页面的集成
• 他们服务但尚未针对的行业
• 这些都是你可以快速取胜的切入点

5C：模式空白

没有任何竞争对手采用的完整模式类型：

• 机会最大——没有需要超越的对手，还能获得先发优势
• 验证是否存在搜索需求（programmatic-seo-planner 的阶段 1D）

5D：质量差距

竞争对手有页面但质量较低的模式：

• 内容单薄（少于 500 个单词，没有独特数据）
• 内容过时（旧截图、错误定价）
• 缺少结构化数据标记
• 页面之间没有视觉差异
• 这些都是“超越模板”的机会

阶段 6：输出

# Programmatic SEO Competitive Landscape — [Category] — [DATE]

## Competitors Analyzed
- [Competitor A] — [domain metrics, total pages crawled]
- [Competitor B] — [domain metrics, total pages crawled]
- [Competitor C] — [domain metrics, total pages crawled]

## Executive Summary
- [N] programmatic patterns detected across [M] competitors
- Strongest competitor pSEO: [Competitor X] with [pattern] ([N] pages, [quality])
- Biggest opportunity: [pattern type] — [reasoning]
- Quick wins: [N] variation gaps in existing competitor patterns

---

## Pattern-by-Pattern Analysis

### Pattern: [vs/ Comparisons]
**Who's doing it:** [Competitor A (25 pages, ★★★★), Competitor B (10 pages, ★★★)]
**Traffic estimate:** [X monthly visits across pattern] (enhanced) / [directional estimate] (baseline)
**Template quality:** [summary of strengths/weaknesses]
**Top-performing pages:** [specific pages that rank well]
**Variation gaps:** [competitors/variations they're missing]
**Your opportunity:** [specific recommendation]

### Pattern: [integrations/]
...

---

## Opportunity Ranking

| Priority | Pattern | Opportunity Type | Effort | Expected Impact |
|----------|---------|-----------------|--------|----------------|
| P0 | [pattern] | White space — no competitors | Medium | High |
| P0 | [pattern] | Quality gap — beat weak templates | Low | Medium |
| P1 | [pattern] | Variation gap — fill missing pages | Low | Medium |
| P2 | [pattern] | Head-to-head — outrank strong competitor | High | High |

---

## Recommended Action Plan

1. **Immediate (Week 1-2):** Build [pattern] — [rationale]
2. **Short-term (Month 1):** Build [pattern] — [rationale]
3. **Medium-term (Month 2-3):** Build [pattern] — [rationale]

---

## Raw Data
[Link to crawl data, pattern clusters, sample pages analyzed]

保存到当前工作目录，或保存到用户指定的位置。

成本

组件	成本
每个竞争对手的站点目录（Apify）	~$0.05-0.10
每个竞争对手的 SEO 域名分析器	~$0.10-0.20
页面抓取（每种模式 3-5 页 × N 种模式）	~$0.01-0.05
DataForSEO 域名分析（增强版）	每个竞争对手 ~$0.10-0.50
分析	免费（LLM 推理）
总计（基线版，3 个竞争对手）	~$0.50-1.00
总计（增强版，3 个竞争对手）	~$0.80-2.00

所需工具

• Apify API token — APIFY_API_TOKEN 环境变量
• 上游技能： site-content-catalog、seo-domain-analyzer、fetch_webpage
• 可选（增强版）： DataForSEO（DATAFORSEO_LOGIN + DATAFORSEO_PASSWORD）、SEMrush（SEMRUSH_API_KEY）、Ahrefs（AHREFS_API_TOKEN）或 SimilarWeb（SIMILARWEB_API_KEY）

触发短语

• “竞争对手在做哪些 pSEO？”
• “逆向分析竞争对手的程序化页面”
• “分析竞争对手的 URL 结构”
• “找出我们所在领域的 pSEO 差距”
• “竞争对手有哪些对比页面？”