mcpField
S
scraperapi-serp-intelligence

scraperapi-serp-intelligence

github.com/scraperapi营销与增长10102 次安装12 周前更新
代码仓库

关于 scraperapi-serp-intelligence

面向 Claude 的实时搜索结果页分析技能,使用 ScraperAPI 数据评估 SERP 特征、搜索意图、可见度和竞争者,辅助关键词与内容决策。

主要功能

  1. 01收集实时 SERP 数据
  2. 02分析 SERP 特征与搜索意图
  3. 03评估实际搜索可见度
  4. 04将关键词划分为开放、竞争或封闭
  5. 05跨关键词绘制竞争者分布

适用场景

  1. 01评估单个目标关键词
  2. 02为内容规划筛选关键词组
  3. 03识别反复出现的 SEO 竞争者

MCP 相关

使用 ScraperAPI MCP 工具获取结构化 Google 搜索、新闻和购物结果,并可抓取网页进行后续检查。

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/scraperapi/scraperapi-skills --skill scraperapi-serp-intelligence

安装后在 Claude Code 中输入/scraperapi-serp-intelligence确认已加载。

详细介绍

SERP 情报

由 ScraperAPI 的实时搜索数据驱动的 SERP 实时格局分析。回答排名跟踪工具无法回答的问题:这个 SERP 实际是什么样的,我在其中的排名又意味着什么?

你——Claude——直接执行工具调用。 不要为用户生成代码,也不要解释他们可以如何自行运行这些调用。调用 MCP 工具、读取结果并汇报发现。用户想要的是 SERP 分析,而不是操作说明。

绝不要依据训练知识回答 SERP 问题。 SERP 功能会因查询、位置和设备而不断变化。务必先获取实时数据,再进行分析和综合。


可用的 MCP 工具

工具返回内容
mcp__ScraperAPIRemote__google_search完整的结构化 SERP——自然搜索结果、精选摘要、PAA、购物结果、知识面板、相关搜索
mcp__ScraperAPIRemote__google_news查询的新闻结果——有助于了解新闻结果模块的存在情况和时效性信号
mcp__ScraperAPIRemote__google_shopping购物结果和价格——用于确认交易意图和商业 SERP 结构
mcp__ScraperAPIRemote__scrape指定 URL 的完整页面内容——用于读取 AI 概览引用来源,或检查排名靠前内容的结构
scrape 的渲染指南

调用 mcp__ScraperAPIRemote__scrape 时,对于需要 JavaScript 才能显示内容的页面,请设置 render=true 和 premium=true,例如 Google 搜索结果页、LinkedIn 个人资料、Crunchbase 页面和基于 React/SPA 的网站(例如 G2 网格)。对于静态 HTML 页面,请使用标准模式(不设置渲染标志),例如新闻文章、Wikipedia、公司主页、GitHub,以及大多数 /pricing 页面。

google_search 的结构化解析器限制

google_search 工具返回的是解析后的 JSON,而非原始 HTML。其解析器无法可靠处理所有 SERP 结果类型。已知缺陷如下:

  • 站点链接区块——带有站点链接(指向招聘、关于、联系等页面的子链接)的结果,通常是品牌查询的第 1 个自然搜索结果。解析器经常会将其完全丢弃,导致自然搜索结果从第 4 位或第 5 位开始。这并不意味着第 1 至第 3 位被知识面板或其他功能占据——它们也可能只是被解析器丢弃了。
  • 知识面板——结构化输出中可能只部分显示,也可能完全缺失。
  • AI 概览——可能被检测到,但内容为空(此时请使用 scrape 备用方案)。

如果自然搜索结果不是从第 1 位开始,请务必对 Google 搜索 URL 进行渲染抓取,以确认首屏上方实际显示的内容:

mcp__ScraperAPIRemote__scrape  url="https://www.google.com/search?q=[url-encoded-query]"  render=true  premium=true

仔细查看返回的 HTML,找出结构化解析器遗漏的结果。切勿假定缺失的排名位置是由 SERP 功能造成的——请先核实。


核心工作流

对于每个 SERP 情报请求:

  1. 选择模式——关键词扫描(1–5 个关键词)或关键词集分析(6–20 个)。如果用户提供超过 20 个关键词,请让他们优先筛选,或按主题集群分组。
  2. 明确决策——用户想要决定什么?这将决定重点呈现哪些分析内容。
  3. 收集实时 SERP 数据——对每个关键词调用 google_search。并行执行所有调用。
  4. 解读每个 SERP——提取功能、判定意图、评估实际可见度。
  5. 综合分析——将关键词划分为开放型/竞争型/封闭型。梳理竞争对手的表现。指出内容形式。

数据采集规则

  • 并行执行 — 在同一轮回复中发出所有相互独立的 google_search 调用,不要依次调用。
  • 提高效率 — 关键词扫描每个关键词调用 1 次,另加最多 2 次后续调用。关键词集分析每个关键词调用 1 次,针对信号最强的发现另加最多 3 次后续调用。
  • 如实处理失败 — 如果 SERP 为空或功能尚未确认,请如实说明。切勿根据训练知识推断 SERP 状态。
  • 为每项数据注明来源 — 包含实际运行的精确查询。用户必须能够追溯每项结论。
  • 为每份报告标注日期 — 包含“Data collected on [date]”,让用户了解数据的新鲜度。

扫描模式

1. 关键词扫描(1–5 个关键词)

适用场景:用户提供少量具体关键词、询问单个 SERP,或希望深入了解某个查询。

数据收集:

# Run one search per keyword (run in parallel)
mcp__ScraperAPIRemote__google_search  query="[keyword 1]"
mcp__ScraperAPIRemote__google_search  query="[keyword 2]"

# If shopping signals appear in organic results, confirm with:
mcp__ScraperAPIRemote__google_shopping  query="[keyword]"

# If a news pack appears, confirm freshness signal with:
mcp__ScraperAPIRemote__google_news  query="[keyword]"

# If an AI Overview appears and citations are visible, scrape a cited source:
mcp__ScraperAPIRemote__scrape  url="[cited-source-url]"

# AI Overview fallback — if ai_box is detected but content is empty:
mcp__ScraperAPIRemote__scrape  url="https://www.google.com/search?q=[url-encoded-keyword]"  render=true  premium=true
# Parse returned HTML for AI Overview text and source citations.
# If still unrecoverable, flag as "AI Overview detected, content unconfirmed" — never assume absent.

分析:针对每个关键词,提取并评估:

SERP 中出现的功能(标记 Y/N,并注明位置):

  • AI Overview — Y/N。如果为 Y:引用了多少个来源?来源 URL 是否可见?
  • 精选摘要 — Y/N。如果为 Y:来自哪个域名?格式是什么(段落、列表、表格)?
  • People Also Ask — Y/N。如果为 Y:具体问题是什么?这些问题揭示了哪些相关意图缺口?
  • 本地信息包 — Y/N。如果为 Y:即使用户没有输入地点,也表明存在地理位置修饰意图。
  • 购物轮播 — Y/N。如果为 Y:无论查询措辞如何,都表明交易意图强烈。
  • 视频结果 — Y/N。如果为 Y:Google 更倾向于用视频回答此类意图。
  • 知识面板 — Y/N。如果为 Y:这是基于实体的查询;品牌权威性比链接更重要。
  • 新闻信息包 — Y/N。如果为 Y:新鲜度是此主题的排名因素。

自然搜索结果(前 5 条):域名、URL、标题、摘要、内容格式信号(指南、产品页、对比、定义、新闻、工具)。

意图分类 — 根据 SERP 组成判断,而非查询文本:

  • 信息型 — 用户希望了解信息
  • 交易型 — 用户希望购买或采取行动
  • 导航型 — 用户希望访问特定网站或资源
  • 商业调查型 — 用户在做决定前进行调研
  • 混合型 — Google 提供多种意图的结果;通常意味着查询含义模糊,更难获得排名

有效可见度 — 根据页面上下文,将排名转化为现实的流量预期:

  • 高 — 没有 AI Overview,也没有购物轮播。自然搜索结果排名 1–3,且位于首屏。
  • 中 — 存在较短的 AI Overview,或有一项主要功能位于自然搜索结果上方。排名 1–2 仍然可见。
  • 低 — 完整的 AI Overview 加上其他功能。自然搜索结果位于首屏以下。
  • 极低 — AI Overview 已完整回答查询,并附有出处引用。除非被引用,否则无论排名如何,这类 SERP 的自然搜索流量基本都难以获取。

输出格式:

# SERP Intelligence: [Keyword(s)]
*Data collected on [YYYY-MM-DD]*

## Decision context
[What the user is trying to decide, stated explicitly]

---

## [Keyword 1]

**Query run:** `[exact query string]`

### Raw SERP data
*Exactly as returned by the tool — no interpretation applied.*

**SERP features detected:**
| Feature | Present | Raw detail |
|---------|---------|-----------|
| AI Overview | Yes/No | [Content and citations if captured; "detected, content unconfirmed" if empty] |
| Featured snippet | Yes/No | [Exact snippet text and source URL if present] |
| People Also Ask | Yes/No | [Exact questions as shown] |
| Local pack | Yes/No | — |
| Shopping carousel | Yes/No | — |
| Video results | Yes/No | — |
| News pack | Yes/No | — |

**Organic results (as returned):**
| # | Title | URL | Snippet |
|---|-------|-----|---------|
| 1 | [exact title as shown in SERP] | [full URL] | [snippet text] |
| 2 | | | |
| 3 | | | |
| 4 | | | |
| 5 | | | |

---

### Analysis
*Claude's interpretation — clearly separated from raw results.*

#### AI Overview
[If confirmed: sources cited, content type, what earning citation likely required.
If detected but unconfirmed: note the limitation.
If absent: note that organic results are unobstructed.]

#### Intent read
**Classification:** [Informational / Transactional / Commercial investigation / Navigational / Mixed]
**Basis:** [What the SERP composition — not the query text — tells you about how Google reads this query]

#### Effective visibility
**Level:** [High / Medium / Low / Very low]
**Basis:** [Which confirmed features sit above organic and what this means for traffic at each position]

---

[Repeat for each keyword]

---

## Synthesis

### Where to focus
[Which keywords are open for organic investment vs. contested vs. effectively closed — with reasoning]

### Content format signal
[What format Google consistently favors across these keywords]

### Competitive presence
[Which domains recur across these SERPs and what that means]

## Implications
**Immediately actionable:** [Specific next step based on findings]
**Near-term:** [Content or strategy decisions for this quarter]
**To monitor:** [Signals that haven't resolved yet but are worth watching]

## Data notes
[Any queries with thin results, geo-variation warnings, or features that couldn't be confirmed from structured data alone]

2. 关键词集分析(6–20 个关键词)

适用场景:用户提供了一个主题集群、一组目标关键词,或要求全面了解内容策略的整体情况。为每个关键词提供细分分析,并综合分析整组关键词。

数据收集:

# Run all keyword queries in parallel
mcp__ScraperAPIRemote__google_search  query="[keyword 1]"
mcp__ScraperAPIRemote__google_search  query="[keyword 2]"
mcp__ScraperAPIRemote__google_search  query="[keyword 3]"
# ... (one call per keyword)

# Follow-up calls (up to 3) for the highest-signal findings:

# If shopping signals appear in organic results:
mcp__ScraperAPIRemote__google_shopping  query="[keyword]"

# If a news pack appears:
mcp__ScraperAPIRemote__google_news  query="[keyword]"

# If an AI Overview is detected and a cited source warrants deeper inspection:
mcp__ScraperAPIRemote__scrape  url="[cited-source-url]"

分析:对每个关键词采用与 Keyword Scan 相同的分析方法(功能、意图、有效可见度)。然后补充跨关键词集的综合分析:

AI 吸收率——关键词集中有多少比例会触发 AI Overviews?吸收率高意味着 AI 答案正在覆盖该主题。用户可能需要将策略从围绕这些查询创建内容,转向瞄准相邻查询,或专注于争取被引用,而非提升排名。

开放 / 竞争中 / 封闭分类:

  • 开放——SERP 干净,属于信息型意图,没有 AI Overview,且自然搜索结果采用的格式是用户可以竞争的。
  • 竞争中——自然搜索结果中已有成熟竞争对手,但没有 AI Overview 或精选摘要锁定。竞争激烈,但值得尝试。
  • 封闭——AI Overview 已完整回答查询;精选摘要由不太可能被取代的来源占据;或者 SERP 为交易型,而用户的网站不销售该产品。

竞争 SERP 地图——统计整组关键词中各域名出现的频率。出现频率最高的 3–5 个域名才是该主题真正的 SEO 竞争对手,无论传统竞争对手搜索结果中出现的是谁。

内容格式信号——Google 在整组关键词中持续倾向于哪种格式?内容格式与搜索意图不匹配,是文笔出色的内容无法获得排名的最常见原因之一。

输出格式:

# SERP Intelligence Report: [Topic / Keyword Set]
*Data collected on [YYYY-MM-DD] | [N] keywords analyzed*

## Decision context
[What the user is trying to decide]

## Keyword landscape overview

| Keyword | AI Overview | Top feature | Intent | Dominant domain | Visibility for organic |
|---------|-------------|------------|--------|-----------------|----------------------|
| [kw 1] | Yes/No | [feature] | [intent type] | [domain] | High/Med/Low/Very low |
| [kw 2] | | | | | |

## Keyword classification
**Open for organic investment:** [list]
**Contested but worth pursuing:** [list]
**Effectively closed to organic:** [list]

---

## Per-keyword SERP breakdowns
[Full breakdown for each keyword — same format as Keyword Scan output]

---

## Cross-set synthesis

### AI absorption summary
[What share of the set triggers AI Overviews, which topic areas are most absorbed, what this means for strategy]

### Competitive SERP map
| Domain | Appearances | Positions held | Featured snippets | AI Overview citations |
|--------|-------------|---------------|-------------------|----------------------|
| [domain] | [N/total] | [e.g., 1–3 across 6 keywords] | [N] | [N] |

### Content format signal
[What formats Google consistently favors — guides, product pages, comparisons, definitions, videos]

### Where the real opportunity is
[Specific keywords or sub-topics where the SERP is open and the content format is one the user can execute]

## Implications
**Immediately actionable:** [Highest-confidence next step]
**Near-term:** [Content planning decisions for this quarter]
**Strategic:** [What this keyword set tells you about the broader content territory]

## Data notes
[Anything that couldn't be confirmed, geo-variation, thin results, features that required inference]

扫描模式选择指南

用户说……模式
“分析这个关键词” / “[keyword] 的 SERP 是什么样的”Keyword Scan
“我的内容有排名,为什么还是没有流量”Keyword Scan
“[keyword] 是否被 AI Overviews 主导”Keyword Scan
“我应该围绕 [keyword] 创建内容吗”Keyword Scan
“这组关键词中,哪些值得优先考虑”Keyword Set Analysis
“这个主题集群的 SERP 格局” / “关键词格局”Keyword Set Analysis
“这些主题真正的 SEO 竞争对手是谁”Keyword Set Analysis
“对这些关键词进行全面的内容策略审计”Keyword Set Analysis

输出质量标准

  1. 每项 SERP 判断都要注明查询。 如果输出称“[keyword] 会触发 AI Overview”,必须注明产生该结果的查询。不得依据记忆或推断给出结论。
  2. 首先检查是否存在 AI Overview。 对每个关键词,在评论自然搜索排名前,先确认是否存在 AI Overview。缺少这一背景的排名信息并不完整。
  3. 根据 SERP 显示的内容判断意图,而非根据查询文本。 阅读证据——存在的功能、靠前结果采用的内容格式——然后再进行分类。不要仅凭关键词措辞猜测。
  4. 有效可见度不等同于排名。 始终根据自然搜索结果上方的功能,将排名位置转化为可见度级别。如果从业者只看到“排名第 2”,却不知道第 1 名上方有一个占满视口的 AI Overview,那么他们做决策时掌握的信息并不完整。
  5. 数据无法说明的内容应列入 Data Notes。 历史趋势、CTR、展示次数、反向链接、Core Web Vitals——这些都无法通过 SERP 抓取得出。应明确说明这一点,并指出合适的工具:使用 Search Console 查看 CTR 和展示次数,使用 Ahrefs/Semrush 查看历史排名和反向链接,使用 PageSpeed Insights 查看 CWV。
  6. 不要执行无限范围的查询。 对于超过 20 个关键词的关键词集,应请用户确定优先级。在每份报告中注明使用的关键词预算。
  7. 区分数据与解读。 明确区分工具返回的内容与 Claude 推断的内容。

评论

支持 Markdown