Crawlgraph

mcp-crawlgraph

CrawlGraph MCP——基于公开 Common Crawl 网络图的反向链接情报

隶属于 Pipeworx——一个将 AI Agent 连接到 1679+ 个实时数据源的 MCP 网关。

工具

工具	描述
crawlgraph_backlinks	从 Common Crawl 网络图（44 亿条边、1.2 亿个域名）获取指向目标域名的引荐域名。返回按 CrawlGraph 权威度排名的链接域名，适用于 SEO 审核、竞争对手反向链接概况分析、链接建设差距研究，以及验证哪些网站引用了某个品牌。每次调用消耗 1 个配额点。
crawlgraph_gap_analysis	反向链接差距分析：找出链接到竞争对手、但没有链接到你的域名。提交你的域名和 1–5 个竞争对手域名后，CrawlGraph 会运行一个异步任务（通常数秒内完成；对于大型概况需要更长时间）。此工具最多轮询约 10 秒，随后返回完整的差距列表；如果任务仍在运行，则返回 job_id，以便通过 crawlgraph_gap_status 继续查询。提交任务时会计入差距分析配额。
crawlgraph_gap_outreach_targets	高效拓展外联目标：筛选 gap_analysis 结果，只保留那些链接到你列出的每一个竞争对手、但没有链接到你的域名。这些是最有把握的外联目标——列表中的每个竞争对手都有该链接，因而主题和受众已得到验证。异步模式与 crawlgraph_gap_analysis 相同（最多轮询约 10 秒；如果任务仍在运行，则返回 job_id）。计为 1 次差距分析配额调用。
crawlgraph_gap_status	按 ID 轮询此前提交的差距分析任务。当 crawlgraph_gap_analysis 或 crawlgraph_gap_outreach_targets 返回 status=pending 和 job_id 时，使用相同的 job_id 调用此工具，以便在状态变为 status=completed 后获取结果。只读；不消耗配额。
crawlgraph_releases	列出 CrawlGraph 已编入索引的 Common Crawl 版本（在 backlinks 中用作 release_id）。免费；不计入配额。
crawlgraph_domain_changes	比较某个域名的引荐域名季度变化——在两个 Common Crawl 版本之间新增或丢失了哪些域名。适用于发现链接失效、突增（公关报道）以及分析外联活动成效。计为反向链接配额的 1 次调用。

快速开始

添加到你的 MCP 客户端（Claude Desktop、Cursor、Windsurf 等）：

{
  "mcpServers": {
    "crawlgraph": {
      "url": "https://gateway.pipeworx.io/crawlgraph/mcp"
    }
  }
}

此端点实际提供的内容

https://gateway.pipeworx.io/crawlgraph/mcp 上的 tools/list 会返回上表中的工具， 以及 Pipeworx 共享元工具——ask_pipeworx、 discover_tools、search_within、remember/recall，以及网关全局工具集中的其他工具。 因此，你看到的工具数量会多于本表：目前，单一工具包端点会在该工具包自身的工具之外，列出大约 30 个共享工具。连接的 initialize 响应会说明其确切范围，并且是当天实际情况的权威信息。

这是有意如此，并非意外复用。这些元工具可以让受限连接通过 ask_pipeworx 跨整个目录进行路由，从而回答此工具包未涵盖的问题，而无需你再添加第二个 MCP 服务。目前无法挂载不含这些元工具的工具包端点；如果额外的架构定义消耗的上下文超过了路由功能带来的价值，请只连接一次完整网关，而不要连接多个工具包端点。

你也可以连接完整的 Pipeworx 网关，直接列出所有工具包的工具， 而不只是当前工具包的工具：

{
  "mcpServers": {
    "pipeworx": {
      "url": "https://gateway.pipeworx.io/mcp"
    }
  }
}

两个 URL 都连接到同一个网关和相同的 1679+ 个数据源。唯一的区别是，哪个工具包的工具会被直接列出；从任一端点调用 ask_pipeworx 都可以访问所有工具。

没有 MCP 客户端？通过 HTTP 调用

此工具包需要你自己的 API 密钥（_apiKey）——我们不会为它代为提供，因此这里没有不带密钥也能运行的 curl 命令。检查任意工具：GET https://gateway.pipeworx.io/v1/tools/crawlgraph_backlinks。查找工具：使用 {"query":"..."} 向 POST https://gateway.pipeworx.io/v1/tools/search_packs 发送请求。

独立运行（无需 gateway 账号）

此软件包也可作为本地 stdio MCP 服务运行，无需 Pipeworx 账号，也无需经过网关往返：

{
  "mcpServers": {
    "crawlgraph": {
      "command": "npx",
      "args": ["-y", "@pipeworx/mcp-crawlgraph"]
    }
  }
}

或者直接运行，确认它可以启动：

npx -y @pipeworx/mcp-crawlgraph

它通过 stdin/stdout 使用 MCP 通信，并响应 initialize/tools/list/tools/call，仅提供此软件包中的工具，不包含上方网关连接额外提供的任何共享元工具。使用相同的源代码和工具，无需 ask_pipeworx 路由。

使用 ask_pipeworx

你可以用通俗的英语提问，而不是直接调用工具——这既适用于上方的软件包端点，也适用于完整网关：

ask_pipeworx({ question: "your question about Crawlgraph data" })

网关会选择合适的工具并自动填入参数。

更多信息

• 文档和指南
• pipeworx.io

许可证

MIT