Crawlgraph

mcp-crawlgraph

CrawlGraph MCP — 公開 Common Crawl ウェブグラフ上のバックリンクインテリジェンス

Pipeworx の一部です — AI エージェントを1679以上の稼働中のデータソースに接続するMCPゲートウェイです。

ツール

ツール	説明
crawlgraph_backlinks	Common Crawl ウェブグラフ（44億エッジ、1億2000万ドメイン）から、対象ドメインへの参照元ドメインを取得します。CrawlGraph のオーソリティに基づいてリンク元ドメインをランク付けして返します。SEO 監査、競合のバックリンクプロファイル、リンク構築のギャップ調査、ブランドを引用しているサイトの確認に役立ちます。1回の呼び出しでクォータを1つ消費します。
crawlgraph_gap_analysis	バックリンクギャップ分析：競合にはリンクしているものの、自社にはリンクしていないドメインを見つけます。自社ドメインと競合ドメイン1～5件を指定すると、CrawlGraph が非同期ジョブを実行します（通常は数秒で完了しますが、プロファイルが大きい場合は時間がかかります）。このツールは最大約10秒間ポーリングし、ギャップの全リストを返すか、まだ実行中の場合は job_id を返します。後者の場合は crawlgraph_gap_status で再開できます。ジョブの送信時にギャップ分析のクォータを消費します。
crawlgraph_gap_outreach_targets	効果的なアプローチ先の抽出：ギャップ分析の結果から、指定したすべての競合にはリンクしているものの、自社にはリンクしていないドメインのみを抽出します。対象セット内のすべての競合にリンクしているため、トピックとオーディエンスが検証済みの、確度の高いアプローチ候補です。crawlgraph_gap_analysis と同じ非同期パターンです（最大約10秒間ポーリングし、まだ実行中の場合は job_id を返します）。ギャップ分析のクォータを1回分消費します。
crawlgraph_gap_status	送信済みのギャップ分析ジョブをIDでポーリングします。crawlgraph_gap_analysis または crawlgraph_gap_outreach_targets が status=pending と job_id を返した場合に使用します。同じ job_id を指定して呼び出すと、status=completed になった時点で結果を取得できます。読み取り専用で、クォータは消費しません。
crawlgraph_releases	CrawlGraph がインデックス化した Common Crawl リリースを一覧表示します（バックリンクの release_id として使用します）。無料で、クォータを消費しません。
crawlgraph_domain_changes	あるドメインの参照元ドメインを四半期ごとに比較し、2つの Common Crawl リリース間で追加または失われたドメインを示します。リンク切れ、急増（PR での掲載）、アウトリーチキャンペーンの効果測定に役立ちます。バックリンクのクォータを1回分消費します。

クイックスタート

MCP クライアント（Claude Desktop、Cursor、Windsurf など）に追加します。

{
  "mcpServers": {
    "crawlgraph": {
      "url": "https://gateway.pipeworx.io/crawlgraph/mcp"
    }
  }
}

このエンドポイントが実際に提供するもの

https://gateway.pipeworx.io/crawlgraph/mcp の tools/list は、上の表にあるツールに加えて、共有 Pipeworx メタツール（ask_pipeworx、discover_tools、search_within、remember／recall など、ゲートウェイ全体で使えるツール群）も返します。そのため、表示されるツール数はこの表より多くなります。現在、単一パックのエンドポイントには、そのパック独自のツールと合わせて約30個の共有ツールが一覧表示されます。接続の initialize レスポンスには正確な範囲が記載されており、日ごとの最新情報として信頼できます。

これは意図的な設計であり、偶然の多重化ではありません。メタツールを使うと、このパックで対応していない質問にも、カタログ全体を横断してルーティングする ask_pipeworx を通じて回答できます。MCP サーバーを追加する必要はありません。現時点では、メタツールを含めずにパックのエンドポイントをマウントする方法はありません。追加のスキーマで消費するコンテキスト量がルーティングの利便性に見合わない場合は、複数のパックエンドポイントではなく、フルゲートウェイに一度接続してください。

または、Pipeworx のフルゲートウェイに接続すると、このパックだけでなく、すべてのパックのツールが直接一覧表示されます。

{
  "mcpServers": {
    "pipeworx": {
      "url": "https://gateway.pipeworx.io/mcp"
    }
  }
}

どちらのURLも、同じゲートウェイと同じ1679以上のデータソースに接続します。違いは、どのパックのツールが直接一覧表示されるかだけです。どちらに接続しても、ask_pipeworx からすべてのツールにアクセスできます。

MCP クライアントがない場合：HTTP で呼び出す

このパックでは、ご自身の API キー（_apiKey）が必要です。こちらではキーを代行して提供していないため、キーなしで実行できる curl の例はありません。ツールを確認するには、GET https://gateway.pipeworx.io/v1/tools/crawlgraph_backlinks を使用してください。ツールを検索するには、{"query":"..."} を指定して POST https://gateway.pipeworx.io/v1/tools/search_packs を使用してください。

スタンドアロン（ゲートウェイアカウント不要）

このパッケージはローカルの stdio MCP サーバーとしても実行でき、Pipeworx アカウントやゲートウェイとの往復通信は不要です。

{
  "mcpServers": {
    "crawlgraph": {
      "command": "npx",
      "args": ["-y", "@pipeworx/mcp-crawlgraph"]
    }
  }
}

または、直接実行して起動することを確認できます。

npx -y @pipeworx/mcp-crawlgraph

標準入力／標準出力を介して MCP で通信し、initialize／tools/list／tools/call に対して、このパックのツールのみを使って応答します。上記のゲートウェイ接続で追加される共有メタツールは含まれません。同じソース、同じツールで、ask_pipeworx によるルーティングはありません。

ask_pipeworx を使う

ツールを直接呼び出す代わりに、自然な英語で質問できます。これは上記のパックのエンドポイントでも、完全なゲートウェイでも利用できます。

ask_pipeworx({ question: "your question about Crawlgraph data" })

ゲートウェイが適切なツールを選択し、引数を自動的に入力します。

詳細

• ドキュメントとガイド
• pipeworx.io

ライセンス

MIT