Sitemap Stats

@pipeworx/sitemap-stats

ドメインのサイトマップを読み込み、コンテンツではなく構造を報告します。パスプレフィックスごとの URL 数を集計します。これにより、一般的なサイトとプログラムで生成されたコンテンツファームを区別できます（コンテンツファームでは、URL の大部分が 1 つか 2 つのパスプレフィックスに集中します）。

Pipeworx の一部です。AI エージェントを 1683+ の稼働中データソースに接続する MCP ゲートウェイです。

ツール

• sitemap_stats({ domain, max_urls? }) — ドメインのサイトマップを解決します （robots.txt の Sitemap: ディレクティブを使用し、見つからない場合は /sitemap.xml、次に /sitemap_index.xml にフォールバックします）。サイトマップインデックスのネストを 1 階層たどり、 total_urls、sitemap_count、パスプレフィックスの上位 20 件のヒストグラム （それぞれ count と share を含む top_prefixes）、通常のサイトと生成サイトを区別する 単一の数値である top_prefix_share、および存在する場合は lastmod_min／lastmod_max を返します。 読み取る URL の合計数には上限があり（デフォルトは 150,000、max_urls で指定できる上限は 500,000）、 上限に達して早期に終了する場合は必ず capped: true と cap_reason を設定するため、 読み取りが途中で切れても小規模なサイトに見えることはありません。サイトマップがないドメインには エラーではなく、found: false と reason を返します。

認証

キーは不要です。ベンダーもキーも必要ありません。

データソース

• 対象ドメイン自身の robots.txt とサイトマップ XML ファイルを、呼び出しのたびにライブで読み取ります。 コピーではなく、直接パススルーします。

構築中に見つかった落とし穴

• サイトマッププロトコルでは、1 ファイルあたりの URL 数は 50,000 件までに制限されています。そのため、 実際には複数ファイルを使うサイトが一般的です。このツールは <sitemapindex> を 1 階層たどって 子の <sitemap> ファイルを読み込みますが、それ以上は再帰しません （インデックスがさらにインデックスを参照する構成は標準外で、まれです）。
• 静的ファイルとして配信される生の .xml.gz には Content-Encoding: gzip ヘッダーが付かないため、 ランタイムの自動展開は実行されません。URL が .gz で終わる場合、またはレスポンスの content-type に gzip が含まれる場合は、Workers ネイティブの DecompressionStream('gzip') で 手動展開します。
• URL の上限はファイルごとではなく、すべてのファイルから読み取る URL の合計に適用されます。 上限に達した場合はファイル全体をスキップせず、ファイルの途中で処理を止めます。そのため、 上限に達した場合の total_urls は常に実際に読み取った件数であり、それより少ない数が 気付かれないまま返されることはありません。
• 仕様では robots.txt の Sitemap: 行は絶対 URL であることが想定されていますが、 実際には必ずしもそうとは限りません。相対 URL はドメインのオリジンを基準に解決します。

クイックスタート

MCP クライアント（Claude Desktop、Cursor、Windsurf など）に追加します。

{
  "mcpServers": {
    "sitemap-stats": {
      "url": "https://gateway.pipeworx.io/sitemap-stats/mcp"
    }
  }
}

このエンドポイントが実際に提供するもの

https://gateway.pipeworx.io/sitemap-stats/mcp の tools/list は、上の表に記載されたツールに加えて、 Pipeworx 共通のメタツール（ask_pipeworx、discover_tools、search_within、 remember／recall など、ゲートウェイ全体で使えるツール）も返します。そのため、表示される ツール数はこの表より多くなります。現在、単一パックのエンドポイントには、そのパック独自のツールと 並んで、共通ツールが約 30 個表示されます。接続の initialize レスポンスには正確な対象範囲が 示され、その日についての確定情報となります。

これは意図的な仕様であり、偶然の多重化ではありません。メタツールを使えば、このパックが扱わない 質問にも、カタログ全体を横断してルーティングする ask_pipeworx を通じて回答できます。 MCP サーバーをもう 1 つ追加する必要はありません。現在、これらのメタツールなしでパックの エンドポイントをマウントする方法はありません。追加のスキーマが、ルーティングによる利点以上に コンテキストを消費する場合は、複数のパックエンドポイントに接続するのではなく、 Pipeworx のフルゲートウェイに一度だけ接続してください。

このパックのツールだけでなく、すべてのパックのツールを直接一覧表示するには、 Pipeworx のフルゲートウェイに接続してください。

{
  "mcpServers": {
    "pipeworx": {
      "url": "https://gateway.pipeworx.io/mcp"
    }
  }
}

どちらの URL も同じゲートウェイと同じ 1683+ のデータソースに接続します。違いは、どのパックの ツールが直接一覧表示されるかだけです。ask_pipeworx を使えば、どちらからでもすべてのツールに アクセスできます。

MCP クライアントがない場合は、HTTP 経由で呼び出す

curl -X POST https://gateway.pipeworx.io/v1/tools/sitemap_stats \
  -H 'Content-Type: application/json' \
  -d '{"domain":"gitnux.org"}'

最初の呼び出しにアカウントは不要です。任意のツールを確認するには、GET https://gateway.pipeworx.io/v1/tools/sitemap_stats を実行します。ツールを探すには、{"query":"..."} を指定して POST https://gateway.pipeworx.io/v1/tools/search_packs を実行します。

スタンドアロン（ゲートウェイアカウント不要）

このパッケージは、ローカルの stdio MCP サーバーとしても動作します。Pipeworx アカウントもゲートウェイ経由の通信も不要です。

{
  "mcpServers": {
    "sitemap-stats": {
      "command": "npx",
      "args": ["-y", "@pipeworx/mcp-sitemap-stats"]
    }
  }
}

または、直接実行して起動を確認できます。

npx -y @pipeworx/mcp-sitemap-stats

stdin/stdout 経由で MCP を使用し、initialize／tools/list／tools/call に応答します。対象はこのパックのツールのみで、上記のゲートウェイ接続で追加される共有メタツールはありません。同じソース、同じツールで、ask_pipeworx によるルーティングもありません。

ask_pipeworx を使用する

ツールを直接呼び出す代わりに、自然な英語で質問できます。これは上記のパックエンドポイントでも、ゲートウェイ全体でも利用できます。

ask_pipeworx({ question: "your question about Sitemap Stats data" })

ゲートウェイが適切なツールを選び、引数を自動的に入力します。

詳細

• ドキュメントとガイド
• pipeworx.io

ライセンス

MIT