Commoncrawl

@pipeworx/commoncrawl

Common Crawl の公開ウェブアーカイブです。2008 年以降に URL がクロールされたすべての時点を検索し、取得時に保存された正確なページバイトを読み取れます。

Pipeworx の一部です。AI エージェントを 1875 以上の稼働中データソースに接続する MCP ゲートウェイです。これは独立した非公式インテグレーションであり、上流プロバイダーとの提携、承認、公開はありません。

ツール

• commoncrawl_crawls(limit?, contains_date?) — 月ごとのクロールコレクション （CC-MAIN-2026-34 など）と、それぞれの対象期間を返します。 contains_date を使うと、「指定した日にページを取得していた可能性があるスナップショットはどれか」がわかります。
• commoncrawl_index_search(url, crawl?, match_type?, limit?, page?, filter?, from?, to?) — URL、ホスト、またはドメイン全体を対象とした CDX インデックス検索です。取得日時、 HTTP ステータス、MIME タイプ、検出された言語、コンテンツダイジェスト、および次のツールに必要な WARC の filename、offset、length を返します。
• commoncrawl_fetch_record(filename, offset, length, max_body_bytes?) — バイト範囲で アーカイブ済みレコードを 1 件読み取ります。WARC ヘッダー、取得時の HTTP レスポンスヘッダー、クロール時のページ本文が含まれます。

認証

キーは不要です。

データソース

• https://index.commoncrawl.org/collinfo.json — クロールコレクションの一覧。
• https://index.commoncrawl.org/{crawl}-index — CDX インデックス（JSON Lines 形式）。
• <https://data.commoncrawl.org/{warc path}> — WARC レコード（HTTP Range 読み取り）。

次の人が同じことを調べ直さずに済む情報

• CDX ホストは負荷が高いと断続的に 502 を返します。 2026-09-17 に計測したところ、同じ url=example.com クエリが 1 分以内に 200 と nginx 502 を交互に返しました。 原因はクエリではなく負荷です。ccFetch は 5xx を短いバックオフを挟んで 2 回再試行します。 これがないと、呼び出し元は一時的な nginx のエラーを「Common Crawl にこの URL のレコードがない」と解釈してしまいますが、これは別の意味であり、誤った答えです。
• 「取得記録なし」は JSON ではなく、英語の文を含む 404 です。 明示的な note を付けた空の結果セットとして処理するため、captures 配列が空の場合に上流の障害と区別できなくなることはありません。
• インデックス上の各レコードは個別の gzip メンバーです。 そのため、 offset〜offset+length-1 のバイト範囲を読み取れば単独で解凍できます。WARC 全体を 1 GB ストリーミングする必要はありません。Workers ランタイムでは DecompressionStream('gzip') で処理できます。
• new TextDecoder('utf-8', { fatal: false }) は @cloudflare/workers-types に対して型チェックに通りません。TextDecoderConstructorOptions では ignoreBOM も必須です。オプションを渡さないでください。非致命的な動作がデフォルトです。
• 大規模なドメインに対する広範な match_type: "domain" クエリは上流への負荷が大きく、最初に 502 になる原因です。match_type: "host" と =status:200 などの filter を使って絞り込んでください。

関連パック

crawlgraph は、私たちがクロールするサイトを対象とした独自のリンクグラフです。このパックは Common Crawl Foundation のコーパスを読み取ります。データも問いも異なります。

クイックスタート

MCP クライアント（Claude Desktop、Cursor、Windsurf など）に追加します。

{
  "mcpServers": {
    "commoncrawl": {
      "url": "https://gateway.pipeworx.io/commoncrawl/mcp"
    }
  }
}

このエンドポイントが実際に提供するもの

https://gateway.pipeworx.io/commoncrawl/mcp の tools/list は、上の表にあるツールに加えて、Pipeworx の共有メタツールである ask_pipeworx、 discover_tools、search_within、remember／recall など、ゲートウェイ全体で利用できるツール一式を返します。そのため、表示されるツール数はこの表より多くなります。現在、単一パックのエンドポイントには、そのパック独自のツールに加えて、およそ30個の共有ツールが一覧表示されます。接続時の initialize 応答に正確な範囲が記載されており、その日の状況を確認する際の正式な情報となります。

これは意図的な設計であり、偶然の多重化ではありません。メタツールを使うと、このパックの対象外の質問にも、カタログ全体から適切なツールを選ぶ ask_pipeworx を通じて回答できます。そのため、MCP サーバーをもう1つ追加する必要はありません。現時点では、メタツールなしでパックのエンドポイントをマウントする方法はありません。追加のスキーマによって消費されるコンテキストが、ルーティングのメリットを上回る場合は、複数のパックのエンドポイントではなく、フルゲートウェイに1回接続してください。

または、Pipeworx のフルゲートウェイに接続すると、このパックのツールだけでなく、すべてのパックのツールを直接一覧表示できます。

{
  "mcpServers": {
    "pipeworx": {
      "url": "https://gateway.pipeworx.io/mcp"
    }
  }
}

どちらの URL も同じゲートウェイと同じ1875以上のデータソースにアクセスします。違いは、どのパックのツールが直接一覧表示されるかだけです。どちらの URL からも、ask_pipeworx を使ってすべてのツールにアクセスできます。

MCP クライアントがない場合：HTTP で呼び出す

curl -X POST https://gateway.pipeworx.io/v1/tools/commoncrawl_crawls \
  -H 'Content-Type: application/json' \
  -d '{"limit":3}'

最初の呼び出しにアカウントは不要です。ツールの詳細を確認するには、GET https://gateway.pipeworx.io/v1/tools/commoncrawl_crawls を使います。ツールを探すには、{"query":"..."} を指定して POST https://gateway.pipeworx.io/v1/tools/search_packs を使います。

スタンドアロン（ゲートウェイアカウント不要）

このパッケージは、ローカルの stdio MCP サーバーとしても実行できます。Pipeworx アカウントも、ゲートウェイへの往復通信も不要です。

{
  "mcpServers": {
    "commoncrawl": {
      "command": "npx",
      "args": ["-y", "@pipeworx/mcp-commoncrawl"]
    }
  }
}

または、直接実行して起動を確認できます。

npx -y @pipeworx/mcp-commoncrawl

stdin/stdout を介して MCP と通信し、このパックのツールのみを対象に initialize／tools/list／tools/call に応答します。上記のゲートウェイ接続で追加される共有メタツールは含まれません。同じソース、同じツールを使用し、ask_pipeworx によるルーティングはありません。

ask_pipeworx を使う

ツールを直接呼び出す代わりに、平易な英語で質問できます。上記のパックのエンドポイントでも、フルゲートウェイでも利用できます。

ask_pipeworx({ question: "your question about Commoncrawl data" })

ゲートウェイが適切なツールを選び、引数を自動的に設定します。

詳細

• ドキュメントとガイド
• pipeworx.io

ライセンス

MIT