Crawlbase

mcp-crawlbase

Crawlbase MCP — Crawlbase Crawling API（crawlbase.com、旧称 ProxyCrawl）をラップします。1 つのエンドポイントで、ローテーションする住宅用／データセンタープロキシ、サーバー側でのボット対策の回避（Cloudflare、DataDome、hCaptcha など）、オプションのヘッドレスブラウザーによるレンダリング、スクリーンショット、名前付きスクレーパーのライブラリを利用できます…

Pipeworx の一部です。AI エージェントを 1875 以上のライブデータソースに接続する MCP ゲートウェイです。これは独立した非公式の統合であり、上流プロバイダーとは提携、承認、公開のいずれもしていません。

ツール

ツール	説明
crawlbase_scrape	Crawlbase のローテーション住宅用プロキシを介して、サーバー側でボット対策を回避しながら、あらゆるウェブサイトをスクレイピングします（Cloudflare、DataDome、hCaptcha の認証は自動で処理されます）。ページを HTML（デフォルト）、クリーンな Markdown（format:"md" — LLM のコンテキストに最適）、またはメタデータ付き JSON エンベロープ（format:"json"）として返します。Crawlbase JavaScript トークンを _apiKey として渡すと、JavaScript を多用するページ（SPA）がレンダリングされます。Normal トークンでは高速な静的取得が行われます。例：crawlbase_scrape({ url: "https://example.com", format: "md", _apiKey: "your-crawlbase-token" })
crawlbase_screenshot	Crawlbase を介してレンダリング済みのウェブページのスクリーンショットを取得します（ヘッドレスブラウザー＋ローテーションプロキシ、ボット対策回避）。保存された screenshot_url（JPEG、リンクの有効期限は約 1 時間）とクロールのメタデータを返します。Crawlbase JavaScript トークンを _apiKey として指定する必要があります。スクリーンショットは常に実際のブラウザーでレンダリングされます。デフォルトではページ全体を取得します。mode:"viewport" と幅／高さを渡すと、範囲を指定できます。例：crawlbase_screenshot({ url: "https://example.com", _apiKey: "your-js-token" })
crawlbase_structured	名前付きの Crawlbase スクレーパーを使って、ページをクリーンな構造化 JSON としてスクレイピングします。HTML の解析は不要です。よく使われるスクレーパー名："amazon-product-details"、"amazon-serp"、"google-serp"、"facebook-page"、"facebook-profile"、"instagram-profile"、"instagram-post"、"linkedin-profile"、"linkedin-company"、"tiktok-profile"、"ebay-product"、"walmart-product-details"、"github-repository"、"generic-extractor"。完全なカタログ：https://crawlbase.com/docs/scrapers/ — ソーシャルメディアのスクレーパー（Facebook／Instagram／LinkedIn）は、JavaScript トークンを使うと最も効果的です。例：crawlbase_structured({ url: "https://www.amazon.com/dp/1098145356", scraper: "amazon-product-details", _apiKey: "your-crawlbase-token" })

クイックスタート

MCP クライアント（Claude Desktop、Cursor、Windsurf など）に追加します：

{
  "mcpServers": {
    "crawlbase": {
      "url": "https://gateway.pipeworx.io/crawlbase/mcp"
    }
  }
}

このエンドポイントが実際に提供するもの

https://gateway.pipeworx.io/crawlbase/mcp の tools/list は、上記の表にあるツールに加えて、Pipeworx 共通のメタツールである ask_pipeworx、discover_tools、search_within、remember／recall など、ゲートウェイ全体で使えるツール一式を返します。そのため、表示されるツール数はこの表より多くなります。単一パックのエンドポイントでも、現在はパック固有のツールに加えて、共通ツールが約 30 個表示されます。接続の initialize 応答には、その時点での正確な範囲が記載されており、その日の確定情報として扱えます。

これは意図的な設計であり、偶然の多重化ではありません。メタツールを使うと、このパックでは扱えない質問にも、カタログ全体にルーティングする ask_pipeworx を介して回答できます。そのため、MCP サーバーを追加する必要はありません。現時点では、メタツールなしでパックのエンドポイントをマウントする方法はありません。追加スキーマが、ルーティングの利点よりもコンテキストを多く消費する場合は、複数のパックエンドポイントではなく、フルゲートウェイに一度だけ接続してください。

または、フル Pipeworx ゲートウェイに接続すると、このパックのツールだけでなく、すべてのパックのツールが直接一覧表示されます：

{
  "mcpServers": {
    "pipeworx": {
      "url": "https://gateway.pipeworx.io/mcp"
    }
  }
}

どちらの URL も、同じゲートウェイと同じ 1875 以上のデータソースに接続します。唯一の違いは、どのパックのツールが直接一覧表示されるかです。どちらからでも ask_pipeworx を使えば、すべてのツールにアクセスできます。

MCP クライアントがない場合は、HTTP 経由で呼び出せます

このパックでは独自の API キー（_apiKey）を使用します。こちらで API キーを用意していないため、API キーなしで実行できる curl コマンドはありません。任意のツールを確認するには、GET https://gateway.pipeworx.io/v1/tools/crawlbase_scrape を使用します。ツールを探すには、{"query":"..."} を指定して POST https://gateway.pipeworx.io/v1/tools/search_packs を使用します。

スタンドアロン（ゲートウェイアカウント不要）

このパッケージは、ローカルの stdio MCP サーバーとしても実行できます。Pipeworx アカウントもゲートウェイへの往復通信も不要です。

{
  "mcpServers": {
    "crawlbase": {
      "command": "npx",
      "args": ["-y", "@pipeworx/mcp-crawlbase"]
    }
  }
}

または、直接実行して起動を確認できます。

npx -y @pipeworx/mcp-crawlbase

stdin/stdout 経由で MCP を処理し、このパックのツールのみを対象に initialize／tools/list／tools/call に応答します。上記のゲートウェイ接続で追加される共有メタツールは含まれません。同じソース、同じツールを使用し、ask_pipeworx によるルーティングはありません。

ask_pipeworx の使用方法

ツールを直接呼び出す代わりに、自然な英語で質問できます。これは上記のパックエンドポイントでも、ゲートウェイ全体でも利用できます。

ask_pipeworx({ question: "your question about Crawlbase data" })

ゲートウェイが適切なツールを選び、引数を自動的に入力します。

詳細

• ドキュメントとガイド
• pipeworx.io

ライセンス

MIT