Scrapingbee

mcp-scrapingbee

ScrapingBee MCP — ScrapingBee のヘッドレススクレイピング API（scrapingbee.com）をラップします

Pipeworx の一部です。AI エージェントを 1683 以上のライブデータソースに接続する MCP ゲートウェイです。

ツール

ツール	説明
scrapingbee_scrape	ScrapingBee を通じて任意のウェブページを取得してレンダリングし、結果の HTML を返します（ヘッドレスブラウザー＋プロキシローテーション）。JavaScript を多用するサイト、位置情報、広告ブロックに対応します。例：scrapingbee_scrape({ url: "https://example.com", render_js: true, _apiKey: "your-key" })
scrapingbee_ai_extract	ScrapingBee の AI を使用してウェブページから構造化データを抽出します。自然言語の質問またはフィールドの説明を ai_query で渡すと、構造化 JSON が返されます。例：scrapingbee_ai_extract({ url: "https://example.com/product", ai_query: "product name and price", _apiKey: "your-key" })
scrapingbee_google	ScrapingBee の Google SERP API を通じて Google 検索結果をスクレイピングします。オーガニック検索結果、AI による概要、ローカル検索結果、関連検索などを含む構造化 JSON を返します。例：scrapingbee_google({ search: "best coffee grinder", country_code: "us", _apiKey: "your-key" })

クイックスタート

MCP クライアント（Claude Desktop、Cursor、Windsurf など）に追加します。

{
  "mcpServers": {
    "scrapingbee": {
      "url": "https://gateway.pipeworx.io/scrapingbee/mcp"
    }
  }
}

このエンドポイントが実際に提供するもの

https://gateway.pipeworx.io/scrapingbee/mcp の tools/list は、上記の表にあるツールに加えて、共有 Pipeworx メタツールである ask_pipeworx、 discover_tools、search_within、remember／recall など、ゲートウェイ全体で利用できるツール群も返します。そのため、表示されるツール数はこの表より多くなります。現在、単一パックのエンドポイントには、そのパック固有のツールとあわせて、共有ツールがおよそ 30 個表示されます。接続時の initialize レスポンスに正確な範囲が示されており、その日の情報としてはこれが正式なものです。

これは意図的な仕様であり、偶発的な多重化ではありません。メタツールを使うと、このパックで対応していない質問にも ask_pipeworx を通じてカタログ全体から回答できるため、MCP サーバーを追加する必要がありません。現時点では、メタツールなしでパックのエンドポイントをマウントする方法はありません。追加のスキーマによるコンテキストのコストがルーティングの価値を上回る場合は、複数のパックエンドポイントではなく、フルゲートウェイに一度接続してください。

または、Pipeworx フルゲートウェイに接続すると、このパックのツールだけでなく、すべてのパックのツールが直接一覧表示されます。

{
  "mcpServers": {
    "pipeworx": {
      "url": "https://gateway.pipeworx.io/mcp"
    }
  }
}

どちらの URL も、同じゲートウェイと同じ 1683 以上のデータソースに接続します。異なるのは、どのパックのツールが直接一覧表示されるかだけです。どちらからでも、ask_pipeworx ですべてのツールを利用できます。

MCP クライアントがない場合：HTTP 経由で呼び出す

このパックではご自身の API キー（_apiKey）を使用します。こちらでは API キーを代わりに用意していないため、キーなしで実行できる curl コマンドはありません。ツールの詳細を確認するには GET https://gateway.pipeworx.io/v1/tools/scrapingbee_scrape を実行してください。ツールを検索するには {"query":"..."} を指定して POST https://gateway.pipeworx.io/v1/tools/search_packs を実行してください。

スタンドアロン（ゲートウェイアカウント不要）

このパッケージはローカルの stdio MCP サーバーとしても動作します。Pipeworx アカウントは不要で、ゲートウェイへのラウンドトリップもありません。

{
  "mcpServers": {
    "scrapingbee": {
      "command": "npx",
      "args": ["-y", "@pipeworx/mcp-scrapingbee"]
    }
  }
}

または、直接実行して起動することを確認できます。

npx -y @pipeworx/mcp-scrapingbee

stdin/stdout 経由で MCP を使用し、initialize／tools/list／tools/call に対して、このパックのツールのみを返します。上記のゲートウェイ接続で追加される共有メタツールは含まれません。同じソース、同じツールで、ask_pipeworx によるルーティングはありません。

ask_pipeworx を使う

ツールを直接呼び出す代わりに、自然な英語で質問できます。これは上記のパックエンドポイントでも、フルゲートウェイでも利用できます。

ask_pipeworx({ question: "your question about Scrapingbee data" })

ゲートウェイが適切なツールを選び、引数を自動的に設定します。

詳細

• ドキュメントとガイド
• pipeworx.io

ライセンス

MIT