Scrapingdog

mcp-scrapingdog

Scrapingdog MCP — Scrapingdog（scrapingdog.com）をラップする、プロキシベースのウェブ

Pipeworx の一部です — AI エージェントを1683以上のライブデータソースに接続するMCPゲートウェイです。

ツール

ツール	説明
scrapingdog_scrape	Scrapingdogのローテーションプロキシを通して任意のウェブサイトをスクレイピングし、そのコンテンツを返します。デフォルトではHTMLを返しますが、format:"markdown"を指定すると、LLMに渡すのに最適なクリーンなMarkdownを返します。SPAや動的ページでヘッドレスブラウザー上のJavaScriptを実行するにはdynamic:trueを設定します（1ではなく5クレジットを消費します）。スクレイピングが難しいサイトにはpremium:trueを設定します（住宅用プロキシ、10クレジット）。countryを指定するとプロキシの位置を指定できます。例：scrapingdog_scrape({ url: "https://example.com", format: "markdown", dynamic: true, _apiKey: "your-key" })
scrapingdog_google_search	Google SERP API — Scrapingdog経由でGoogle検索を実行し、構造化された結果を取得します。解析済みのオーガニック検索結果（タイトル、リンク、スニペット）、関連検索、「他の人はこちらも質問」の質問が含まれます。検索1回につき5クレジットを消費します。例：scrapingdog_google_search({ query: "best running shoes 2026", country: "us", _apiKey: "your-key" })
scrapingdog_amazon_product	Scrapingdog経由でASINからAmazonの商品データを取得します。タイトル、価格、評価、レビュー数、在庫状況、特徴の箇条書き、画像を解析済みJSONとして返します。asin（例："B0BFC7WQ6R"）またはAmazon商品の完全なurlを渡します。例：scrapingdog_amazon_product({ asin: "B0BFC7WQ6R", domain: "com", _apiKey: "your-key" })

クイックスタート

MCP クライアント（Claude Desktop、Cursor、Windsurfなど）に追加します：

{
  "mcpServers": {
    "scrapingdog": {
      "url": "https://gateway.pipeworx.io/scrapingdog/mcp"
    }
  }
}

このエンドポイントが実際に提供するもの

https://gateway.pipeworx.io/scrapingdog/mcp の tools/list は、上の表のツールに加えて、Pipeworx共通のメタツールである ask_pipeworx、 discover_tools、search_within、remember／recall など、ゲートウェイ全体で利用できるツール一式を返します。そのため、表示されるツール数はこの表より多くなります。現在、単一パックのエンドポイントには、そのパック独自のツールに加えて、共通ツールが約30個表示されます。接続の initialize レスポンスには正確な範囲が記載されており、特定の日における正式な情報源となります。

これは意図的な設計であり、誤って多重化しているわけではありません。メタツールを使うと、このパックが扱わない質問にも、カタログ全体を対象にルーティングする ask_pipeworx 経由で回答できます。そのためにMCPサーバーをもう1つ追加する必要はありません。現時点では、メタツールなしでパックのエンドポイントを接続する方法はありません。追加のスキーマがルーティングの利点を上回るほどコンテキストを消費する場合は、複数のパックエンドポイントではなく、フルゲートウェイに一度だけ接続してください。

また、こちらのパックのツールだけでなく、すべてのパックのツールを直接一覧表示するには、Pipeworxのフルゲートウェイに接続します：

{
  "mcpServers": {
    "pipeworx": {
      "url": "https://gateway.pipeworx.io/mcp"
    }
  }
}

どちらのURLも、同じゲートウェイと同じ1683以上のデータソースに接続します。異なるのは、どのパックのツールが直接一覧表示されるかだけです。どちらからでも、ask_pipeworx を使ってすべてのツールにアクセスできます。

MCP クライアントがない場合：HTTP経由で呼び出す

このパックでは独自のAPIキー（_apiKey）を使います。こちらでAPIキーを用意していないため、キーなしで実行できるcurlコマンドはありません。ツールを確認するには、GET https://gateway.pipeworx.io/v1/tools/scrapingdog_scrape を実行します。ツールを探すには、POST https://gateway.pipeworx.io/v1/tools/search_packs に {"query":"..."} を指定します。

スタンドアロン（ゲートウェイアカウント不要）

このパッケージは、ローカルのstdio MCPサーバーとしても実行できます。Pipeworxアカウントも、ゲートウェイを経由する通信も不要です：

{
  "mcpServers": {
    "scrapingdog": {
      "command": "npx",
      "args": ["-y", "@pipeworx/mcp-scrapingdog"]
    }
  }
}

または、直接実行して起動を確認します：

npx -y @pipeworx/mcp-scrapingdog

stdin/stdout経由でMCPを使用し、initialize／tools/list／tools/call に対して、このパックのツールのみを返します。上記のゲートウェイ接続で追加される共通メタツールは含まれません。同じソース、同じツールで、ask_pipeworxによるルーティングはありません。

ask_pipeworx を使う

ツールを直接呼び出す代わりに、自然な英語で質問できます。この機能は、上記のパックエンドポイントでもフルゲートウェイでも利用できます：

ask_pipeworx({ question: "your question about Scrapingdog data" })

ゲートウェイが適切なツールを選び、引数を自動的に入力します。

More

• Docs and guides
• pipeworx.io

License

MIT