Scrapingdog

Scrapingdog MCP Server

Scrapingdog API 向けの Model Context Protocol サーバーです。https://mcp.scrapingdog.com/mcp でホストされています。

AI アシスタントに、Google の検索結果ページ、Maps、News、Shopping、Lens、Amazon、LinkedIn、YouTube、X、Walmart、eBay、スクリーンショット、汎用スクレイパーなど、ウェブの最新データを取得する 35 個のツールを提供します。それぞれ、対応する Scrapingdog エンドポイントを利用します。

インストールは不要です。クライアントで URL を指定し、ご自身の API キーを送信してください。

接続

Scrapingdog ダッシュボードで API キーを取得してから、次の手順を実行します。

Claude Code

claude mcp add --transport http scrapingdog https://mcp.scrapingdog.com/mcp \
  --header "Authorization: Bearer YOUR_API_KEY"

Cursor / Windsurf / mcp.json を使用する任意のクライアント

{
  "mcpServers": {
    "scrapingdog": {
      "url": "https://mcp.scrapingdog.com/mcp",
      "headers": { "Authorization": "Bearer YOUR_API_KEY" }
    }
  }
}

claude.ai — Settings → Connectors → Add custom connector を開き、URL https://mcp.scrapingdog.com/mcp、認証方式「API key」を選択し、キーを貼り付けます。

手動で確認する

curl -s https://mcp.scrapingdog.com/mcp \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -H "Accept: application/json, text/event-stream" \
  -d '{"jsonrpc":"2.0","id":1,"method":"tools/list"}'

呼び出し料金は送信したキーに請求され、REST API と同じクレジット数がかかります。各ツールの説明に料金が記載されています。

仕組み

MCP client ──Authorization: Bearer <key>──> mcp.scrapingdog.com ──api_key=<key>──> api.scrapingdog.com

このサーバーはステートレスです。リクエストごとに、そのリクエストで送信されたキーから MCP サーバーとトランスポートを構築し、レスポンスを返す際に破棄します。1 つのプロセスでセッションマップを使わずに複数の顧客にサービスを提供するため、キーがリクエストの処理後も残ることはなく、別の呼び出し元のセッションに漏れることもありません。npm run smoke は、ほかの項目とともに、これを正確に検証します。

キーは Scrapingdog 独自の /account エンドポイントで検証されます（ユーザーキーとチームメンバーキーを解決でき、クレジットは消費しません）。検証結果は短時間キャッシュされます。この確認にアクセスできない場合も、リクエストは通過させます。API 自体が各ツール呼び出しでキーを検証するためです。検証サービスの障害で MCP のすべての機能が停止してはなりません。このサービスでデータベースの認証情報が必要になることはありません。

構成

パス	内容
src/endpoints.ts	35 個のエンドポイントを宣言します。API を追加するには、ここにオブジェクトを 1 つ追加するだけです。ハンドラーコードは不要です。
src/server.ts	MCP サーバーを構築し、レジストリから各ツールのスキーマを生成します
src/client.ts	api.scrapingdog.com 用の HTTP クライアントです
src/auth.ts	API キーの検証とキャッシュを行います
src/http.ts	ホスト環境向けのエントリーポイント（Streamable HTTP）です
src/index.ts	ローカル開発専用の stdio エントリーポイントです
deploy/nginx/	mcp.scrapingdog.com の vhost です
ecosystem.config.cjs	pm2 アプリの定義です
scripts/smoke.mjs	スタブ API に対するデプロイ前チェックです

ローカル開発

npm ci
npm run build
npm run smoke          # stubs the API: no key needed, no credits spent

npm run dev            # the HTTP server on http://127.0.0.1:8731/mcp
SCRAPINGDOG_API_KEY=... npm run dev:stdio   # stdio, for poking at one tool

対話形式で確認するには、次を実行します。

npx @modelcontextprotocol/inspector
# transport: Streamable HTTP, url: http://127.0.0.1:8731/mcp,
# header: Authorization: Bearer <your key>

設定は .env.example にあります。

デプロイ

このサーバーは API サーバーとは別の専用サーバーで実行されるため、ここで問題が起きても api.scrapingdog.com には影響しません。

初回、Ubuntu の新規サーバーでの手順：

git clone https://github.com/Darshan972/Scrapingdog-mcp.git ~/Scrapingdog-mcp
cd ~/Scrapingdog-mcp && bash deploy/setup-server.sh

これにより、Node（.nvmrc に指定されたバージョン）、pm2、nginx、vhost がインストールされ、アプリがビルドおよび起動されます。また、ファイアウォールを開き、TLS 証明書を発行します。DNS がまだこのサーバーを指していない場合は、明確なメッセージを表示して証明書の発行をスキップします。安全に再実行できます。

以降は、main へのプッシュごとに、型チェック、ビルド、スモークテストが実行され、すべて成功した後に pm2 reload でデプロイされます（.github/workflows/deploy.yml）。リポジトリシークレットが 3 つ必要です。 MCP_SERVER_HOST、MCP_SERVER_USER、MCP_SSH_PRIVATE_KEY。

デプロイのヘルスチェックでは、/healthz が 200 を返すことおよび認証なしの POST /mcp が 401 を返すことが求められます。そのため、ゲートウェイを誤って開放するデプロイは、成功扱いにならず失敗します。

アプリは 127.0.0.1 にバインドされるため、nginx 経由でのみアクセスできます。公開サーバーでは変更しないでください。キーの確認はこのプロセス内で行われるため、ポートを公開すると API へのオープンプロキシになってしまいます。

ライセンス

MIT