ScrapingBot

ScrapingBot

公開ウェブデータを1つのAPIキーで取得： あらゆるページ（通常ページまたはJavaScriptでレンダリングされたページ）をスクレイピングし、AIで項目を抽出して、公開されているTikTok、Instagram、Google、AmazonのデータをJSONで取得できます。ホスト型MCPサーバーを使えば、AIエージェントも同じデータをツールとして利用できます。

登録すると無料クレジットが100付与されます。クレジットカードは不要です。 APIキーを取得

ドキュメント · 料金 · MCP サーバー · サンプル · エージェントスキル

---

クイックスタート

export SCRAPINGBOT_API_KEY="YOUR_API_KEY"

curl "https://scrapingbot.io/api/v1/scrape?url=https://example.com" \
  -H "x-api-key: $SCRAPINGBOT_API_KEY"

{
  "success": true,
  "url": "https://example.com",
  "html": "<!doctype html><html lang=en><head>…",
  "status": 200,
  "duration": "0.79",
  "credits_used": 1,
  "job_id": "…"
}

この呼び出しにかかった費用は1クレジットです。失敗したリクエストは自動的に返金されます。

ベースURL： https://scrapingbot.io/api/v1 認証： x-api-key: YOUR_API_KEY ヘッダー（または Authorization: Bearer YOUR_API_KEY）。キーはサーバー側で管理してください。

エンドポイント

データAPI（TikTok、Instagram、Google、Amazon）はすべて、endpoint と params を指定したJSON本文を送る POST リクエストです。

curl -X POST "https://scrapingbot.io/api/v1/tiktok" \
  -H "x-api-key: $SCRAPINGBOT_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"endpoint": "/user/info", "params": {"unique_id": "tiktok"}}'

API	ルート	endpoint の値	クレジット
Website	GET または POST /api/v1/scrape	1つのルート。オプション：render_js、screenshot、js_scenario、wait_for、premium_proxy、stealth_proxy、…	通常ページ：1 · レンダリングあり：5 · プレミアムプロキシ：10 · ステルスプロキシ：75
AI抽出	/api/v1/scrape + ai_query または ai_schema	ai_result JSONを返します	ページ料金に加えて5
ジョブの照会	GET /api/v1/job/:job_id	スクレイピング結果を再取得します（24時間保持）	無料
TikTok	POST /api/v1/tiktok	/（動画）、/user/info、/user/posts、/user/followers、/user/following、/user/search、/feed/search、/music/info、/music/posts、/comment/list、/comment/reply	1
Instagram	POST /api/v1/instagram	/user/by_username、/user/by_id、/medias/by_user_id、/reels/by_user_id、/medias/tagged_by_user_id、/stories/by_username、/followers/by_user_id、/following/by_user_id、/media/by_shortcode、/media/by_url、/comments/media_comments_by_id、/comments/replies、/search/users_by_keyword、/search/hashtags_by_keyword、/search/places_by_keyword、/search/global、/search/posts、/media/shortcode_to_id、/media/id_to_shortcode	5
Google	POST /api/v1/google	/search、/images、/videos、/news、/shopping、/places、/maps、/reviews	10
Amazon	POST /api/v1/amazon	/search、/product-details、/products（ASINを最大20件）、/autocomplete、/best-sellers、/new-releases、/product-category-list、/deals-v2、/seller-profile、/seller-products	10（/products：返された商品1件につき10）
ChatGPT	POST /api/v1/chatgpt	本文 {"prompt": "…"}	10
MCP	POST /api/mcp	Streamable HTTP経由で23個のツール	各ツールの基盤となるAPIと同じ

すべてのパラメーターとレスポンスの形式については、ドキュメントをご覧ください。

課金の仕組み

• データAPIの課金は、リクエストが成功して 200 が返された場合のみです。エラーはすべて返金されます。
• Website APIは、ページから応答があった場合に課金されます（2xx/3xx、またはサイトから返された実際の400/404。fault: "user" として報告されます）。タイムアウト、403や429などのその他の4xx、5xx、および当社側のエラーは返金されます（credits_used: 0）。
• 実行前に拒否されたリクエスト（パラメーター不足、無効なキー、同時実行数の上限）は課金されません。

制限

制限の対象は、1 分あたりのリクエスト数ではなく、同時に処理中のリクエスト数です。無料プランでは同時リクエスト数が 1 件、有料プランでは 10～200 件です。上限を超えると、無料プランでは直ちに 429 が返されます。短い間隔から徐々に間隔を広げて再試行してください。タイムアウトは、スクレイピングと Instagram が 45 秒、TikTok と Amazon が 30 秒、Google が 15 秒です。

ステータス	意味	課金
400	パラメーターの欠落または無効、未対応のエンドポイント	いいえ（Website API で対象ページ自体が返す 400 を除く）
401	API キーの欠落または無効	いいえ
402	クレジット不足。メッセージに必要なクレジット数が表示されます	いいえ
404	Website API：ページが存在しません。データ API：プロフィール、投稿、または商品が見つかりません	Website API のみ
408	タイムアウトしました	いいえ
429	同時実行数の上限に達しました	いいえ
5xx	サイトまたはデータソースでエラーが発生しました	いいえ

AI エージェント向け MCP サーバー

https://scrapingbot.io/api/mcp でホストされています（Streamable HTTP、ステートレス）。インストールは不要です。API キーを x-api-key ヘッダーまたは Authorization: Bearer で認証してください。

Claude Code

claude mcp add --transport http scrapingbot https://scrapingbot.io/api/mcp \
  --header "x-api-key: YOUR_API_KEY"

すべてのプロジェクトで使用するには、--scope user を追加してください。セッションで /mcp と入力すると、ツールを確認できます。

Claude Desktop（および Web 版 Claude）

Settings → Connectors → Add custom connector を開き、ScrapingBot という名前を付けて、次を貼り付けます。

https://scrapingbot.io/api/mcp?api_key=YOUR_API_KEY

その後、チャットのツールメニューから有効にします。コネクターには URL しか指定できないため、キーは URL に含めます。パスワードと同様に、その URL は他人に知られないようにしてください。

Cursor

~/.cursor/mcp.json（またはプロジェクト内の .cursor/mcp.json）：

{
  "mcpServers": {
    "scrapingbot": {
      "url": "https://scrapingbot.io/api/mcp",
      "headers": { "x-api-key": "YOUR_API_KEY" }
    }
  }
}

VS Code

プロジェクト内に .vscode/mcp.json を作成し、Copilot のエージェントモードで ScrapingBot のツールを選択します。

{
  "servers": {
    "scrapingbot": {
      "type": "http",
      "url": "https://scrapingbot.io/api/mcp",
      "headers": { "x-api-key": "YOUR_API_KEY" }
    }
  }
}

その他の MCP クライアント

URL は https://scrapingbot.io/api/mcp、ヘッダーは x-api-key: YOUR_API_KEY（または Authorization: Bearer YOUR_API_KEY）です。クライアントが URL しか受け付けない場合は、?api_key=YOUR_API_KEY を付け加えてください。手動で呼び出す場合は、Accept: application/json, text/event-stream を送信してください。

ツール

分野	ツール	クレジット
任意のウェブサイト	scrapeWebsite（Markdown または HTML、スクリーンショットは任意）、extractStructuredData（AI によるフィールド抽出を JSON で返す）、runBrowserScenario（クリック、入力、スクロール、待機）	1 / レンダリング時は 5、AI 利用時は +5
Google	googleSearch（ウェブ、画像、動画、ニュース、ショッピング、場所、地図）、googleReviews	10
Instagram	instagramUser、instagramSearch、instagramMedia、instagramFollowers	5
TikTok	tiktokVideo、tiktokUser、tiktokSearch、tiktokComments、tiktokFollowers	1
Amazon	amazonSearch、amazonProduct、amazonProducts、amazonSuggestions、amazonRankings	10
ユーティリティ	listCapabilities、getScrapeJob、pollJobUntilDone（無料）、providerRequest（上記の任意のエンドポイント）

ツールの呼び出しは通常の API リクエストです。クレジット、同時実行枠、返金のルールは同じです。

エージェントスキル

skills/ には、SCRAPINGBOT_API_KEY を使って REST API を直接呼び出す方法をエージェントに教える Agent Skills が含まれています。タスクごとに使用するエンドポイント、パラメーター、確認すべきレスポンスフィールド、エラー処理、料金について説明しています。

スキル	用途
web-scraping	任意のページの取得、JavaScript のレンダリング、ブラウザー操作、スクリーンショット、AI による抽出
google-search	Google のウェブ、画像、動画、ニュース、ショッピング、場所、地図、クチコミ
tiktok-data	公開されている TikTok の動画、プロフィール、投稿、サウンド、コメント、検索
instagram-data	公開されている Instagram のプロフィール、投稿、リール、コメント、検索
amazon-products	Amazon の検索、商品詳細、一括処理、ランキング、おすすめ、セール

Claude Code：フォルダーを ~/.claude/skills/（またはプロジェクト内の .claude/skills/）にコピーしてください。エージェントの実行環境で SCRAPINGBOT_API_KEY を設定してください。

例

examples/ にある、すぐに実行できる小さなスクリプトです。curl、Python（requests）、Node（組み込みの fetch、Node 18 以降）で利用できます。

タスク	curl	Python	Node
ページをスクレイピングする	scrape.sh	scrape.py	scrape.mjs
AI でフィールドを抽出する	extract.sh	extract.py	extract.mjs
Google 検索	google_search.sh	google_search.py	google_search.mjs
TikTok のプロフィールと最新動画	tiktok_user.sh	tiktok_user.py	tiktok_user.mjs
Instagram のプロフィールと投稿	instagram_user.sh	instagram_user.py	instagram_user.mjs
Amazon の検索と商品詳細	amazon_product.sh	amazon_product.py	amazon_product.mjs

Python では pip install requests が必要です。JSON を組み立てる curl スクリプトでは jq を使用します。各言語のフォルダーには、返金対象となる失敗（408、429、5xx）をバックオフ付きで再試行する、小さな共有クライアント（scrapingbot.py、scrapingbot.mjs）があります。

export SCRAPINGBOT_API_KEY="YOUR_API_KEY"
sh examples/curl/scrape.sh https://example.com
python examples/python/google_search.py "best espresso machine"
node examples/node/tiktok_user.mjs tiktok

料金

無料プラン：登録時に 100 クレジット、同時リクエスト数は 1 件です。有料プランは、275,000 クレジット、同時リクエスト数 10 件で月額 $49.99 から利用できます。料金をご覧ください。

責任ある利用

ScrapingBot は一般公開されているデータを返します。各サイトの利用規約および適用される法律を遵守し、収集した個人データは適切に取り扱ってください。

ライセンス

このリポジトリ内の例とスキルは MIT ライセンスで提供されています。LICENSEをご覧ください。ScrapingBot API の利用には、scrapingbot.ioに記載された利用規約が適用されます。