ScrapingBot

ScrapingBot

**用一个 API 密钥获取公开网页数据：**抓取任意页面（普通页面或 JavaScript 渲染的页面），用 AI 提取字段，并以 JSON 格式获取公开的 TikTok、Instagram、Google 和 Amazon 数据。托管的 MCP 服务让 AI Agent 也能将同样的数据用作工具。

注册即可获得 100 个免费额度，无需信用卡。 获取 API 密钥

文档 · 定价 · MCP 服务 · 示例 · Agent 技能

---

快速入门

export SCRAPINGBOT_API_KEY="YOUR_API_KEY"

curl "https://scrapingbot.io/api/v1/scrape?url=https://example.com" \
  -H "x-api-key: $SCRAPINGBOT_API_KEY"

{
  "success": true,
  "url": "https://example.com",
  "html": "<!doctype html><html lang=en><head>…",
  "status": 200,
  "duration": "0.79",
  "credits_used": 1,
  "job_id": "…"
}

该调用消耗 1 个额度。失败的请求会自动退还额度。

基础 URL： https://scrapingbot.io/api/v1 身份验证： 使用 x-api-key: YOUR_API_KEY 标头（或 Authorization: Bearer YOUR_API_KEY）。请将密钥保存在服务器端。

端点

数据 API（TikTok、Instagram、Google、Amazon）均使用带有 JSON 请求体的 POST 请求，其中指定 endpoint 和 params：

curl -X POST "https://scrapingbot.io/api/v1/tiktok" \
  -H "x-api-key: $SCRAPINGBOT_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"endpoint": "/user/info", "params": {"unique_id": "tiktok"}}'

API	路由	endpoint 值	额度
Website	GET 或 POST /api/v1/scrape	一个路由；选项：render_js、screenshot、js_scenario、wait_for、premium_proxy、stealth_proxy、…	普通页面 1 · 渲染页面 5 · 高级代理 10 · 隐身代理 75
AI extraction	/api/v1/scrape + ai_query 或 ai_schema	返回 ai_result JSON	页面费用之外另加 5
Job lookup	GET /api/v1/job/:job_id	重新获取抓取结果（保留 24 小时）	免费
TikTok	POST /api/v1/tiktok	/（视频）、/user/info、/user/posts、/user/followers、/user/following、/user/search、/feed/search、/music/info、/music/posts、/comment/list、/comment/reply	1
Instagram	POST /api/v1/instagram	/user/by_username、/user/by_id、/medias/by_user_id、/reels/by_user_id、/medias/tagged_by_user_id、/stories/by_username、/followers/by_user_id、/following/by_user_id、/media/by_shortcode、/media/by_url、/comments/media_comments_by_id、/comments/replies、/search/users_by_keyword、/search/hashtags_by_keyword、/search/places_by_keyword、/search/global、/search/posts、/media/shortcode_to_id、/media/id_to_shortcode	5
Google	POST /api/v1/google	/search、/images、/videos、/news、/shopping、/places、/maps、/reviews	10
Amazon	POST /api/v1/amazon	/search、/product-details、/products（最多 20 个 ASIN）、/autocomplete、/best-sellers、/new-releases、/product-category-list、/deals-v2、/seller-profile、/seller-products	10（/products：每个返回的商品 10）
ChatGPT	POST /api/v1/chatgpt	请求体 {"prompt": "…"}	10
MCP	POST /api/mcp	通过 Streamable HTTP 提供 23 个工具	与各工具背后的 API 相同

完整参数和响应结构：文档。

计费方式

• 数据 API仅对成功的 200 响应收费。任何错误都会退还额度。
• Website API在页面返回响应时收费（2xx/3xx，或网站返回的真实 400/404，并报告为 fault: "user"）。超时、其他 4xx（例如 403 和 429）、5xx 以及我们这边的错误都会退还额度（credits_used: 0）。
• 在执行前被拒绝的请求（缺少参数、密钥无效、并发数超限）不收费。

限制

限制的是同时进行中的请求数，而非每分钟请求数。免费计划允许 1 个并发请求；付费计划允许 10 到 200 个。超过限制会立即返回 429（免费计划）；请稍作等待后重试，并逐渐延长等待时间。超时时间：网页抓取和 Instagram 为 45 s，TikTok 和 Amazon 为 30 s，Google 为 15 s。

状态	含义	是否扣费
400	缺少或参数无效、不支持的端点	否（Website API 中目标页面自身返回的 400 除外）
401	缺少或 API 密钥无效	否
402	额度不足；消息中会说明所需额度	否
404	Website API：页面不存在。数据 API：未找到个人资料、帖子或商品	仅 Website API
408	超时	否
429	达到并发限制	否
5xx	网站或数据源发生故障	否

面向 AI Agent 的 MCP 服务

托管于 https://scrapingbot.io/api/mcp（Streamable HTTP，无状态）。无需安装。使用 x-api-key 标头或 Authorization: Bearer 进行身份验证。

Claude Code

claude mcp add --transport http scrapingbot https://scrapingbot.io/api/mcp \
  --header "x-api-key: YOUR_API_KEY"

添加 --scope user，即可在每个项目中使用。在会话中输入 /mcp 查看工具。

Claude Desktop（以及网页版 Claude）

打开 Settings → Connectors → Add custom connector，将其命名为 ScrapingBot，然后粘贴：

https://scrapingbot.io/api/mcp?api_key=YOUR_API_KEY

随后，在聊天的工具菜单中启用它。连接器只接受 URL，因此密钥需要放在 URL 中：请像保护密码一样妥善保管该 URL。

Cursor

~/.cursor/mcp.json（或项目中的 .cursor/mcp.json）：

{
  "mcpServers": {
    "scrapingbot": {
      "url": "https://scrapingbot.io/api/mcp",
      "headers": { "x-api-key": "YOUR_API_KEY" }
    }
  }
}

VS Code

在项目中创建 .vscode/mcp.json，然后在 Copilot 的 Agent 模式中选择 ScrapingBot 工具：

{
  "servers": {
    "scrapingbot": {
      "type": "http",
      "url": "https://scrapingbot.io/api/mcp",
      "headers": { "x-api-key": "YOUR_API_KEY" }
    }
  }
}

其他 MCP 客户端

URL 为 https://scrapingbot.io/api/mcp，标头为 x-api-key: YOUR_API_KEY（或 Authorization: Bearer YOUR_API_KEY）。如果客户端只接受 URL，请追加 ?api_key=YOUR_API_KEY。手动调用时，请发送 Accept: application/json, text/event-stream。

工具

类别	工具	额度
任意网站	scrapeWebsite（Markdown 或 HTML，可选截图）、extractStructuredData（AI 字段，以 JSON 返回）、runBrowserScenario（点击、填写、滚动、等待）	1 / 5 次渲染；AI 额外 +5
Google	googleSearch（网页、图片、视频、新闻、购物、地点、地图）、googleReviews	10
Instagram	instagramUser、instagramSearch、instagramMedia、instagramFollowers	5
TikTok	tiktokVideo、tiktokUser、tiktokSearch、tiktokComments、tiktokFollowers	1
Amazon	amazonSearch、amazonProduct、amazonProducts、amazonSuggestions、amazonRankings	10
实用工具	listCapabilities、getScrapeJob、pollJobUntilDone（免费）、providerRequest（上述任意端点）

工具调用是普通的 API 请求：使用相同额度、占用相同并发名额，退款规则也相同。

Agent Skills

skills/ 存放 Agent Skills，用于指导 Agent 通过 SCRAPINGBOT_API_KEY 直接调用 REST API：针对不同任务选择端点、了解参数和值得读取的响应字段，以及错误处理和费用。

技能	用途
web-scraping	获取任意页面、渲染 JavaScript、执行浏览器操作、截图、AI 提取
google-search	Google 网页、图片、视频、新闻、购物、地点、地图和评论
tiktok-data	公开的 TikTok 视频、个人资料、帖子、声音、评论和搜索
instagram-data	公开的 Instagram 个人资料、帖子、Reels、评论和搜索
amazon-products	Amazon 搜索、商品详情、批量查询、排名、建议和优惠

Claude Code：将文件夹复制到 ~/.claude/skills/（或项目中的 .claude/skills/）。在 Agent 运行的环境中设置 SCRAPINGBOT_API_KEY。

示例

examples/ 中提供了小型、可运行的脚本，分别使用 curl、Python（requests）和 Node（内置 fetch，Node 18+）：

任务	curl	Python	Node
抓取网页	scrape.sh	scrape.py	scrape.mjs
使用 AI 提取字段	extract.sh	extract.py	extract.mjs
Google 搜索	google_search.sh	google_search.py	google_search.mjs
TikTok 个人资料和最新视频	tiktok_user.sh	tiktok_user.py	tiktok_user.mjs
Instagram 个人资料和帖子	instagram_user.sh	instagram_user.py	instagram_user.mjs
Amazon 搜索和商品详情	amazon_product.sh	amazon_product.py	amazon_product.mjs

Python 需要运行 pip install requests；构建 JSON 的 curl 脚本需要 jq。每个语言文件夹都包含一个小型共享客户端（scrapingbot.py、scrapingbot.mjs），会通过退避重试已退款的失败请求（408、429、5xx）。

export SCRAPINGBOT_API_KEY="YOUR_API_KEY"
sh examples/curl/scrape.sh https://example.com
python examples/python/google_search.py "best espresso machine"
node examples/node/tiktok_user.mjs tiktok

定价

免费：注册即可获得 100 个积分，支持 1 个并发请求。付费套餐起价为每月 $49.99，包含 275,000 个积分和 10 个并发请求。请参阅定价页面。

负责任地使用

ScrapingBot 返回公开可用的数据。请遵守各网站的条款和适用法律，并妥善处理收集到的任何个人数据。

许可证

此存储库中的示例和技能均采用 MIT 许可。请参阅 LICENSE。使用 ScrapingBot API 须遵守 scrapingbot.io 上的条款。