scraperapi-zapier

Zapier 中的 ScraperAPI — Zap 构建指南

此技能可帮助你指导用户构建一个使用官方 ScraperAPI Zapier 集成的 Zap。用户可以在 Zapier 应用目录中找到 ScraperAPI，并将其添加为一个步骤；由于没有可导入的 JSON，你应为 Zap 编辑器提供一份编号的构建指南：选择应用、选择操作事件、连接账户、填写字段、映射前序步骤中的数据，然后测试。

不要尝试生成 Zap 定义文件——那是 n8n 的概念，不适用于 Zapier。Zap 是在浏览器中构建的。对于复杂的工作流，请将每个步骤描述为 应用 → 操作事件 → 要填写的字段，并说明哪些值映射自前序步骤。

首先要弄清楚的一点：ScraperAPI 仅提供操作

ScraperAPI 集成仅提供操作，不提供触发器。Zap 不能以 ScraperAPI 作为起点。所有使用 ScraperAPI 的 Zap 都需要在第 1 步使用其他应用的触发器，然后再将 ScraperAPI 作为后续操作步骤。

这是最常见的困惑点，所以要先说明这一点。根据用户的意图选择触发器：

用户想要……	使用此触发器（第 1 步）
按计划抓取（每小时／每天／每周）	Schedule by Zapier
根据收到的请求按需抓取	Webhooks by Zapier → Catch Hook
抓取列表中的每一行	Google Sheets / Airtable（New/Updated Row）
在其他应用发生某些事情时抓取	该应用的原生触发器（新邮件、新表单条目等）
仅测试一次操作，不需要真实触发器	Schedule by Zapier — 测试时始终会返回一条记录

如果用户说“我想要一个抓取 X 的 Zap”，却没有提到触发器，请询问他们想要如何启动，或者定期任务默认使用 Schedule by Zapier，按需抓取／数据增强任务默认使用 Webhooks by Zapier (Catch Hook)。

用户必须满足的前提条件

1. 拥有 Zapier 账户（任何套餐均可；多步骤 Zap 需要 Starter 套餐或更高版本）。
2. 拥有从 https://dashboard.scraperapi.com/ 获取的 ScraperAPI API 密钥。
3. 已在 Zapier 中连接 ScraperAPI 应用。首次添加 ScraperAPI 操作时，用户需点击 Connect a new account，粘贴 API 密钥，然后由 Zapier 运行测试请求以验证密钥。密钥错误会在连接时导致 401 错误。连接后，该账户可在所有 Zap 中重复使用。

用户可在操作应用选择器中搜索 "ScraperAPI"。如果没有显示该应用，该集成可能尚未对其账户公开——请引导他们访问 https://zapier.com/apps/scraperapi/integrations。

五种操作 — 选择正确的一种

操作（编辑器中的标签）	key	使用场景
Extract Data From URL	dataExtraction	获取任意单个 URL，并返回其 HTML／Markdown／文本／解析后的 JSON。通用型抓取。
Get Structured Data	getStructuredData	获取受支持网站（Amazon、Google、eBay、Walmart、Redfin）的干净预解析 JSON。无需解析 HTML。
Create Crawler Job	crawlerCreateJob	从起始 URL 沿链接抓取多个页面，并将每个页面流式传输到 webhook。
Get Crawler Job Status	crawlerGetJobStatus	根据 Job ID 查看爬虫任务的进度／计数器。
Cancel Crawler Job	crawlerCancelJob	根据 Job ID 停止正在运行的爬虫任务。

经验法则：如果网站受支持，优先使用 Get Structured Data——它会返回可直接映射的字段，而且比解析 HTML 更能适应页面布局变化。其他网站则使用 Extract Data From URL（必要时启用 Render 或 Premium）。只有当逐个 URL 抓取需要许多连续步骤时，才考虑使用 Create Crawler Job。

每种操作的确切输入字段、帮助文本和输出格式都列在 references/actions-reference.md 中。在详细介绍某个操作的字段之前，请先阅读该文件——字段标签十分精确，用户需要在编辑器中逐字匹配。

操作 1 — 从 URL 提取数据

主力工具。需要提供 URL；其余设置都可选，可按需升级：

• 渲染 JavaScript — 页面通过 JS 加载内容时（React/ Vue/无限滚动）开启。会消耗更多积分。
• 国家/地区代码 — 用于地理定位的小写两字母代码（us、uk、de）。请注意，ScraperAPI 使用 uk 而非 gb 表示英国。
• 设备类型 — 桌面或移动设备。
• 高级代理 / Ultra Premium — 访问受保护的网站时升级使用。两者不能同时使用，同时启用会导致验证失败。
• 输出格式 — Markdown / Text / CSV / JSON。默认返回原始 HTML。Markdown 或 Text 的体积远小于 HTML，也更便于传入后续的邮件或 AI 步骤。
• 自动解析 — 对支持自动解析的网站返回结构化 JSON。

输出字段：url、status_code、content_type、body。抓取的内容位于 body 中，请将其映射到下一步。

升级阶梯（从成本最低开始）：普通 → 渲染 → 高级 → 高级 + 渲染 → Ultra Premium。先从低成本方案开始；只有页面被拦截或内容为空时才升级。积分消耗见下文。

操作 2 — 获取结构化数据

此操作使用级联动态下拉菜单：

1. 类别 — E-commerce / Search and Insights / Real Estate。
2. 操作 — 选项列表会根据类别重新填充（例如，选择 E-commerce 后会显示 Amazon/eBay/Walmart 操作）。
3. 操作专属字段 — 选择操作后会显示（例如，Amazon Product details 会显示 ASIN 字段）。

由于字段是动态显示的，请让用户先选择类别，然后选择操作，其余字段便会显示。完整的类别 → 操作 → 字段对照表（包含必填字段、参数名称和端点路径）位于 references/structured-data-operations.md。

输出字段：category、operation、status_code 和 data（解析后的结果）。与某些集成不同，返回的 data 已解析为对象，因此在测试运行一次后，Zapier 会显示其中的嵌套字段（例如 data.pricing、data.name），供后续步骤映射使用。无需单独的解析步骤。

支持的操作一览：

类别	服务商	操作
E-commerce	Amazon	Product details、Search、Offers
E-commerce	eBay	Search、Product details
E-commerce	Walmart	Search、Category browse、Product details、Reviews
Search and Insights	Google	Search、Jobs、News、Shopping、Maps search
Real Estate	Redfin	Listings for sale、Listings for rent、Search、Agent profile

操作 3–5 — 爬虫

爬虫会从起始 URL 开始跟进链接。它不会将抓取的页面返回到 Zap。创建爬虫任务会立即返回 jobId 和 status: initiated；随着爬取进行，每个爬取页面都会通过 回调 Webhook 以 POST 方式发送。

创建爬虫任务必填字段：

• 起始 URL — 爬取的起点。
• URL 正则表达式（包含） — 链接必须匹配此规则才会被爬取。匹配对象是 URL 的路径 + 查询参数 + 片段，而非完整 URL，因此不要包含 scheme 或主机名。使用 .* 爬取所有内容，或使用 ^/blog/ 将范围限定在某个版块。默认值为 .*。
• 回调 Webhook URL — 接收每个页面结果的地址（请参见下方的模式 — 必须是在单独一个 Zap 中创建的 Catch Hook）。
• 以及 最大深度或爬取预算 — 至少需要填写其中一项，否则任务会被拒绝。最大深度限制链接深度（起始 URL 的深度为 0）；爬取预算限制消耗的 API 积分总数。

可选字段与“从 URL 提取数据”相同（渲染、国家/地区代码、设备类型、高级/Ultra Premium、输出格式、自动解析）。

获取爬虫任务状态 / 取消爬虫任务均只需提供创建时返回的 任务 ID。状态会返回 done / failed / active 计数器。

爬虫回调的工作方式——关键注意事项

爬虫结果会以 HTTP POST 请求的形式从 ScraperAPI 的基础设施传来，而不是作为操作的输出。只有 Webhooks by Zapier → Catch Hook 触发器可以接收这些结果，并且它必须与创建任务的 Zap 不同。你无法将结果循环回创建任务的 Zap。

Zap A (starts the crawl):
  [Trigger] → ScraperAPI: Create Crawler Job
              Callback Webhook URL = <the Catch Hook URL from Zap B>

Zap B (receives each page):
  Webhooks by Zapier (Catch Hook) → process the page → store / notify

构建顺序：先创建 Zap B，复制其 Catch Hook URL，然后将该 URL 粘贴到 Zap A 的 Callback Webhook URL 字段中。务必明确告知用户此顺序——这是爬虫最常见的错误。

在后续步骤中处理输出

添加 ScraperAPI 操作后，再添加用于处理结果的步骤。Zapier 会通过测试运行了解可用的输出字段，因此要提醒用户先运行测试，再映射后续步骤中的字段。

• Extract Data From URL → 映射 body（并用 status_code 判断是否成功）。如果 body 是很大的 HTML，请将 Output Format = Markdown or Text，以缩小内容——这对邮件正文以及有令牌限制的 AI 步骤很重要。
• Get Structured Data → 映射嵌套的 data 字段（例如 data.pricing、data.name、data.reviews）。
• 常见的后续步骤：Filter by Zapier（仅在价格发生变化／状态为 200 时继续）、Formatter by Zapier（提取数字、格式化日期）、Google Sheets（追加一行）、Gmail/Slack（发送通知），或 AI 步骤（总结抓取的文本）。

常见 Zap 模式

在设计复杂方案前，先将用户的需求与以下模式之一对应起来。

定时监控 — 定期抓取 → 检查 → 通知

Schedule by Zapier (e.g. every day)
  → ScraperAPI: Get Structured Data (Amazon Product details, ASIN = …)
  → Filter by Zapier (only continue if price dropped)
  → Google Sheets (log price history)  and/or  Gmail (alert)

适用于价格跟踪、SERP 监控和可用性检查。

按需补充信息 — 收到请求 → 抓取 → 回复／存储

Webhooks by Zapier (Catch Hook)
  → ScraperAPI: Get Structured Data or Extract Data From URL
              (URL/query mapped from the webhook payload)
  → Formatter / Filter
  → write to CRM / append to Sheet / Slack

适用于潜在客户信息补充和按需查询。Webhook 载荷字段会直接映射到 ScraperAPI 操作的输入中。

列表扇出 — 抓取工作表中的每一行

Google Sheets (New or Updated Row)  [or Airtable]
  → ScraperAPI: Extract Data From URL (URL = the row's URL column)
  → Formatter (pull out the fields you need)
  → Google Sheets (update the same row with results)

Zapier 会针对每个触发的行运行一次操作。进行大规模历史数据回填时，请注意每次运行的额度消耗和套餐的任务限制。

多页面爬取 — 双 Zap 回调模式

请参阅上文“爬虫回调的工作方式”。Zap A 创建任务；Zap B 的 Catch Hook 接收每个页面。

额度预算——提醒用户

ScraperAPI 按成功请求收取额度。定时或由列表驱动的 Zap 可能会悄然消耗额度。如果 Zap 每次运行抓取大量 URL，或运行频率很高，请在回复中估算每次运行和每月的费用。

设置	每次请求的大致额度
标准请求	1
渲染 JavaScript	~10
Premium Proxies	~10
Premium + Render	~25
Ultra Premium	~30
Structured Data endpoint	1–10（因垂直领域而异）

失败的请求（非 200）通常不收费。有关当前价格，请链接到 https://docs.scraperapi.com/。

常见错误 — ❌ 错误 / ✅ 正确

尝试用 ScraperAPI 启动 Zap

❌ Trigger: ScraperAPI …            (no such thing — action-only)
✅ Trigger: Schedule by Zapier → Action: ScraperAPI

同时启用 Premium 和 Ultra Premium

❌ Premium Proxies = Yes  AND  Ultra Premium = Yes   → validation error
✅ Pick one. Ultra Premium is the strongest tier; use it alone.

国家代码使用 gb 而不是 uk

❌ Country Code = gb        ✅ Country Code = uk   (ScraperAPI uses uk, not gb)

uk 而非 gb 是 ScraperAPI 全局采用的约定。不过，大小写因 endpoint 而异：Extract Data From URL 和 Crawler 操作要求使用小写代码（us、uk、de），而 Get Structured Data 接受大写代码（US、GB、DE），如其字段帮助说明所示。

爬虫既未设置深度，也未设置预算

❌ Create Crawler Job with Max Depth and Crawl Budget both empty  → rejected
✅ Set at least one — e.g. Max Depth = 2, or Crawl Budget = 5000

Include-regex 使用完整 URL 编写

❌ URL Regex (Include) = ^https://example\.com/blog/
✅ URL Regex (Include) = ^/blog/     (matches path+query+fragment, no host)

期望爬虫页面返回到同一个 Zap

❌ Create Crawler Job → next step reads the crawled pages   (they never arrive)
✅ Zap A creates the job; Zap B (Catch Hook) receives each page POST

未测试步骤就映射输出字段

只有在成功测试运行后，Zapier 才会识别操作的输出字段。测试 ScraperAPI 步骤后，再将 body / data.* 映射到后续步骤；否则，这些字段将无法供你选择。

后续步骤处理超大 HTML 正文

完整的 HTML body 可能超过字段限制，并使 AI 步骤变得臃肿。请设置 Output Format = Markdown/Text，或在支持的情况下使用 Get Structured Data。

何时阅读哪些内容

如果你需要……	阅读
某个操作的确切输入字段、帮助文本和输出格式	references/actions-reference.md
Get Structured Data 的完整 Category → Operation → 字段矩阵	references/structured-data-operations.md

相关技能和生态系统

• scraperapi-n8n — 功能相同，但面向不同的自动化平台。用户使用 n8n 而非 Zapier 时，请使用此技能。它会生成可导入的工作流 JSON；此技能则会生成 Zap 编辑器搭建指南。
• scraperapi-mcp — 用户希望由 Claude 直接调用 ScraperAPI，而不是将其接入 Zap 时，请使用此技能。
• scraperapi-async / scraperapi-crawler — 深入介绍 Zapier 操作所调用的底层 async 和 crawler 产品。

文档

• ScraperAPI 在 Zapier 上的页面：https://zapier.com/apps/scraperapi/integrations
• ScraperAPI 文档：https://docs.scraperapi.com/
• ScraperAPI 控制台（API key）：https://dashboard.scraperapi.com/
• Zapier — 设置操作步骤：https://help.zapier.com/hc/en-us/articles/8496257774221-Set-up-your-Zap-action
• Zapier — Webhooks by Zapier（Catch Hook）：https://help.zapier.com/hc/en-us/articles/8496288690317-Trigger-Zaps-from-webhooks