scraperapi-zapier

Zapier での ScraperAPI — Zap の構築ガイド

このスキルは、公式の ScraperAPI Zapier 統合を使った Zap の構築をユーザーに案内するのに役立ちます。ユーザーは Zapier のアプリディレクトリで ScraperAPI を見つけ、ステップとして追加します。インポート可能な JSON はないため、出力するのは Zap エディター向けの番号付き構築ガイドです。アプリを選び、アクションイベントを選び、アカウントを接続し、フィールドに入力し、前のステップのデータをマッピングして、テストします。

Zap 定義ファイルを生成しようとしないでください。それは n8n の概念であり、Zapier のものではありません。Zap はブラウザー上で構築します。ワークフローが複雑な場合は、各ステップを アプリ → アクションイベント → 入力するフィールド の形式で説明し、前のステップからどの値をマッピングするのかを示してください。

まず最初に押さえるべきこと：ScraperAPI はアクション専用です

ScraperAPI の統合で利用できるのはアクションのみで、トリガーはありません。Zap は ScraperAPI から開始できません。ScraperAPI を使う Zap では、必ず別のアプリをステップ 1 のトリガーにし、ScraperAPI は後続のアクションステップとして追加する必要があります。

これが最もよくある混乱の原因です。そのため、最初に説明してください。ユーザーの意図に合ったトリガーを選びます。

ユーザーが実現したいこと	使用するトリガー（ステップ 1）
スケジュールに従ってスクレイピングする（1 時間ごと／毎日／毎週）	Schedule by Zapier
受信リクエストをきっかけにスクレイピングする	Webhooks by Zapier → Catch Hook
リストの各行をスクレイピングする	Google Sheets / Airtable（新規／更新された行）
別のアプリで何かが起きたときにスクレイピングする	そのアプリのネイティブトリガー（新着メール、新しいフォーム入力など）
実際のトリガーは不要で、アクションを一度だけテストする	Schedule by Zapier — テストでは必ずレコードが返されます

ユーザーがトリガーを指定せずに「X をスクレイピングする Zap がほしい」と言った場合は、何をきっかけに開始するかを尋ねてください。または、定期的なジョブには Schedule by Zapier を、オンデマンド／エンリッチメントのジョブには Webhooks by Zapier（Catch Hook） をデフォルトとして選んでください。

ユーザーが用意しておくもの

1. Zapier アカウント（どのプランでも利用できます。複数ステップの Zap には Starter プラン以上が必要です）。
2. https://dashboard.scraperapi.com/ で取得した ScraperAPI API キー。
3. Zapier に接続済みの ScraperAPI アプリ。ScraperAPI アクションを初めて追加するときに、Connect a new account をクリックして API キーを貼り付けます。Zapier はキーを検証するためのテストリクエストを実行します。キーが間違っている場合、接続時に 401 エラーが発生します。一度接続すれば、そのアカウントはすべての Zap で再利用できます。

ユーザーはアクションアプリの選択画面で 「ScraperAPI」 を検索します。表示されない場合、そのアカウントではまだ統合が公開されていない可能性があります。https://zapier.com/apps/scraperapi/integrations を案内してください。

5 つのアクション — 適切なものを選ぶ

アクション（エディター上のラベル）	key	使用する場面
Extract Data From URL	dataExtraction	任意の単一 URL を取得し、HTML／Markdown／テキスト／解析済み JSON を受け取ります。汎用的なスクレイピングに使います。
Get Structured Data	getStructuredData	対応サイト（Amazon、Google、eBay、Walmart、Redfin）から、クリーンで事前解析済みの JSON を取得します。HTML の解析は不要です。
Create Crawler Job	crawlerCreateJob	開始 URL から多くのページにわたってリンクをたどり、各ページを Webhook にストリーミングします。
Get Crawler Job Status	crawlerGetJobStatus	Job ID を使って、クローラージョブの進行状況やカウンターを確認します。
Cancel Crawler Job	crawlerCancelJob	Job ID を使って、実行中のクローラージョブを停止します。

目安として、サイトが対応している場合は Get Structured Data を優先してください。直接マッピングできるフィールドが返され、HTML 解析よりもレイアウト変更の影響を受けにくいためです。それ以外のサイトでは、必要に応じて Render または Premium を使い、Extract Data From URL に切り替えてください。1 URL ずつ処理すると多くのステップが順番に必要になる場合に限り、Create Crawler Job を使用してください。

各アクションの正確な入力フィールド、ヘルプテキスト、出力形式については、references/actions-reference.md を参照してください。アクションのフィールドを詳しく説明する前に必ず読み、フィールドラベルを正確に使ってください。ユーザーはエディター上でラベルと照合するためです。

アクション 1 — URL からデータを抽出

主力のアクションです。URL（必須）を指定します。ほかの項目は必要に応じて設定します。

• JavaScript をレンダリング — ページが JS（React/ Vue/無限スクロール）経由でコンテンツを読み込む場合にオンにします。クレジットを多く消費します。
• 国コード — 地域ターゲティング用の小文字 2 文字のコードです（us、uk、de）。ScraperAPI では英国を示すコードとして gb ではなく uk を使用する点に注意してください。
• デバイスタイプ — Desktop または Mobile。
• プレミアムプロキシ / ウルトラプレミアム — 保護されたサイトでは段階的に有効にします。両者は併用できません。両方を有効にすると検証に失敗します。
• 出力形式 — Markdown / Text / CSV / JSON。デフォルトは未加工の HTML です。Markdown または Text は HTML より大幅に小さく、後続のメールや AI ステップに渡しやすくなります。
• 自動解析 — 自動解析に対応したサイトから、構造化された JSON を返します。

出力フィールド：url、status_code、content_type、body。スクレイピングしたコンテンツは**body**に含まれます。次のステップにはこの値を割り当ててください。

段階的な設定（低コスト順）：通常 → レンダリング → プレミアム → プレミアム + レンダリング → ウルトラプレミアム。まずは低コストの設定から始め、ページがブロックされた場合や空の結果が返った場合にのみ段階的に設定を上げてください。クレジットの消費量については以下を参照してください。

アクション 2 — 構造化データを取得

このアクションでは、連動する動的なドロップダウンを使用します。

1. カテゴリ — E-commerce / Search and Insights / Real Estate。
2. 操作 — カテゴリに応じてリストが再表示されます（例：E-commerce を選ぶと、Amazon/eBay/Walmart の操作が表示されます）。
3. 操作固有のフィールド — 操作を選択すると表示されます（例：Amazon Product details を選ぶと、ASINフィールドが表示されます）。

フィールドは動的に表示されるため、まずカテゴリ、次に操作を選択するようユーザーに案内してください。その後、残りのフィールドが表示されます。必須フィールド、パラメーター名、エンドポイントパスを含むカテゴリ → 操作 → フィールドの全対応表は、references/structured-data-operations.md にあります。

出力フィールド：category、operation、status_code、および解析済みの結果である**data**です。一部の連携とは異なり、data はすでにオブジェクトとして解析された状態で返されるため、Zapier でテストを 1 回実行すると、後続ステップへの割り当て用にネストされたフィールド（例：data.pricing、data.name）が表示されます。個別の解析ステップは不要です。

対応操作の概要：

カテゴリ	提供元	操作
E-commerce	Amazon	商品詳細、検索、オファー
E-commerce	eBay	検索、商品詳細
E-commerce	Walmart	検索、カテゴリ閲覧、商品詳細、レビュー
Search and Insights	Google	検索、求人、ニュース、ショッピング、Maps 検索
Real Estate	Redfin	販売中の物件、賃貸物件、検索、エージェントのプロフィール

アクション 3–5 — クローラー

クローラーは開始 URL からリンクをたどります。スクレイピングしたページを Zap に返すことはありません。Create Crawler Job は jobId と status: initiated をすぐに返します。クロールの進行に伴い、各ページがコールバック Webhook に POST されます。

Create Crawler Job の必須フィールド：

• 開始 URL — クロールを開始する URL です。
• URL 正規表現（対象） — クロールするリンクは、この正規表現に一致する必要があります。URL 全体ではなく、URL の path + query + fragment に対して照合されるため、スキームやホストは含めないでください。すべてをクロールするには .*、特定のセクションに限定するには ^/blog/ を使用します。デフォルトは .* です。
• コールバック Webhook URL — 各ページの結果の送信先です（以下のパターンを参照。この URL は、別の Zap に設定したCatch Hookである必要があります）。
• 最大深度またはクロール予算のいずれか — 少なくとも 1 つは必須です。指定しない場合、ジョブは拒否されます。最大深度はリンクの深さを制限します（開始 URL は深さ 0）。クロール予算は、消費する API クレジットの合計を制限します。

任意のフィールドは「URL からデータを抽出」と同じです（レンダリング、国コード、デバイスタイプ、プレミアム/ウルトラプレミアム、出力形式、自動解析）。

Get Crawler Job Status / Cancel Crawler Job で指定するのは、作成時に返されたJob IDのみです。ステータスでは done / failed / active の各カウンターが返されます。

クローラーのコールバックの仕組み — 重大な落とし穴

クローラーの結果は、アクションの出力としてではなく、ScraperAPI のインフラから HTTP POST で届きます。結果を受信できるのは Webhooks by Zapier → Catch Hook トリガーのみで、ジョブを作成した Zap とは別の Zapである必要があります。結果を作成元の Zap にループバックすることはできません。

Zap A (starts the crawl):
  [Trigger] → ScraperAPI: Create Crawler Job
              Callback Webhook URL = <the Catch Hook URL from Zap B>

Zap B (receives each page):
  Webhooks by Zapier (Catch Hook) → process the page → store / notify

作成順序：まず Zap B を作成し、その Catch Hook URL をコピーしてから、その URL を Zap A の Callback Webhook URL フィールドに貼り付けます。この順序をユーザーに明確に伝えてください。これはクローラーで最もよくある間違いです。

後続のステップで出力を使う

ScraperAPI アクションを追加したら、結果を使って何かを行うステップを追加します。Zapier はテスト実行から利用可能な出力フィールドを学習するため、後続のステップでフィールドをマッピングする前にテストを実行するようユーザーに伝えてください。

• Extract Data From URL → body をマッピングします（成功を判定するには status_code も使用します）。body が大きな HTML の場合は、Output Format = Markdown or Text を設定してサイズを小さくします。これはメール本文や、トークン数に上限がある AI ステップで重要です。
• Get Structured Data → ネストされた data フィールド（例：data.pricing、data.name、data.reviews）をマッピングします。
• よく使われる後続ステップ：Filter by Zapier（価格が変わった場合／ステータスが 200 の場合のみ続行）、Formatter by Zapier（数値の抽出、日付の書式設定）、Google Sheets（行を追加）、Gmail/Slack（通知）、または AI ステップ（スクレイピングしたテキストを要約）。

よくある Zap のパターン

複雑な方法を考案する前に、ユーザーのリクエストを以下のいずれかに当てはめてください。

定期モニタリング — 定期スクレイピング → 確認 → 通知

Schedule by Zapier (e.g. every day)
  → ScraperAPI: Get Structured Data (Amazon Product details, ASIN = …)
  → Filter by Zapier (only continue if price dropped)
  → Google Sheets (log price history)  and/or  Gmail (alert)

価格追跡、SERP のモニタリング、在庫状況の確認に最適です。

オンデマンドの情報追加 — リクエスト受信 → スクレイピング → 返信／保存

Webhooks by Zapier (Catch Hook)
  → ScraperAPI: Get Structured Data or Extract Data From URL
              (URL/query mapped from the webhook payload)
  → Formatter / Filter
  → write to CRM / append to Sheet / Slack

リード情報の追加やオンデマンド検索に便利です。Webhook ペイロードのフィールドは ScraperAPI アクションの入力に直接マッピングされます。

リストのファンアウト — シートのすべての行をスクレイピング

Google Sheets (New or Updated Row)  [or Airtable]
  → ScraperAPI: Extract Data From URL (URL = the row's URL column)
  → Formatter (pull out the fields you need)
  → Google Sheets (update the same row with results)

Zapier はトリガーとなった行ごとにアクションを実行します。大量のバックフィルでは、1 回の実行あたりのクレジット費用とプランのタスク上限に注意してください。

複数ページのクロール — 2 つの Zap を使うコールバックパターン

上記の「クローラーのコールバックの仕組み」を参照してください。Zap A がジョブを作成し、Zap B の Catch Hook が各ページを受信します。

クレジットの予算 — ユーザーに注意を促す

ScraperAPI は、リクエストの成功ごとにクレジットを消費します。スケジュール実行やリストを使う Zap では、気付かないうちにクレジットを消費することがあります。1 回の実行で多数の URL をスクレイピングする場合や、頻繁に実行する場合は、返信で1 回あたりと月あたりの費用を見積もってください。

設定	リクエストあたりのおおよそのクレジット数
標準リクエスト	1
JavaScript のレンダリング	~10
Premium Proxies	~10
Premium + Render	~25
Ultra Premium	~30
Structured Data エンドポイント	1～10（分野によって異なります）

失敗したリクエスト（200 以外）は、通常課金されません。最新の料金については、https://docs.scraperapi.com/ にリンクしてください。

よくある間違い — ❌ 間違い / ✅ 正しい

ScraperAPI で Zap を開始しようとする

❌ Trigger: ScraperAPI …            (no such thing — action-only)
✅ Trigger: Schedule by Zapier → Action: ScraperAPI

Premium と Ultra Premium を同時に有効にする

❌ Premium Proxies = Yes  AND  Ultra Premium = Yes   → validation error
✅ Pick one. Ultra Premium is the strongest tier; use it alone.

国コードに uk ではなく gb を指定する

❌ Country Code = gb        ✅ Country Code = uk   (ScraperAPI uses uk, not gb)

gb ではなく uk を使うのは、ScraperAPI 全体で共通のルールです。ただし、大文字・小文字の使い分けはエンドポイントによって異なります。Extract Data From URL と Crawler アクションでは小文字（us、uk、de）を指定します。一方、Get Structured Data では、独自のフィールドヘルプに示されている大文字のコード（US、GB、DE）を使用できます。

深度も予算も指定せずにクローラーを使う

❌ Create Crawler Job with Max Depth and Crawl Budget both empty  → rejected
✅ Set at least one — e.g. Max Depth = 2, or Crawl Budget = 5000

完全な URL を対象にした include-regex を記述する

❌ URL Regex (Include) = ^https://example\.com/blog/
✅ URL Regex (Include) = ^/blog/     (matches path+query+fragment, no host)

クローラーのページが同じ Zap に返ってくると考える

❌ Create Crawler Job → next step reads the crawled pages   (they never arrive)
✅ Zap A creates the job; Zap B (Catch Hook) receives each page POST

ステップをテストする前に出力フィールドをマッピングする

Zapier がアクションの出力フィールドを認識するのは、テスト実行が成功した後です。ScraperAPI ステップをテストしてから、body／data.* を後続のステップにマッピングしてください。テスト前だと、選択可能なフィールドとして表示されません。

後続ステップに巨大な HTML 本文を渡す

完全な HTML の body はフィールドの上限を超えたり、AI ステップの入力を膨らませたりすることがあります。Output Format = Markdown/Text を設定するか、対応している場合は Get Structured Data を使用してください。

何を参照するか

必要な情報…	参照先
アクションの正確な入力フィールド、ヘルプテキスト、出力形式	references/actions-reference.md
Get Structured Data の Category → Operation → field の全項目一覧	references/structured-data-operations.md

関連スキルとエコシステム

• scraperapi-n8n — 同じ用途ですが、対象の自動化プラットフォームが異なります。ユーザーが Zapier ではなく n8n を使っている場合に使用します。インポート可能なワークフロー JSON を生成します。このスキルでは、Zap エディターでの構築ガイドを作成します。
• scraperapi-mcp — Zap に組み込むのではなく、Claude 自身に ScraperAPI を直接呼び出させたい場合に使用します。
• scraperapi-async / scraperapi-crawler — Zapier アクションが呼び出す、基盤となる非同期製品とクローラー製品について、より詳しい情報を参照できます。

ドキュメント

• Zapier の ScraperAPI：https://zapier.com/apps/scraperapi/integrations
• ScraperAPI のドキュメント：https://docs.scraperapi.com/
• ScraperAPI のダッシュボード（API キー）：https://dashboard.scraperapi.com/
• Zapier — アクションステップの設定：https://help.zapier.com/hc/en-us/articles/8496257774221-Set-up-your-Zap-action
• Zapier — Zapier の Webhooks（Catch Hook）：https://help.zapier.com/hc/en-us/articles/8496288690317-Trigger-Zaps-from-webhooks