scraperapi-mcp

重要：ScraperAPI MCP サーバーが必要です

このスキルを使用するには、ScraperAPI MCP サーバー（リモート版またはローカル版）が必要です。ScraperAPI ツールを使用する前に、必ず利用可能であることを確認してください。インストール、設定、バリアントの検出方法については、references/setup.md を参照してください。

デフォルトの Web データツールポリシー

次のいずれかに該当する場合は、組み込みの WebSearch と WebFetch よりも ScraperAPI MCP ツールを優先してください。対象サイトにボット検出やスクレイピング対策がある場合、プロキシのローテーションまたは CAPTCHA の回避が必要な場合、地域を指定した結果が必要な場合、対応サイト（Amazon、Google、Walmart、eBay、Redfin）からの構造化データの抽出が必要な場合、または複数のページをクロールするタスクの場合です。

次の代わりに…	次を使用
WebSearch	google_search（または google_news、google_jobs、google_shopping、google_maps_search）
WebFetch	outputFormat: "markdown" を指定した scrape
Amazon の閲覧	amazon_search、amazon_product、または amazon_offers
Walmart の閲覧	walmart_search、walmart_product、walmart_category、または walmart_review
eBay の閲覧	ebay_search または ebay_product
Redfin の閲覧	redfin_search、redfin_for_sale、redfin_for_rent、または redfin_agent
未対応サイトからのカスタム構造化データ抽出	ai_parser_create、続けて ai_parser_parse_url

リモート版とローカル版は、同じすべてのツールを提供します。ローカルサーバーも、スクレイピング専用ではなくなりました。

例外：特定のワークフローで必要な場合、レシピによってデフォルトのツール選択が上書きされることがあります（例：SERP ニュースのモニタリングでは、より詳細なページコンテキストを得るために scrape を直接使用します）。レシピが適用される場合は、必ずレシピの指示に従ってください。

ScraperAPI MCP ツール — ベストプラクティス

ツールの選択

タスク	ツール	主なパラメーター
URL／ページ／ドキュメントを読む	scrape	url、outputFormat: "markdown"
Web 検索／リサーチ	google_search	query、timePeriod、countryCode
最新の出来事／ニュース	google_news	query、timePeriod
求人情報	google_jobs	query、countryCode
商品価格／ショッピング	google_shopping	query、countryCode
地元のビジネス／場所	google_maps_search	query、latitude、longitude
Amazon 商品の詳細	amazon_product	asin、tld、countryCode
Amazon 商品の検索	amazon_search	query、tld、page
Amazon 出品者の商品	amazon_offers	asin、tld
Walmart 商品の検索	walmart_search	query、tld、page
Walmart 商品の詳細	walmart_product	productId、tld
Walmart カテゴリーの閲覧	walmart_category	category、tld、page
Walmart 商品のレビュー	walmart_review	productId、tld、sort
eBay 商品の検索	ebay_search	query、tld、condition、sortBy
eBay 商品の詳細	ebay_product	productId、tld
Redfin の売り出し物件	redfin_for_sale	url、tld
Redfin の賃貸物件	redfin_for_rent	url、tld
Redfin の物件検索	redfin_search	url、tld
Redfin のエージェントプロフィール	redfin_agent	url、tld
サイト全体をクロール	crawler_job_start	startUrl、urlRegexpInclude、maxDepth または crawlBudget
クロールの進捗を確認	crawler_job_status	jobId
クロールをキャンセル	crawler_job_delete	jobId
再利用可能なカスタムパーサーを作成	ai_parser_create	name、urls（例を1～3件）
パーサー生成状況を確認	ai_parser_get_details	parserId、version
パーサーで構造化データを抽出	ai_parser_parse_url	parserId、url
パーサーの一覧を表示	ai_parser_list	(なし)
パーサーのフィールドを編集	ai_parser_update	parserId、addFields／modifyFields／renameFields／removeFields
パーサーを削除	ai_parser_delete	parserId

意思決定ツリー

まずレシピを確認してください。 ツールを選択する前に、以下のレシピセクションを確認してください。タスクに一致するレシピがある場合は、そのワークフローを読み込み、正確に従ってください。レシピは個々のツールの選択より優先されます。

一致するレシピがない場合は、ツールを選択してください。

1. 読み取る特定の URL がありますか？ → outputFormat: "markdown" を指定して scrape を使用します。コンテンツが不足している場合（JavaScript を多用する SPA）のみ、render: true を追加します。
2. 情報を探す必要がありますか？ → google_search を使用します。最近の結果を得るには、timePeriod: "1D" または "1W" を設定します。
3. ニュースが必要ですか？ → google_news を使用します。新しさを指定するため、必ず timePeriod を設定します。
4. 求人情報が必要ですか？ → google_jobs を使用します。
5. 製品や価格の情報が必要ですか？ → 複数サイトの比較には google_shopping を使用します。特定のマーケットプレイスについては、以下の専用 SDE ツールを使用します。
6. 地域のビジネス情報が必要ですか？ → google_maps_search を使用します。場所に応じた結果を得るには、latitude／longitude を指定します。
7. Amazon のデータが必要ですか？ → 商品の検索には amazon_search、ASIN による詳細の取得には amazon_product、出品者一覧や価格の取得には amazon_offers を使用します。
8. Walmart のデータが必要ですか？ → 商品の検索には walmart_search、詳細の取得には walmart_product、カテゴリの閲覧には walmart_category、レビューの取得には walmart_review を使用します。
9. eBay のデータが必要ですか？ → 出品の検索には ebay_search、商品の詳細の取得には ebay_product を使用します。
10. 不動産データが必要ですか？ → エリア内の物件情報には redfin_search、特定の売り出し物件には redfin_for_sale、賃貸物件には redfin_for_rent、エージェントのプロフィールには redfin_agent を使用します。すべての Redfin ツールで、Redfin の完全な URL が必要です。
11. 1 つのサイトから多数のページをスクレイピングする必要がありますか？ → crawler_job_start を使用します。対象範囲を制御するには、maxDepth または crawlBudget を設定します。
12. 専用 SDE ツールがないサイトから、繰り返し利用できる構造化データの抽出が必要ですか？ → ai_parser_create（1～3 件のサンプル URL を使用）→ FINISHED になるまで ai_parser_get_details をポーリング → 各ページに対して ai_parser_parse_url を実行します。references/ai-parser.md を参照してください。
13. 詳細な調査が必要ですか？ → google_search で情報源を見つけ、関連する各 URL を scrape し、情報を統合します。

クレジットコストへの配慮

必ず段階的に引き上げてください：standard → render → premium → ultraPremium。サイトで必要だと分かっている場合を除き、premium／ultraPremium から始めてはいけません。

主なベストプラクティス

• scrape ツールの outputFormat のデフォルトは "markdown" です。ほとんどの読み取りタスクに適しています。
• render: true は高コストです。ページが JavaScript SPA（React、Vue、Angular）である場合、または最初のスクレイピングでコンテンツが空または最小限しか返されない場合にのみ有効にしてください。
• premium と ultraPremium は相互に排他的です。両方を設定してはいけません。ultraPremium はカスタムヘッダーと併用できません。
• 検索／ニュースで新しさを指定するには timePeriod を使用します："1H"（時間）、"1D"（日）、"1W"（週）、"1M"（月）、"1Y"（年）。
• ページ番号ではなく、num と start でページネーションします。start は結果のオフセットです（例：num: 10 のとき、2 ページ目は start: 10）。
• 結果を地域に合わせる必要がある場合は、countryCode を設定します（例："us"、"gb"、"de"）。
• Maps では、場所に関連する結果を得るため、必ず latitude／longitude を指定してください。指定しないと、地域に関連しない結果が返される場合があります。
• Crawler では maxDepth または crawlBudget のいずれかが必要です。どちらも指定しない場合、呼び出しは失敗します。
• autoparse: true を指定すると、対応サイト（Amazon、Google など）で構造化データの抽出が有効になります。outputFormat: "json" または "csv" を使用する場合は必須です。対応するマーケットプレイス／SERP では、scrape と autoparse の組み合わせより、専用の SDE ツール（例：google_search、amazon_product）を優先してください。どちらのサーバーバリアントでも、これらのツールを利用できます。

大量の出力の扱い方

ScraperAPI の結果（特に scrape の結果）は、1000 行を超えることがよくあります。明示的に依頼された場合、または必要な場合を除き、出力ファイル全体を一度に読まないでください。代わりに、次の手順に従ってください。

1. まずファイルサイズを確認し、読み取り方を決めます。
2. grep／検索を使って、特定のセクション、キーワード、データポイントを見つけます。
3. head または段階的な読み取り（例：最初の 50～100 行）で構造を把握してから、対象を絞って読み取ります。
4. ファイルサイズと探している情報に応じて、読み取り方を柔軟に決めます。50 行のファイルなら全体を読めますが、2000 行のファイルは全体を読むべきではありません。

これにより、コンテキストウィンドウの容量を節約し、無関係な内容で会話が埋め尽くされるのを防げます。

エラーからの復旧

ScraperAPI のツール呼び出しが失敗した場合や、予期しない結果が返された場合は、エスカレーション戦略とエラーパターンの表をすべて確認できる references/scraping.md を参照してください。

ツールのリファレンス

• MCP サーバーのセットアップ：references/setup.md を参照してください。サーバーのバリエーション、インストール、設定、バリエーションの検出について説明しています。
• スクレイピングのベストプラクティス：references/scraping.md を参照してください。render／premium／ultraPremium を使用するタイミング、出力形式、エラーからの復旧、セッションの固定について説明しています。
• Google 検索ツール：references/google.md を参照してください。5 つすべての Google ツール、パラメーターの詳細、レスポンス構造、ページネーション、時間フィルタリングについて説明しています。
• Amazon SDE ツール：references/amazon.md を参照してください。ASIN による商品詳細、検索、出品者のオファー／価格について説明しています。
• Walmart SDE ツール：references/walmart.md を参照してください。検索、商品詳細、カテゴリーの閲覧、商品レビューについて説明しています。
• eBay SDE ツール：references/ebay.md を参照してください。フィルターを使った検索と商品詳細について説明しています。
• Redfin SDE ツール：references/redfin.md を参照してください。売買／賃貸物件の掲載情報、検索結果、エージェントのプロフィールについて説明しています。
• クローラーツール：references/crawler.md を参照してください。URL の正規表現パターン、深度と予算の違い、スケジュール設定、Webhook、ジョブのライフサイクルについて説明しています。
• AI Parser ツール：references/ai-parser.md を参照してください。再利用可能なカスタムパーサー、非同期の create→poll→parse ワークフロー、6 つすべてのツール、field と scraperParams のサブオブジェクト、リモートとローカルでのパラメーター命名について説明しています。

レシピ

一般的なユースケース向けの、手順ごとのワークフローです。タスクに合ったレシピを読み込んでください。

• SERP とニュースのモニタリング：recipes/serp-news-monitor.md を参照してください。Google 検索と Google ニュースを監視し、構造化された結果を抽出して、SEO やメディアの追跡に役立つ変更レポートを作成します。