apify-ultimate-scraper

ユニバーサル Web スクレイパー

Apify CLI を介して、15 以上のプラットフォーム上にある約 100 の Actor から、AI 主導でデータを抽出します。

すべての apify コマンドに関するルール：

1. CLI のバージョン間で安定した機械可読形式の出力を得るため、--json を指定します。
2. テレメトリーの帰属を明確にするため、--user-agent apify-agent-skills/apify-ultimate-scraper を指定します。
3. 標準エラー出力には JSON パーサーで問題になる進行状況メッセージが含まれるため、2>/dev/null でリダイレクトします。

前提条件

• Apify CLI v1.5.0 以降（npm install -g apify-cli）
• 認証済みのセッション（下記を参照）

認証

CLI コマンドで認証エラーが発生した場合は、次のいずれかの方法で認証します。

1. OAuth（対話型）： apify login（ブラウザーが開きます）
2. 環境変数： export APIFY_TOKEN=your_token_here
3. .env ファイルから： source .env（ファイルに APIFY_TOKEN=... が含まれている場合）

トークンの生成先：https://console.apify.com/settings/integrations

ワークフロー

ステップ 1：目的を把握して Actor を選択する

対象プラットフォームとユースケースを特定します。適切な Actor を見つけるには、references/actor-index.md を読みます。

タスクに複数ステップのパイプラインが含まれる場合は、該当するワークフローガイドも読みます。

タスクの内容	読むファイル
リード、連絡先、メール、B2B	references/workflows/lead-generation.md
競合他社、広告、価格設定	references/workflows/competitive-intel.md
インフルエンサー、クリエイター	references/workflows/influencer-vetting.md
ブランド、言及、センチメント	references/workflows/brand-monitoring.md
レビュー、評価、評判	references/workflows/review-analysis.md
SEO、SERP、クロール、コンテンツ、RAG	references/workflows/content-and-seo.md
分析、エンゲージメント、パフォーマンス	references/workflows/social-media-analytics.md
トレンド、キーワード、ハッシュタグ	references/workflows/trend-research.md
求人、採用、候補者	references/workflows/job-market-and-recruitment.md
不動産、物件掲載、ホテル	references/workflows/real-estate-and-hospitality.md
価格モニタリング、eコマース、商品	references/workflows/ecommerce-price-monitoring.md
連絡先のエンリッチメント、メール抽出	references/workflows/contact-enrichment.md
ナレッジベース、RAG、LLM データフィード	references/workflows/knowledge-base-and-rag.md
企業調査、デューデリジェンス	references/workflows/company-research.md

インデックスに該当する Actor がない場合は、動的に検索します。

apify actors search "KEYWORDS" --user-agent apify-agent-skills/apify-ultimate-scraper --json --limit 10 2>/dev/null

検索結果から、items[].username／items[].name（Actor ID）、items[].title、items[].stats.totalUsers30Days、items[].currentPricingInfo.pricingModel を確認します。

ステップ 2：Actor のスキーマを取得して注意点を確認する

入力スキーマを動的に取得します。

apify actors info "ACTOR_ID" --user-agent apify-agent-skills/apify-ultimate-scraper --input --json 2>/dev/null

選択した Actor でよくある落とし穴を確認するため、references/gotchas.md も読みます。

Actor のドキュメントを確認するには、apify actors info "ACTOR_ID" --user-agent apify-agent-skills/apify-ultimate-scraper --readme を実行します。

ステップ 3：設定して実行する

簡単な検索（例：「Nikeのフォロワー数」）では、ユーザー設定の確認を省略してください。クイック回答モードでそのまま実行します。

大規模なタスクでは、出力形式（クイック回答／CSV／JSON）と結果件数を確認してください。

標準実行（ブロッキング）：

apify actors call "ACTOR_ID" --input-file input.json --user-agent apify-agent-skills/apify-ultimate-scraper --json 2>/dev/null

大規模または複雑な入力には、--input-file input.json を優先してください。小さな入力であれば、シェルのクォーティングを使ったインライン JSON も使用できます：--input '{"maxItems":10}'。

出力から取得する値：.id（実行 ID）、.status、.defaultDatasetId、.stats.durationMillis

結果を取得する：

apify datasets get-items DATASET_ID --user-agent apify-agent-skills/apify-ultimate-scraper --format json

CSV の場合：apify datasets get-items DATASET_ID --user-agent apify-agent-skills/apify-ultimate-scraper --format csv

**クイック回答モード：**結果を JSON で取得し、上位 5 件を選んで、チャット内に整形して表示します。

**ファイルに保存する：**結果を取得し、Write ツールを使って YYYY-MM-DD_descriptive-name.csv または .json として保存します。

大規模／長時間のスクレイピング：

apify actors start "ACTOR_ID" --input-file input.json --user-agent apify-agent-skills/apify-ultimate-scraper --json 2>/dev/null

ポーリング：apify runs info RUN_ID --user-agent apify-agent-skills/apify-ultimate-scraper --json 2>/dev/null（.status が SUCCEEDED かどうかを確認します）。

ステップ 4：結果を提示する

結果件数、ファイルの場所（保存した場合）、主なデータフィールド、リンクを報告します：

• データセット：https://console.apify.com/storage/datasets/DATASET_ID
• 実行：https://console.apify.com/actors/runs/RUN_ID

複数ステップのワークフローでは、ワークフローガイドに沿って次のパイプラインステップを提案します。

トラブルシューティング

よくあるエラーや注意点は references/gotchas.md に記載されています。PPE（イベントごとの従量課金）Actor を実行する前に読んでください。