CrawlKit Scrapers

CrawlKit スクレイパー

E コマース、旅行、不動産、求人、ソーシャルメディア、金融などに対応する、本番環境向けスクレイパー 24 種類です。 すべての Actor は Apify 上で実行されるため、インフラの管理は不要で、結果ごとに料金が発生します。

クイックスタート

pip install httpx
export APIFY_TOKEN="your_api_token_here"
python examples/booking.py

API トークンは console.apify.com/account#/integrations で取得できます。

Actor

E コマース

Actor	結果あたりの料金	説明
AliExpress Scraper	$0.0063	商品検索：タイトル、価格、割引、評価、ストア
Amazon Reviews Scraper	$0.0042	商品レビュー：評価、テキスト、日付、認証済み — 9 つのマーケットプレイス
Google Shopping Scraper	$0.0024	ショッピング結果：価格、販売者、評価 — 12 か国
Shopify Scraper	$0.0007	ストアの商品：価格、バリエーション、在庫、画像、タグ
Walmart Scraper	$0.0031	商品検索／ページ：価格、評価、販売者、在庫状況

旅行

Actor	結果あたりの料金	説明
Airbnb Scraper	$0.0028	検索結果：リスティング、価格、評価、レビュー、部屋タイプ
Booking.com Scraper	$0.0035	ホテル検索：名前、価格、評価、星の数、地区、座標
Google Flights Scraper	$0.00017	航空券運賃：価格、航空会社、時刻、所要時間、乗り継ぎ回数

不動産

Actor	結果あたりの料金	説明
Realtor.com Scraper	$0.0007	物件リスティング：価格、寝室数、浴室数、平方フィート、座標
Zillow Scraper	$0.0016	リスティング：価格、Zestimate、寝室数、浴室数、平方フィート

求人

Actor	結果あたりの料金	説明
Google Jobs Scraper	$0.0063	求人リスティング：職種名、会社、勤務地、給与、応募リンク
Indeed Jobs Scraper	$0.0005	求人リスティング：職種名、会社、給与 — 6 か国
Glassdoor Scraper	$0.0023	職種別の企業レビューと給与範囲

ソーシャルメディア

Actor	結果あたりの料金	説明
Reddit Scraper	$0.0028	サブレディットの投稿／コメント：タイトル、テキスト、投稿者、日付
Telegram Channel Scraper	$0.0035	公開チャンネルのメッセージ：テキスト、日付、閲覧数、メディア
YouTube Transcript Scraper	$0.0035	タイムスタンプ、メタデータ、コメント付きの動画文字起こし

レビュー

実行者	価格／結果	説明
App Store Reviews Scraper	$0.00007	iOS と Google Play のレビュー：テキスト、評価、日付、アプリのバージョン
Trustpilot Reviews Scraper	$0.00048	レビューと企業のTrustScore、レビュー数
Yelp Scraper	$0.0035	ビジネスのレビュー：名前、住所、評価、レビュー本文

金融

実行者	価格／結果	説明
SEC EDGAR & Yahoo Finance	$0.00035	SEC提出書類（10-K、10-Q、8-K）と株価情報、財務情報

検索とテクノロジー

実行者	価格／結果	説明
Bing & DuckDuckGo SERP	$0.0031	検索結果：タイトル、URL、スニペット、掲載順位
Google News Scraper	$0.0028	ニュース記事：見出し、配信元、日付、URL
Google Trends Scraper	$0.0021	関心度の推移と関連クエリ。キーワードは最大5件
Tech Stack Detector	$0.0016	Webサイトの技術スタック：CMS、フレームワーク、分析ツール、CDN、ホスティング

MCP 連携

すべてのCrawlKit ActorはApify MCP サーバーから利用でき、AI エージェント（Claude、Cursorなど）からコード不要で呼び出せます。

エンドポイント：https://mcp.apify.com

セットアップ手順については、tutorials/mcp_integration.mdをご覧ください。

例

ファイル	内容
booking.py	Booking.comからパリのホテル情報をスクレイピングします
amazon_reviews.py	Amazonから商品レビューを取得します
youtube.py	YouTube動画の文字起こしを抽出します
google_trends.py	キーワードの関心度の推移データを取得します
zillow.py	Zillowから不動産物件情報をスクレイピングします

すべての例でhttpxとApify REST APIを使用します。SDKは不要です。

チュートリアル

• はじめに — APIトークン、最初の実行、結果の読み取り
• MCP 連携 — CrawlKitをClaude、Cursor、その他のAI エージェントに接続します
• 料金 — 結果ごとの従量課金モデル、料金プラン、ボリューム割引

ライセンス

MIT