CrawlKit Scrapers

CrawlKit 爬虫

24 个用于电商、旅游、房地产、招聘、社交媒体、金融等领域的生产级爬虫。 所有 Actor 均在 Apify 上运行——无需管理基础设施，按结果付费。

快速开始

pip install httpx
export APIFY_TOKEN="your_api_token_here"
python examples/booking.py

在 console.apify.com/account#/integrations 获取 API 令牌。

Actor

电商

Actor	每条结果价格	说明
AliExpress Scraper	$0.0063	商品搜索：标题、价格、折扣、评分、店铺
Amazon Reviews Scraper	$0.0042	商品评论：评分、文本、日期、已验证——覆盖 9 个市场
Google Shopping Scraper	$0.0024	购物结果：价格、卖家、评分——覆盖 12 个国家
Shopify Scraper	$0.0007	店铺商品：价格、变体、库存、图片、标签
Walmart Scraper	$0.0031	商品搜索／页面：价格、评分、卖家、库存情况

旅游

Actor	每条结果价格	说明
Airbnb Scraper	$0.0028	搜索结果：房源、价格、评分、评论、房间类型
Booking.com Scraper	$0.0035	酒店搜索：名称、价格、评分、星级、区、坐标
Google Flights Scraper	$0.00017	航班票价：价格、航空公司、时间、时长、中转次数

房地产

Actor	每条结果价格	说明
Realtor.com Scraper	$0.0007	房产列表：价格、卧室数、浴室数、平方英尺、坐标
Zillow Scraper	$0.0016	房源：价格、Zestimate、卧室数、浴室数、平方英尺

招聘

Actor	每条结果价格	说明
Google Jobs Scraper	$0.0063	职位列表：标题、公司、地点、薪资、申请链接
Indeed Jobs Scraper	$0.0005	职位列表：标题、公司、薪资——覆盖 6 个国家
Glassdoor Scraper	$0.0023	公司评论 + 按职位名称划分的薪资范围

社交媒体

Actor	每条结果价格	说明
Reddit Scraper	$0.0028	Subreddit 帖子／评论：标题、文本、作者、日期
Telegram Channel Scraper	$0.0035	公开频道消息：文本、日期、浏览量、媒体
YouTube Transcript Scraper	$0.0035	视频转录文本，包含时间戳 + 元数据 + 评论

评论

Actor	价格/结果	描述
App Store Reviews Scraper	$0.00007	iOS + Google Play 评论：文本、评分、日期、应用版本
Trustpilot Reviews Scraper	$0.00048	评论 + 公司 TrustScore、评论数量
Yelp Scraper	$0.0035	商家评论：名称、地址、评分、评论文本

金融

Actor	价格/结果	描述
SEC EDGAR & Yahoo Finance	$0.00035	SEC 文件（10-K、10-Q、8-K）+ 股票报价 + 财务数据

搜索与技术

Actor	价格/结果	描述
Bing & DuckDuckGo SERP	$0.0031	搜索结果：标题、URL、摘要、排名
Google News Scraper	$0.0028	新闻文章：标题、来源、日期、URL
Google Trends Scraper	$0.0021	随时间变化的关注度 + 相关查询，最多 5 个关键词
Tech Stack Detector	$0.0016	网站技术栈：CMS、框架、分析工具、CDN、托管服务

MCP 集成

所有 CrawlKit Actor 均可通过 Apify MCP server 使用，AI Agent（Claude、Cursor 等）无需编写代码即可调用。

端点：https://mcp.apify.com

请参阅 tutorials/mcp_integration.md 了解设置说明。

示例

文件	功能
booking.py	从 Booking.com 抓取巴黎的酒店
amazon_reviews.py	获取 Amazon 上的商品评论
youtube.py	提取 YouTube 视频字幕
google_trends.py	获取关键词随时间变化的关注度数据
zillow.py	从 Zillow 抓取房地产房源

所有示例均使用 httpx + Apify REST API。无需 SDK。

教程

• 入门指南 — API 令牌、首次运行、读取结果
• MCP 集成 — 将 CrawlKit 连接到 Claude、Cursor 和其他 AI Agent
• 定价 — 按结果付费模式、等级、批量折扣

许可证

MIT