website-to-vite-scraper

Website-to-Vite Scraper V2

适用于任意网站类型的多提供商网站抓取工具，支持 AI 驱动的内容提取。

抓取方式

方式	最适合	反机器人	JS 渲染	费用
Playwright	常规网站、Next.js/React 应用	❌	✅ 完整	免费
Apify RAG Browser	针对 LLM/RAG 优化的内容	✅	✅ 自适应	积分
Crawl4AI	AI 训练数据、干净提取	✅	✅	积分
Firecrawl	受保护的网站、绕过反机器人机制	✅✅	✅	$16/mo

快速开始

GitHub Actions（推荐）

# Go to: Actions → Website Scraper V2 → Run workflow
# Options:
#   - URL: https://www.reventure.app/
#   - Project name: reventure-clone
#   - Method: all (tries all providers)
#   - Deploy: true

API MEGA LIBRARY 集成

我们的库中的以下 API 可增强此抓取工具：

API	用途	状态
APIFY_API_TOKEN	RAG Browser、Crawl4AI、Web Scraper	✅ 已配置
FIRECRAWL_API_KEY	绕过反机器人机制、隐身模式	✅ 已配置
BROWSERLESS_API_KEY	替代无头浏览器	🔄 可用

MCP 服务集成

将 Claude Desktop/Cursor 连接到 Apify MCP，以进行 AI 驱动的抓取：

{
  "mcpServers": {
    "apify": {
      "command": "npx",
      "args": ["@apify/actors-mcp-server"],
      "env": {
        "APIFY_TOKEN": "your-apify-api-token"
      }
    }
  }
}

或使用托管服务：https://mcp.apify.com?token=YOUR_TOKEN

使用的 Apify Actors

apify/rag-web-browser

• 用途： 针对 LLM 优化的网页内容提取
• 输出： Markdown、HTML、文本
• 功能：
  • Playwright 自适应（可处理 JS）
  • 干净的内容提取
  • 跟踪链接
  • 元数据提取

raizen/ai-web-scraper (Crawl4AI)

• 用途： 收集 AI 训练数据
• 输出： 清理后的 Markdown、结构化链接
• 功能：
  • 排除模板内容（页眉、页脚、导航）
  • 字数阈值筛选
  • 外部链接筛选

Firecrawl

• 用途： 受反机器人机制保护的网站
• 输出： Markdown、HTML、屏幕截图
• 功能：
  • 反检测技术
  • JavaScript 渲染
  • 主要内容提取
  • 等待 5 秒以加载动态内容

输出结构

project-name/
├── dist/
│   ├── index.html      # Best merged HTML
│   ├── screenshot.png  # Full page capture
│   ├── meta.json       # Scrape metadata
│   └── assets/
│       ├── images/     # Downloaded images
│       ├── css/        # Stylesheets
│       └── js/         # Scripts
└── results/
    ├── playwright/     # Raw Playwright output
    ├── apify-rag/      # RAG Browser output
    ├── crawl4ai/       # Crawl4AI output
    └── firecrawl/      # Firecrawl output

处理 CSR/SPA 网站

Next.js、React、Vue 等客户端渲染的网站需要执行 JavaScript：

1. Playwright 等待 networkidle 状态，然后再等待 5 秒
2. Apify RAG 使用自适应爬虫（需要时使用 Playwright）
3. Firecrawl 内置 JS 渲染功能

提取 __NEXT_DATA__（Next.js 网站）：

• Playwright 会自动提取并保存到 next_data.json
• 可对其进行解析，以重建静态页面

工作流参数

参数	类型	默认值	说明
url	string	必填	要抓取的网站 URL
project_name	string	必填	输出文件夹/Cloudflare 项目名称
scrape_method	choice	playwright	要使用的方法
extract_assets	boolean	true	下载图片/CSS/JS
deploy_cloudflare	boolean	true	部署到 Cloudflare Pages

优化费用

场景	推荐方式
简单静态网站	Playwright（免费）
JS 密集型 SPA	Playwright → Apify RAG 回退
受保护的网站（Cloudflare）	Firecrawl
AI/RAG 工作流	Apify RAG 或 Crawl4AI
最大覆盖范围	all 方法

安全评估

根据 API_MEGA_LIBRARY 指南：

API	安全评分	建议
Apify	85/100	✅ 采用
Firecrawl	82/100	✅ 采用
Playwright	90/100	✅ 采用（本地）

故障排除

网站返回空白页面

1. 尝试使用 scrape_method: all，以调用多个提供商
2. 增加 Playwright 的等待时间
3. 检查网站是否屏蔽数据中心 IP → 使用 Firecrawl

资源未下载

1. 某些网站会屏蔽直接资源请求
2. 使用原始 HTML 中的相对路径
3. 检查是否存在 CORS 限制

检测到 Cloudflare 保护

1. 使用 Firecrawl（支持绕过反机器人机制）
2. 或使用带住宅代理的 Apify

相关技能

• auction-results - 使用类似方法抓取拍卖数据
• bcpao-scraper - 提取 BCPAO 房产数据
• youtube-transcript - 提取视频内容

更新日志

V2.0 (Dec 2025)

• Added multi-provider support (Playwright, Apify, Firecrawl)
• MCP server integration
• Automatic provider fallback
• Asset downloading
• Cloudflare Pages deployment

V1.0 (Dec 2025)

• Initial Playwright-only scraper
• Basic HTML/CSS/JS extraction