Deepcrawl

---

克隆、抓取并爬取任意网站。 免费的 Firecrawl 替代方案。无需 API 密钥、没有速率限制，也无需订阅。

快速开始

Cursor（一键安装）： 点击上方的“在 Cursor 中安装”按钮。

手动配置 MCP：

{
  "mcpServers": {
    "deepcrawl-mcp": {
      "command": "npx",
      "args": ["-y", "deepcrawl-mcp@latest"]
    }
  }
}

命令行：

npx deepcrawl-mcp@latest

工具

deepcrawl_scrape

抓取单个页面并返回整洁的 Markdown。提取标题、描述、链接、图片和元数据。移除导航栏、页脚、广告和跟踪内容。

"Scrape https://example.com and give me the main content"

参数	默认值	描述
url	必填	要抓取的页面 URL
mainContentOnly	true	仅提取主要内容（跳过导航栏和页脚）
includeLinks	true	包含发现的链接
includeImages	true	包含图片 URL

deepcrawl_clone

克隆包含所有资源的完整页面：HTML、CSS、JS、图片、字体和网站图标。将所有内容下载到本地文件夹，并将 URL 重写为相对路径。在浏览器中打开 index.html 即可正常使用。

"Clone https://competitor.com into a local folder"

参数	默认值	描述
url	必填	要克隆的页面 URL
outputDir	~/deepcrawl-clones/<domain>	输出文件夹
depth	0	链接深度：0 = 单个页面，1+ = 跟踪链接

deepcrawl_crawl

通过跟踪站内链接爬取整个网站。将每个页面作为整洁的 Markdown 返回。适用于内容分析、SEO 审核或为 RAG 工作流提供数据。

"Crawl https://docs.example.com and return all pages as markdown"

参数	默认值	描述
url	必填	起始 URL
maxPages	20	最多爬取的页面数（上限：100）
includeImages	false	在每个页面中包含图片 URL

deepcrawl_map

通过解析 sitemap.xml 并爬取首页链接，发现网站中的所有 URL。在开始爬取前运行此工具，了解网站的范围。

"Map all pages on https://example.com"

参数	默认值	描述
url	必填	网站 URL
maxUrls	200	最多发现的 URL 数量

与 Firecrawl 对比

	deepcrawl	Firecrawl
价格	免费	$19+/mo
API 密钥	无	必需
速率限制	无	有
抓取为 Markdown	是	是
全站抓取	是	是
站点地图	是	是
克隆并包含资源	是	否
JS 渲染	是（通过 Playwright）	是
绕过反机器人机制	部分（UA 轮换、请求头、延迟）	是

deepcrawl 开箱即用即可处理静态网站。对于 JS 密集型 SPA（React、Next.js、SvelteKit），请安装 Playwright 以实现完整渲染：

npm install -g playwright
npx playwright install chromium

安装后，deepcrawl 会自动检测 Playwright 并启用 JS 渲染。在任何工具上使用 jsRender: true 即可启用此功能。所有工具还包含 UA 轮换、仿真的浏览器请求头和随机延迟，以避免触发基础的机器人检测。

Soflution 的其他项目

• brandcheck - 检查 27 个平台上的品牌名称是否可用
• depsonar - 依赖项审计、安全扫描和许可证检查

许可证

MIT