mcpField
F
firecrawl-crawl

firecrawl-crawl

官方
firecrawl营销与增长67480.9k 次安装1 天前更新
代码仓库

关于 firecrawl-crawl

firecrawl crawl 是 Firecrawl CLI 中的 skill，用于从网站批量抓取内容，沿链接按深度和数量上限爬取页面。该命令需要登录认证，适合需要成批提取某个站点内容的用户。

主要功能

  1. 01按深度和页数上限爬取页面
  2. 02支持 --include-paths 限定路径范围
  3. 03支持 --wait 同步等待结果
  4. 04未加 --wait 时返回任务 ID 以便轮询
  5. 05结果保存为本地文件

适用场景

  1. 01批量提取文档站某一栏目的页面
  2. 02在大批量抓取前检查积分用量
  3. 03将站点内容保存到本地用于后续处理

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/firecrawl/cli --skill firecrawl-crawl

安装后在 Claude Code 中输入/firecrawl-crawl确认已加载。

详细介绍

firecrawl crawl

批量提取网站内容。沿链接抓取页面，直到达到深度或数量上限。

前提条件： crawl 需要身份验证（没有免密钥免费层）；未提供凭据时，CLI 会提示你交互式登录。

快速开始

# Crawl a docs section
firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json

# Full crawl with depth limit
firecrawl crawl "<url>" --max-depth 3 --wait --progress -o .firecrawl/crawl.json

# Check status of a running crawl
firecrawl crawl <job-id>

运行 firecrawl crawl --help 查看完整选项列表。

完成条件： 抓取达到终止状态，且 .firecrawl/ 下保存的输出包含预期页面。

提示

  • 需要立即获取结果时使用 --wait。它没有默认超时时间；使用 --timeout <seconds> 限制轮询时间。不使用 --wait 时，crawl 会返回用于异步轮询的任务 ID。
  • 如果请求指定了某个部分，请使用 --include-paths 限定抓取范围——只抓取所需页面。
  • Crawl 按页面消耗额度。大规模抓取前，请运行 firecrawl credit-usage 查看额度使用情况（credit-usage 需要身份验证）。

另请参阅

评论

支持 Markdown