mcpField
F
firecrawl-crawl

firecrawl-crawl

github.com/firecrawl数据与数据库252104 次安装1 周前更新
代码仓库

关于 firecrawl-crawl

用于批量提取网站内容的 Firecrawl 技能，可按深度和页面数限制跟踪链接。内容涵盖限定爬取范围、等待任务完成及检查保存结果。

主要功能

  1. 01批量爬取链接页面
  2. 02限制爬取深度和页面数
  3. 03按 URL 路径限定范围
  4. 04等待任务完成或异步轮询
  5. 05保存并检查爬取结果

适用场景

  1. 01提取文档栏目内容
  2. 02按深度限制收集页面
  3. 03检查异步爬取任务是否完成

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/firecrawl/firecrawl-claude-plugin --skill firecrawl-crawl

安装后在 Claude Code 中输入/firecrawl-crawl确认已加载。

详细介绍

firecrawl crawl

批量提取网站内容。沿链接抓取页面，直到达到深度或数量上限。

前提条件： crawl 需要身份验证（没有免密钥免费层）；未提供凭据时，CLI 会提示你交互式登录。

快速开始

# Crawl a docs section
firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json

# Full crawl with depth limit
firecrawl crawl "<url>" --max-depth 3 --wait --progress -o .firecrawl/crawl.json

# Check status of a running crawl
firecrawl crawl <job-id>

运行 firecrawl crawl --help 查看完整选项列表。

完成条件： 抓取达到终止状态，且 .firecrawl/ 下保存的输出包含预期页面。

提示

  • 需要立即获取结果时使用 --wait。它没有默认超时时间；使用 --timeout <seconds> 限制轮询时间。不使用 --wait 时，crawl 会返回用于异步轮询的任务 ID。
  • 如果请求指定了某个部分，请使用 --include-paths 限定抓取范围——只抓取所需页面。
  • Crawl 按页面消耗额度。大规模抓取前，请运行 firecrawl credit-usage 查看额度使用情况（credit-usage 需要身份验证）。

另请参阅

评论

支持 Markdown