mcpField
F
firecrawl-crawl

firecrawl-crawl

github.com/firecrawl数据与数据库1395.9k 次安装6 天前更新
代码仓库

关于 firecrawl-crawl

firecrawl-crawl 是用于批量提取网站内容的技能，可按深度和页面数量限制沿链接抓取。它介绍了限定抓取范围、等待结果或轮询任务，以及保存输出。

主要功能

  1. 01沿链接提取网站页面
  2. 02设置抓取深度和页面上限
  3. 03限定指定 URL 路径
  4. 04等待完成或轮询任务
  5. 05保存抓取结果

适用场景

  1. 01收集文档专区的页面
  2. 02按深度限制抓取网站
  3. 03仅提取指定路径
  4. 04获取异步抓取结果

MCP 相关

输入未说明 MCP 连接或接口。

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/firecrawl/skills --skill firecrawl-crawl

安装后在 Claude Code 中输入/firecrawl-crawl确认已加载。

详细介绍

firecrawl crawl

批量提取网站内容。沿链接抓取页面，直到达到深度或数量上限。

前提条件： crawl 需要身份验证（没有免密钥免费层）；未提供凭据时，CLI 会提示你交互式登录。

快速开始

# Crawl a docs section
firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json

# Full crawl with depth limit
firecrawl crawl "<url>" --max-depth 3 --wait --progress -o .firecrawl/crawl.json

# Check status of a running crawl
firecrawl crawl <job-id>

运行 firecrawl crawl --help 查看完整选项列表。

完成条件： 抓取达到终止状态，且 .firecrawl/ 下保存的输出包含预期页面。

提示

  • 需要立即获取结果时使用 --wait。它没有默认超时时间；使用 --timeout <seconds> 限制轮询时间。不使用 --wait 时，crawl 会返回用于异步轮询的任务 ID。
  • 如果请求指定了某个部分，请使用 --include-paths 限定抓取范围——只抓取所需页面。
  • Crawl 按页面消耗额度。大规模抓取前，请运行 firecrawl credit-usage 查看额度使用情况（credit-usage 需要身份验证）。

另请参阅

评论

支持 Markdown