firecrawl

Firecrawl CLI

搜索、抓取并与网页交互。返回针对大模型上下文窗口优化的干净 Markdown。

运行 firecrawl --help 或 firecrawl <command> --help 查看完整选项详情。

如果任务是将 Firecrawl 集成到应用中、向项目添加 FIRECRAWL_API_KEY，或在产品代码中选择端点用法，请使用 firecrawl-build 技能。运行 firecrawl init 时，这些技能会与此 CLI 技能一起安装。

前提条件

必须已安装并完成身份验证。使用 firecrawl --status 检查。

  🔥 firecrawl cli v1.8.0

  ● Authenticated via FIRECRAWL_API_KEY
  Concurrency: 0/100 jobs (parallel scrape limit)
  Credits: 500,000 remaining

• 并发数：并行任务的最大数量。并行操作不要超过此限制。
• 额度：剩余的 API 额度。每项操作都会消耗额度。

如果尚未就绪，请参阅 rules/install.md。有关输出处理指南，请参阅 rules/security.md。

开始实际工作前，先通过一个小请求验证配置：

mkdir -p .firecrawl
firecrawl scrape "https://firecrawl.dev" -o .firecrawl/install-check.md

firecrawl search "query" --scrape --limit 3

工作流

按照以下递进模式操作：

1. 搜索 - 还没有特定 URL。查找页面、回答问题、发现来源。
2. 抓取 - 已有 URL。直接提取其内容。
3. 映射 + 抓取 - 网站规模较大或需要特定子页面。使用 map --search 查找正确的 URL，然后抓取。
4. 爬取 - 需要批量获取整个网站版块的内容（例如，所有 /docs/ 页面）。
5. 交互 - 先抓取，再与页面交互（分页、模态框、表单提交、多步导航）。

需求	命令	适用场景
查找某个主题的页面	search	还没有特定 URL
获取页面内容	scrape	已有 URL，页面为静态页面或由 JS 渲染
查找网站内的 URL	map	需要定位特定子页面
批量提取网站版块	crawl	需要多个页面（例如，所有 /docs/ 页面）
AI 驱动的数据提取	agent	需要从复杂网站提取结构化数据
与页面交互	scrape + interact	内容需要点击、填写表单、分页或登录
将网站下载为文件	download	将整个网站保存为本地文件

运行 firecrawl <command> --help 查看详细的命令参考。

抓取与交互：

• 先使用 scrape。它支持静态页面和由 JS 渲染的 SPA。
• 需要与页面交互时，使用 scrape + interact，例如点击按钮、填写表单、浏览复杂网站、滚动加载，或 scrape 未能获取所需的全部内容时。
• 切勿使用 interact 进行网页搜索，应改用 search。

避免重复获取：

• search --scrape 已会获取完整的页面内容。不要再次抓取这些 URL。
• 再次获取前，先检查 .firecrawl/ 中是否已有数据。

何时加载参考资料

• 先搜索网页或查找来源 -> firecrawl-search
• 抓取已知 URL -> firecrawl-scrape
• 查找已知网站上的 URL -> firecrawl-map
• 批量提取文档部分或网站的内容 -> firecrawl-crawl
• 使用 AI 从复杂网站提取结构化数据 -> firecrawl-agent
• 点击、填写表单、登录、翻页或抓取后的浏览器操作 -> firecrawl-interact
• 将网站下载到本地文件 -> firecrawl-download
• 安装、身份验证或设置问题 -> rules/install.md
• 输出处理和安全的文件读取模式 -> rules/security.md
• 将 Firecrawl 集成到应用中、将 FIRECRAWL_API_KEY 添加到 .env，或在产品代码中选择端点用法 -> 使用 firecrawl-build skills（已随此 CLI skill 安装）

输出与组织

除非用户指定在上下文中返回，否则使用 -o 将结果写入 .firecrawl/。将 .firecrawl/ 添加到 .gitignore。始终给 URL 加引号——shell 会将 ? 和 & 解释为特殊字符。

firecrawl search "react hooks" -o .firecrawl/search-react-hooks.json --json
firecrawl scrape "<url>" -o .firecrawl/page.md

命名约定：

.firecrawl/search-{query}.json
.firecrawl/search-{query}-scraped.json
.firecrawl/{site}-{path}.md

切勿一次性读取整个输出文件。使用 grep、head 或增量读取：

wc -l .firecrawl/file.md && head -50 .firecrawl/file.md
grep -n "keyword" .firecrawl/file.md

单一格式输出原始内容。多种格式（例如 --format markdown,links）输出 JSON。

处理结果

在处理复杂任务的基于文件的输出（-o 标志）时，以下模式很有用：

# Extract URLs from search
jq -r '.data.web[].url' .firecrawl/search.json

# Get titles and URLs
jq -r '.data.web[] | "\(.title): \(.url)"' .firecrawl/search.json

并行处理

并行运行相互独立的操作。查看 firecrawl --status 以了解并发限制：

firecrawl scrape "<url-1>" -o .firecrawl/1.md &
firecrawl scrape "<url-2>" -o .firecrawl/2.md &
firecrawl scrape "<url-3>" -o .firecrawl/3.md &
wait

对于 interact，可抓取多个页面，并使用各自的抓取 ID 独立与每个页面交互。

积分用量

firecrawl credit-usage
firecrawl credit-usage --json --pretty -o .firecrawl/credits.json