firecrawl-lean

Firecrawl CLI — 精简参考

检查状态：firecrawl --status（显示身份验证、积分和并发限制）。 尚未安装？运行：npm install -g firecrawl-cli && firecrawl auth 身份验证命令：firecrawl login、firecrawl logout、firecrawl view-config

WebFetch 与 Firecrawl

先尝试 WebFetch（免费）。在以下情况下使用 Firecrawl：

• 需要网页搜索（WebFetch 无法搜索）
• JS 密集型 SPA / 营销页面
• 完整文章内容（WebFetch 会截断较长的页面）
• WebFetch 输出少于 1000 个字符或看起来不完整

升级模式

search → scrape → map+scrape → crawl* → interact*

* = 高级功能；如有需要，请安装专用技能

命令

Search — 尚无 URL，需要查找页面：

firecrawl search "query" --limit 5 -o .firecrawl/results.json --json
firecrawl search "query" --scrape -o .firecrawl/results.json --json        # include full content
firecrawl search "query" --sources news --tbs qdr:d --json                 # news, past day
firecrawl search "query" --country US --location "New York" --json         # geo-targeted

Scrape — 已有 URL：

firecrawl scrape "<url>" -o .firecrawl/page.md
firecrawl scrape "<url>" --only-main-content -o .firecrawl/page.md        # strip nav/footer
firecrawl scrape "<url>" --wait-for 3000 -o .firecrawl/page.md            # wait for JS
firecrawl scrape "<url>" --query "What is the enterprise price?"            # targeted Q (5 credits)
firecrawl scrape "<url>" --format markdown,html,screenshot -o .firecrawl/page.md  # multi-format
firecrawl scrape "<url>" --format json --schema '{"price":"string"}' -o .firecrawl/data.json  # structured

Map — 查找网站内的 URL：

firecrawl map "<url>" --search "authentication" -o .firecrawl/urls.txt
firecrawl map "<url>" --limit 200 --json -o .firecrawl/urls.json
firecrawl map "<url>" --include-subdomains --sitemap -o .firecrawl/urls.json

Crawl — 批量提取网站板块（高级功能 — 安装 firecrawl-crawl 获取完整文档）：

firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json
firecrawl crawl "<url>" --max-depth 3 --delay 500 --exclude-paths /blog --wait -o .firecrawl/crawl.json

Download — 将网站保存为本地文件（高级功能）：

firecrawl download "<url>" --limit 20 -y -o .firecrawl/site/

Interact — 抓取后点击 / 填写表单（高级功能 — 安装 firecrawl-instruct 获取完整文档）：

firecrawl scrape "<url>"
firecrawl interact --prompt "Click the login button"
firecrawl interact stop

Agent — 由 AI 驱动的结构化提取（高级功能 — 安装 firecrawl-agent 获取完整文档）：

firecrawl agent "extract all pricing tiers" --wait -o .firecrawl/data.json
firecrawl agent "extract pricing" --urls "<url>" --schema '{"tiers":[]}' --wait -o .firecrawl/data.json

Browser — CDP / Playwright 风格的自动化（不同于 interact）：

firecrawl browser launch-session "<url>"
firecrawl browser execute --code "document.querySelector('button').click()"
firecrawl browser list
firecrawl browser close <session-id>

输出规则

• 始终使用 -o 将输出写入 .firecrawl/，避免上下文膨胀
• 将 .firecrawl/ 添加到 .gitignore
• 始终为 URL 加上引号（? 和 & 是 shell 特殊字符）
• 切勿一次性读取全部输出：使用 head -50 file.md 或 grep "keyword" file.md
• 命名规则：.firecrawl/search-{query}.json、.firecrawl/{site}-{path}.md

从 JSON 结果中提取 URL

jq -r '.data.web[].url' .firecrawl/search.json

积分

firecrawl credit-usage