firecrawl

Firecrawl CLI

ウェブを検索、スクレイピングし、操作します。LLM のコンテキストウィンドウ向けに最適化された、クリーンな Markdown を返します。

オプションの詳細については、firecrawl --help または firecrawl <command> --help を実行してください。

Firecrawl をアプリケーションに統合する場合、プロジェクトに FIRECRAWL_API_KEY を追加する場合、またはプロダクトコードで使用するエンドポイントを選択する場合は、firecrawl-build スキルを使用してください。firecrawl init を実行すると、この CLI スキルと一緒にインストールされます。

前提条件

インストールと認証が必要です。firecrawl --status で確認してください。

  🔥 firecrawl cli v1.8.0

  ● Authenticated via FIRECRAWL_API_KEY
  Concurrency: 0/100 jobs (parallel scrape limit)
  Credits: 500,000 remaining

• 同時実行数：並列ジョブの最大数です。この上限まで並列操作を実行できます。
• クレジット：残りの API クレジットです。操作ごとにクレジットを消費します。

準備ができていない場合は、rules/install.md を参照してください。出力の取り扱いに関するガイドラインは、rules/security.md を参照してください。

実際の作業を始める前に、小さなリクエストを 1 件実行してセットアップを確認してください。

mkdir -p .firecrawl
firecrawl scrape "https://firecrawl.dev" -o .firecrawl/install-check.md

firecrawl search "query" --scrape --limit 3

ワークフロー

次の段階的な手順に従ってください。

1. 検索 - まだ特定の URL がありません。ページを見つけ、質問に回答し、情報源を探します。
2. スクレイピング - URL がわかっています。コンテンツを直接抽出します。
3. マップ + スクレイピング - 大規模なサイト、または特定のサブページが必要な場合です。map --search を使って適切な URL を見つけてから、スクレイピングします。
4. クロール - サイトのセクション全体（例：すべての /docs/）から大量のコンテンツが必要な場合です。
5. 操作 - まずスクレイピングし、その後ページを操作します（ページネーション、モーダル、フォーム送信、複数ステップのナビゲーション）。

必要なこと	コマンド	使用する状況
トピックに関するページを探す	search	まだ特定の URL がない場合
ページのコンテンツを取得する	scrape	URL があり、ページが静的または JS でレンダリングされる場合
サイト内の URL を探す	map	特定のサブページを見つける必要がある場合
サイトのセクションを一括抽出する	crawl	多数のページ（例：すべての /docs/）が必要な場合
AI を活用したデータ抽出	agent	複雑なサイトから構造化データが必要な場合
ページを操作する	scrape + interact	クリック、フォーム入力、ページネーション、ログインが必要な場合
サイトをファイルにダウンロードする	download	サイト全体をローカルファイルとして保存する場合

コマンドの詳細については、firecrawl <command> --help を実行してください。

スクレイピングと操作の使い分け：

• まず scrape を使用してください。静的ページと JS でレンダリングされる SPA の両方に対応します。
• ボタンのクリック、フォームへの入力、複雑なサイト内の移動、無限スクロールなど、ページの操作が必要な場合や、必要なコンテンツを scrape ですべて取得できない場合は、scrape + interact を使用してください。
• ウェブ検索に interact を使用しないでください。代わりに search を使用してください。

重複した取得を避ける：

• search --scrape はページ全体のコンテンツをすでに取得しています。これらの URL を再度スクレイピングしないでください。
• 再取得する前に、.firecrawl/ に既存のデータがないか確認してください。

参照を読み込むタイミング

• Web を検索する、または先にソースを探す -> firecrawl-search
• 既知の URL をスクレイピングする -> firecrawl-scrape
• 既知のサイト内で URL を探す -> firecrawl-map
• ドキュメントのセクションまたはサイトから一括抽出する -> firecrawl-crawl
• 複雑なサイトから AI を活用して構造化データを抽出する -> firecrawl-agent
• クリック、フォーム、ログイン、ページネーション、またはスクレイピング後のブラウザー操作 -> firecrawl-interact
• サイトをローカルファイルにダウンロードする -> firecrawl-download
• インストール、認証、またはセットアップに関する問題 -> rules/install.md
• 出力の取り扱いと安全なファイル読み取りのパターン -> rules/security.md
• Firecrawl をアプリに統合する、.env に FIRECRAWL_API_KEY を追加する、または製品コードでのエンドポイントの使い方を選択する -> firecrawl-build スキルを使用してください（この CLI スキルと一緒にすでにインストールされています）

出力と整理

ユーザーがコンテキスト内での返却を指定しない限り、結果は -o を使って .firecrawl/ に書き込みます。.firecrawl/ を .gitignore に追加してください。シェルでは ? と & が特殊文字として解釈されるため、URL は必ず引用符で囲んでください。

firecrawl search "react hooks" -o .firecrawl/search-react-hooks.json --json
firecrawl scrape "<url>" -o .firecrawl/page.md

命名規則：

.firecrawl/search-{query}.json
.firecrawl/search-{query}-scraped.json
.firecrawl/{site}-{path}.md

出力ファイル全体を一度に読み込まないでください。grep、head、または段階的な読み取りを使用してください：

wc -l .firecrawl/file.md && head -50 .firecrawl/file.md
grep -n "keyword" .firecrawl/file.md

単一の形式を指定すると、生のコンテンツが出力されます。複数の形式（例：--format markdown,links）を指定すると、JSON が出力されます。

結果の操作

複雑なタスクで、ファイルベースの出力（-o フラグ）を扱う際には、次のパターンが役立ちます：

# Extract URLs from search
jq -r '.data.web[].url' .firecrawl/search.json

# Get titles and URLs
jq -r '.data.web[] | "\(.title): \(.url)"' .firecrawl/search.json

並列化

独立した操作は並列で実行してください。同時実行数の上限は firecrawl --status で確認できます：

firecrawl scrape "<url-1>" -o .firecrawl/1.md &
firecrawl scrape "<url-2>" -o .firecrawl/2.md &
firecrawl scrape "<url-3>" -o .firecrawl/3.md &
wait

interact では、複数のページをスクレイピングし、それぞれのスクレイプ ID を使って個別に操作してください。

クレジットの使用

firecrawl credit-usage
firecrawl credit-usage --json --pretty -o .firecrawl/credits.json