mcpField
F
firecrawl-crawl

firecrawl-crawl

公式
firecrawlマーケティング・グロース67480.9k 回インストール1 日前に更新
リポジトリ

firecrawl-crawl について

firecrawl crawl は Firecrawl CLI のスキルで、リンクをたどりながら深さと件数の上限に従ってウェブサイトのコンテンツを一括抽出します。認証が必要で、一つのサイトから多数のページを保存したいユーザーに向いています。

主な機能

  1. 01深さと件数の上限によるページのクロール
  2. 02--include-paths によるパス範囲の指定
  3. 03--wait による結果の同期待機
  4. 04--wait なしでジョブ ID を返す非同期ポーリング
  5. 05出力のローカルファイル保存

活用シーン

  1. 01ドキュメントサイトの特定セクションの一括抽出
  2. 02大規模なクロール前のクレジット使用量の確認
  3. 03後続処理のためのサイトコンテンツのローカル保存

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/firecrawl/cli --skill firecrawl-crawl

インストール後、Claude Code で/firecrawl-crawlを入力して読み込まれたか確認します。

詳細

firecrawl crawl

ウェブサイトからコンテンツを一括抽出します。リンクをたどり、深さや上限までページをクロールします。

前提条件： crawl には認証が必要です（キー不要の無料プランはありません）。認証情報がない場合、CLI は対話形式でのログインを求めます。

クイックスタート

# Crawl a docs section
firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json

# Full crawl with depth limit
firecrawl crawl "<url>" --max-depth 3 --wait --progress -o .firecrawl/crawl.json

# Check status of a running crawl
firecrawl crawl <job-id>

すべてのオプションについては、firecrawl crawl --help を実行してください。

完了条件： クロールが最終ステータスに達し、.firecrawl/ 内に保存された出力に期待したページが含まれていること。

ヒント

  • 結果がすぐに必要な場合は、--wait を使用します。デフォルトのタイムアウトはありません。ポーリングを制限するには、--timeout <seconds> を使用してください。--wait を指定しない場合、クロールは非同期ポーリング用のジョブ ID を返します。
  • リクエストでセクションが指定されている場合は、必ず --include-paths でクロールの範囲を指定してください。必要なページだけをクロールします。
  • クロールではページごとにクレジットを消費します。大規模なクロールを実行する前に、firecrawl credit-usage を確認してください（credit-usage には認証が必要です）。

関連項目

  • firecrawl-scrape — 個別のページをスクレイピングします
  • firecrawl-map — クロールするかどうかを決める前に URL を見つけます
  • firecrawl-download — サイトをローカルファイルにダウンロードします（map と scrape を使用）
  • firecrawl-build-scrape — ここで実行する代わりに、一括抽出をアプリに組み込む方法

コメント

Markdown 対応