mcpField
F
firecrawl-crawl

firecrawl-crawl

github.com/firecrawlデータ・データベース1395.9k 回インストール6 日前に更新
リポジトリ

firecrawl-crawl について

firecrawl-crawlは、リンクをたどり、深さやページ数を制限してウェブサイトの内容を一括取得するスキルです。対象範囲の指定、完了待ちやジョブのポーリング、結果の保存方法を説明します。

主な機能

  1. 01リンクをたどってサイトのページを取得
  2. 02クロールの深さとページ数を設定
  3. 03指定したURLパスに限定
  4. 04完了待ちまたはジョブをポーリング
  5. 05クロール結果を保存

活用シーン

  1. 01ドキュメントの一部を収集
  2. 02深さを制限してサイトをクロール
  3. 03指定パスだけを取得
  4. 04非同期クロールの結果を取得

MCP 対応

入力にはMCP接続やインターフェースについての記載がありません。

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/firecrawl/skills --skill firecrawl-crawl

インストール後、Claude Code で/firecrawl-crawlを入力して読み込まれたか確認します。

詳細

firecrawl crawl

ウェブサイトからコンテンツを一括抽出します。リンクをたどり、深さや上限までページをクロールします。

前提条件： crawl には認証が必要です（キー不要の無料プランはありません）。認証情報がない場合、CLI は対話形式でのログインを求めます。

クイックスタート

# Crawl a docs section
firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json

# Full crawl with depth limit
firecrawl crawl "<url>" --max-depth 3 --wait --progress -o .firecrawl/crawl.json

# Check status of a running crawl
firecrawl crawl <job-id>

すべてのオプションについては、firecrawl crawl --help を実行してください。

完了条件： クロールが最終ステータスに達し、.firecrawl/ 内に保存された出力に期待したページが含まれていること。

ヒント

  • 結果がすぐに必要な場合は、--wait を使用します。デフォルトのタイムアウトはありません。ポーリングを制限するには、--timeout <seconds> を使用してください。--wait を指定しない場合、クロールは非同期ポーリング用のジョブ ID を返します。
  • リクエストでセクションが指定されている場合は、必ず --include-paths でクロールの範囲を指定してください。必要なページだけをクロールします。
  • クロールではページごとにクレジットを消費します。大規模なクロールを実行する前に、firecrawl credit-usage を確認してください（credit-usage には認証が必要です）。

関連項目

  • firecrawl-scrape — 個別のページをスクレイピングします
  • firecrawl-map — クロールするかどうかを決める前に URL を見つけます
  • firecrawl-download — サイトをローカルファイルにダウンロードします（map と scrape を使用）
  • firecrawl-build-scrape — ここで実行する代わりに、一括抽出をアプリに組み込む方法

コメント

Markdown 対応