firecrawl-map について
firecrawl-map は、サイト内の URL を発見して一覧を保存する Firecrawl のコマンドラインスキルです。大規模サイトでは検索語で結果を絞り込み、見つけた URL をスクレイピングまたはクロールできます。
主な機能
- 01サイト内の URL を発見
- 02大規模サイト内を検索
- 03URL 一覧をテキストまたは JSON で保存
- 04結果数の上限を設定
- 05サイトマップとサブドメインのオプションに対応
活用シーン
- 01大規模サイトで特定ページを探す
- 02ページのスクレイピング前に URL を収集
- 03クロール用の URL 一覧を準備
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/ / github.com/ firecrawl/ firecrawl-claude-plugin --skill firecrawl-mapインストール後、Claude Code で/firecrawl-mapを入力して読み込まれたか確認します。
詳細
firecrawl map
サイト上の URL を検出します。大規模なサイト内で特定のページを見つけるには、--search を使用します。
前提条件: map の実行には認証が必要です(キー不要の無料プランはありません)。認証情報がない場合、CLI から対話形式でのログインを求められます。
クイックスタート
# Find a specific page on a large site
firecrawl map "<url>" --search "authentication" -o .firecrawl/filtered.txt
# Get all URLs
firecrawl map "<url>" --limit 500 --json -o .firecrawl/urls.json
すべてのオプション(サイトマップの処理、サブドメインなど)については、firecrawl map --help を実行してください。
完了条件: URL リストが .firecrawl/ に保存され、次にスクレイピングまたはクロールする URL を選択していること。
ヒント
- map + scrape はよく使われるパターンです:
map --searchで適切な URL を見つけてから、scrapeします。 - 例:
map https://docs.example.com --search "auth"→/docs/api/authenticationが見つかる → その URL をscrapeする。
関連項目
- firecrawl-scrape — 検出した URL をスクレイピングする
- firecrawl-crawl — map + scrape の代わりに一括抽出する
- firecrawl-download — サイト全体をダウンロードする(内部で map を使用)
- firecrawl-build-search — ここで実行する代わりに、アプリに URL 検出機能を組み込む
コメント
Markdown 対応