firecrawl-map について
firecrawl map は Firecrawl CLI のスキルで、ウェブサイト上の URL を検出します。大規模なサイトから特定のページを --search で探すことができ、スクレイピングやクロールの前に対象 URL を決めるのに役立ちます。認証が必要です。
主な機能
- 01サイト内の URL 一覧の検出
- 02--search によるキーワード絞り込み
- 03--limit による取得件数の制限
- 04JSON またはテキストでの出力
- 05サイトマップやサブドメインのオプション
活用シーン
- 01大規模ドキュメントサイトでの特定ページの検索
- 02スクレイピングやクロールの前の対象 URL の選定
- 03後続処理のためのサイト URL 一覧の保存
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/ / github.com/ firecrawl/ cli --skill firecrawl-mapインストール後、Claude Code で/firecrawl-mapを入力して読み込まれたか確認します。
詳細
firecrawl map
サイト上の URL を検出します。大規模なサイト内で特定のページを見つけるには、--search を使用します。
前提条件: map の実行には認証が必要です(キー不要の無料プランはありません)。認証情報がない場合、CLI から対話形式でのログインを求められます。
クイックスタート
# Find a specific page on a large site
firecrawl map "<url>" --search "authentication" -o .firecrawl/filtered.txt
# Get all URLs
firecrawl map "<url>" --limit 500 --json -o .firecrawl/urls.json
すべてのオプション(サイトマップの処理、サブドメインなど)については、firecrawl map --help を実行してください。
完了条件: URL リストが .firecrawl/ に保存され、次にスクレイピングまたはクロールする URL を選択していること。
ヒント
- map + scrape はよく使われるパターンです:
map --searchで適切な URL を見つけてから、scrapeします。 - 例:
map https://docs.example.com --search "auth"→/docs/api/authenticationが見つかる → その URL をscrapeする。
関連項目
- firecrawl-scrape — 検出した URL をスクレイピングする
- firecrawl-crawl — map + scrape の代わりに一括抽出する
- firecrawl-download — サイト全体をダウンロードする(内部で map を使用)
- firecrawl-build-search — ここで実行する代わりに、アプリに URL 検出機能を組み込む
コメント
Markdown 対応