firecrawl-map について
Firecrawl mapでサイト内のURLを見つけるスキルです。検索条件で大規模サイトの特定ページを探し、後続のスクレイピングやクロール対象を選べます。
主な機能
- 01サイトURLの発見
- 02検索によるURL候補の絞り込み
- 03URL一覧をテキストまたはJSONで保存
活用シーン
- 01ドキュメント内の認証ページの特定
- 02次にスクレイピングするページの選定
- 03サイトURL一覧の作成
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/ / github.com/ firecrawl/ skills --skill firecrawl-mapインストール後、Claude Code で/firecrawl-mapを入力して読み込まれたか確認します。
詳細
firecrawl map
サイト上の URL を検出します。大規模なサイト内で特定のページを見つけるには、--search を使用します。
前提条件: map の実行には認証が必要です(キー不要の無料プランはありません)。認証情報がない場合、CLI から対話形式でのログインを求められます。
クイックスタート
# Find a specific page on a large site
firecrawl map "<url>" --search "authentication" -o .firecrawl/filtered.txt
# Get all URLs
firecrawl map "<url>" --limit 500 --json -o .firecrawl/urls.json
すべてのオプション(サイトマップの処理、サブドメインなど)については、firecrawl map --help を実行してください。
完了条件: URL リストが .firecrawl/ に保存され、次にスクレイピングまたはクロールする URL を選択していること。
ヒント
- map + scrape はよく使われるパターンです:
map --searchで適切な URL を見つけてから、scrapeします。 - 例:
map https://docs.example.com --search "auth"→/docs/api/authenticationが見つかる → その URL をscrapeする。
関連項目
- firecrawl-scrape — 検出した URL をスクレイピングする
- firecrawl-crawl — map + scrape の代わりに一括抽出する
- firecrawl-download — サイト全体をダウンロードする(内部で map を使用)
- firecrawl-build-search — ここで実行する代わりに、アプリに URL 検出機能を組み込む
コメント
Markdown 対応