mcpField
F
firecrawl-map

firecrawl-map

官方
firecrawlAgent 工作流67480.4k 次安装2 天前更新
代码仓库

关于 firecrawl-map

firecrawl map 是 Firecrawl CLI 中的 skill，用于发现网站上的 URL。在大型站点中可使用 --search 查找特定页面，适合在抓取或爬取前先确定目标地址。该命令需要登录认证。

主要功能

  1. 01发现站点中的 URL 列表
  2. 02支持 --search 按关键词筛选
  3. 03支持 --limit 限制数量
  4. 04可输出 JSON 或文本文件
  5. 05支持站点地图与子域名等选项

适用场景

  1. 01在大型文档站中定位某个页面
  2. 02先获取 URL 列表再决定抓取或爬取范围
  3. 03保存站点 URL 清单用于后续处理

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/firecrawl/cli --skill firecrawl-map

安装后在 Claude Code 中输入/firecrawl-map确认已加载。

详细介绍

firecrawl map

发现网站上的 URL。使用 --search 在大型网站中查找特定页面。

前置条件： map 需要身份验证（没有免密钥免费版）；如果没有凭据，CLI 会提示你交互式登录。

快速开始

# Find a specific page on a large site
firecrawl map "<url>" --search "authentication" -o .firecrawl/filtered.txt

# Get all URLs
firecrawl map "<url>" --limit 500 --json -o .firecrawl/urls.json

运行 firecrawl map --help 查看完整选项列表（站点地图处理、子域名等）。

完成标志： URL 列表已保存到 .firecrawl/ 下，并且你已选好接下来要抓取或爬取的 URL。

提示

  • Map + scrape 是常见模式：使用 map --search 找到合适的 URL，然后对其运行 scrape。
  • 示例：map https://docs.example.com --search "auth" → 找到 /docs/api/authentication → 对该 URL 运行 scrape。

另请参阅

评论

支持 Markdown