mcpField

firecrawl

github.com/founderjourney数据与数据库90 次安装
代码仓库

关于 firecrawl

firecrawl 技能为 Claude Code 提供 Firecrawl 网页搜索与抓取能力，适合需要研究网站或提取页面数据的工作。它通过 MCP 服务提供搜索、抓取、站点爬取、URL 映射和结构化提取工具。

主要功能

  1. 01抓取单页并返回 Markdown
  2. 02沿链接爬取网站
  3. 03发现网站 URL
  4. 04搜索网页并获取结果
  5. 05用 LLM 提取结构化数据

适用场景

  1. 01搜索主题并抓取相关页面
  2. 02整理文档站点页面目录
  3. 03从网页提取产品信息
  4. 04将页面内容转为 Markdown

MCP 相关

通过 Firecrawl MCP 服务提供网页抓取、爬取、映射、搜索和结构化提取工具。配置需要 FIRECRAWL_API_KEY；自托管实例可使用 FIRECRAWL_API_URL。

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/founderjourney/claude-skills --skill firecrawl

安装后在 Claude Code 中输入/firecrawl确认已加载。

详细介绍

Firecrawl

概述

Firecrawl 是一个功能强大的网页抓取和搜索 API。此技能通过 MCP 服务集成，为 Claude Code 提供节省令牌的接口。

何时使用此技能

  • 抓取：以 Markdown 格式获取单个 URL 的内容
  • 爬取：沿着链接爬取整个网站
  • 映射：发现网站上的所有 URL
  • 搜索：搜索网页并可选择抓取结果
  • 提取：使用大模型从页面提取结构化数据

MCP 服务工具

配置 Firecrawl MCP 服务后，即可使用以下工具：

firecrawl_scrape

抓取单个 URL 并获取整洁的 Markdown 内容。

Use: mcp__firecrawl__firecrawl_scrape
Parameters:
  - url: The URL to scrape
  - formats: ["markdown"] (optional)
firecrawl_crawl

从某个 URL 开始爬取网站，并沿着链接继续抓取。

Use: mcp__firecrawl__firecrawl_crawl
Parameters:
  - url: Starting URL
  - maxDepth: How deep to crawl (default: 2)
  - limit: Max pages to crawl
firecrawl_map

发现网站上的所有 URL，而不抓取内容。

Use: mcp__firecrawl__firecrawl_map
Parameters:
  - url: The website URL
  - limit: Max URLs to return (default: 100)
firecrawl_search

搜索网页并获取包含内容的结果。

Use: mcp__firecrawl__firecrawl_search
Parameters:
  - query: Search query
  - limit: Max results (default: 5)

支持以下搜索运算符：

  • "exact phrase" - 精确匹配
  • -term - 排除词语
  • site:example.com - 限定域名
  • intitle:word - 标题中包含词语
firecrawl_extract

使用大模型从页面提取结构化数据。

Use: mcp__firecrawl__firecrawl_extract
Parameters:
  - urls: Array of URLs to extract from
  - prompt: What to extract
  - schema: JSON Schema for structured output (optional)

快速参考

任务MCP 工具
抓取页面firecrawl_scrape
爬取网站firecrawl_crawl
映射网站 URLfirecrawl_map
搜索网页firecrawl_search
提取数据firecrawl_extract

工作流示例

研究主题
  1. 使用 firecrawl_search 查找相关页面
  2. 使用 firecrawl_scrape 抓取最佳结果的完整内容
分析文档网站
  1. 使用 firecrawl_map 发现所有页面
  2. 使用 firecrawl_scrape 抓取特定部分
提取产品信息
  1. 使用 firecrawl_extract 并提供描述提取内容的提示词
  2. 可选择提供 JSON 架构以获取结构化输出

环境配置

MCP 服务需要设置 FIRECRAWL_API_KEY 环境变量。

从此处获取 API 密钥：https://firecrawl.dev

节省令牌

MCP 工具旨在尽可能减少令牌消耗：

  • 抓取：返回整洁的 Markdown
  • 映射：仅返回 URL 列表
  • 搜索：返回摘要，可选择包含完整内容
  • 提取：仅返回请求的数据

错误处理

常见错误：

  • API key required - 在 MCP 配置中设置 FIRECRAWL_API_KEY
  • Invalid URL - 检查 URL 格式
  • Rate limited - 等待后重试（自动处理）
  • Site blocked - 某些网站会阻止抓取

定价说明

Firecrawl 按操作收费：

  • 抓取：每页 1 个积分
  • 映射：每次调用 1 个积分
  • 搜索：每个结果 1 个积分
  • 提取：费用因复杂程度而异

查看 https://firecrawl.dev/pricing 了解当前价格。

自托管选项

如果你在自己的服务器上自托管 Firecrawl，请使用以下配置设置 MCP 服务：

  • FIRECRAWL_API_URL：你的自托管实例 URL（例如，http://localhost:3002）
  • 自托管无需 API 密钥

评论

支持 Markdown