mcpField
F
firecrawl-build-scrape

firecrawl-build-scrape

github.com/firecrawl数据与数据库13961.8k 次安装6 天前更新
代码仓库

关于 firecrawl-build-scrape

面向已有目标 URL、需要提取单页内容的 Firecrawl 集成技能。它指导格式与新鲜度设置,并说明何时改用搜索或多步骤网页交互。

主要功能

  1. 01从已知 URL 提取内容
  2. 02选择 Markdown 和正文提取选项
  3. 03按新鲜度需求设置缓存时限
  4. 04检查缓存元数据
  5. 05需要时转向搜索或多步骤浏览

适用场景

  1. 01从已知页面采集知识
  2. 02提取文档或更新日志内容
  3. 03用公司或产品页面补充信息
  4. 04检查页面内容质量或变化

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/firecrawl/skills --skill firecrawl-build-scrape

安装后在 Claude Code 中输入/firecrawl-build-scrape确认已加载。

附带文件references/freshness-and-liveness.md

详细介绍

Firecrawl 构建抓取

当应用已获取 URL,且需要获取单个页面的内容时使用。

适用场景

  • 功能从已知 URL 开始
  • 需要页面内容来进行检索、摘要、信息丰富或监控
  • 想先使用默认的提取原语,再考虑 /interact

默认建议

  • 除非功能确实需要其他格式,否则返回 markdown。
  • 对于类似文章的页面,使用 onlyMainContent,避免导航栏和界面元素带来干扰。
  • 只有页面确实需要时,才添加等待或其他渲染选项。

内容新鲜度与有效性

  • Firecrawl 会复用近期索引的内容,因此重复读取同一 URL 的速度很快。设置 maxAge(毫秒)以限制可复用副本的最大时长;对于对新鲜度要求较高的读取,可设置 maxAge: 0 以跳过索引复用。
  • 查看 metadata.cacheState 和 metadata.cachedAt,了解实际获取到的内容。
  • 抓取成功表示页面返回了内容。页面所描述的对象是否仍然有效,则由你的代码根据具体来源进行判断。
  • 关于权衡、元数据和判断规则,请参阅 references/freshness-and-liveness.md。

常见产品模式

  • 从已知 URL 导入知识
  • 丰富公司、产品或文档页面的信息
  • 提取价格、更新日志和文档
  • 页面级质量检查或监控

升级规则

实现说明

  • 保持集成范围精简:一个功能、一个 URL、一份提取契约。
  • 将 /scrape 视为下游大模型或索引工作流的默认原语。
  • 仅在使用方需要时请求更丰富的格式,例如链接、屏幕截图或品牌数据。

文档(权威来源)

编写集成代码前,请阅读适用于项目语言的权威来源页面:

另请参阅

评论

支持 Markdown