关于 firecrawl-build-scrape
面向已有目标 URL、需要提取单页内容的 Firecrawl 集成技能。它指导格式与新鲜度设置,并说明何时改用搜索或多步骤网页交互。
主要功能
- 01从已知 URL 提取内容
- 02选择 Markdown 和正文提取选项
- 03按新鲜度需求设置缓存时限
- 04检查缓存元数据
- 05需要时转向搜索或多步骤浏览
适用场景
- 01从已知页面采集知识
- 02提取文档或更新日志内容
- 03用公司或产品页面补充信息
- 04检查页面内容质量或变化
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ firecrawl/ skills --skill firecrawl-build-scrape安装后在 Claude Code 中输入/firecrawl-build-scrape确认已加载。
附带文件references/freshness-and-liveness.md
详细介绍
Firecrawl 构建抓取
当应用已获取 URL,且需要获取单个页面的内容时使用。
适用场景
- 功能从已知 URL 开始
- 需要页面内容来进行检索、摘要、信息丰富或监控
- 想先使用默认的提取原语,再考虑
/interact
默认建议
- 除非功能确实需要其他格式,否则返回
markdown。 - 对于类似文章的页面,使用
onlyMainContent,避免导航栏和界面元素带来干扰。 - 只有页面确实需要时,才添加等待或其他渲染选项。
内容新鲜度与有效性
- Firecrawl 会复用近期索引的内容,因此重复读取同一 URL 的速度很快。设置
maxAge(毫秒)以限制可复用副本的最大时长;对于对新鲜度要求较高的读取,可设置maxAge: 0以跳过索引复用。 - 查看
metadata.cacheState和metadata.cachedAt,了解实际获取到的内容。 - 抓取成功表示页面返回了内容。页面所描述的对象是否仍然有效,则由你的代码根据具体来源进行判断。
- 关于权衡、元数据和判断规则,请参阅 references/freshness-and-liveness.md。
常见产品模式
- 从已知 URL 导入知识
- 丰富公司、产品或文档页面的信息
- 提取价格、更新日志和文档
- 页面级质量检查或监控
升级规则
- 如果还没有 URL,请从 firecrawl-build-search 开始。
- 如果内容需要点击、输入或多步导航,请升级到 firecrawl-build-interact。
实现说明
- 保持集成范围精简:一个功能、一个 URL、一份提取契约。
- 将
/scrape视为下游大模型或索引工作流的默认原语。 - 仅在使用方需要时请求更丰富的格式,例如链接、屏幕截图或品牌数据。
文档(权威来源)
编写集成代码前,请阅读适用于项目语言的权威来源页面:
- Node / TypeScript:docs.firecrawl.dev/agent-source-of-truth/node
- Python:docs.firecrawl.dev/agent-source-of-truth/python
- Rust:docs.firecrawl.dev/agent-source-of-truth/rust
- Java:docs.firecrawl.dev/agent-source-of-truth/java
- Elixir:docs.firecrawl.dev/agent-source-of-truth/elixir
- cURL / REST:docs.firecrawl.dev/agent-source-of-truth/curl
另请参阅
评论
支持 Markdown