mcpField
F
firecrawl-knowledge-ingest

firecrawl-knowledge-ingest

github.com/firecrawl数据与数据库1393.8k 次安装6 天前更新
代码仓库

关于 firecrawl-knowledge-ingest

使用 Firecrawl browser 将文档门户提取为结构化知识内容的 Skill，可处理导航、认证、分页和 JavaScript 渲染页面，并跟踪进度与失败情况。

主要功能

  1. 01浏览文档门户
  2. 02处理认证和 JavaScript 渲染页面
  3. 03跟进栏目、分页和搜索结果
  4. 04提取文章内容与元数据
  5. 05跟踪进度和页面失败情况

适用场景

  1. 01采集带分页的文档
  2. 02提取需认证访问的门户文章
  3. 03将文档导出为 JSON 或 Markdown

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/firecrawl/skills --skill firecrawl-knowledge-ingest

安装后在 Claude Code 中输入/firecrawl-knowledge-ingest确认已加载。

详细介绍

Firecrawl 知识采集

当文档门户需要浏览器导航、身份验证、分页或 JS 渲染时使用。

接入访谈

根据上下文推断门户 URL、输出格式、身份验证需求和页面上限。如果门户明确，立即开始。

只有在受阻时才提出最多 1-3 个简短问题，例如门户 URL、是否需要身份验证，或所需的输出格式。

Firecrawl 采集计划

使用 Firecrawl 浏览器来：

  • 打开门户并检查导航
  • 确定各个版块、类别、侧边栏链接和文章 URL
  • 跟随侧边栏导航、下一页链接、分页、加载更多控件或搜索
  • 将文章内容抓取为 markdown
  • 提取标题、版块、最后更新日期、作者和标签等元数据

尝试将 Firecrawl map 作为公开 URL 的补充，但对于受身份验证保护或大量使用 JS 的内容，请使用浏览器导航。

最终交付物

# Knowledge Ingest: [Portal]

## Summary
[Pages extracted, sections covered, limitations]

## Output
[JSON/markdown/merged file path or content]

## Sections
[Section names and article counts]

## Failed Or Restricted Pages
[Any access/loading issues]

## Sources
[URLs extracted]

## Rerun Inputs
workflow: firecrawl-knowledge-ingest
url: [portal url]
format: [json/markdown/merged]
max_pages: [number]

JSON 结构

使用 source、url、extractedAt、totalArticles 和 sections[]，其中包含文章的 title、url、section、content 和 metadata。

质量标准

  • 保留代码示例、表格和格式。
  • 去除导航界面、页眉和页脚。
  • 跟踪提取进度和页面失败情况。
  • 遵守身份验证边界。

评论

支持 Markdown