mcpField
F
firecrawl-knowledge-base

firecrawl-knowledge-base

github.com/firecrawl数据与数据库21232.6k 次安装1 周前更新
代码仓库

关于 firecrawl-knowledge-base

此 Firecrawl Skill 可将 URL 或主题整理为供大模型使用的内容,支持参考资料、RAG 材料、训练数据和文档镜像,并保留来源信息。

主要功能

  1. 01收集文档与主题资料
  2. 02保留代码示例和表格
  3. 03支持参考资料、RAG 与训练输出
  4. 04生成带目录的文档镜像

适用场景

  1. 01构建带来源的参考资料集
  2. 02准备 RAG 或训练内容
  3. 03镜像文档网站

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/firecrawl/firecrawl-workflows --skill firecrawl-knowledge-base

安装后在 Claude Code 中输入/firecrawl-knowledge-base确认已加载。

详细介绍

Firecrawl 知识库

将 URL 或主题转换为适合大模型使用的有序内容。

入门访谈

根据上下文推断来源、目标、深度和输出位置。如果来源和目标明确,立即开始。

只有在遇到阻碍时,才提出最多 1-3 个简短问题,例如来源 URL/主题、输出是用于参考、RAG、训练还是文档,以及如果请求训练,所需的训练格式。

Firecrawl 收集计划

对文档网站使用 Firecrawl map,按主题搜索语料,将页面抓取为 Markdown,并保留代码示例和表格。

对于文件,请遵循 Firecrawl 的下载风格约定:

.firecrawl/
  <hostname>/
    <path>/
      index.md

并行工作

如果合适,请使用子 Agent 或等效的并行任务运行器:

  • 每位研究人员负责一个文档章节
  • 按来源类型划分官方文档、教程、社区讨论和参考资料
  • 分别负责来源抓取、分块生成和清单生成

输出模式

  • 参考:Markdown 文件、index.md 和 sources.json。
  • RAG:Markdown 文件以及分块文件和 manifest.json。
  • 训练:抓取的源文件以及 training-data.jsonl 和 training-metadata.json。
  • 文档镜像:完整的 Markdown 镜像,附带目录。

最终交付物

# Knowledge Base: [Source]

## Summary
[What was collected and why]

## Output Structure
[Files/directories created]

## Coverage
[Sections, source types, counts]

## Usage Notes
[How to use in RAG, docs, training, or agent context]

## Sources
[URLs collected]

## Rerun Inputs
workflow: firecrawl-knowledge-base
source: [url/topic]
goal: [reference/rag/train/docs]
depth: [quick/thorough/exhaustive]
output_dir: [.firecrawl/]

质量标准

  • 保留代码示例和格式。
  • 尽可能移除模板导航内容。
  • 在 frontmatter 或元数据中包含来源 URL。

评论

支持 Markdown