mcpField
F
firecrawl-knowledge-base

firecrawl-knowledge-base

github.com/firecrawl数据与数据库1393.7k 次安装6 天前更新
代码仓库

关于 firecrawl-knowledge-base

firecrawl-knowledge-base 是一项用于收集 URL 或主题资料并整理成适合大模型处理内容的技能，涵盖参考资料、RAG、训练数据和文档镜像等输出模式。

主要功能

  1. 01按 URL 或主题收集资料
  2. 02使用 Firecrawl 映射、搜索和抓取
  3. 03生成参考、RAG 和训练格式
  4. 04创建含目录的文档镜像
  5. 05提供来源元数据与格式指引

适用场景

  1. 01从文档构建 RAG 语料
  2. 02准备模型训练来源材料
  3. 03创建可检索的参考资料集

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/firecrawl/skills --skill firecrawl-knowledge-base

安装后在 Claude Code 中输入/firecrawl-knowledge-base确认已加载。

详细介绍

Firecrawl 知识库

将 URL 或主题转换为适合大模型使用的有序内容。

入门访谈

根据上下文推断来源、目标、深度和输出位置。如果来源和目标明确，立即开始。

只有在遇到阻碍时，才提出最多 1-3 个简短问题，例如来源 URL/主题、输出是用于参考、RAG、训练还是文档，以及如果请求训练，所需的训练格式。

Firecrawl 收集计划

对文档网站使用 Firecrawl map，按主题搜索语料，将页面抓取为 Markdown，并保留代码示例和表格。

对于文件，请遵循 Firecrawl 的下载风格约定：

.firecrawl/
  <hostname>/
    <path>/
      index.md

并行工作

如果合适，请使用子 Agent 或等效的并行任务运行器：

  • 每位研究人员负责一个文档章节
  • 按来源类型划分官方文档、教程、社区讨论和参考资料
  • 分别负责来源抓取、分块生成和清单生成

输出模式

  • 参考：Markdown 文件、index.md 和 sources.json。
  • RAG：Markdown 文件以及分块文件和 manifest.json。
  • 训练：抓取的源文件以及 training-data.jsonl 和 training-metadata.json。
  • 文档镜像：完整的 Markdown 镜像，附带目录。

最终交付物

# Knowledge Base: [Source]

## Summary
[What was collected and why]

## Output Structure
[Files/directories created]

## Coverage
[Sections, source types, counts]

## Usage Notes
[How to use in RAG, docs, training, or agent context]

## Sources
[URLs collected]

## Rerun Inputs
workflow: firecrawl-knowledge-base
source: [url/topic]
goal: [reference/rag/train/docs]
depth: [quick/thorough/exhaustive]
output_dir: [.firecrawl/]

质量标准

  • 保留代码示例和格式。
  • 尽可能移除模板导航内容。
  • 在 frontmatter 或元数据中包含来源 URL。

评论

支持 Markdown