关于 firecrawl-knowledge-base
此 Firecrawl Skill 可将 URL 或主题整理为供大模型使用的内容,支持参考资料、RAG 材料、训练数据和文档镜像,并保留来源信息。
主要功能
- 01收集文档与主题资料
- 02保留代码示例和表格
- 03支持参考资料、RAG 与训练输出
- 04生成带目录的文档镜像
适用场景
- 01构建带来源的参考资料集
- 02准备 RAG 或训练内容
- 03镜像文档网站
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ firecrawl/ firecrawl-workflows --skill firecrawl-knowledge-base安装后在 Claude Code 中输入/firecrawl-knowledge-base确认已加载。
详细介绍
Firecrawl 知识库
将 URL 或主题转换为适合大模型使用的有序内容。
入门访谈
根据上下文推断来源、目标、深度和输出位置。如果来源和目标明确,立即开始。
只有在遇到阻碍时,才提出最多 1-3 个简短问题,例如来源 URL/主题、输出是用于参考、RAG、训练还是文档,以及如果请求训练,所需的训练格式。
Firecrawl 收集计划
对文档网站使用 Firecrawl map,按主题搜索语料,将页面抓取为 Markdown,并保留代码示例和表格。
对于文件,请遵循 Firecrawl 的下载风格约定:
.firecrawl/
<hostname>/
<path>/
index.md
并行工作
如果合适,请使用子 Agent 或等效的并行任务运行器:
- 每位研究人员负责一个文档章节
- 按来源类型划分官方文档、教程、社区讨论和参考资料
- 分别负责来源抓取、分块生成和清单生成
输出模式
- 参考:Markdown 文件、
index.md和sources.json。 - RAG:Markdown 文件以及分块文件和
manifest.json。 - 训练:抓取的源文件以及
training-data.jsonl和training-metadata.json。 - 文档镜像:完整的 Markdown 镜像,附带目录。
最终交付物
# Knowledge Base: [Source]
## Summary
[What was collected and why]
## Output Structure
[Files/directories created]
## Coverage
[Sections, source types, counts]
## Usage Notes
[How to use in RAG, docs, training, or agent context]
## Sources
[URLs collected]
## Rerun Inputs
workflow: firecrawl-knowledge-base
source: [url/topic]
goal: [reference/rag/train/docs]
depth: [quick/thorough/exhaustive]
output_dir: [.firecrawl/]
质量标准
- 保留代码示例和格式。
- 尽可能移除模板导航内容。
- 在 frontmatter 或元数据中包含来源 URL。
评论
支持 Markdown