firecrawl-knowledge-base

Firecrawl ナレッジベース

URL またはトピックを、整理された LLM 対応コンテンツに変換するために使用します。

オンボーディングインタビュー

コンテキストから、ソース、目標、詳細度、出力先を推測します。ソースと目標が明確であれば、すぐに作業を進めます。

作業が進められない場合に限り、ソースの URL／トピック、出力がリファレンス／RAG／トレーニング／ドキュメントのいずれか、またはトレーニングが必要な場合の形式などについて、簡潔な質問を 1～3 個まで尋ねます。

Firecrawl の収集計画

ドキュメントサイトには Firecrawl の map を使用し、トピックベースのコーパスには search を使用して、ページを Markdown にスクレイピングします。コード例と表は保持してください。

ファイルの場合は、Firecrawl のダウンロード形式の規則に従います。

.firecrawl/
  <hostname>/
    <path>/
      index.md

並行作業

適切であれば、サブエージェントまたは同等の並列タスクランナーを使用します。

• 調査担当者 1 人につきドキュメントのセクション 1 つ
• ソースの種類ごとに、公式ドキュメント、チュートリアル、コミュニティの議論、リファレンスを分担
• ソースのスクレイピング、チャンクの生成、マニフェストの生成を分担

出力モード

• リファレンス：Markdown ファイル、index.md、sources.json。
• RAG：Markdown ファイルに加え、チャンクファイルと manifest.json。
• トレーニング：スクレイピングしたソースファイルに加え、training-data.jsonl と training-metadata.json。
• ドキュメントミラー：目次付きの完全な Markdown ミラー。

最終成果物

# Knowledge Base: [Source]

## Summary
[What was collected and why]

## Output Structure
[Files/directories created]

## Coverage
[Sections, source types, counts]

## Usage Notes
[How to use in RAG, docs, training, or agent context]

## Sources
[URLs collected]

## Rerun Inputs
workflow: firecrawl-knowledge-base
source: [url/topic]
goal: [reference/rag/train/docs]
depth: [quick/thorough/exhaustive]
output_dir: [.firecrawl/]

品質基準

• コード例と書式を保持します。
• 可能な場合は、定型的なナビゲーション要素を削除します。
• ソース URL をフロントマターまたはメタデータに含めます。