firecrawl-knowledge-ingest

Firecrawl ナレッジ取り込み

ドキュメントポータルでブラウザーによるナビゲーション、認証、ページネーション、または JavaScript のレンダリングが必要な場合に使用します。

オンボーディング時のヒアリング

コンテキストから、ポータルの URL、出力形式、認証の要否、ページ上限を推測します。ポータルが明確であれば、すぐに作業を進めてください。

作業が進められない場合に限り、ポータルの URL、認証が必要かどうか、希望する出力形式などについて、簡潔な質問を最大 1～3 件してください。

Firecrawl の収集計画

Firecrawl のブラウザー機能を使用して、次の操作を行います。

• ポータルを開いてナビゲーションを確認する
• セクション、カテゴリ、サイドバーのリンク、記事の URL を特定する
• サイドバーのナビゲーション、次のリンク、ページネーション、「さらに読み込む」コントロール、または検索を使用する
• 記事のコンテンツを Markdown としてスクレイピングする
• タイトル、セクション、最終更新日、著者、タグなどのメタデータを抽出する

公開 URL の補助として Firecrawl map を試してください。ただし、認証で保護されたコンテンツや JavaScript への依存度が高いコンテンツには、ブラウザーによるナビゲーションを使用してください。

最終成果物

# Knowledge Ingest: [Portal]

## Summary
[Pages extracted, sections covered, limitations]

## Output
[JSON/markdown/merged file path or content]

## Sections
[Section names and article counts]

## Failed Or Restricted Pages
[Any access/loading issues]

## Sources
[URLs extracted]

## Rerun Inputs
workflow: firecrawl-knowledge-ingest
url: [portal url]
format: [json/markdown/merged]
max_pages: [number]

JSON の形式

source、url、extractedAt、totalArticles、および記事の title、url、section、content、metadata を含む sections[] を使用します。

品質基準

• コード例、表、書式を保持します。
• ナビゲーション、ヘッダー、フッターを取り除きます。
• 抽出の進捗とページの失敗を記録します。
• 認証の境界を守ります。