firecrawl-build-scrape

Firecrawl スクレイプの構築

アプリケーションがすでに URL を持っていて、1 つのページのコンテンツが必要な場合に使用します。

この場合に使用

• 機能が既知の URL から始まる
• 検索、要約、情報の付加、またはモニタリングのためにページのコンテンツが必要
• /interact を検討する前に、デフォルトの抽出手段を使用したい

デフォルトの推奨事項

• 機能上、別の形式が本当に必要な場合を除き、markdown を返します。
• ナビゲーションや装飾がノイズになる記事風のページには、onlyMainContent を使用します。
• ページで必要な場合に限り、待機時間やその他のレンダリングオプションを追加します。

最新性と稼働状況

• Firecrawl は最近インデックス化されたコンテンツを再利用するため、同じ URL を繰り返し読み込む際に高速になります。再利用されるコピーの最大経過時間を指定するには maxAge（ミリ秒単位）を設定します。最新性が重要な読み込みでインデックスの再利用をスキップするには、maxAge: 0 を設定します。
• 実際に取得した内容を確認するには、metadata.cacheState と metadata.cachedAt を読み取ります。
• スクレイプが成功すると、ページから返された内容が報告されます。ページが説明する対象が現在も有効かどうかは、コードで判断する、ソース固有の事項です。
• トレードオフ、メタデータ、判断基準については、references/freshness-and-liveness.md を参照してください。

一般的なプロダクトパターン

• 既知の URL からのナレッジ取り込み
• 企業、製品、またはドキュメントのページからの情報の付加
• 価格、変更履歴、ドキュメントの抽出
• ページ単位の品質チェックやモニタリング

エスカレーションルール

• まだ URL がない場合は、firecrawl-build-search から始めます。
• コンテンツの取得にクリック、入力、または複数ステップのナビゲーションが必要な場合は、firecrawl-build-interact にエスカレーションします。

実装上の注意

• 統合の範囲を絞ります。1 つの機能、1 つの URL、1 つの抽出仕様にします。
• 下流の LLM またはインデックス化パイプラインでは、/scrape をデフォルトの手段として扱います。
• リンク、スクリーンショット、ブランド情報など、利用側で必要な場合に限り、より多くの形式をリクエストします。

ドキュメント（信頼できる情報源）

統合コードを書く前に、プロジェクトの言語に対応する信頼できる情報源を参照してください。

• Node / TypeScript: docs.firecrawl.dev/agent-source-of-truth/node
• Python: docs.firecrawl.dev/agent-source-of-truth/python
• Rust: docs.firecrawl.dev/agent-source-of-truth/rust
• Java: docs.firecrawl.dev/agent-source-of-truth/java
• Elixir: docs.firecrawl.dev/agent-source-of-truth/elixir
• cURL / REST: docs.firecrawl.dev/agent-source-of-truth/curl

関連項目

• firecrawl-build
• firecrawl-build-search
• firecrawl-build-interact