crw-crawl

crw-crawl について

ウェブサイト全体またはセクションをクロールし、すべてのページからコンテンツを抽出する。共通の URL プレフィックス配下の多数のページからコンテンツが必要なときに使用する："crawl the whole site"、"get all docs pages"、"scrape every blog post"、"download the full docs for RAG"、"extract all pages under /api"。非同期 BFS — ジョブを開始して結果をポーリングする。crw ワークフローラダーのステップ 4。