crw-crawl

关于 crw-crawl

抓取整个网站或某个板块，并从每个页面提取内容。当你需要同一 URL 前缀下多个页面的内容时使用："crawl the whole site"、"get all docs pages"、"scrape every blog post"、"download the full docs for RAG"、"extract all pages under /api"。异步 BFS——启动任务并轮询结果。crw 工作流阶梯的第 4 步。