tavily-crawl

tavily crawl

抓取网站并提取多个页面的内容。支持将每个页面保存为本地 Markdown 文件。

运行前

抓取需要身份验证。如果 tvly 已完成身份验证，请直接运行所需命令；不要在每次调用时都添加状态检查。

如果缺少 tvly，请按照 tavily-cli 设置说明操作。 如果已安装的 CLI 报告身份验证错误，请使用 tvly login 仅进行身份验证；如果引导式验证也有帮助，则使用 tvly init --skip-skills。如果用户可以交互完成身份验证，优先使用基于浏览器的 OAuth。--no-browser 会打印登录链接而不是打开链接，但仍会等待 localhost 回调。在无人值守的 Agent 或 CI 环境中，将身份验证留给用户处理，或使用通过安全方式提供的 TAVILY_API_KEY。 引导式设置完成后，不要立即再次启动登录流程。

适用场景

• 需要获取网站上多个页面的内容（例如，所有 /docs/ 页面）
• 想下载文档以供离线使用
• 工作流的第 4 步：搜索 → 提取 → 映射 → 抓取 → 研究

快速开始

# Basic crawl
tvly crawl "https://docs.example.com" --json

# Save each page as a markdown file
tvly crawl "https://docs.example.com" --output-dir ./docs/

# Deeper crawl with limits
tvly crawl "https://docs.example.com" --max-depth 2 --limit 50 --json

# Filter to specific paths
tvly crawl "https://example.com" --select-paths "/api/.*,/guides/.*" --exclude-paths "/blog/.*" --json

# Semantic focus (returns relevant chunks, not full pages)
tvly crawl "https://docs.example.com" --instructions "Find authentication docs" --chunks-per-source 3 --json

选项

选项	说明
--max-depth	抓取深度（1-5，默认值：1）
--max-breadth	每个页面的链接数（默认值：20）
--limit	页面总数上限（默认值：50）
--instructions	用于聚焦语义内容的自然语言指引
--chunks-per-source	每个页面的内容块数（1-5，需要 --instructions）
--extract-depth	basic（默认值）或 advanced
--format	markdown（默认值）或 text
--select-paths	要包含的逗号分隔正则表达式模式
--exclude-paths	要排除的逗号分隔正则表达式模式
--select-domains	要包含的域名逗号分隔正则表达式
--exclude-domains	要排除的域名逗号分隔正则表达式
--allow-external / --no-external	包含外部链接（默认：允许）
--include-images	包含图像
--timeout	最大等待时间（10-150 秒）
-o, --output	将 JSON 输出保存到文件
--output-dir	将每个页面保存为目录中的 .md 文件
--json	结构化 JSON 输出

用于上下文的抓取与数据采集

用于 Agent 场景（将结果输入大模型）：

始终使用 --instructions + --chunks-per-source。仅返回相关内容块，而不是完整页面，以防止上下文爆炸。

tvly crawl "https://docs.example.com" --instructions "API authentication" --chunks-per-source 3 --json

用于数据采集（将内容保存到文件）：

使用 --output-dir，且不使用 --chunks-per-source，即可将完整页面保存为 Markdown 文件。

tvly crawl "https://docs.example.com" --max-depth 2 --output-dir ./docs/

提示

• 从保守设置开始——--max-depth 1、--limit 20——再逐步提高。
• 使用 --select-paths 聚焦所需的部分。
• 先使用 map 了解网站结构，再进行完整抓取。
• 始终设置 --limit，避免抓取失控。

另请参阅

• tavily-map — 在决定抓取前发现 URL
• tavily-extract — 提取单个页面
• tavily-search — 没有 URL 时查找页面