mcpField
T
tavily-extract

tavily-extract

github.com/tavily-ai数据与数据库49118.4k 次安装8 周前更新
代码仓库

关于 tavily-extract

用于从一个或多个 URL 提取干净 Markdown 或纯文本的 Tavily 命令行技能,适合需要获取网页正文的 Agent。支持相关内容筛选,并可处理 JavaScript 渲染页面。

主要功能

  1. 01提取 Markdown 或纯文本
  2. 02批量处理多个 URL
  3. 03按查询筛选相关片段
  4. 04支持 JavaScript 渲染页面
  5. 05输出结构化 JSON

适用场景

  1. 01提取文章或文档正文
  2. 02从动态网页读取内容
  3. 03仅获取与问题相关的片段

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/tavily-ai/skills --skill tavily-extract

安装后在 Claude Code 中输入/tavily-extract确认已加载。

详细介绍

tavily extract

从一个或多个 URL 中提取干净的 Markdown 或文本内容。

运行前

当 tvly 可用时,直接运行 extract。Extract 支持有限的免密钥访问,因此首次请求前无需查找 API 密钥或进行身份验证。

如果缺少 tvly,请先按照 tavily-cli 设置说明进行设置,然后重试。如果在交互式会话中达到免密钥使用上限,请运行 tvly login 打开浏览器 OAuth,然后重试原始提取请求一次。在无人值守的环境中,请报告使用上限和身份验证选项,而不是启动交互流程。引导式设置完成后,不要立即再次登录。

适用场景

  • 你有特定 URL,并想获取其内容
  • 你需要从 JavaScript 渲染的页面中提取文本
  • 工作流中的第 2 步:搜索 → 提取 → 映射 → 爬取 → 研究

快速开始

# Single URL
tvly extract "https://example.com/article" --json

# Multiple URLs
tvly extract "https://example.com/page1" "https://example.com/page2" --json

# Query-focused extraction (returns relevant chunks only)
tvly extract "https://example.com/docs" --query "authentication API" --chunks-per-source 3 --json

# JS-heavy pages
tvly extract "https://app.example.com" --extract-depth advanced --json

# Save to file
tvly extract "https://example.com/article" -o article.json

选项

选项描述
--query根据此查询按相关性对内容块重新排序
--chunks-per-source每个 URL 的内容块数量(1-5,需使用 --query)
--extract-depthbasic(默认)或 advanced(适用于 JS 页面)
--formatmarkdown(默认)或 text
--include-images包含图片 URL
--timeout最大等待时间(1-60 秒)
-o, --output将 JSON 响应保存到文件
--json结构化 JSON 输出

提取深度

深度适用场景
basic简单页面,速度快——先试用此选项
advancedJS 渲染的 SPA、动态内容、表格

提示

  • 每次请求最多处理 20 个 URL——较长列表请拆分为多次调用。
  • 使用 --query + --chunks-per-source,仅获取相关内容,而非完整页面。
  • 先试用 basic;如果内容缺失,再改用 advanced。
  • 对于加载较慢的页面,请设置 --timeout(最长 60 秒)。
  • 即使退出代码为 0,也要检查 failed_results。请求成功仍可能未能提取任何页面内容。适用时,请对受影响的 URL 使用 advanced 重试;否则应报告各 URL 的失败情况,而不是将请求视为已完成。
  • 如果搜索结果已经包含所需内容(通过 --include-raw-content),则跳过提取步骤。

另请参阅

评论

支持 Markdown