mcpField
P
parallel-web-extract

parallel-web-extract

github.com/parallel-web生产力9113.7k 次安装1 周前更新
代码仓库

关于 parallel-web-extract

使用 Parallel CLI 提取网页内容的技能，涵盖 URL 参数组织、JSON 结果处理、错误检查及按原文呈现内容。

主要功能

  1. 01一次提取多个 URL
  2. 02将结果保存为 JSON
  3. 03用目标和关键词调整提取
  4. 04检查部分结果与失败项
  5. 05按原文呈现提取内容

适用场景

  1. 01收集文档网页内容
  2. 02提取多个 URL 的内容
  3. 03获取文章或 PDF 全文
  4. 04检查提取错误

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/parallel-web/parallel-agent-skills --skill parallel-web-extract

安装后在 Claude Code 中输入/parallel-web-extract确认已加载。

详细介绍

URL 提取

从以下内容中提取内容：$ARGUMENTS

命令

根据 URL 或内容选择一个简短且描述性强的文件名（例如，vespa-docs、react-hooks-api）。使用小写字母和连字符，不要使用空格。将其代入命令中，直接写在命令里——$FILENAME 是占位符，不是 shell 变量。

将每个请求的 URL 分别作为带引号的位置参数传入，每次最多 20 个。不要把多个 URL 合并为一个带引号的 $ARGUMENTS 字符串，也不要使用 eval 拆分它们。请根据请求的 URL 直接构造参数。例如：

parallel-cli extract "https://docs.parallel.ai/integrations/cli" "https://docs.parallel.ai/integrations/cursor-marketplace" --json -o "/tmp/parallel-docs.json"

-o 用于保存 JSON。使用 .json 扩展名，并在使用前检查目标路径是否已有文件，因为 Extract 会覆盖该文件。将保存的文件视为权威内容；标准输出可能会被截断，人类可读的输出也只会预览部分内容。调用失败后，不要将过时文件视为成功响应。

必要时可使用以下选项：

  • --objective "focus area" 用于聚焦特定目标（如果未设置 objective 或 search_queries，还可以抑制 V1 发出的“neither objective nor search_queries”警告）
  • -q "keyword"（可重复使用）用于提升摘录中关键词的优先级
  • --full-content 用于包含完整网页正文（适用于长篇文章、PDF，或摘录可能不足以满足需求的情况）
  • --full-content-max-chars N 用于限制每个结果的完整内容长度
  • --no-excerpts 用于在只需要完整内容时去掉摘录
  • --session-id "<returned-session-id>" 用于关联相关的 Search/Extract 调用。会话 ID 不是 Task 交互 ID 或运行 ID；切勿将其用于研究状态查询/轮询或 --previous-interaction-id

处理提取失败的情况

检查退出状态、API 错误、results、各 URL 对应的 errors 和任何警告。errors: [] 表示正常成功。非空错误可能与成功结果同时存在：保留并呈现成功的内容，然后列出每个失败 URL 及其返回原因。结果为空或缺少内容不算成功提取。不要编造内容。对于受影响的 URL，建议：

  • 确认 URL 是否正确（页面可能已迁移）
  • 如果摘录为空，但返回的元数据表明已获取该页面，则请求使用 --full-content
  • 如果页面已改名，则使用 parallel-cli search 查找当前 URL

响应格式

按以下格式返回内容：

页面标题

对于完整页面请求，使用返回的 full_content；仅有摘录时，摘录是经过筛选的段落，必须标明为摘录。即使是完整内容，也可能受到 --full-content-max-chars 或上游限制；如果内容受到限制，不要承诺其完整性。请按原文保留提取的内容，并遵循以下规则：

  • 保持内容原文不变——不要改述或总结
  • 保留提取内容中的每个编号或项目符号条目；不要声称摘录包含整页内容
  • 只移除明显的噪音：导航菜单、页脚、广告
  • 保留所有事实、名称、数字、日期和引文

响应后，注明输出文件路径（/tmp/$FILENAME.json），以便用户后续提问时使用。

对于大型内容，将完整原文保存在文件中，并提供简短且标明为预览的内容及其路径。切勿在声称内容完整的同时悄悄截断内容。

设置

如果找不到 parallel-cli，请安装并完成身份验证：

/parallel:parallel-cli-setup

如果缺少已记录的命令或选项，请检查已安装版本，并通过对应的安装方式升级：独立安装使用 parallel-cli update，pipx 使用 pipx upgrade parallel-web-tools，uv 使用 uv tool upgrade parallel-web-tools，Homebrew 使用 brew upgrade parallel-web/tap/parallel-cli，npm 使用 npm update -g parallel-web-cli。在同一终端中确认帮助信息后再重试。

遇到身份验证错误时，检查 parallel-cli auth --json 及其 authenticated 布尔值；仅凭退出码为零不能证明已通过身份验证。403 可能表示权限、策略或账单问题。报告实际错误；仅在明确属于账单问题时检查余额，未经明确确认，切勿充值。

评论

支持 Markdown