mcpField
W
web-research-workflow

web-research-workflow

github.com/yonatangross生产力299221 次安装今天更新
代码仓库

关于 web-research-workflow

web-research-workflow 是用于网页调研的技能,会根据内容和访问需求选择 WebFetch、Tavily 或 agent-browser。它还涵盖竞品监测模式和变化分类。

主要功能

  1. 01分层选择网页调研工具
  2. 02使用 Tavily 搜索与提取
  3. 03为 JavaScript 页面切换浏览器
  4. 04认证及多页面浏览
  5. 05竞品变化分类

适用场景

  1. 01根据 URL 调研网页内容
  2. 02收集 JavaScript 渲染页面的信息
  3. 03跟踪竞品价格和功能变化

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/yonatangross/orchestkit --skill web-research-workflow

安装后在 Claude Code 中输入/web-research-workflow确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

test-cases.json
references/
tavily-api.md
rules/
_template.md
monitoring-change-detection.md
_sections.md
monitoring-competitor.md
tool-selection.md
browser-patterns.md

详细介绍

Web Research 工作流

用于网页内容研究的统一方法,可自动为每种情况选择合适的工具。

快速决策树

URL to research
     │
     ▼
┌─────────────────┐
│ 1. Try WebFetch │ ← Fast, free, no overhead
│    (always try) │
└─────────────────┘
     │
Content OK? ──Yes──► Parse and return
     │
     No (empty/partial/<500 chars)
     │
     ▼
┌───────────────────────┐
│ 2. TAVILY_API_KEY set?│
└───────────────────────┘
     │          │
    Yes         No ──► Skip to step 3
     │
     ▼
┌───────────────────────────┐
│ Tavily search/extract/    │ ← Raw markdown, batch URLs
│ crawl/research            │
└───────────────────────────┘
     │
Content OK? ──Yes──► Parse and return
     │
     No (JS-rendered/auth-required)
     │
     ▼
┌─────────────────────┐
│ 3. Use agent-browser │ ← Full browser, last resort
└─────────────────────┘
     │
├─ SPA (react/vue/angular) ──► wait --load networkidle
├─ Login required ──► auth flow + state save
├─ Dynamic content ──► wait --text "Expected"
└─ Multi-page ──► crawl pattern

Tavily 增强型研究

设置 TAVILY_API_KEY 后,Tavily 可在 WebFetch 和 agent-browser 之间提供强大的中间层。它会返回原始 Markdown 内容,支持批量 URL 提取,并提供带相关性评分的语义搜索。如果未设置 TAVILY_API_KEY,3 层决策树会自动收缩为 2 层(WebFetch → agent-browser)。

加载详情:读取 Read("rules/tool-selection.md"),了解工具选择表、升级启发式规则、SPA 检测模式和成本注意事项。

加载详情:读取 Read("references/tavily-api.md"),了解 Search、Extract、Map、Crawl 和 Research 端点示例及选项。

浏览器模式

对于需要 JavaScript 渲染、身份验证或多页面爬取的内容,请回退到 agent-browser。

加载详情:读取 Read("rules/browser-patterns.md"),了解自动回退、身份验证流程、多页面研究模式、最佳实践和故障排查。

竞品监控

跟踪竞争对手网站在价格、功能、定位和内容方面的变化。

加载详情:读取 Read("rules/monitoring-competitor.md"),了解快照采集、结构化数据提取和变化分类。

加载详情:读取 Read("rules/monitoring-change-detection.md"),了解差异检测、结构化比较、Tavily 站点发现和 CI 自动化。

变化分类
严重程度示例操作
严重价格上涨或下调、重大功能变更立即提醒
高新增功能、移除功能需要审核
中文案变更、定位转变记录以供分析
低拼写错误、轻微样式调整仅记录

与 Agent 集成

此技能供以下对象使用:

  • web-research-analyst - 主要用户
  • market-intelligence - 竞品研究
  • product-strategist - 深度竞品分析

相关技能

  • browser-content-capture - 详细的浏览器模式
  • agent-browser - CLI 参考

版本: 1.3.0(2026 年 3 月)

评论

支持 Markdown