mcpField
W
web-browsing

web-browsing

github.com/khaihuynhvn生产力2867 次安装34 周前更新
代码仓库

关于 web-browsing

面向网页研究的浏览技能，为内容抓取提供逐级回退流程：先用 WebFetch，再尝试浏览器 MCP，遇到验证码或访问拦截时请求用户协助。适用于需要获取网页内容且要求透明处理访问限制的 Agent。

主要功能

  1. 01优先使用 WebFetch 获取网页
  2. 02失败时切换浏览器 MCP
  3. 03识别验证码与访问拦截
  4. 04受阻时请求用户协助
  5. 05检查响应内容质量

适用场景

  1. 01抓取网页用于资料研究
  2. 02处理 HTTP 错误或内容截断
  3. 03遇到验证码时等待用户介入

MCP 相关

在 WebFetch 不可用或失败时，指导使用 cursor-browser-extension MCP；也列出 user-chrome-devtools 作为替代方案。

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/khaihuynhvn/mcp-server_ai-interaction --skill web-browsing

安装后在 Claude Code 中输入/web-browsing确认已加载。

详细介绍

网页浏览技能

用于网页研究的自动回退机制。

关键：工具可用性

切勿检查 mcps 文件夹来确认工具是否存在。 工具始终可用，直接调用即可：

  • WebFetch - Cursor 内置抓取工具（速度最快）
  • cursor-browser-extension - Cursor 内置浏览器
  • user-chrome-devtools - Chrome DevTools（替代方案）

回退链

1. WebFetch (fast, preferred)
   ↓ fails/error
2. Browser MCP (cursor-browser-extension)
   ↓ captcha/block
3. ai_interaction (request user help)

步骤 1：WebFetch（默认）

WebFetch url="https://example.com"

出现以下情况时继续执行步骤 2：

  • HTTP 错误（4xx、5xx）
  • 内容为空或被截断
  • 需要身份验证
  • 受到速率限制

步骤 2：Browser MCP

直接使用 cursor-browser-extension MCP 工具：

1. browser_navigate → target URL
2. browser_snapshot → get page content
3. browser_take_screenshot → visual reference (if needed)

替代方案： 如果 cursor-browser-extension 失败，请使用 user-chrome-devtools。

出现以下情况时继续执行步骤 3：

  • 检测到验证码
  • 机器人检查 /“验证您是人类”
  • 需要登录
  • Cloudflare/DDoS 保护
  • 页面内容未加载

步骤 3：寻求用户协助

关键规则：

  • 切勿自主做出决定（例如 Google 被屏蔽时改用 DuckDuckGo）
  • 未经询问，切勿绕过用户，尝试其他搜索引擎或网站
  • 务必告知用户并通过 ai_interaction 等待指示

调用 ai_interaction 工具并发送消息：

"Browser bị chặn bởi [captcha/bot check/login].
URL: [url]
Cần bạn:
1. Mở browser manual
2. Bypass protection
3. Báo lại khi xong để tôi tiếp tục

Hoặc bạn muốn thử [alternative option]?"

然后通过 ai_interaction 等待用户确认，再重试。

检测模式

验证码 / 屏蔽指标
  • "verify you are human"
  • "captcha"
  • "cloudflare"
  • "access denied"
  • "please wait while we verify"
  • 仅包含脚本的空白页面
  • HTTP 403、429、503
成功指标
  • 返回了有意义的内容
  • 符合预期的 HTML 结构
  • 没有错误消息

最佳实践

  1. 始终先尝试 WebFetch - 速度最快的选项
  2. 检查响应质量 - 不要只看 HTTP 状态
  3. 不要频繁重试 - 在尝试之间等待
  4. 保持透明 - 告知用户当前情况
  5. 保存有用内容 - 避免不必要地重新抓取

与 ai_interaction 集成

用户协助绕过保护时：

  1. 用户完成手动操作
  2. 用户通过 ai_interaction 回复
  3. Agent 使用 Browser MCP 重试（保留 Cookie）
  4. 继续研究

评论

支持 Markdown