mcpField
W
web-search

web-search

github.com/aaaaqwq生产力11272 次安装今天更新
代码仓库

关于 web-search

web-search 是用于网络搜索和网页获取的技能，结合 OpenClaw 内置的 WebSearch、WebFetch，以及 Tavily 和 Firecrawl。它适合查找最新信息、读取指定页面，以及提取或爬取网页内容。

主要功能

  1. 01使用 WebSearch 或 Tavily 搜索网络
  2. 02通过 WebFetch 获取网页
  3. 03使用 Firecrawl 抓取和提取内容
  4. 04爬取多个页面
  5. 05整合结果并形成回复

适用场景

  1. 01查找最新新闻或市场信息
  2. 02读取用户提供的 URL
  3. 03从网页提取结构化数据
  4. 04收集整个网站的内容

MCP 相关

它介绍了用于抓取、爬取和搜索页面的 Firecrawl MCP 工具。MCP 客户端可用这些工具进行复杂提取和多页爬取。

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/aaaaqwq/agi-super-team --skill web-search

安装后在 Claude Code 中输入/web-search确认已加载。

详细介绍

来自项目 README

网络搜索与网页内容获取

功能说明

此技能提供全面的网络搜索和网页内容获取能力。

可用工具

1. WebFetch (OpenClaw 内置)
  • 功能: 获取网页内容
  • 使用场景: 获取特定网页的内容
2. Tavily Skill (AI 优化搜索)
  • 位置: ~/clawd/skills/tavily/
  • 功能: AI 优化的网络搜索
  • 命令: ~/clawd/skills/tavily/scripts/tavily.sh
Tavily 用法
# 基础搜索
~/clawd/skills/tavily/scripts/tavily.sh search <query> [max_results]

# 深度搜索
~/clawd/skills/tavily/scripts/tavily.sh search <query> --deep

# 搜索并提取
~/clawd/skills/tavily/scripts/tavily.sh extract <query> [max_results]
3. Firecrawl Skill (专业抓取)
  • 位置: ~/clawd/skills/firecrawl/
  • 功能: 专业网页抓取和数据提取
  • 命令: ~/clawd/skills/firecrawl/scripts/firecrawl.sh
Firecrawl 用法
# 抓取单个网页
~/clawd/skills/firecrawl/scripts/firecrawl.sh scrape <url> [format]

# 搜索并抓取
~/clawd/skills/firecrawl/scripts/firecrawl.sh search <query> [limit]

# 批量爬取
~/clawd/skills/firecrawl/scripts/firecrawl.sh crawl <url> [max_pages]

使用场景

何时使用 Tavily
  • 搜索互联网信息
  • 获取实时数据
  • 需要 AI 优化的搜索结果
何时使用 WebFetch
  • 简单获取网页内容
  • 快速查看页面信息
何时使用 Firecrawl
  • 复杂网页抓取
  • 结构化数据提取
  • 批量网站爬取

示例

搜索 Polymarket 信息 (Tavily)
~/clawd/skills/tavily/scripts/tavily.sh search "Polymarket Fed decision March 2026" 5
抓取特定页面 (Firecrawl)
~/clawd/skills/firecrawl/scripts/firecrawl.sh scrape "https://polymarket.com/event/fed-decision-in-march-885"

网络搜索与网页内容获取

功能说明

此技能提供全面的网络搜索和网页内容获取能力，包括：

  • 互联网搜索（新闻、信息、数据）
  • 网页内容抓取和解析
  • 实时数据查询
  • 多源搜索结果整合

可用工具

1. OpenClaw 内置 WebSearch
  • 功能: 互联网搜索
  • 使用场景: 搜索新闻、信息、实时数据
  • 触发: 用户问需要实时信息的问题时
2. OpenClaw 内置 WebFetch
  • 功能: 获取网页内容
  • 使用场景: 获取特定网页的内容
  • 触发: 用户提供 URL 并要求获取内容时
3. Firecrawl MCP
  • 功能: 专业网页抓取和数据提取
  • 工具: mcp__firecrawl__scrape, mcp__firecrawl__crawl, mcp__firecrawl__search
  • 使用场景: 复杂网页抓取、结构化数据提取、批量爬取
  • 优势: 支持复杂网页、动态内容、结构化输出

使用场景

何时使用 WebSearch
  • "搜索最新的 AI 新闻"
  • "查找 Polymarket 最新赔率"
  • "今天的天气怎么样"
  • "某公司的最新股价"
何时使用 WebFetch
  • "获取这个网页的内容"
  • "读取这个 URL 的内容"
  • "这个页面说了什么"
何时使用 Firecrawl MCP
  • "抓取这个网站的所有产品信息"
  • "从这个网页提取结构化数据"
  • "爬取这个网站的多个页面"

工作流程

  1. 分析需求: 确定需要搜索还是抓取
  2. 选择工具:
    • 简单搜索 → WebSearch
    • 单页抓取 → WebFetch 或 mcp__firecrawl__scrape
    • 复杂抓取 → mcp__firecrawl__crawl
  3. 执行操作: 调用相应工具
  4. 整合结果: 将搜索结果整合到回答中

示例

搜索信息
用户: "搜索一下最新的 AI 新闻"
操作: 使用 WebSearch 搜索 "AI news latest"
获取网页内容
用户: "获取 https://example.com 的内容"
操作: 使用 WebFetch 或 mcp__firecrawl__scrape
结构化数据提取
用户: "从这个网页提取所有产品价格"
操作: 使用 mcp__firecrawl__scrape 并指定提取格式

注意事项

  • 搜索结果可能包含过时或不准确的信息，需要验证
  • 网页抓取需要遵守网站的 robots.txt 和使用条款
  • 对于付费内容或需要登录的页面，可能无法直接获取
  • 大量抓取可能触发反爬虫机制

评论

支持 Markdown