mcpField
W
web-search

web-search

github.com/yejinlei生产力2374 次安装34 周前更新
代码仓库

关于 web-search

web-search 是一个用于网页搜索、深入检索和抓取页面的脚本技能。它使用多个搜索引擎并在引擎出错时自动切换,无需 API 密钥即可返回结构化结果。

主要功能

  1. 01使用多个搜索引擎搜索
  2. 02引擎出错时自动切换
  3. 03返回标题、URL 和摘要
  4. 04深入搜索并提取内容
  5. 05抓取指定网页

适用场景

  1. 01通过多个搜索引擎查找信息
  2. 02研究主题并查看页面内容
  3. 03从已知 URL 提取内容

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/yejinlei/web-search-skill --skill web-search

安装后在 Claude Code 中输入/web-search确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

LICENSE.txt
.gitignore
requirements.txt
MANIFEST.in
README.md
setup.py
scripts/
web_search.py
__init__.py

详细介绍

网页搜索技能

一款功能强大的网页搜索技能,支持多个搜索引擎且无需 API 密钥。

功能特性

  • 🔍 多引擎支持:百度(Playwright)、Bing、DuckDuckGo
  • 🌐 无需 API 密钥:使用浏览器自动化和网页抓取
  • 🔄 智能回退:一个搜索引擎失效时自动切换
  • 📊 结构化结果:返回包含标题、URL 和摘要的简洁搜索结果
  • 🚀 高性能:支持异步操作,并使用 Playwright 进行浏览器自动化

用法

基本搜索
result = main({
    "action": "search",
    "query": "Python tutorial",
    "num_results": 5
})
深度搜索
result = main({
    "action": "deep_search",
    "query": "machine learning latest research",
    "num_results": 5
})
网页抓取
result = main({
    "action": "crawl",
    "url": "https://example.com"
})

输入参数

参数类型必填描述
actionstring是操作类型:"search"、"deep_search" 或 "crawl"
querystring有条件搜索查询(search/deep_search 时必填)
urlstring有条件目标 URL(crawl 时必填)
num_resultsint否结果数量,默认值为 5,最大值为 20
regionstring否区域代码,默认值为 'cn-zh'

输出格式

搜索结果
{
    "success": True,
    "query": "search query",
    "engine": "baidu+playwright",
    "num_results": 5,
    "results": [
        {
            "title": "Result title",
            "href": "https://...",
            "body": "Snippet content"
        }
    ],
    "message": "Search completed"
}
深度搜索结果
{
    "success": True,
    "query": "search query",
    "search_results": [...],
    "detailed_info": {
        "extracted_content": "..."
    },
    "message": "Deep search completed"
}

执行

type:脚本 script_path:scripts/web_search.py entry_point:main dependencies:

  • uv>=0.1.0
  • requests>=2.28.0
  • baidusearch>=1.0.3
  • crawl4ai>=0.8.0
  • playwright>=1.40.0

搜索策略

  1. 主要方式:baidusearch 库(速度最快,无需浏览器)
  2. 次要方式:Playwright + 百度(可靠性最高,可绕过反机器人机制)
  3. 第三选择:DuckDuckGo(注重隐私)
  4. 回退方式:Bing(国际搜索)

注意事项

  1. 首次运行:首次使用时,Playwright 会下载 Chromium 浏览器(约 100MB)
  2. 速率限制:注意搜索频率,避免被暂时屏蔽
  3. 网络:需要互联网连接
  4. 结果:结果可能因搜索引擎算法和所在位置而异

错误处理

  • 出错时返回 {"success": False, "message": "..."}
  • 自动使用备用搜索引擎重试
  • 缺少可选依赖项时会平稳降级

评论

支持 Markdown