mcpField
W
web-scraper

web-scraper

github.com/liranudi生产力2250 次安装36 周前更新
代码仓库

关于 web-scraper

web-scraper 是一组用于网页搜索、读取、浏览和下载文件的脚本，适合需要从网页提取内容的用户。它支持持久浏览器会话、多标签页及多种输出格式。

主要功能

  1. 01搜索网页并返回结果摘要
  2. 02提取网页内容并选择输出格式
  3. 03持久浏览器会话与多标签页
  4. 04下载文件并提取 PDF 文本

适用场景

  1. 01搜索并收集网页链接与摘要
  2. 02读取网页并输出 Markdown 或文本
  3. 03通过浏览器交互查看多个页面
  4. 04下载 PDF 并提取其中的文本

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/liranudi/openclaw-web-scraper --skill web-scraper

安装后在 Claude Code 中输入/web-scraper确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

.gitignore
README.md
scripts/
read_page.py
google_search.py
download_file.py
browser_session.py

详细介绍

网页抓取工具

四个脚本，无需 API 密钥。默认所有输出均为 JSON。

依赖项： requests、beautifulsoup4、playwright（含 Chromium）。 可选： 可使用 pdfplumber 或 PyPDF2 提取 PDF 文本。

安装：pip install requests beautifulsoup4 playwright && playwright install chromium

1. 搜索网页

python3 scripts/google_search.py "query" --pages N --engine ENGINE
  • --engine — duckduckgo（默认）、brave 或 google
  • 返回 [{title, url, snippet}, ...]

2. 读取页面（一次性）

python3 scripts/read_page.py "https://url" [--max-chars N] [--visible] [--format json|markdown|text] [--no-dismiss]
  • --format — json（默认）、markdown 或 text
  • 自动关闭 Cookie 同意横幅（使用 --no-dismiss 可跳过）

3. 持久浏览器会话

python3 scripts/browser_session.py open "https://url"              # Open + extract
python3 scripts/browser_session.py navigate "https://other"        # Go to new URL
python3 scripts/browser_session.py extract [--format FMT]          # Re-read page
python3 scripts/browser_session.py screenshot [path] [--full]      # Save screenshot
python3 scripts/browser_session.py click "Submit"                  # Click by text/selector
python3 scripts/browser_session.py search "keyword"                # Search text in page
python3 scripts/browser_session.py tab new "https://url"           # Open new tab
python3 scripts/browser_session.py tab list                        # List all tabs
python3 scripts/browser_session.py tab switch 1                    # Switch to tab index
python3 scripts/browser_session.py tab close [index]               # Close tab
python3 scripts/browser_session.py dismiss-cookies                 # Manually dismiss cookies
python3 scripts/browser_session.py close                           # Close browser
  • 打开或导航时自动关闭 Cookie 同意横幅
  • 支持多个标签页，可分别打开、切换和关闭
  • 搜索结果返回匹配行及其行号
  • 提取结果支持 json/markdown/text 格式

4. 下载文件

python3 scripts/download_file.py "https://example.com/doc.pdf" [--output DIR] [--filename NAME]
  • 从 URL/响应头自动检测文件名
  • PDF：若已安装 pdfplumber/PyPDF2，则提取文本
  • 返回 {status, path, filename, size_bytes, content_type, extracted_text}

评论

支持 Markdown