mcpField
W
web-scraper

web-scraper

github.com/liranudi生産性2250 回インストール36 週間前に更新
リポジトリ

web-scraper について

web-scraper は、ウェブ検索やページ閲覧、ファイルのダウンロードを行うスクリプト集です。ページ内容を抽出したいユーザー向けで、複数タブのブラウザーセッションと複数の出力形式に対応します。

主な機能

  1. 01ウェブ検索と結果スニペットの取得
  2. 02形式を選べるページ抽出
  3. 03複数タブ対応の永続ブラウザーセッション
  4. 04ファイルのダウンロードと PDF テキスト抽出

活用シーン

  1. 01ページを検索してリンクと概要を収集
  2. 02ページを Markdown またはテキストで読む
  3. 03ブラウザー操作で複数ページを確認
  4. 04PDF をダウンロードしてテキストを抽出

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/liranudi/openclaw-web-scraper --skill web-scraper

インストール後、Claude Code で/web-scraperを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

.gitignore
README.md
scripts/
read_page.py
google_search.py
download_file.py
browser_session.py

詳細

Web スクレイパー

4 つのスクリプトで、API キーは不要です。すべての出力はデフォルトで JSON です。

依存関係： requests、beautifulsoup4、playwright（Chromium を使用）。 オプション： PDF のテキスト抽出には pdfplumber または PyPDF2 を使用できます。

インストール：pip install requests beautifulsoup4 playwright && playwright install chromium

1. Web を検索する

python3 scripts/google_search.py "query" --pages N --engine ENGINE
  • --engine — duckduckgo（デフォルト）、brave、または google
  • [{title, url, snippet}, ...] を返します

2. ページを読み込む（1 回限り）

python3 scripts/read_page.py "https://url" [--max-chars N] [--visible] [--format json|markdown|text] [--no-dismiss]
  • --format — json（デフォルト）、markdown、または text
  • Cookie の同意バナーを自動的に閉じます（--no-dismiss でスキップ）

3. 永続的なブラウザーセッション

python3 scripts/browser_session.py open "https://url"              # Open + extract
python3 scripts/browser_session.py navigate "https://other"        # Go to new URL
python3 scripts/browser_session.py extract [--format FMT]          # Re-read page
python3 scripts/browser_session.py screenshot [path] [--full]      # Save screenshot
python3 scripts/browser_session.py click "Submit"                  # Click by text/selector
python3 scripts/browser_session.py search "keyword"                # Search text in page
python3 scripts/browser_session.py tab new "https://url"           # Open new tab
python3 scripts/browser_session.py tab list                        # List all tabs
python3 scripts/browser_session.py tab switch 1                    # Switch to tab index
python3 scripts/browser_session.py tab close [index]               # Close tab
python3 scripts/browser_session.py dismiss-cookies                 # Manually dismiss cookies
python3 scripts/browser_session.py close                           # Close browser
  • 開く／移動すると、Cookie の同意バナーを自動的に閉じます
  • 複数のタブに対応しています。タブは個別に開く、切り替える、閉じることができます
  • 検索すると、一致する行が行番号付きで返されます
  • 抽出では、json／markdown／text の出力に対応しています

4. ファイルをダウンロードする

python3 scripts/download_file.py "https://example.com/doc.pdf" [--output DIR] [--filename NAME]
  • URL／ヘッダーからファイル名を自動検出します
  • PDF：pdfplumber／PyPDF2 がインストールされている場合、テキストを抽出します
  • {status, path, filename, size_bytes, content_type, extracted_text} を返します

コメント

Markdown 対応