mcpField
S
scrapedo-web-scraper

scrapedo-web-scraper

github.com/artwist-polyakovデータ・データベース22150 回インストール6 日前に更新
リポジトリ

scrapedo-web-scraper について

通常のfetchがブロックされる場合やJavaScriptを処理できない場合に、Scrape.do API経由でWebページを取得するスキルです。コマンドラインスクリプトまたはPython関数から、ページ本文か元のHTMLを取得できます。

主な機能

  1. 01Scrape.do API経由でページを取得
  2. 02ページ本文またはHTMLを返却
  3. 03コマンドラインとPythonから利用
  4. 04アクセスやトークンのエラーを表示

活用シーン

  1. 01通常の取得方法でブロックされるページの取得
  2. 02JavaScriptで描画されるページの取得

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/artwist-polyakov/polyakov-claude-skills --skill scrapedo-web-scraper

インストール後、Claude Code で/scrapedo-web-scraperを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

.gitignore
config/
README.md
token.txt.example
scripts/
scrape.py

README（原文）English

プロジェクトの README より

この README の日本語訳はまだありません。以下は英語の原文です。日本語の紹介はページ上部をご覧ください。

Scrape.do Web Scraper

Скрапинг веб-страниц через Scrape.do API. Используй когда обычный fetch не работает (блокировка, JavaScript).

Использование

# Получить текст страницы
python scripts/scrape.py https://example.com

# Получить HTML
python scripts/scrape.py --html https://example.com

Из Python

from scripts.scrape import fetch_via_scrapedo

result = fetch_via_scrapedo('https://example.com')
if result['success']:
    print(result['content'])  # текст
    # result['html'] — оригинальный HTML
else:
    print(result['content'])  # описание ошибки

Результат

  • Успех: текст страницы (или HTML с --html)
  • Ошибка: понятное сообщение (нет токена / лимит / недоступно)

Если вернулась ошибка — страница недоступна через этот метод.

コメント

Markdown 対応