mcpField
S
scrapedo-web-scraper

scrapedo-web-scraper

github.com/artwist-polyakovData & databases22150 installsUpdated 6d ago
Repository

About scrapedo-web-scraper

A skill that fetches web pages through the Scrape.do API when a regular fetch is blocked or cannot handle JavaScript. It can return page text or the original HTML through a command-line script or Python function.

Key features

  1. 01Fetch pages through Scrape.do API
  2. 02Return page text or HTML
  3. 03Use from CLI or Python
  4. 04Report access and token errors

Use cases

  1. 01Retrieve a page blocked from ordinary fetching
  2. 02Fetch content from JavaScript-rendered pages

Install

Copy the command and run it in a terminal.

$npx skills add https://github.com/artwist-polyakov/polyakov-claude-skills --skill scrapedo-web-scraper

After installing, type/scrapedo-web-scraperin Claude Code to confirm it loaded.

Bundled files

References and scripts installed along with SKILL.md.

.gitignore
config/
README.md
token.txt.example
scripts/
scrape.py

Details

From the project README

Scrape.do Web Scraper

Скрапинг веб-страниц через Scrape.do API. Используй когда обычный fetch не работает (блокировка, JavaScript).

Использование

# Получить текст страницы
python scripts/scrape.py https://example.com

# Получить HTML
python scripts/scrape.py --html https://example.com

Из Python

from scripts.scrape import fetch_via_scrapedo

result = fetch_via_scrapedo('https://example.com')
if result['success']:
    print(result['content'])  # текст
    # result['html'] — оригинальный HTML
else:
    print(result['content'])  # описание ошибки

Результат

  • Успех: текст страницы (или HTML с --html)
  • Ошибка: понятное сообщение (нет токена / лимит / недоступно)

Если вернулась ошибка — страница недоступна через этот метод.

Comments

Markdown supported