mcpField
S
scrapedo-web-scraper

scrapedo-web-scraper

github.com/artwist-polyakov数据与数据库22150 次安装6 天前更新
代码仓库

关于 scrapedo-web-scraper

通过 Scrape.do API 抓取网页，适用于常规 fetch 遇到拦截或无法处理 JavaScript 的情况。可用命令行脚本或 Python 函数获取页面文本或原始 HTML。

主要功能

  1. 01通过 Scrape.do API 获取网页
  2. 02返回页面文本或 HTML
  3. 03支持命令行和 Python 调用
  4. 04报告访问及令牌错误

适用场景

  1. 01获取常规抓取方式受阻的页面
  2. 02抓取由 JavaScript 渲染的页面

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/artwist-polyakov/polyakov-claude-skills --skill scrapedo-web-scraper

安装后在 Claude Code 中输入/scrapedo-web-scraper确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

.gitignore
config/
README.md
token.txt.example
scripts/
scrape.py

README 原文English

来自项目 README

README 暂无中文译文，以下为英文原文；中文介绍见上方。

Scrape.do Web Scraper

Скрапинг веб-страниц через Scrape.do API. Используй когда обычный fetch не работает (блокировка, JavaScript).

Использование

# Получить текст страницы
python scripts/scrape.py https://example.com

# Получить HTML
python scripts/scrape.py --html https://example.com

Из Python

from scripts.scrape import fetch_via_scrapedo

result = fetch_via_scrapedo('https://example.com')
if result['success']:
    print(result['content'])  # текст
    # result['html'] — оригинальный HTML
else:
    print(result['content'])  # описание ошибки

Результат

  • Успех: текст страницы (или HTML с --html)
  • Ошибка: понятное сообщение (нет токена / лимит / недоступно)

Если вернулась ошибка — страница недоступна через этот метод.

评论

支持 Markdown