webscrape-mcp

WebScrape MCP 服务

英文 · 西班牙语

---

英文

MCP 服务可让 AI Agent 搜索网络并提取干净的 Markdown 内容——没有广告，没有杂乱内容，只有大模型需要的文本。

v2.0.0 新功能

新功能：

• JS 渲染 — 使用 Playwright（无头 Chromium）渲染 JavaScript 密集型网站。当 httpx 返回 403 或内容为空时自动回退
• 结构化数据提取 — 使用 extract_schema=True 提取 JSON-LD、Open Graph、Twitter Cards、meta 标签、规范 URL 和 hreflang 链接
• 屏幕截图 — 新增 webscrape_screenshot 工具，可截取页面屏幕截图，并支持配置视口、整页模式以及 PNG/JPEG 格式
• 多引擎搜索 — 以 DuckDuckGo 为主；如果 DDGS 不可用，则自动回退到 Google 和 Bing
• 智能截断 — 在段落或句子边界处截断内容，而不是截断单词

改进：

• 增强缓存：500 个条目，TTL 为 15 分钟（之前为 200 个条目，且不会过期）
• 改进错误处理，针对 403、404、429 和超时提供具体提示
• 更新 Dockerfile，加入 Playwright 所需的 Chromium 依赖

工具

工具	描述
webscrape_fetch_url	获取单个 URL 并返回干净的 Markdown。支持 use_readability、js_render、extract_schema，并可自动检测 PDF
webscrape_batch_fetch	并行获取最多 5 个 URL。支持自动检测 PDF、JS 渲染和结构化数据
webscrape_search	搜索网络（DuckDuckGo → Google → Bing 回退），并将搜索结果抓取为 Markdown
webscrape_screenshot	使用无头 Chromium 截取任意网页的屏幕截图。支持 PNG/JPEG、视口大小设置和整页截图

功能

• PDF 支持：自动检测以 .pdf 结尾或内容类型为 application/pdf 的 URL，并逐页提取文本
• Readability 模式：向 webscrape_fetch_url 传入 use_readability=True，即可使用 Mozilla Readability 更干净地提取文章内容（移除导航栏、侧边栏、广告和评论）
• JS 渲染：传入 js_render=True，即可使用 Playwright（无头 Chromium）渲染 JavaScript 密集型网站。当 httpx 返回 403 或内容为空时自动回退
• 结构化数据提取：传入 extract_schema=True，即可提取 JSON-LD、Open Graph、Twitter Cards、meta 标签、规范 URL 和 hreflang 链接
• 多引擎搜索：以 DuckDuckGo 为主；如果 DDGS 不可用，则自动回退到 Google 和 Bing
• 屏幕截图：截取页面屏幕截图，并支持配置视口、整页模式以及 PNG/JPEG 格式
• 内置缓存：针对重复 URL 使用基于 TTL 的缓存淘汰机制，缓存容量为 500 个条目（15 分钟）
• 批量获取：并行获取最多 5 个 URL
• 智能截断：在段落或句子边界处截断内容，而不是截断单词

使用方法

选项 1 — MCPize（推荐）

1. 前往 https://mcpize.com/marketplace
2. 搜索 Web Scrape 并点击 Start Free
3. 获取 API 密钥
4. 在 AI 客户端中配置：

{
  "mcpServers": {
    "webscrape": {
      "url": "https://webscrape.mcpize.run",
      "headers": {
        "Authorization": "Bearer your-api-key"
      }
    }
  }
}

选项 2 — Render（开发）

{
  "mcpServers": {
    "webscrape": {
      "url": "https://webscrape-mcp.onrender.com"
    }
  }
}

选项 3 — 本地

git clone https://github.com/carrasquelalex1/webscrape-mcp.git
cd webscrape-mcp
pip install -r requirements.txt
playwright install chromium
python webscrape_mcp.py

官方注册表

io.github.carrasquelalex1/webscrape-mcp

依赖项

mcp、httpx、beautifulsoup4、markdownify、pydantic、ddgs、readability-lxml、PyMuPDF、playwright

许可证

MIT

---

西班牙语

MCP 服务可让 AI Agent 搜索网络并提取干净的 Markdown 内容——没有广告，没有导航内容，只有你的大模型需要的文本。

v2.0.0 新增内容

新功能：

• JS 渲染 — 使用 Playwright（无头 Chromium）渲染 JavaScript 网站。当 httpx 收到 403 或空内容时自动回退
• 结构化数据提取 — 使用 extract_schema=True 提取 JSON-LD、Open Graph、Twitter Cards、meta 标签、规范 URL 和 hreflang 链接
• 屏幕截图 — 新增工具 webscrape_screenshot，可使用可配置的视口、整页模式和 PNG/JPEG 格式截取屏幕截图
• 多引擎搜索 — 优先使用 DuckDuckGo；如果 DDGS 不可用，则自动回退到 Google 和 Bing
• 智能截断 — 在段落或句子边界处截断内容，而不是从单词中间截断

改进：

• 改进缓存：500 个条目，TTL 为 15 分钟（此前为 200 个条目，且无过期时间）
• 改进错误处理，针对 403、404、429 和超时提供具体消息
• 更新 Dockerfile，加入 Playwright 的 Chromium 依赖

工具

工具	描述
webscrape_fetch_url	获取 URL 并将其转换为干净的 Markdown。支持 use_readability、js_render、extract_schema，并自动检测 PDF
webscrape_batch_fetch	并行获取最多 5 个 URL。支持 PDF 检测、JS 渲染和结构化数据
webscrape_search	搜索网页（DuckDuckGo → Google → Bing 作为回退），并将结果提取为 Markdown
webscrape_screenshot	使用无头 Chromium 截取任意网页的屏幕截图。支持 PNG/JPEG、视口大小和整页截取

功能

• PDF 支持：自动检测以 .pdf 结尾或 content-type 为 application/pdf 的 URL，并逐页提取文本
• Readability 模式：在 webscrape_fetch_url 中使用 use_readability=True，以更干净的方式提取文章（移除导航、侧边栏、广告和评论）
• JS 渲染：使用 js_render=True，通过 Playwright（无头 Chromium）渲染 JavaScript 网站。当 httpx 收到 403 或空内容时自动回退
• 结构化数据提取：使用 extract_schema=True 提取 JSON-LD、Open Graph、Twitter Cards、meta 标签、规范 URL 和 hreflang 链接
• 多引擎搜索：优先使用 DuckDuckGo；如果 DDGS 不可用，则自动回退到 Google 和 Bing
• 屏幕截图：使用可配置的视口、整页模式和 PNG/JPEG 格式截取页面
• 内置缓存：缓存 500 个条目，按 TTL（15 分钟）逐出重复 URL
• 批量获取：并行获取最多 5 个 URL
• 智能截断：在段落或句子边界处截断内容，而不是从单词中间截断

使用方法

选项 1 — MCPize（推荐）

1. 前往 https://mcpize.com/marketplace
2. 搜索 Web Scrape，然后点击 Start Free
3. 获取 API key
4. 在 AI 客户端中配置：

{
  "mcpServers": {
    "webscrape": {
      "url": "https://webscrape.mcpize.run",
      "headers": {
        "Authorization": "Bearer tu-api-key"
      }
    }
  }
}

选项 2 — Render（开发）

{
  "mcpServers": {
    "webscrape": {
      "url": "https://webscrape-mcp.onrender.com"
    }
  }
}

选项 3 — 本地

git clone https://github.com/carrasquelalex1/webscrape-mcp.git
cd webscrape-mcp
pip install -r requirements.txt
playwright install chromium
python webscrape_mcp.py

官方注册名称

io.github.carrasquelalex1/webscrape-mcp

依赖项

mcp、httpx、beautifulsoup4、markdownify、pydantic、ddgs、readability-lxml、PyMuPDF、playwright

许可证

MIT