Scrapling Fetch MCP

scrapling-fetch-mcp

帮助 AI 助手从受机器人防护的网站获取内容。使用 Scrapling（patchright + curl-cffi）绕过反自动化措施，并返回整洁的 HTML 或 Markdown。

专为低频获取文档和参考资料而优化。不适用于大规模抓取或数据采集。

要求：Python 3.10+、uv

Claude Code 技能

最简单的使用方式是将其作为 Claude Code 技能。安装后，只要你提出请求，Claude 就会自动获取受机器人防护的 URL，无需手动运行命令。

安装到项目中（推荐——仅在此项目的上下文中加载）：

git clone --depth=1 https://github.com/cyberchitta/scrapling-fetch-mcp /tmp/scrapling-fetch-mcp
cp -r /tmp/scrapling-fetch-mcp/skills/s-fetch .claude/skills/
rm -rf /tmp/scrapling-fetch-mcp

或安装到所有项目中（在任何地方的上下文中加载）：

git clone --depth=1 https://github.com/cyberchitta/scrapling-fetch-mcp /tmp/scrapling-fetch-mcp
cp -r /tmp/scrapling-fetch-mcp/skills/s-fetch ~/.claude/skills/
rm -rf /tmp/scrapling-fetch-mcp

首次调用 /s-fetch 时，Claude 会读取 skills/s-fetch/references/install.md 并运行一次性设置 （安装工具并下载浏览器二进制文件）。之后，只需直接提出请求：

"Fetch the docs at https://example.com/api"
"Find all mentions of 'authentication' on that page"
"Get me the installation instructions from their homepage"

Claude Desktop（MCP 服务）

如果 /s-fetch 技能已安装该工具，请跳过安装，直接查看下方配置。

否则，请先安装：

uv tool install git+https://github.com/cyberchitta/scrapling-fetch-mcp
uvx --from git+https://github.com/cyberchitta/scrapling-fetch-mcp scrapling install

注意：浏览器安装会下载数百 MB 的内容，且必须在首次使用前完成。如果服务首次启动时超时，请等待几分钟后重试。

将以下内容添加到 Claude Desktop MCP 设置中，然后重启：

MacOS：~/Library/Application Support/Claude/claude_desktop_config.json
Windows：%APPDATA%\Claude\claude_desktop_config.json

{
  "mcpServers": {
    "scrapling-fetch": {
      "command": "uvx",
      "args": ["scrapling-fetch-mcp"]
    }
  }
}

工作原理

Claude 会自动使用两个工具：

• 页面获取——支持分页地获取完整页面
• 模式提取——查找符合正则表达式的内容

自动逐级提升的三种防护级别：

• basic——快速（1-2s），适用于大多数网站
• stealth——适中（3-8s），使用无头 Chromium
• max-stealth——全面（10s+），使用完整的浏览器指纹

限制

• 仅支持文本内容（文档、文章、参考资料）
• 不适用于大规模抓取或需要身份验证的网站
• 性能因网站复杂程度和防护级别而异

许可证

Apache 2.0