Mcp Server Scraper

mcp-server-scraper

从任意 URL 提取清晰易读的内容。返回 Markdown 文本、链接和元数据。无需 API 密钥，无需配置。一个可免费使用的 Firecrawl 替代方案，适用于抓取文档、博客和文章。

npx mcp-server-scraper

兼容 Claude Desktop、Cursor、VS Code Copilot 及任何 MCP 客户端。无需账号或 API 密钥。

 

_{演示使用 remotion-readme-kit 制作}

为什么使用

当你与 AI 助手协作，需要参考文档页面、博客文章或 API 参考时，通常只能手动复制粘贴内容。Firecrawl 等工具可以解决这个问题，但需要付费 API 密钥。这个服务免费提供相同的功能。它会获取 URL，通过 Mozilla Readability（Firefox Reader View 背后的同款引擎）处理，并返回整洁的 Markdown。它非常适合处理服务器渲染的内容，例如文档网站、博客文章和新闻文章。它无法处理 JavaScript 密集型的单页应用（SPA），但对于最常见的“阅读这个文档页面并总结”的需求，它完全胜任。

工具

工具	功能
scrape_url	从 URL 提取清晰的文本内容（由 Readability 驱动）
extract_links	获取所有链接及其 href 和锚文本
extract_metadata	获取标题、描述、OG 标签、规范链接和 favicon
search_page	在页面中搜索查询字符串，并返回匹配的行
scrape_multiple	批量抓取多个 URL，获取每个 URL 的标题和摘要

快速开始

Cursor

添加到 .cursor/mcp.json：

{
  "mcpServers": {
    "scraper": {
      "command": "npx",
      "args": ["-y", "mcp-server-scraper"]
    }
  }
}

Claude Desktop

添加到 claude_desktop_config.json：

{
  "mcpServers": {
    "scraper": {
      "command": "npx",
      "args": ["-y", "mcp-server-scraper"]
    }
  }
}

VS Code

添加到 MCP 设置中（例如 .vscode/mcp.json）：

{
  "mcp": {
    "servers": {
      "scraper": {
        "command": "npx",
        "args": ["-y", "mcp-server-scraper"]
      }
    }
  }
}

示例

• “抓取 https://docs.example.com 中的 API 文档并总结”
• “提取此页面中的所有链接”
• “这个 URL 的 OG 图片和描述是什么？”
• “在此页面中搜索提及 ‘authentication’ 的内容”
• “抓取这 5 个 URL，并分别总结”

工作原理

使用 Mozilla Readability（Firefox Reader View 背后的引擎），并借助 linkedom 在 Node 中快速解析 HTML。无需无头浏览器。最适合处理服务器渲染的页面：文档、博客、文章和新闻网站。

Agent 插件

此仓库是一个 Agent Plugins 1.0.0 软件包：plugin.json、可移植的 mcp.json 和 skills/ 与 MCP 服务一同提供。

对于 Cursor，克隆此仓库，并将其复制或创建符号链接到 ~/.cursor/plugins/local/mcp-server-scraper，然后重新加载窗口。技能和 MCP 会显示在「自定义 > 插件」下。

上方的 Cursor 和 VS Code 安装按钮仍然可用：它们会添加与手动 JSON 配置相同的 npx -y mcp-server-scraper stdio 服务。

常见问题

什么是 mcp-server-scraper？

一个免费 MCP 服务，使用 Mozilla Readability 将公开网页转换为整洁的 Markdown。无需 Firecrawl 或其他抓取 API 密钥。

它会运行 JavaScript 或单页应用吗？

不会。它会获取 HTML，并在 Node 中解析。对于 React 仪表板和其他由客户端渲染的网站，请使用浏览器 MCP。

它与 Firecrawl 有何不同？

Firecrawl 是一项托管式抓取 API，需要付费。此服务通过 npx 在本地运行，免费使用，适合文档、博客和文章 URL。

我可以在 Cursor 中将它安装为 Agent 插件吗？

可以。使用 ~/.cursor/plugins/local/mcp-server-scraper 下的本地插件路径，以便随附的 web-scraping 技能与 MCP 配置一同加载。

我需要 API 密钥或环境变量吗？

不需要。只需将 MCP 客户端指向 npx -y mcp-server-scraper 即可。

开发

npm install
npm run typecheck
npm run build
npm test

另请参阅

可在我的作品集中查看更多 MCP 服务和开发者工具。

作者

---

_{README 使用 README Builder 构建}

许可证

MIT © Ofer Shapira