Skrape MCP Server

Skrape MCP 服务

使用 skrape.ai 将网页转换为整洁、适合大模型处理的 Markdown。MCP 服务可与 Claude Desktop 和其他兼容 MCP 的应用无缝集成。

主要功能

• 整洁的输出：移除广告、导航和无关内容
• JavaScript 支持：处理动态内容渲染
• 针对大模型优化：结构化 Markdown，非常适合 AI 使用
• 格式一致：无论来源是什么，结构都保持统一

功能

工具

• get_markdown - 将任意网页转换为适合大模型处理的 Markdown
  • 接受任意输入 URL 和可选参数
  • 返回整洁、结构化且针对大模型处理优化的 Markdown
  • 支持对动态内容进行 JavaScript 渲染
  • 可选 JSON 响应格式，适用于高级集成

安装

通过 Smithery 安装

通过 Smithery 自动为 Claude Desktop 安装 Skrape MCP Server：

npx -y @smithery/cli install @skrapeai/skrape-mcp --client claude

手动安装

1. 从 skrape.ai 获取 API 密钥

2. 安装依赖项：

npm install

1. 构建服务：

npm run build

1. 将服务配置添加到 Claude Desktop：

在 MacOS 上：

nano ~/Library/Application\ Support/Claude/claude_desktop_config.json

在 Windows 上：

notepad %APPDATA%/Claude/claude_desktop_config.json

添加此配置（将路径和 API 密钥替换为你的值）：

{
  "mcpServers": {
    "skrape": {
      "command": "node",
      "args": ["path/to/skrape-mcp/build/index.js"],
      "env": {
        "SKRAPE_API_KEY": "your-key-here"
      }
    }
  }
}

与大模型搭配使用

以下介绍如何将此服务与 Claude 或其他大模型搭配使用：

1. 首先，确保已在大模型应用中正确配置该服务
2. 然后，你可以要求 ALLMI 获取并处理任意网页：

Convert this webpage to markdown: https://example.com

Claude will use the MCP tool like this:
<use_mcp_tool>
<server_name>skrape</server_name>
<tool_name>get_markdown</tool_name>
<arguments>
{
  "url": "https://example.com",
  "options": {
    "renderJs": true
  }
}
</arguments>
</use_mcp_tool>

生成的 Markdown 将整洁、结构清晰，可直接用于大模型处理。

高级选项

get_markdown 工具接受以下参数：

• url（必需）：要转换的任意网页 URL
• returnJson（可选）：设为 true 可获取完整 JSON 响应，而不仅是 Markdown
• options（可选）：其他抓取选项
  • renderJs：抓取前是否渲染 JavaScript（默认值：true）

包含所有选项的示例：

<use_mcp_tool>
<server_name>skrape</server_name>
<tool_name>get_markdown</tool_name>
<arguments>
{
  "url": "https://example.com",
  "returnJson": true,
  "options": {
    "renderJs": false
  }
}
</arguments>
</use_mcp_tool>

开发

在开发过程中启用自动重新构建：

npm run watch

调试

由于 MCP 服务通过 stdio 通信，调试可能颇具挑战。我们建议使用 MCP Inspector：

npm run inspector

Inspector 会提供一个 URL，供你在浏览器中访问调试工具。

---