mcpField
U
UseScraper MCP Server

UseScraper MCP Server

本地服务
github.com/tanevanwifferen浏览器自动化487 周前更新
代码仓库

关于 UseScraper MCP Server

UseScraper MCP Server 是一个使用 UseScraper API 获取网页内容的 TypeScript 服务。其 `scrape` 工具支持文本、HTML、Markdown、代理选项和结构化提取。

主要功能

  1. 01按 URL 抓取网页内容
  2. 02输出文本、HTML 或 Markdown
  3. 03可选高级代理
  4. 04可选结构化数据提取

适用场景

  1. 01为 MCP 客户端提取网页内容
  2. 02以 Markdown 或 HTML 获取网页
  3. 03使用高级代理抓取页面

MCP 相关

它向 MCP 客户端提供 `scrape` 工具，可接收 URL，并配置输出格式、代理和数据提取选项。

#web-scraping#typescript#mcp-server

配置

本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置
{
  "mcpServers": {
    "usescraper": {
      "command": "npx",
      "args": [
        "-y",
        "@smithery/cli"
      ]
    }
  }
}
启动命令npx -y @smithery/cli

本地服务需要在你的电脑上安装运行环境（如 Node.js 18+）。各客户端的配置文件位置不同，请参考客户端文档。

安装包
npm@smithery/cli

工具

还没有获取到工具列表

本地服务需要在你的电脑上运行后才能读取工具，维护者暂未提供工具列表。

详细介绍

UseScraper MCP 服务

smithery badge 这是一个基于 TypeScript 的 MCP 服务，使用 UseScraper API 提供网页抓取功能。它提供一个名为 scrape 的工具，可从网页中提取多种格式的内容。

UseScraper MCP 服务

功能

工具
  • scrape - 提取网页内容
    • 参数：
      • url（必填）：要抓取的网页 URL
      • format（可选）：保存内容的格式（text、html、markdown）。默认值：markdown
      • advanced_proxy（可选）：使用高级代理绕过机器人检测。默认值：false
      • extract_object（可选）：指定要提取的数据的对象

安装

通过 Smithery 安装

要通过 Smithery 为 Claude Desktop 自动安装 UseScraper：

npx -y @smithery/cli install usescraper-server --client claude
手动安装

  1. 克隆仓库：

    git clone https://github.com/your-repo/usescraper-server.git
cd usescraper-server

  2. 安装依赖项：

    npm install

  3. 构建服务：

    npm run build

配置

要与 Claude Desktop 搭配使用，请添加服务配置：

在 MacOS 上：~/Library/Application Support/Claude/claude_desktop_config.json 在 Windows 上：%APPDATA%/Claude/claude_desktop_config.json

{
  "mcpServers": {
    "usescraper-server": {
      "command": "node",
      "args": ["/path/to/usescraper-server/build/index.js"],
      "env": {
        "USESCRAPER_API_KEY": "your-api-key-here"
      }
    }
  }
}

将 /path/to/usescraper-server 替换为服务的实际路径，并将 your-api-key-here 替换为你的 UseScraper API 密钥。

使用

配置完成后，即可通过 MCP 接口使用 scrape 工具。使用示例：

{
  "name": "scrape",
  "arguments": {
    "url": "https://example.com",
    "format": "markdown"
  }
}

开发

启用自动重新构建进行开发：

npm run watch
调试

由于 MCP 服务通过 stdio 通信，调试可能比较困难。我们建议使用 MCP Inspector，它可通过包脚本运行：

npm run inspector

Inspector 会提供一个 URL，供你在浏览器中访问调试工具。

评论

支持 Markdown

第一次接触 MCP？

从协议是什么，到在客户端里装上第一个服务，这几条回答覆盖了大多数入门问题。

一个开放协议，规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话，MCP 服务负责提供工具、资源和提示模板，两者通过标准消息通信，同一个服务可以被不同客户端复用。