Scrapiq

Scrapiq MCP 服务

Scrapiq MCP 服务，可通过 MCP 客户端直接将任意 URL 转换为干净的文本、Markdown 或 JSON，供 LLM/RAG 工作流使用。

Scrapiq 是一个轻量级开源 HTTP API，可抓取网页并返回清理后的内容——去除冗余内容。此服务将其作为模型上下文协议（MCP）工具提供，让 Claude Desktop、Cursor 和任何 MCP 客户端都能通过一次调用提取干净的网页内容。

零依赖：纯 Python 标准库，无需 pip 包或 node_modules。支持两种传输方式：供本地客户端使用的 stdio，以及供远程客户端使用的 可流式 HTTP。

使用托管服务（无需安装）

此服务已列入官方 MCP Registry，名称为 io.scrapiq/scrapiq，运行地址为：

https://scrapiq.io/mcp

无需密钥，无需安装——在任何支持可流式 HTTP 的客户端中，将该 URL 添加为远程 MCP 服务：

{
  "mcpServers": {
    "scrapiq": { "url": "https://scrapiq.io/mcp" }
  }
}

本地安装

尚未发布到 PyPI，因此请直接从此仓库安装：

# run it without installing anything (run against `main`, 2026-09-17)
uvx --from git+https://github.com/NG-PR0JECT/scrapiq-mcp-server scrapiq-mcp

# or install it into an isolated environment
pipx install git+https://github.com/NG-PR0JECT/scrapiq-mcp-server

需要一个正在运行的 Scrapiq 实例（参见 Scrapiq README — git clone、pip install -e ".[dev]"，然后运行 scrapiq）。将服务指向该实例：

SCRAPIQ_ENDPOINT=http://localhost:8001/v1/extract scrapiq-mcp

运行自己的 HTTP 端点

scrapiq-mcp --http --host 127.0.0.1 --port 8002   # serves POST /mcp

无状态：每条 JSON-RPC 消息（或批次）对应一次 POST /mcp 请求，并以 application/json 响应。它不会发出 Mcp-Session-Id，也不提供从服务端到客户端的 SSE 流，因此 GET /mcp 按设计会返回 405。CORS 为开放状态，因此基于浏览器的客户端（例如 MCP Inspector）可以直接调用。

在 Claude Desktop 中使用

添加到 claude_desktop_config.json：

{
  "mcpServers": {
    "scrapiq": {
      "command": "scrapiq-mcp",
      "env": { "SCRAPIQ_ENDPOINT": "http://localhost:8001/v1/extract" }
    }
  }
}

工具

scrapiq_extract

将网页提取为干净的结构化内容。

参数：

• url（字符串，必填）— 要提取的 URL
• format（字符串，可选）— "markdown"（默认）| "text" | "json"
• max_chars（整数，可选）— 将内容截断至 N 个字符

示例：

scrapiq_extract(url="https://en.wikipedia.org/wiki/Retrieval-augmented_generation", format="markdown")

返回标题、内容、链接和元数据——不含广告、导航栏或脚本。

测试服务

printf '%s\n' \
  '{"jsonrpc":"2.0","id":1,"method":"initialize","params":{"protocolVersion":"2024-11-05"}}' \
  '{"jsonrpc":"2.0","id":2,"method":"tools/list"}' \
  '{"jsonrpc":"2.0","id":3,"method":"tools/call","params":{"name":"scrapiq_extract","arguments":{"url":"https://example.com","format":"text"}}}' \
  | scrapiq-mcp

许可证

MIT