Scrapiq

Scrapiq MCP サーバー

Scrapiq 用の MCP サーバーです。あらゆる URL を、LLM/RAG パイプライン向けのクリーンなテキスト、Markdown、または JSON に変換し、MCP クライアントから直接利用できます。

Scrapiq は、Web ページを取得して不要な定型部分を取り除いたクリーンなコンテンツを返す、軽量なオープンソースの HTTP API です。このサーバーは、これを Model Context Protocol（MCP）ツールとして公開するため、Claude Desktop、Cursor、その他あらゆる MCP クライアントで、1 回の呼び出しでクリーンな Web コンテンツを抽出できます。

依存関係はありません。Python の標準ライブラリのみを使用し、pip パッケージも node_modules も不要です。トランスポートは 2 種類あります。ローカルクライアント向けの stdio と、リモートクライアント向けの streamable HTTP です。

ホスト型サーバーを使う（インストール不要）

このサーバーは公式 MCP Registry に io.scrapiq/scrapiq として登録されており、次の場所で実行されています。

https://scrapiq.io/mcp

キーもインストールも不要です。streamable HTTP に対応しているクライアントであれば、リモート MCP サーバーとしてこの URL を追加できます。

{
  "mcpServers": {
    "scrapiq": { "url": "https://scrapiq.io/mcp" }
  }
}

ローカルにインストールする

まだ PyPI には登録されていないため、このリポジトリから直接インストールしてください。

# run it without installing anything (run against `main`, 2026-09-17)
uvx --from git+https://github.com/NG-PR0JECT/scrapiq-mcp-server scrapiq-mcp

# or install it into an isolated environment
pipx install git+https://github.com/NG-PR0JECT/scrapiq-mcp-server

実行中の Scrapiq インスタンスが必要です（Scrapiq README を参照してください。git clone、pip install -e ".[dev]" の順に実行してから scrapiq を実行します）。サーバーの接続先を設定します。

SCRAPIQ_ENDPOINT=http://localhost:8001/v1/extract scrapiq-mcp

独自の HTTP エンドポイントを実行する

scrapiq-mcp --http --host 127.0.0.1 --port 8002   # serves POST /mcp

ステートレスです。JSON-RPC メッセージ（またはバッチ）ごとに POST /mcp を 1 回送信し、application/json で応答します。Mcp-Session-Id は発行せず、サーバーからクライアントへの SSE ストリームも提供しないため、GET /mcp は仕様上 405 を返します。CORS はオープンなので、ブラウザベースのクライアント（MCP Inspector など）から直接呼び出せます。

Claude Desktop での使用方法

claude_desktop_config.json に追加します。

{
  "mcpServers": {
    "scrapiq": {
      "command": "scrapiq-mcp",
      "env": { "SCRAPIQ_ENDPOINT": "http://localhost:8001/v1/extract" }
    }
  }
}

ツール

scrapiq_extract

Web ページをクリーンな構造化コンテンツに抽出します。

引数：

• url（string、必須）— 抽出する URL
• format（string、任意）— "markdown"（デフォルト） | "text" | "json"
• max_chars（integer、任意）— コンテンツを N 文字に切り詰めます

例：

scrapiq_extract(url="https://en.wikipedia.org/wiki/Retrieval-augmented_generation", format="markdown")

タイトル、コンテンツ、リンク、メタデータを返します。広告、ナビゲーション、スクリプトは含まれません。

サーバーをテストする

printf '%s\n' \
  '{"jsonrpc":"2.0","id":1,"method":"initialize","params":{"protocolVersion":"2024-11-05"}}' \
  '{"jsonrpc":"2.0","id":2,"method":"tools/list"}' \
  '{"jsonrpc":"2.0","id":3,"method":"tools/call","params":{"name":"scrapiq_extract","arguments":{"url":"https://example.com","format":"text"}}}' \
  | scrapiq-mcp

ライセンス

MIT