Skrape MCP Server

Skrape MCP Server

skrape.aiを使用して、ウェブページをLLM向けに最適化されたクリーンなMarkdownに変換します。Claude Desktopやその他のMCP互換アプリケーションとシームレスに連携するMCPサーバーです。

主な機能

• クリーンな出力：広告、ナビゲーション、無関係なコンテンツを削除します
• JavaScript サポート：動的コンテンツのレンダリングに対応します
• LLM向けに最適化：AIでの利用に最適な構造化Markdownを出力します
• 一貫した形式：ソースにかかわらず統一された構造を提供します

機能

ツール

• get_markdown - 任意のウェブページをLLM向けに最適化されたMarkdownに変換します
  • 任意のURLとオプションのパラメーターを受け取ります
  • LLMでの利用に最適化された、クリーンで構造化されたMarkdownを返します
  • 動的コンテンツ向けのJavaScriptレンダリングに対応します
  • 高度な連携向けに、JSON形式のレスポンスも選択できます

インストール

Smithery 経由でのインストール

Smithery経由でClaude Desktop用のSkrape MCP Serverを自動的にインストールするには：

npx -y @smithery/cli install @skrapeai/skrape-mcp --client claude

手動インストール

1. skrape.aiからAPIキーを取得します

2. 依存関係をインストールします：

npm install

1. サーバーをビルドします：

npm run build

1. サーバーの設定をClaude Desktopに追加します：

MacOSの場合：

nano ~/Library/Application\ Support/Claude/claude_desktop_config.json

Windowsの場合：

notepad %APPDATA%/Claude/claude_desktop_config.json

以下の設定を追加します（パスとAPIキーをお使いの値に置き換えてください）：

{
  "mcpServers": {
    "skrape": {
      "command": "node",
      "args": ["path/to/skrape-mcp/build/index.js"],
      "env": {
        "SKRAPE_API_KEY": "your-key-here"
      }
    }
  }
}

LLMでの使用

Claudeやその他のLLMモデルでサーバーを使用する方法は次のとおりです：

1. まず、LLMアプリケーションでサーバーが正しく設定されていることを確認します
2. 次に、ALLMIに任意のウェブページを取得して処理するよう依頼できます：

Convert this webpage to markdown: https://example.com

Claude will use the MCP tool like this:
<use_mcp_tool>
<server_name>skrape</server_name>
<tool_name>get_markdown</tool_name>
<arguments>
{
  "url": "https://example.com",
  "options": {
    "renderJs": true
  }
}
</arguments>
</use_mcp_tool>

生成されるMarkdownはクリーンで構造化されており、LLMでの処理にすぐ使用できます。

高度なオプション

get_markdownツールは、次のパラメーターを受け付けます：

• url（必須）：変換する任意のウェブページのURL
• returnJson（任意）：Markdownだけでなく完全なJSONレスポンスを取得するには、trueに設定します
• options（任意）：追加のスクレイピングオプション
  • renderJs：スクレイピング前にJavaScriptをレンダリングするかどうか（デフォルト：true）

すべてのオプションを指定する例：

<use_mcp_tool>
<server_name>skrape</server_name>
<tool_name>get_markdown</tool_name>
<arguments>
{
  "url": "https://example.com",
  "returnJson": true,
  "options": {
    "renderJs": false
  }
}
</arguments>
</use_mcp_tool>

開発

自動再ビルドを有効にして開発するには：

npm run watch

デバッグ

MCPサーバーはstdio経由で通信するため、デバッグが難しい場合があります。MCP Inspectorの使用をおすすめします：

npm run inspector

Inspectorは、ブラウザーでデバッグツールにアクセスするためのURLを表示します。

---