Mcp Server Scraper

mcp-server-scraper

あらゆる URL から、読みやすく整形されたコンテンツを抽出します。Markdown テキスト、リンク、メタデータを返します。API キーも設定も不要です。ドキュメント、ブログ、記事のスクレイピングに使える、Firecrawl の無料代替ツールです。

npx mcp-server-scraper

Claude Desktop、Cursor、VS Code Copilot、その他あらゆる MCP クライアントで動作します。アカウントや API キーは不要です。

 

_{remotion-readme-kit を使って作成したデモ}

使う理由

AI アシスタントを使っていて、ドキュメントページ、ブログ記事、API リファレンスを参照する必要があるとき、通常はコンテンツを手作業でコピーして貼り付けることになります。Firecrawl のようなツールを使えば解決できますが、有料の API キーが必要です。このサーバーなら、同じことを無料で行えます。URL を取得し、Mozilla Readability（Firefox のリーダービューと同じエンジン）で処理して、読みやすく整形された Markdown を返します。ドキュメントサイト、ブログ、記事など、サーバー側でレンダリングされるコンテンツに適しています。JavaScript を多用する SPA には対応していませんが、「このドキュメントページを読んで要約して」という最も一般的な用途には十分です。

ツール

ツール	機能
scrape_url	URL から読みやすく整形されたテキストコンテンツを抽出します（Readability を利用）
extract_links	href とアンカーテキストを含むすべてのリンクを取得します
extract_metadata	タイトル、説明、OG タグ、canonical、favicon を取得します
search_page	ページ内でクエリ文字列を検索し、一致する行を返します
scrape_multiple	複数の URL を一括でスクレイピングし、URL ごとにタイトルと抜粋を取得します

クイックスタート

Cursor

.cursor/mcp.json に追加します。

{
  "mcpServers": {
    "scraper": {
      "command": "npx",
      "args": ["-y", "mcp-server-scraper"]
    }
  }
}

Claude Desktop

claude_desktop_config.json に追加します。

{
  "mcpServers": {
    "scraper": {
      "command": "npx",
      "args": ["-y", "mcp-server-scraper"]
    }
  }
}

VS Code

MCP 設定に追加します（例：.vscode/mcp.json）。

{
  "mcp": {
    "servers": {
      "scraper": {
        "command": "npx",
        "args": ["-y", "mcp-server-scraper"]
      }
    }
  }
}

使用例

• 「https://docs.example.com の API ドキュメントをスクレイピングして要約して」
• 「このページのリンクをすべて抽出して」
• 「この URL の OG 画像と説明は何？」
• 「このページで 'authentication' が言及されている箇所を検索して」
• 「この 5 つの URL をスクレイピングして、それぞれ要約して」

仕組み

Mozilla Readability（Firefox のリーダービューのエンジン）と、Node で高速に HTML を解析するための linkedom を使用します。ヘッドレスブラウザーは不要です。サーバー側でレンダリングされるページ（ドキュメント、ブログ、記事、ニュースサイト）で最もよく動作します。

エージェントプラグイン

このリポジトリは Agent Plugins 1.0.0 パッケージです。plugin.json、ポータブルな mcp.json、skills/ が MCP サーバーとともに提供されます。

Cursor で使用するには、リポジトリをクローンし、~/.cursor/plugins/local/mcp-server-scraper にコピーするかシンボリックリンクを作成してから、ウィンドウを再読み込みしてください。スキルと MCP は「カスタマイズ」＞「プラグイン」に表示されます。

上記の Cursor と VS Code のインストールボタンも引き続き使用できます。手動で JSON を設定する場合と同じ npx -y mcp-server-scraper の標準入出力サーバーが追加されます。

よくある質問

mcp-server-scraper とは何ですか？

Mozilla Readability を使って公開ウェブページを整った Markdown に変換する、無料の MCP サーバーです。Firecrawl などのスクレイピング API キーは必要ありません。

JavaScript や SPA を実行できますか？

いいえ。HTML を取得し、Node で解析します。React のダッシュボードや、クライアント側で描画されるその他のサイトには、ブラウザー MCP を使用してください。

Firecrawl とは何が違いますか？

Firecrawl は課金制のホスト型スクレイピング API です。このサーバーは npx でローカル実行でき、無料で、ドキュメント、ブログ、記事の URL に適しています。

Cursor に Agent Plugin としてインストールできますか？

はい。~/.cursor/plugins/local/mcp-server-scraper のローカルプラグインパスを使用すると、同梱の web-scraping スキルが MCP 設定とともに読み込まれます。

API キーや環境変数は必要ですか？

いいえ。MCP クライアントで npx -y mcp-server-scraper のみを指定してください。

開発

npm install
npm run typecheck
npm run build
npm test

関連項目

その他の MCP サーバーと開発者向けツールについては、私のポートフォリオをご覧ください。

作者

---

_{README Builder で作成した README}

ライセンス

MIT © Ofer Shapira