mcpField
M
mcp-server-spider: A spider MCP server

mcp-server-spider: A spider MCP server

ローカル
github.com/GeorgeLSブラウザ自動化179 週間前に更新
リポジトリ

mcp-server-spider: A spider MCP server について

mcp-server-spiderはSpiderのクロールとスクレイピング機能をMCPクライアントに提供します。ページを巡回してURLを返すほか、ページ内容やリンクも取得できます。現在は開発初期段階です。

主な機能

  1. 01ページのクロールとURL検出
  2. 02ページ内容とリンクの取得
  3. 03巡回深度の指定
  4. 04許可リストとブロックリストによるURL選別
  5. 05リクエストヘッダーとユーザーエージェントの設定

活用シーン

  1. 01指定URLからリンクされたページの発見
  2. 02ページ内容とリンクの収集

MCP 対応

crawlとscrapeのツールをMCPクライアントに公開し、検出したURL、またはページURL・リンク・内容を含むJSONデータを返します。

設定

ローカルサーバーの設定はどのクライアントでも共通です。コピーしてクライアントの MCP 設定ファイルに貼り付けてください。

mcp.json · 共通設定
{
  "mcpServers": {
    "spider": {
      "command": "uvx",
      "args": [
        "mcp-server-spider"
      ]
    }
  }
}
起動コマンドuvx mcp-server-spider

ローカルサーバーにはマシン上の実行環境（Node.js 18 以上など）が必要です。設定ファイルの場所はクライアントごとに異なります。

パッケージ
pypimcp-server-spider

ツール

ツール一覧はまだ取得されていません

ローカルサーバーのツールはマシン上で起動して初めて取得できます。メンテナーはまだツール一覧を提供していません。

詳細

mcp-server-spider：Spider MCP サーバー

概要

Spider クローラーとの連携と自動化のための Model Context Protocol サーバーです。このサーバーは、ウェブページをクロールおよびスクレイピングするツールを提供します。

mcp-server-spider は現在、開発の初期段階にあります。バグが存在する可能性があり、今後機能が追加される場合があります。

ツール
  1. crawl
    • 指定された URL をクロールし、見つかった URL の一覧を返します
    • 入力：
      • url：クロールする URL
      • headers：クロールリクエストとともに渡す追加ヘッダー
      • user_agent：クロールリクエストで使用するユーザーエージェント
      • depth：リンクをたどる深さ
      • blacklist：クロール処理から URL を除外する正規表現の一覧
      • whitelist：クロール処理の対象にする URL を指定する正規表現の一覧
      • respect_robots_txt：robots.txt ファイルに従うかどうか
      • accept_invalid_certs：無効な証明書を受け入れるかどうか
    • 戻り値：見つかった URL の一覧
  2. scrape
    • 指定された URL をスクレイピングし、検出された各ページの URL、リンク、コンテンツを含む JSON オブジェクトの一覧を返します
    • 入力：crawl と同じ
    • 戻り値：検出された各ページの URL、リンク、コンテンツを含む JSON オブジェクト（文字列）の一覧

インストール

uv を使用する場合（推奨）

uv を使用する場合、特別なインストールは必要ありません。mcp-server-spider を直接実行するために、uvx を使用します。

PIP を使用する場合

または、pip を使って mcp-server-spider をインストールできます：

pip install mcp-server-spider

インストール後、次のようにスクリプトとして実行できます：

python -m mcp_server_spider

コメント

Markdown 対応

MCP は初めてですか？

プロトコルの概要から最初のサーバーの導入まで、よくある疑問にまとめて答えます。

AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。