mcpField
S
Scrapfly MCP Server

Scrapfly MCP Server

ローカル
github.com/scrapflyブラウザ自動化143 日前に更新

Scrapfly MCP Server について

Scrapfly MCP Serverは、Scrapflyのスクレイピングサービスを通じてAIアシスタントに最新のウェブ情報を提供します。簡易取得、ブラウザー操作、構造化抽出、スクリーンショット、アカウント確認に対応します。

主な機能

  1. 01ウェブページの最新情報を取得
  2. 02ボット対策とページ描画に対応
  3. 03構造化JSONデータの抽出
  4. 04ページや要素のスクリーンショット
  5. 05アカウント利用量とクォータの確認

活用シーン

  1. 01最新の価格、一覧、ニュースの取得
  2. 02複雑なページからの商品情報抽出
  3. 03目視確認や監視のためのページ撮影

MCP 対応

ホストされたHTTPエンドポイントを通じて、MCPクライアントにスクレイピング、抽出、撮影、アカウント確認ツールを提供します。ローカル実行やセルフホストにも対応します。

設定

ローカルサーバーの設定はどのクライアントでも共通です。コピーしてクライアントの MCP 設定ファイルに貼り付けてください。

mcp.json · 共通設定
{
"mcpServers": {
"scrapfly": {
"command": "npx",
"args": [
"-y",
"scrapfly-mcp"
]
}
}
}
起動コマンドnpx -y scrapfly-mcp

ローカルサーバーにはマシン上の実行環境(Node.js 18 以上など)が必要です。設定ファイルの場所はクライアントごとに異なります。

パッケージ
npmscrapfly-mcp1.0.0

ツール

ツール一覧はまだ取得されていません

ローカルサーバーのツールはマシン上で起動して初めて取得できます。メンテナーはまだツール一覧を提供していません。

詳細

Scrapfly MCP サーバー

Scrapfly

AI にあらゆるウェブサイトへのリアルタイムアクセスを提供します

🌐 ランディングページ • 📖 ドキュメント • 🎮 ライブデモ • 🔑 API キーを取得


Scrapfly MCP とは?

Scrapfly MCP サーバーは、Model Context Protocol を通じて、AI アシスタントを最新のウェブデータに接続します。トレーニングデータの制約を受ける AI を、あらゆるウェブサイトにリアルタイムでアクセスできる AI に変えます。

✨ AI にできること
機能説明
🌐 最新データをスクレイピング最新の価格、商品リスト、ニュース、その他あらゆるウェブページのコンテンツをリアルタイムで取得します
🛡️ ボット対策システムを回避CAPTCHA、プロキシ、JavaScript のレンダリング、レート制限に自動で対応します
⚡ 構造化データを抽出AI を活用した抽出を使用して、複雑なウェブサイトを整った JSON に解析します
📸 スクリーンショットを撮影分析用にページや特定の要素の視覚的なスナップショットを撮影します
🏆 Scrapfly が選ばれる理由

何千人もの開発者に利用されている、実績豊富なインフラストラクチャを基盤としています。

📖 詳細はこちら:Scrapfly MCP が選ばれる理由


🚀 クイックインストール

以下のボタンをクリックして、お好みの IDE に MCP サーバーをインストールしてください。

VS Code にインストール VS Code Insiders にインストール Visual Studio にインストール Cursor にインストール


📦 手動インストール

標準構成

ほとんどの MCP 対応ツールで動作します。

{
  "servers": {
    "scrapfly-cloud-mcp": {
      "type": "http",
      "url": "https://mcp.scrapfly.io/mcp"
    }
  }
}
クラウド構成(NPX)

ローカルプロセスが必要なツール向けです。

{
  "mcpServers": {
    "scrapfly": {
      "command": "npx",
      "args": [
        "mcp-remote",
        "https://mcp.scrapfly.io/mcp"
      ]
    }
  }
}

🔧 IDE 別のセットアップ

VS Code ### ワンクリックインストール

VS Code にインストール

手動インストール

VS Code MCP ガイドに従うか、CLI を使用してください。

code --add-mcp '{"name":"scrapfly-cloud-mcp","type":"http","url":"https://mcp.scrapfly.io/mcp"}'

インストール後、Scrapfly のツールを GitHub Copilot Chat で利用できます。

📖 完全ガイド:VS Code との連携

VS Code Insiders
ワンクリックインストール

VS Code Insiders にインストール

手動インストール
code-insiders --add-mcp '{"name":"scrapfly-cloud-mcp","type":"http","url":"https://mcp.scrapfly.io/mcp"}'

📖 完全ガイド:VS Code との連携

Visual Studio
ワンクリックインストール

Visual Studio にインストール

手動インストール
  1. Visual Studio を開きます
  2. GitHub Copilot Chat ウィンドウに移動します
  3. チャットツールバーのツールアイコン(🛠️)をクリックします
  4. + Add Server をクリックして、設定ダイアログを開きます
  5. 次のように設定します。
    • Server ID:scrapfly-cloud-mcp
    • Type:http/sse
    • URL:https://mcp.scrapfly.io/mcp
  6. Save をクリックします

📖 完全ガイド:Visual Studio MCP ドキュメント

Cursor
ワンクリックインストール

Cursor にインストール

手動インストール
  1. Cursor Settings → MCP → Add new MCP Server に移動します
  2. 上記の標準設定を使用します
  3. Edit をクリックして、引数を確認または追加します

📖 詳細ガイド:Cursor Integration

Claude Code

Claude Code CLI を使用します:

claude mcp add scrapfly-cloud-mcp --url https://mcp.scrapfly.io/mcp

📖 詳細ガイド:Claude Code Integration

Claude Desktop

Claude Desktop の設定ファイルに追加します:

macOS:~/Library/Application Support/Claude/claude_desktop_config.json Windows:%APPDATA%\Claude\claude_desktop_config.json

{
  "mcpServers": {
    "scrapfly": {
      "command": "npx",
      "args": ["mcp-remote", "https://mcp.scrapfly.io/mcp"]
    }
  }
}

📖 詳細ガイド:Claude Desktop Integration

Cline

Cline の MCP 設定に追加します:

{
  "scrapfly-cloud-mcp": {
    "type": "http",
    "url": "https://mcp.scrapfly.io/mcp"
  }
}

📖 詳細ガイド:Cline Integration

Windsurf

標準設定を使用して、Windsurf MCP documentation に従ってください。

📖 詳細ガイド:Windsurf Integration

Zed

Zed の設定に追加します:

{
  "context_servers": {
    "scrapfly-cloud-mcp": {
      "type": "http",
      "url": "https://mcp.scrapfly.io/mcp"
    }
  }
}

📖 詳細ガイド:Zed Integration

OpenAI Codex

~/.codex/config.toml を作成または編集します:

[mcp_servers.scrapfly-cloud-mcp]
url = "https://mcp.scrapfly.io/mcp"

📖 詳細情報:Codex MCP documentation

Gemini CLI

標準設定を使用して、Gemini CLI MCP guide に従ってください。

OpenCode

~/.config/opencode/opencode.json に追加します:

{
  "$schema": "https://opencode.ai/config.json",
  "mcp": {
    "scrapfly-cloud-mcp": {
      "type": "http",
      "url": "https://mcp.scrapfly.io/mcp",
      "enabled": true
    }
  }
}

📖 詳細情報:OpenCode MCP documentation


🛠️ 利用可能なツール

Scrapfly MCP Server は、ウェブスクレイピングのユースケースの 99% をカバーする強力な 5 つのツールを提供します:

ツール説明ユースケース
scraping_instruction_enhancedスクレイピングオプションのチートシート任意 — 適切なオプションがわからない場合
web_get_pageスマートなデフォルト設定でページをすばやく取得シンプルなスクレイピングタスク
web_scrapeブラウザー自動化による詳細な制御複雑なスクレイピング、ログイン処理
screenshotページのスクリーンショットを撮影視覚的な分析、モニタリング
info_account使用状況とクォータを確認アカウント管理

📖 詳細リファレンス:Tools & API Specification

プロキシプール

web_scrape と web_get_page は proxy_pool を受け取り、プロキシと Unblocker(アンチボット回避)の両方を設定します。

proxy_pool実行内容
basicデータセンタープロキシ、Unblocker はオフ
unblockerレジデンシャルプロキシ、Unblocker はオン
unblocker_ultraレジデンシャルプロキシ、Unblocker はオン。独自の料金が設定されているターゲットやアンチボット保護に対応する唯一のプール
autoAPI がリクエスト前にターゲットのプロファイルに基づいてプールを選択します。Unblocker がオンのデータセンタープロキシ、またはターゲットが必要とするプールが選ばれます。料金は実際に実行されるプールに基づきます

サイトに必要なプールを選択してください。データセンタープロキシでアクセスできる場合は basic、レジデンシャルプロキシと Unblocker が必要な場合は unblocker または unblocker_ultra、API に選択を任せる場合は auto を使用します。独自の料金が設定されているターゲットやアンチボット保護は、basic と unblocker を ERR::PROXY::UNBLOCKER_ULTRA_REQUIRED(HTTP 422、課金なし)で拒否します。その場合は proxy_pool=unblocker_ultra を指定して再送するか、すべてのターゲット(unblocker_ultra が必要なものを含む)で受け入れられる proxy_pool=auto を指定してください。後者では、そのターゲットの料金が加算されます。public_tor_pool は Tor ネットワーク(.onion)上で実行されます。

非推奨:unblocker と asp

web_scrape の unblocker 入力と、その以前の名前である asp は非推奨です。proxy_pool(Unblocker には unblocker_ultra)を使用してください。 移行ガイドでは、プロキシプール導入前に書かれたリクエストについて説明しています。プール名 public_datacenter_pool と public_residential_pool も対象です。 proxy_pool を指定しない場合、サーバーはプールを指定せずに API へリクエストを送信します。デフォルトでは asp=true となり、こちらもガイドで説明されています。

例:ページをスクレイピングする
User: "What are the top posts on Hacker News right now?"

AI: Uses web_get_page to fetch https://news.ycombinator.com and returns current top stories
例:構造化データを抽出する
User: "Get all product prices from this Amazon page"

AI: Uses web_scrape with extraction_model="product_listing" to return structured JSON

📖 その他の例:実例


🔐 認証

Scrapfly MCP は複数の認証方式に対応しています。

方式最適な用途ドキュメント
OAuth2本番環境、マルチユーザーアプリOAuth2 の設定
API キー個人利用、開発API キーの設定
ヘッダー認証カスタム連携ヘッダー認証

🔑 API キーを取得:Scrapfly ダッシュボード


📊 設定リファレンス

設定値
サーバー名scrapfly-cloud-mcp
タイプリモート HTTP サーバー
URLhttps://mcp.scrapfly.io/mcp
プロトコルHTTP/SSE 経由の MCP

🖥️ セルフホスト/ローカルデプロイ

Scrapfly MCP サーバーはローカルで実行することも、セルフホストすることもできます。

CLI 引数
フラグ説明
-http <address>指定したアドレスで HTTP サーバーを起動します(例::8080)。PORT 環境変数より優先されます。サーバーキー方式では、-allow-remote も指定しない限り、ループバック(127.0.0.1)にバインドします。
-apikey <key>SCRAPFLY_API_KEY 環境変数の代わりに、この API キーを使用します。
-allow-remoteサーバーキー方式の HTTP モードのみ:ループバック以外のインターフェースへのバインドを許可します。このモードでは呼び出し元ごとの認証は行われず、すべてのリクエストで組み込みのキーが使用されるため、独自の認証プロキシの背後でのみ有効にしてください。
-verify-ssl外部への呼び出しで TLS 証明書を検証します(デフォルトは true)。自己署名証明書を提供するホストを対象とする場合に限り、false に設定してください。
環境変数
変数説明
PORTリッスンする HTTP ポートです。-http フラグが設定されていない場合に使用されます。
SCRAPFLY_API_KEYサーバーに組み込まれる Scrapfly API キーです。設定すると、サーバーはすべてのリクエストでこのキーを使用し(サーバーキー方式)、リクエストごとのキーは読み込みません。
SCRAPFLY_ALLOW_REMOTE1/true は -allow-remote と同等の環境変数設定です。
SCRAPFLY_VERIFY_SSL0/false は -verify-ssl=false と同等の環境変数設定です。

リクエストごとのキー:サーバーを組み込みキーなし(-http のみ)で起動すると、 各呼び出し元がリクエストごとに独自のキーを指定します。指定方法は Authorization: Bearer <key>、 または ?key=<key>/?apiKey=<key> です。この方法では認証が行われます。上記のサーバーキー方式では認証が行われないため、デフォルトではループバックに限定されています。

例
# Start HTTP server on port 8080
./scrapfly-mcp -http :8080

# Start HTTP server using PORT env var
PORT=8080 ./scrapfly-mcp

# Start with an API key. Prefer the environment variable: a key passed as a
# flag lands in your shell history and in the process list.
# Server-key mode has no per-caller auth, so it binds 127.0.0.1 here.
SCRAPFLY_API_KEY=... ./scrapfly-mcp -http :8080

# Same, but expose it on all interfaces — only behind your own auth proxy.
SCRAPFLY_API_KEY=... ./scrapfly-mcp -http 0.0.0.0:8080 -allow-remote

# Start in stdio mode (for local MCP clients)
./scrapfly-mcp
Docker
# Build
docker build -t scrapfly-mcp .

# Run (Smithery compatible - uses PORT env var)
docker run -p 8080:8080 scrapfly-mcp

# Run with custom port
docker run -e PORT=9000 -p 9000:9000 scrapfly-mcp

🤝 フレームワークとの連携

Scrapfly MCP は、AI フレームワークや自動化ツールでも利用できます。

フレームワークドキュメント
LangChainLangChain 連携
LlamaIndexLlamaIndex 連携
CrewAICrewAI 連携
OpenAIOpenAI 連携
n8nn8n 連携
MakeMake 連携
ZapierZapier 連携

📖 すべての連携:連携一覧


📚 リソース


💬 お困りですか?


Scrapfly
❤️ Scrapfly が制作しました:Scrapfly
開発者向け Web スクレイピング API

コメント

MCP は初めてですか?

プロトコルの概要から最初のサーバーの導入まで、よくある疑問にまとめて答えます。

AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。