Scrapfly MCP Server について
Scrapfly MCP Serverは、Scrapflyのスクレイピングサービスを通じてAIアシスタントに最新のウェブ情報を提供します。簡易取得、ブラウザー操作、構造化抽出、スクリーンショット、アカウント確認に対応します。
主な機能
- 01ウェブページの最新情報を取得
- 02ボット対策とページ描画に対応
- 03構造化JSONデータの抽出
- 04ページや要素のスクリーンショット
- 05アカウント利用量とクォータの確認
活用シーン
- 01最新の価格、一覧、ニュースの取得
- 02複雑なページからの商品情報抽出
- 03目視確認や監視のためのページ撮影
MCP 対応
ホストされたHTTPエンドポイントを通じて、MCPクライアントにスクレイピング、抽出、撮影、アカウント確認ツールを提供します。ローカル実行やセルフホストにも対応します。
設定
ローカルサーバーの設定はどのクライアントでも共通です。コピーしてクライアントの MCP 設定ファイルに貼り付けてください。
ツール
ローカルサーバーのツールはマシン上で起動して初めて取得できます。メンテナーはまだツール一覧を提供していません。
詳細
Scrapfly MCP サーバー
AI にあらゆるウェブサイトへのリアルタイムアクセスを提供します
🌐 ランディングページ • 📖 ドキュメント • 🎮 ライブデモ • 🔑 API キーを取得
Scrapfly MCP とは?
Scrapfly MCP サーバーは、Model Context Protocol を通じて、AI アシスタントを最新のウェブデータに接続します。トレーニングデータの制約を受ける AI を、あらゆるウェブサイトにリアルタイムでアクセスできる AI に変えます。
✨ AI にできること
| 機能 | 説明 |
|---|---|
| 🌐 最新データをスクレイピング | 最新の価格、商品リスト、ニュース、その他あらゆるウェブページのコンテンツをリアルタイムで取得します |
| 🛡️ ボット対策システムを回避 | CAPTCHA、プロキシ、JavaScript のレンダリング、レート制限に自動で対応します |
| ⚡ 構造化データを抽出 | AI を活用した抽出を使用して、複雑なウェブサイトを整った JSON に解析します |
| 📸 スクリーンショットを撮影 | 分析用にページや特定の要素の視覚的なスナップショットを撮影します |
🏆 Scrapfly が選ばれる理由
何千人もの開発者に利用されている、実績豊富なインフラストラクチャを基盤としています。
- 稼働率 99.9% — エンタープライズグレードの信頼性
- 100 以上の国 — データセンターおよび住宅用 IP を備えたグローバルプロキシネットワーク。3 種類のプロキシプール(Basic、Unblocker、Unblocker Ultra)または Auto を利用でき、Auto では API がプールを選択します
- ボット対策の回避 — 高度な Unblocker テクノロジーで最新の保護機能を突破します
- OAuth2 セキュリティ — 本番環境へのデプロイ向けのエンタープライズ認証
📖 詳細はこちら:Scrapfly MCP が選ばれる理由
🚀 クイックインストール
以下のボタンをクリックして、お好みの IDE に MCP サーバーをインストールしてください。
📦 手動インストール
標準構成
ほとんどの MCP 対応ツールで動作します。
{
"servers": {
"scrapfly-cloud-mcp": {
"type": "http",
"url": "https://mcp.scrapfly.io/mcp"
}
}
}
クラウド構成(NPX)
ローカルプロセスが必要なツール向けです。
{
"mcpServers": {
"scrapfly": {
"command": "npx",
"args": [
"mcp-remote",
"https://mcp.scrapfly.io/mcp"
]
}
}
}
🔧 IDE 別のセットアップ
VS Code
### ワンクリックインストール手動インストール
VS Code MCP ガイドに従うか、CLI を使用してください。
code --add-mcp '{"name":"scrapfly-cloud-mcp","type":"http","url":"https://mcp.scrapfly.io/mcp"}'
インストール後、Scrapfly のツールを GitHub Copilot Chat で利用できます。
📖 完全ガイド:VS Code との連携
VS Code Insiders
ワンクリックインストール
手動インストール
code-insiders --add-mcp '{"name":"scrapfly-cloud-mcp","type":"http","url":"https://mcp.scrapfly.io/mcp"}'
📖 完全ガイド:VS Code との連携
Visual Studio
ワンクリックインストール
手動インストール
- Visual Studio を開きます
- GitHub Copilot Chat ウィンドウに移動します
- チャットツールバーのツールアイコン(🛠️)をクリックします
- + Add Server をクリックして、設定ダイアログを開きます
- 次のように設定します。
- Server ID:
scrapfly-cloud-mcp - Type:
http/sse - URL:
https://mcp.scrapfly.io/mcp
- Server ID:
- Save をクリックします
📖 完全ガイド:Visual Studio MCP ドキュメント
Cursor
ワンクリックインストール
手動インストール
Cursor Settings→MCP→Add new MCP Serverに移動します- 上記の標準設定を使用します
- Edit をクリックして、引数を確認または追加します
📖 詳細ガイド:Cursor Integration
Claude Code
Claude Code CLI を使用します:
claude mcp add scrapfly-cloud-mcp --url https://mcp.scrapfly.io/mcp
📖 詳細ガイド:Claude Code Integration
Claude Desktop
Claude Desktop の設定ファイルに追加します:
macOS:~/Library/Application Support/Claude/claude_desktop_config.json
Windows:%APPDATA%\Claude\claude_desktop_config.json
{
"mcpServers": {
"scrapfly": {
"command": "npx",
"args": ["mcp-remote", "https://mcp.scrapfly.io/mcp"]
}
}
}
📖 詳細ガイド:Claude Desktop Integration
Cline
Cline の MCP 設定に追加します:
{
"scrapfly-cloud-mcp": {
"type": "http",
"url": "https://mcp.scrapfly.io/mcp"
}
}
📖 詳細ガイド:Cline Integration
Zed
Zed の設定に追加します:
{
"context_servers": {
"scrapfly-cloud-mcp": {
"type": "http",
"url": "https://mcp.scrapfly.io/mcp"
}
}
}
📖 詳細ガイド:Zed Integration
OpenAI Codex
~/.codex/config.toml を作成または編集します:
[mcp_servers.scrapfly-cloud-mcp]
url = "https://mcp.scrapfly.io/mcp"
📖 詳細情報:Codex MCP documentation
Gemini CLI
標準設定を使用して、Gemini CLI MCP guide に従ってください。
OpenCode
~/.config/opencode/opencode.json に追加します:
{
"$schema": "https://opencode.ai/config.json",
"mcp": {
"scrapfly-cloud-mcp": {
"type": "http",
"url": "https://mcp.scrapfly.io/mcp",
"enabled": true
}
}
}
📖 詳細情報:OpenCode MCP documentation
🛠️ 利用可能なツール
Scrapfly MCP Server は、ウェブスクレイピングのユースケースの 99% をカバーする強力な 5 つのツールを提供します:
| ツール | 説明 | ユースケース |
|---|---|---|
scraping_instruction_enhanced | スクレイピングオプションのチートシート | 任意 — 適切なオプションがわからない場合 |
web_get_page | スマートなデフォルト設定でページをすばやく取得 | シンプルなスクレイピングタスク |
web_scrape | ブラウザー自動化による詳細な制御 | 複雑なスクレイピング、ログイン処理 |
screenshot | ページのスクリーンショットを撮影 | 視覚的な分析、モニタリング |
info_account | 使用状況とクォータを確認 | アカウント管理 |
📖 詳細リファレンス:Tools & API Specification
プロキシプール
web_scrape と web_get_page は proxy_pool を受け取り、プロキシと Unblocker(アンチボット回避)の両方を設定します。
proxy_pool | 実行内容 |
|---|---|
basic | データセンタープロキシ、Unblocker はオフ |
unblocker | レジデンシャルプロキシ、Unblocker はオン |
unblocker_ultra | レジデンシャルプロキシ、Unblocker はオン。独自の料金が設定されているターゲットやアンチボット保護に対応する唯一のプール |
auto | API がリクエスト前にターゲットのプロファイルに基づいてプールを選択します。Unblocker がオンのデータセンタープロキシ、またはターゲットが必要とするプールが選ばれます。料金は実際に実行されるプールに基づきます |
サイトに必要なプールを選択してください。データセンタープロキシでアクセスできる場合は basic、レジデンシャルプロキシと Unblocker が必要な場合は unblocker または unblocker_ultra、API に選択を任せる場合は auto を使用します。独自の料金が設定されているターゲットやアンチボット保護は、basic と unblocker を ERR::PROXY::UNBLOCKER_ULTRA_REQUIRED(HTTP 422、課金なし)で拒否します。その場合は proxy_pool=unblocker_ultra を指定して再送するか、すべてのターゲット(unblocker_ultra が必要なものを含む)で受け入れられる proxy_pool=auto を指定してください。後者では、そのターゲットの料金が加算されます。public_tor_pool は Tor ネットワーク(.onion)上で実行されます。
非推奨:unblocker と asp
web_scrape の unblocker 入力と、その以前の名前である asp は非推奨です。proxy_pool(Unblocker には unblocker_ultra)を使用してください。
移行ガイドでは、プロキシプール導入前に書かれたリクエストについて説明しています。プール名 public_datacenter_pool と public_residential_pool も対象です。
proxy_pool を指定しない場合、サーバーはプールを指定せずに API へリクエストを送信します。デフォルトでは asp=true となり、こちらもガイドで説明されています。
例:ページをスクレイピングする
User: "What are the top posts on Hacker News right now?"
AI: Uses web_get_page to fetch https://news.ycombinator.com and returns current top stories
例:構造化データを抽出する
User: "Get all product prices from this Amazon page"
AI: Uses web_scrape with extraction_model="product_listing" to return structured JSON
📖 その他の例:実例
🔐 認証
Scrapfly MCP は複数の認証方式に対応しています。
| 方式 | 最適な用途 | ドキュメント |
|---|---|---|
| OAuth2 | 本番環境、マルチユーザーアプリ | OAuth2 の設定 |
| API キー | 個人利用、開発 | API キーの設定 |
| ヘッダー認証 | カスタム連携 | ヘッダー認証 |
🔑 API キーを取得:Scrapfly ダッシュボード
📊 設定リファレンス
| 設定 | 値 |
|---|---|
| サーバー名 | scrapfly-cloud-mcp |
| タイプ | リモート HTTP サーバー |
| URL | https://mcp.scrapfly.io/mcp |
| プロトコル | HTTP/SSE 経由の MCP |
🖥️ セルフホスト/ローカルデプロイ
Scrapfly MCP サーバーはローカルで実行することも、セルフホストすることもできます。
CLI 引数
| フラグ | 説明 |
|---|---|
-http <address> | 指定したアドレスで HTTP サーバーを起動します(例::8080)。PORT 環境変数より優先されます。サーバーキー方式では、-allow-remote も指定しない限り、ループバック(127.0.0.1)にバインドします。 |
-apikey <key> | SCRAPFLY_API_KEY 環境変数の代わりに、この API キーを使用します。 |
-allow-remote | サーバーキー方式の HTTP モードのみ:ループバック以外のインターフェースへのバインドを許可します。このモードでは呼び出し元ごとの認証は行われず、すべてのリクエストで組み込みのキーが使用されるため、独自の認証プロキシの背後でのみ有効にしてください。 |
-verify-ssl | 外部への呼び出しで TLS 証明書を検証します(デフォルトは true)。自己署名証明書を提供するホストを対象とする場合に限り、false に設定してください。 |
環境変数
| 変数 | 説明 |
|---|---|
PORT | リッスンする HTTP ポートです。-http フラグが設定されていない場合に使用されます。 |
SCRAPFLY_API_KEY | サーバーに組み込まれる Scrapfly API キーです。設定すると、サーバーはすべてのリクエストでこのキーを使用し(サーバーキー方式)、リクエストごとのキーは読み込みません。 |
SCRAPFLY_ALLOW_REMOTE | 1/true は -allow-remote と同等の環境変数設定です。 |
SCRAPFLY_VERIFY_SSL | 0/false は -verify-ssl=false と同等の環境変数設定です。 |
リクエストごとのキー:サーバーを組み込みキーなし(-http のみ)で起動すると、
各呼び出し元がリクエストごとに独自のキーを指定します。指定方法は Authorization: Bearer <key>、
または ?key=<key>/?apiKey=<key> です。この方法では認証が行われます。上記のサーバーキー方式では認証が行われないため、デフォルトではループバックに限定されています。
例
# Start HTTP server on port 8080
./scrapfly-mcp -http :8080
# Start HTTP server using PORT env var
PORT=8080 ./scrapfly-mcp
# Start with an API key. Prefer the environment variable: a key passed as a
# flag lands in your shell history and in the process list.
# Server-key mode has no per-caller auth, so it binds 127.0.0.1 here.
SCRAPFLY_API_KEY=... ./scrapfly-mcp -http :8080
# Same, but expose it on all interfaces — only behind your own auth proxy.
SCRAPFLY_API_KEY=... ./scrapfly-mcp -http 0.0.0.0:8080 -allow-remote
# Start in stdio mode (for local MCP clients)
./scrapfly-mcp
Docker
# Build
docker build -t scrapfly-mcp .
# Run (Smithery compatible - uses PORT env var)
docker run -p 8080:8080 scrapfly-mcp
# Run with custom port
docker run -e PORT=9000 -p 9000:9000 scrapfly-mcp
🤝 フレームワークとの連携
Scrapfly MCP は、AI フレームワークや自動化ツールでも利用できます。
| フレームワーク | ドキュメント |
|---|---|
| LangChain | LangChain 連携 |
| LlamaIndex | LlamaIndex 連携 |
| CrewAI | CrewAI 連携 |
| OpenAI | OpenAI 連携 |
| n8n | n8n 連携 |
| Make | Make 連携 |
| Zapier | Zapier 連携 |
📖 すべての連携:連携一覧
📚 リソース
- 🌐 MCP Cloud ランディングページ — 製品の概要と機能
- 🎮 n8n ライブデモ — ブラウザーでお試しください
- 📖 完全なドキュメント
- 🛠️ ツールリファレンス
- 💡 例とユースケース
- ❓ よくある質問
- 🔐 認証ガイド
💬 お困りですか?
❤️ Scrapfly が制作しました:Scrapfly
開発者向け Web スクレイピング API
コメント
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。