Scrapeless Mcp Server

Scrapeless MCP Server

Scrapeless Model Context Protocol（MCP）Server の公式サイトへようこそ — LLM、AI エージェント、AI アプリケーションがウェブとリアルタイムにやり取りできる強力な統合レイヤーです。

オープンな MCP 標準に基づいて構築された Scrapeless MCP Server は、ChatGPT や Claude などのモデルを、Cursor や Windsurf などのツールにシームレスに接続し、次のような幅広い外部機能を利用できるようにします。

• Google サービスとの連携（検索、トレンド）
• ページ単位のナビゲーションや操作を行うブラウザー自動化
• 動的で JavaScript を多用するサイトをスクレイピングし、HTML、Markdown、スクリーンショットとしてエクスポート
• リンクをたどってウェブサイト全体をクロールし、各ページを複数の形式で取得
• AI Scraper：ChatGPT、Gemini、Perplexity、Copilot、Google AI Mode、Google AI Overview、Grok、Alexa 向けの AI Scraper タスクを作成

AI リサーチアシスタント、コーディングコパイロット、自律型ウェブエージェントのいずれを構築する場合でも、このサーバーはワークフローに必要な動的なコンテキストと現実世界のデータを、ブロックされることなく提供します。

使用例

1. Claude によるウェブ操作とデータ抽出の自動化

Scrapeless MCP Browser を使うと、Claude は会話形式の指示で、ウェブのナビゲーション、クリック、スクロール、スクレイピングなどの複雑なタスクを実行できます。また、live sessions を通じて、ウェブ操作の結果をリアルタイムでプレビューできます。

2. Cloudflare を回避して対象ページのコンテンツを取得

Scrapeless MCP Browser サービスを使うと、Cloudflare のページに自動的にアクセスできます。処理が完了すると、ページのコンテンツが抽出され、Markdown 形式で返されます。

3. 動的にレンダリングされたページコンテンツを抽出してファイルに書き込む

Scrapeless MCP Universal API を使うと、上記の対象ページで JavaScript によってレンダリングされたコンテンツをスクレイピングして Markdown 形式でエクスポートし、最後に text.md という名前のローカルファイルに書き込みます。

4. SERP スクレイピングの自動化

Scrapeless MCP Server を使って Google 検索でキーワード「web scraping」を検索し、検索結果の上位 10 件（タイトル、リンク、概要を含む）を取得して、内容を serp.text という名前のファイルに書き込みます。

これらのサーバーの使用例をさらにいくつか紹介します。

例
Google 検索で scrapeless を検索します。
過去 1 年間の「AI」の検索関心度を調べます。
ブラウザーで chatgpt.com にアクセスし、「今日の天気はどうですか？」と検索して、結果を要約します。
scrapeless.com ページの HTML コンテンツをスクレイピングします。
scrapeless.com ページの Markdown コンテンツをスクレイピングします。
scrapeless.com のスクリーンショットを取得します。

セットアップガイド

1. Scrapeless Key を取得する

• ログインして Scrapeless ダッシュボードを開きます（無料トライアルを利用できます）。
• 次に、左側の「Setting」をクリックし、「API Key Management」を選択して、「Create API Key」をクリックします。最後に、作成した API Key をクリックしてコピーします。

2. MCP クライアントを設定する

Scrapeless MCP サーバーは、Stdio と Streamable HTTP の両方のトランスポートモードに対応しています。

🖥️ Stdio（ローカル実行）

{
  "mcpServers": {
    "Scrapeless MCP Server": {
      "command": "npx",
      "args": ["-y", "scrapeless-mcp-server"],
      "env": {
        "SCRAPELESS_API_KEY": "YOUR_SCRAPELESS_KEY"
      }
    }
  }
}

🌐 Streamable HTTP（ホスト型 API モード）

{
  "mcpServers": {
    "Scrapeless MCP Server": {
      "type": "streamable-http",
      "url": "https://api.scrapeless.com/mcp",
      "headers": {
        "x-api-token": "YOUR_SCRAPELESS_KEY"
      },
      "disabled": false,
      "alwaysAllow": []
    }
  }
}

詳細オプション

オプションのパラメーターを使用して、ブラウザーセッションの動作をカスタマイズできます。これらは、Stdio の場合は環境変数で、Streamable HTTP の場合は HTTP ヘッダーで設定できます。

Stdio（環境変数）	Streamable HTTP（HTTP ヘッダー）	説明
BROWSER_PROFILE_ID	x-browser-profile-id	セッションの継続性を確保するために、再利用可能なブラウザープロファイル ID を指定します。
BROWSER_PROFILE_PERSIST	x-browser-profile-persist	Cookie やローカルストレージなどの永続ストレージを有効にします。
BROWSER_SESSION_TTL	x-browser-session-ttl	秒単位で最大セッションタイムアウトを定義します。この時間が経過すると、セッションは自動的に期限切れになります。

Claude Desktop との統合

1. Claude Desktop を開きます
2. Settings → Tools → MCP Servers に移動します
3. "Add MCP Server" をクリックします
4. 上記の Stdio または Streamable HTTP の設定を貼り付けます
5. サーバーを保存して有効にします
6. Scrapeless を使って、Claude がウェブ検索を実行し、コンテンツを抽出し、ページを操作できるようになります

Cursor IDE との統合

1. Cursor を開きます
2. Cmd + Shift + P を押して、Configure MCP Servers を検索します
3. 上記の形式で Scrapeless MCP の設定を追加します
4. ファイルを保存し、必要に応じて Cursor を再起動します
5. Cursor に次のようなことを依頼できます。
   1. "このエラーの解決方法を StackOverflow で検索してください"
   2. "このページから HTML をスクレイピングしてください"
6. すると、バックグラウンドで Scrapeless が使用されます。

対応している MCP ツール

名前	説明
google_search	汎用情報検索エンジンです。
google_trends	Google Trends の検索トレンドデータを取得します。
browser_create	Scrapeless を使用して、クラウドブラウザーセッションを作成または再利用します。
browser_close	クラウドブラウザーを切断して、現在のセッションを終了します。
browser_goto	ブラウザーで指定した URL に移動します。
browser_go_back	ブラウザーの履歴を 1 つ前に戻ります。
browser_go_forward	ブラウザーの履歴を 1 つ先に進みます。
browser_click	ページ上の特定の要素をクリックします。
browser_type	指定した入力フィールドにテキストを入力します。
browser_press_key	キー入力をシミュレートします。
browser_wait_for	特定のページ要素が表示されるまで待機します。
browser_wait	指定した時間だけ処理を一時停止します。
browser_screenshot	現在のページのスクリーンショットを撮影します。
browser_get_html	現在のページの HTML 全体を取得します。
browser_get_text	現在のページに表示されているテキストをすべて取得します。
browser_scroll	ページの最下部までスクロールします。
browser_scroll_to	特定の要素が表示される位置までスクロールします。
scrape_html	URL をスクレイピングし、HTML コンテンツ全体を返します。
scrape_markdown	URL をスクレイピングし、コンテンツを Markdown として返します。
scrape_screenshot	任意のウェブページの高品質なスクリーンショットを撮影します。
crawl_start	ベース URL から非同期のクロールジョブを開始し、ジョブ ID を返します。
crawl_cancel	ID を指定して、進行中のクロールジョブをキャンセルします。
crawl_result	ID を指定してクロールジョブの状態を確認し、完了するまで待機してクロールデータを返します。
ai_scraper	ChatGPT、Gemini、Perplexity、Copilot、Google AI Mode、Google AI Overview、Grok、Alexa 向けの AI Scraper タスクを作成します。

セキュリティのベストプラクティス

Scrapeless MCP Server を ChatGPT、Claude、Cursor などの LLM と使用する際は、スクレイピングまたは抽出したすべてのウェブコンテンツを慎重に扱うことが重要です。ウェブデータはデフォルトで信頼できません。不適切な取り扱いにより、アプリケーションがプロンプトインジェクションやその他のセキュリティ脆弱性にさらされる可能性があります。

✅ 推奨されるプラクティス

• スクレイピングした生のコンテンツを、そのまま LLM のプロンプトに渡さないでください。 生の HTML、JavaScript、ユーザー生成テキストには、隠れたインジェクションペイロードが含まれている可能性があります。
• 抽出したすべてのコンテンツをサニタイズして検証してください。 コンテンツを後続のロジックや AI モデルで使用する前に、有害な可能性のあるタグやスクリプトを削除またはエスケープしてください。
• 自由形式のテキストより、構造化された抽出を優先してください。 scrape_html、scrape_markdown、または安全性が確認されたセレクターを指定した browser_get_text などのツールを使用して、信頼できるコンテンツのみを抽出してください。
• 動的に生成されるページをスクレイピングする場合は、ドメインまたはセレクターの許可リストを適用し、 データの流れを既知の信頼できるソースに限定してください。
• ブラウザーまたはスクレイピングツール経由で行われるすべての送信リクエストをログに記録して監視してください。 特に、機密データ、トークン、または内部ネットワークへのアクセスを扱う場合は徹底してください。

🚫 避けるべきこと

• スクレイピングした HTML をプロンプトに直接挿入する
• 検証せずにユーザーが任意の URL や CSS セレクターを指定できるようにする
• フィルタリングしていないスクレイピング済みコンテンツを、今後のプロンプト利用のために保存する

コミュニティ

• MCP Server Discord

お問い合わせ

ご質問、ご提案、または協業に関するお問い合わせは、以下からお気軽にご連絡ください。

• メール：[email protected]
• 公式ウェブサイト：https://www.scrapeless.com
• コミュニティフォーラム：https://discord.gg/Np4CAHxB9a