mcpField
W
web-scraper

web-scraper

リモート
github.com/DataLeadsPROブラウザ自動化06 週間前に更新
リポジトリ

web-scraper について

保護されたページの取得が必要な開発者向けの、DataLeads のウェブスクレイピング API です。実ブラウザーでページを描画し、ボット対策に対応して JSON または Markdown を返します。

主な機能

  1. 01ページの取得と閲覧
  2. 02ウェブサイトのクロール
  3. 03保護ページへの対応
  4. 04JSON または Markdown の出力
  5. 05CAPTCHA 解決エンドポイント

活用シーン

  1. 01保護ページのコンテンツ抽出
  2. 02ウェブサイトのページ収集
  3. 03ウェブページの処理しやすい形式への変換

MCP 対応

リモートの Streamable HTTP MCP サーバーとして利用でき、Docker 経由の Stdio 実行にも対応します。MCP クライアントからページ取得や閲覧のエンドポイントを利用できます。

設定

リモートサーバーはインストール不要です。クライアントを選んで設定をコピーするか、ワンクリックで導入できます。

エンドポイントhttps://data.dataleads.pro/mcp/web-scraper
インストールコマンドをコピー
Claude CodeTerminal
Cursor.cursor/mcp.json
VS Code.vscode/mcp.json
Claude Desktopclaude_desktop_config.json
Windsurf~/.codeium/windsurf/mcp_config.json

コマンドはターミナルで実行し、JSON は各クライアントの MCP 設定に貼り付けて再起動します。認可が必要なサーバーは初回接続時にログインを求めます。

ツール

4
パラメーター型必須説明
urlstringいいえ
maxTimeoutintegerいいえ

詳細

Web Scraper API(アンチボット)

アンチボット対応で保護されたページを取得、クロール、閲覧できます。実際のブラウザーでレンダリングし、整形済みの JSON またはマークダウンを返します。

DataLeads API スイートの一部(データカテゴリー)です。リクエストは実際のブラウザーでレンダリングされ、アンチボット対応と保護されたページのサポートが組み込まれているため、プロキシの管理もインフラストラクチャの運用も不要です。

エンドポイント

MethodPathDescription
POST/fetchV1 Fetch
POST/web/crawlV1 Web Crawl
POST/browseV1 Browse
POST/captcha/solveV1 Captcha Solve

クイックスタート

curl -X POST https://data.dataleads.pro/v1/fetch \
  -H 'Content-Type: application/json' \
  -d '{"clientKey": "YOUR_CLIENT_KEY", "url": "https://www.zillow.com/homes/Austin,-TX_rb/"}'

YOUR_CLIENT_KEY をご自身のキーに置き換えてください。キーは https://data.dataleads.pro から取得できます。無料プランもご利用いただけます。

MCP サーバー

  • リモート(Streamable HTTP): https://data.dataleads.pro/mcp/web-scraper
  • Stdio(Docker): docker run -e DATALEADS_API_KEY=yourkey ghcr.io/dataleads/web-scraper-mcp:latest

料金

TierPriceRequests
Free$0500/mo
Starter$9/mo5,000
Pro$29/mo25,000
Business$99/mo100,000
Enterprisecustomcustom

各プランの詳細は https://data.dataleads.pro をご覧ください。

ライセンス

MIT — LICENSE をご覧ください。

コメント

MCP は初めてですか?

プロトコルの概要から最初のサーバーの導入まで、よくある疑問にまとめて答えます。

AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。