web-scraper について
保護されたページの取得が必要な開発者向けの、DataLeads のウェブスクレイピング API です。実ブラウザーでページを描画し、ボット対策に対応して JSON または Markdown を返します。
主な機能
- 01ページの取得と閲覧
- 02ウェブサイトのクロール
- 03保護ページへの対応
- 04JSON または Markdown の出力
- 05CAPTCHA 解決エンドポイント
活用シーン
- 01保護ページのコンテンツ抽出
- 02ウェブサイトのページ収集
- 03ウェブページの処理しやすい形式への変換
MCP 対応
リモートの Streamable HTTP MCP サーバーとして利用でき、Docker 経由の Stdio 実行にも対応します。MCP クライアントからページ取得や閲覧のエンドポイントを利用できます。
設定
リモートサーバーはインストール不要です。クライアントを選んで設定をコピーするか、ワンクリックで導入できます。
https://data.dataleads.pro/mcp/web-scraperclaude mcp add --transport http dataleadspro-web-scraper https://data.dataleads.pro/mcp/web-scraper{"mcpServers":{"dataleadspro-web-scraper":{"type":"http","url":"https://data.dataleads.pro/mcp/web-scraper"}}}Cursor で開く{"servers":{"dataleadspro-web-scraper":{"type":"http","url":"https://data.dataleads.pro/mcp/web-scraper"}}}VS Code で開く{"mcpServers":{"dataleadspro-web-scraper":{"type":"http","url":"https://data.dataleads.pro/mcp/web-scraper"}}}{"mcpServers":{"dataleadspro-web-scraper":{"serverUrl":"https://data.dataleads.pro/mcp/web-scraper"}}}コマンドはターミナルで実行し、JSON は各クライアントの MCP 設定に貼り付けて再起動します。認可が必要なサーバーは初回接続時にログインを求めます。
ツール
4| パラメーター | 型 | 必須 | 説明 |
|---|---|---|---|
| url | string | いいえ | |
| maxTimeout | integer | いいえ |
詳細
Web Scraper API(アンチボット)
アンチボット対応で保護されたページを取得、クロール、閲覧できます。実際のブラウザーでレンダリングし、整形済みの JSON またはマークダウンを返します。
DataLeads API スイートの一部(データカテゴリー)です。リクエストは実際のブラウザーでレンダリングされ、アンチボット対応と保護されたページのサポートが組み込まれているため、プロキシの管理もインフラストラクチャの運用も不要です。
エンドポイント
| Method | Path | Description |
|---|---|---|
| POST | /fetch | V1 Fetch |
| POST | /web/crawl | V1 Web Crawl |
| POST | /browse | V1 Browse |
| POST | /captcha/solve | V1 Captcha Solve |
クイックスタート
curl -X POST https://data.dataleads.pro/v1/fetch \
-H 'Content-Type: application/json' \
-d '{"clientKey": "YOUR_CLIENT_KEY", "url": "https://www.zillow.com/homes/Austin,-TX_rb/"}'
YOUR_CLIENT_KEY をご自身のキーに置き換えてください。キーは https://data.dataleads.pro から取得できます。無料プランもご利用いただけます。
MCP サーバー
- リモート(Streamable HTTP):
https://data.dataleads.pro/mcp/web-scraper - Stdio(Docker):
docker run -e DATALEADS_API_KEY=yourkey ghcr.io/dataleads/web-scraper-mcp:latest
料金
| Tier | Price | Requests |
|---|---|---|
| Free | $0 | 500/mo |
| Starter | $9/mo | 5,000 |
| Pro | $29/mo | 25,000 |
| Business | $99/mo | 100,000 |
| Enterprise | custom | custom |
各プランの詳細は https://data.dataleads.pro をご覧ください。
ライセンス
MIT — LICENSE をご覧ください。
コメント
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。