mcpField
Q
QuanticData — Web Scraping MCP Server

QuanticData — Web Scraping MCP Server

認証済みおすすめリモート
quanticdata.io検索04 週間前に更新

QuanticData — Web Scraping MCP Server について

QuanticData MCP Serverは、AIエージェント向けにウェブスクレイピング、検索、サイト探索、データ収集のツールを提供します。ウェブ調査や構造化データの抽出に使え、ローカル実行またはホスト型リモートサービスに接続できます。

主な機能

  1. 01ページをMarkdown、HTML、テキストで取得
  2. 02Google、Bing、DuckDuckGoを検索
  3. 03URLを発見し非同期でクロール
  4. 0474種類の既成コレクターとデータセット作成
  5. 05プロキシと地域設定の管理

活用シーン

  1. 01AI向けにウェブ情報を検索・整理
  2. 02ドキュメントサイトを巡回して要約
  3. 03地図、商品、企業情報を収集
  4. 04リクエスト用プロキシの生成と設定

MCP 対応

MCPクライアントにスクレイピング、検索、クロール、データ収集、プロキシ管理のツールを提供します。ローカルプロセスまたはホスト型のStreamable HTTPリモートサービスで接続できます。

設定

リモートサーバーはインストール不要です。クライアントを選んで設定をコピーするか、ワンクリックで導入できます。

エンドポイントhttps://api.quanticdata.io/mcp
インストールコマンドをコピー
Claude CodeTerminal
Cursor.cursor/mcp.json
VS Code.vscode/mcp.json
Claude Desktopclaude_desktop_config.json
Windsurf~/.codeium/windsurf/mcp_config.json

コマンドはターミナルで実行し、JSON は各クライアントの MCP 設定に貼り付けて再起動します。認可が必要なサーバーは初回接続時にログインを求めます。

すべてのエンドポイント
Streamable HTTPhttps://api.quanticdata.io/mcp認証が必要
パッケージ
npmquanticdata-mcp0.11.4
mcpbquanticdata-0.11.4.mcpb

ツール

28
パラメーター型必須説明
urlstringいいえスクレイピングするページの URL(変換対象の `html` を渡す場合のみ省略可能)
formatenumいいえ出力形式(デフォルトは markdown)markdown | html | text
formatsarrayいいえpayload.formats で一緒に返す追加形式。例:['markdown','text']
include_linksbooleanいいえ重複を除いたページの絶対リンクをすべて payload.links で返します
content_modeenumいいえsmart(デフォルト):ページ全体からナビゲーション/フッター/Cookie 関連要素を除外します。article:Readability が抽出した主要記事のみ(ニュース/ブログ)。full:本文全体をそのまま返します。smart | article | full
engineenumいいえauto(デフォルト):まず通常の HTTP を試し、ページで JavaScript が必要な場合、または HTTP リクエストが拒否された場合にヘッドレスブラウザーを使用します。tls:通常の HTTP のみで、ブラウザーは使用しません。JavaScript 非対応のクローラーが見る内容で、SEO の確認に適しています。render:常にブラウザーを使用します。auto | tls | fetch | render
renderbooleanいいえヘッドレスブラウザーを強制使用します(JS を実行)
modeenumいいえsummary:ページ内容を含めず、メタデータ(title、description、canonical、contentLength、status、engine、bytes)のみを返します。ページを読むのではなく監査する場合に使用しますsummary
countrystringいいえプロキシの出口に使用する ISO 国コード。例:'us'
ai_promptstringいいえ自然言語による指示。LLM がページを構造化 JSON に変換します
ai_schemaobjectいいえ決定論的な AI 抽出に使用する JSON Schema。結果は payload.ai.data の下に返されます
extractobjectいいえ構造化抽出スキーマ:{ field: "css selector" | { selector, attr, all, fns } }。`fns` は値に適用する変換パイプラインです。たとえば、{ "price": { "selector": ".price", "fns": ["amount_from_string"] } } はテキストではなく数値を返します。関数:amount_from_string、amount_range_from_string、convert_to_float/int/str、trim、lower、upper、{regex_search|regex_find_all: "pat"}、{replace:{from,to}}、{join:","}、{select_nth:0}、length、unique、max、min、average、product。
app_stateanyいいえページ独自の hydration 状態(Next.js __NEXT_DATA__、Nuxt、埋め込み JSON island)を抽出し、payload.metadata.appState に格納します。SPA はここに実データを保持します。たとえば、選択 UI の背後にある価格、在庫、ダウンロード数、商品一覧などです。DOM に外枠しか表示されていない場合でも、ブラウザーでレンダリングせずに質問へ回答できることがよくあります。true/'auto':情報のある部分だけを抽出します(推奨)。'raw':最大 512KB の完全なデータ塊を返します。
parserobjectいいえ独自の解析ルールを CSS セレクターのリストで指定します。ページの構造が分かっていて、ヒューリスティックに頼りたくない場合に使用します。include:これらのサブツリーのみを保持します(対象を絞った抽出。例:['article.post'])。exclude:保持していたサイト固有の装飾要素を削除します。keep:スマートモードで削除される可能性のあるセクション(サイドバー、ダイアログ、フォーム)を保護します。
parser.includearrayいいえ
parser.excludearrayいいえ
parser.keeparrayいいえ
reveal_hiddenbooleanいいえrender 階層のみ:キャプチャ前に <details>/アコーディオンを開き、すべてのタブを順にクリックして、表示された各パネルをページに追加します。通常のレンダリングでは表示中の内容しか取得できない、タブ付きコードサンプルや仕様のアコーディオンに使用します。
xhrbooleanいいえページの XHR/fetch 通信(URL、method、status、response body)を payload.xhr に記録します。ブラウザーでのレンダリングが強制されます。SPA 独自の JSON API は通常 DOM よりはるかに扱いやすいため、これを使って API を特定し、その後 fetch_resource で直接取得してください。
fetch_resourcestringいいえページのネットワークリクエストに照合する正規表現です。最初に一致したレスポンスの BODY がページ HTML の代わりに結果になります(例:'/api/products' で SPA の JSON を直接取得)。レンダリングが強制されます。一致するものがない場合は 504 で失敗します。
preset_idstringいいえ`extract` セレクターを渡す代わりに、保存済みのパーサープリセットを実行します(save_parser_preset を参照)。結果は同じ方法で payload.data に格納され、実行結果もスコア化されるため、プリセットは精度の劣化を検出して自己修復できます。
actionsarrayいいえキャプチャ前にブラウザー操作を順番に実行します(レンダリングを強制)。各操作は次のいずれかのオブジェクトです:{"click":"#sel"}、{"clickText":"Accept"}(表示テキストでクリック — CSS が分からなくても同意画面を閉じられます)、{"type":{"selector":"#q","text":"shoes"}}、{"scroll":"bottom"}、{"wait":1000}、{"waitForSelector":".results"}。未ヒット時にスキップするには "optional":true を、操作ごとのタイムアウトを指定するには "timeoutMs":N を追加します。
frontmatterbooleanいいえYAML front-matter(title、url、canonical、description、author、date)を先頭に追加し、Markdown を RAG/Obsidian のワークフローで単独利用できるようにします。
links_modeenumいいえリンクの表示方法。inline(デフォルト):[text](url)。footnote:URL を末尾の番号付き参照リストに移動します。strip:リンクテキストのみを保持します。本文だけが必要な場合、リンクの多いページではトークン数を 30~48% 削減できます。inline | footnote | strip
tocbooleanいいえページの見出しから生成した目次を先頭に追加します。
max_tokensintegerいいえMarkdown を約この数のトークンに制限し、セクションの境界で切り詰めます(表やコードブロックの途中では切りません)。省略した内容量も記載します。
querystringいいえページ内で探している内容。関連するセクションのみを保持します(ブロックを BM25 でスコアリングし、見出しは保持)。巨大なページから一つの事実を、トークン予算を使い切らずに読み取れます。
highlightsintegerいいえ`query` と併用すると、最も関連性の高い N 個の抜粋も payload.highlights に返します。
chunkobjectいいえ出力を payload.chunks[] に分割し、RAG/ベクトルデータベースへの取り込みに使用します。各チャンクには見出しパスとトークン数が含まれます。コードフェンスと表は分割されません。
chunk.byenumいいえheading | sentence | tokens
chunk.sizeintegerいいえ
chunk.overlapintegerいいえ
images_modeenumいいえinline(デフォルト)は ![alt](url) を保持します。'alt' は代替テキストのみを保持し、'strip' は画像を削除します。inline | alt | strip
summary_sectionsbooleanいいえ「このページのリンク」/「このページの画像」セクションを追加します。次にどこへ移動するかを決める際に便利です。
htmlstringいいえ取得せずに、手元にある HTML を変換します。プロキシの帯域幅は使用されず、完全なパーサーパイプラインが適用されます。相対リンクを絶対リンクに変換する場合は、`url` も渡してください。
content_modesarrayいいえ1 回の取得で、複数のコンテンツ範囲を payload.contents の下に返します(例:smart と full の比較)。
cookiesobjectいいえリクエストとともに送信する Cookie(name→value 形式。例:同意またはロケールの Cookie)。ユーザーがこのサイト用に提供した Cookie のみを送信してください。

詳細

QuanticData MCP サーバー

QuanticData を Claude、Cursor、あらゆる MCP クライアントに接続します。AI エージェントに、住宅用プロキシと実際のブラウザーの TLS フィンガープリントを通じたリアルタイムのウェブアクセス(スクレイピング、検索、マッピング、クロール)を提供するため、通常のボットをブロックするページも問題なく取得できます。また、有効なプランに含まれるあらゆる種類のプロキシ(住宅用、モバイル、データセンター、ISP、IPv6)の生のエンドポイントもエージェントに渡せるため、任意の HTTP クライアントですぐに利用できます。

ご自身の qd_live_ キーを使って QuanticData のパブリック Scraper API を呼び出すため、内部シークレットは不要で、ローカルで実行できます。

ツール

ツール機能
scrape1 つの URL をスクレイピングし、Markdown/HTML/テキストに変換します。PDF/Office 文書にも対応しています。複数形式での出力、絶対リンクの収集、JSON-LD メタデータ、CSS による構造化抽出、AI プロンプト/JSON スキーマによる抽出、mode: summary に対応しています。
unlockWeb Unlocker:あらゆる HTTP リクエスト(メソッド、ヘッダー、本文)を、実際のブラウザーの TLS フィンガープリントを使って住宅用出口経由で再送します。新しい IP で再試行し、ブロックされた GET リクエストは実際のブラウザーにエスカレーションします。生のレスポンス(ステータス、ヘッダー、本文)を返します。ページが引き続きブロックされている場合は、その旨を示すフラグ(blocked、blockClass、vendor)が付き、何も示さずに 200 を返すことはありません。インタラクティブ CAPTCHA は解決しません(blockClass: "captcha")。
seo_auditURL を JavaScript なしのボットとして取得し、さらに完全にレンダリングして、両方の SEO 表示と差分(JavaScript のみのコンテンツ、変更されたタイトル/説明、canonical の欠落)、およびボット向けメタデータ(robots、OG、JSON-LD)を返します。
ai_visibilityChatGPT、Claude、Perplexity、Google AI Overview、Bing Copilot はページを読み取り、引用できるでしょうか? ページ内を監査します(robots.txt 内の 24 種類の AI クローラー、Content-Signal、GPTBot としての取得、noindex/nosnippet/noai、JavaScript なしのテキスト、JSON-LD エンティティ、回答形式のコピー、経過期間を含む日付、著者、出典)。各評価軸を、ブロッカー、根拠、修正方法とともに採点します。さらに、オプションの引用パネルでは各エンジンに問い合わせ、引用/言及/順位、シェア・オブ・ボイス、そしてあなたが不在の質問でどのサイトが勝っているかを報告します。
search構造化された Google/Bing/DuckDuckGo の検索結果を返します。render: true を設定すると、Google AI Overview、PAA、Knowledge Graph など、JavaScript による拡張情報も取得できます。
search_and_readSERP → 上位ページを取得 → 番号付きの引用用ソースと、AI プロンプトですぐに使えるトークン数制限付きのコンテキスト文字列を返します。
search_bulk / search_bulk_statusオーガニック検索結果を統合し、1 ページ目の AI/ゼロクリック拡張情報も含めて、複数ページを非同期でページネーションします。
mapURL をすばやく検出します(サイトマップ+ホームページのリンク)。サイト全体をクロールしません。デフォルトではコンパクトに表示され、最大 limit 件(100 件)の URL に加えて、サイト全体の total とセクションごとの summary を返します。パスのツリーを表示するには group_by: path を指定します。
crawl / crawl_statusBFS 方式でサイトを非同期クロールし、ページごとに Markdown を返します。進行状況を確認できます。
batch / batch_status複数の URL を非同期でスクレイピングします。メタデータのみの項目には mode: summary を指定します。since カーソルを使って差分をポーリングできます。ページのコンテンツを取得するには include_content を指定します。
create_dataset / dataset_statusプロンプトで指定した構造化データセットを、予算と行数の上限を設定して収集します。
list_collectors / run_collector / collector_run_statusすぐに使える Collector:URL ではなく、セマンティックな入力(キーワード+場所、場所 ID、商品 ID、ドメインなど)を使って、バージョン管理されたスクレイパーを実行します。Google Maps の場所、場所のレビュー、Google Jobs/News/Shopping、商品オファー、ホテル、地域の見込み顧客、サイトの連絡先、企業プロフィールに対応しています。料金は配信された行数に応じて発生します。非同期実行は run_id でポーリングでき、行データは CSV としてエクスポートできます。
list_proxiesあらゆる種類のプロキシサービス(Residential Basic/Premium/Private、Mobile、Mobile V2、Datacenter、ISP、IPv6)を一覧表示します。残りの帯域幅、有効期限、生成に使用した orderId も確認できます。
generate_proxies有効なプランからすぐに使えるプロキシ文字列(認証情報を含む)を生成します。地域ターゲティング(国/州/市/ISP/ASN)、ローテーションまたは固定セッション、HTTP または SOCKS5、複数の出力形式に対応しています。
proxy_locationsプランの種類ごとに有効な地域ターゲティング値(国、州、市、ASN、ISP コードを含む完全なロケーションツリー)を返します。
whitelist_ipIP 認証のホワイトリスト(追加/一覧表示/削除)を管理します。対応するプランと Mobile V2 の IP 認証プロキシリストが対象です。
reportエージェント内からチームにフィードバックを送信します。不具合(誤った結果/空の結果、エラー、ブロックされたページ)、不足している機能や Collector、質問を報告できます。API キーなしで利用できます。

クイックスタート

インストールは不要です。npx が必要に応じて quanticdata-mcp を取得します(Node.js 18+)。

Claude Code(コマンド1つ):

claude mcp add quanticdata \
  -e QUANTICDATA_API_KEY=qd_live_your_key_here \
  -- npx -y quanticdata-mcp

Claude Desktop / Cursor / 任意の MCP クライアント(claude_desktop_config.json、.cursor/mcp.json、または .mcp.json):

{
  "mcpServers": {
    "quanticdata": {
      "command": "npx",
      "args": ["-y", "quanticdata-mcp"],
      "env": { "QUANTICDATA_API_KEY": "qd_live_your_key_here" }
    }
  }
}

ホスト型エンドポイント(リモート MCP)

同じサーバーは、ローカルパッケージではなく URL を使いたいクライアント向けに、ホスト型の Streamable HTTP エンドポイントとしても動作します。

https://api.quanticdata.io/mcp
OAuth で接続する(キーのコピー不要)

このエンドポイントは MCP 認可仕様(OAuth 2.1)に対応しています。対応クライアントでは、上記の URL をリモートサーバーとして追加するだけで、ほかに設定は必要ありません。

  1. クライアントが QuanticData.io のサインインページを開きます。
  2. サインイン(または無料アカウントの作成)を行い、アクセスを許可をクリックします。
  3. クライアントが接続されます。ダッシュボードの API キーページに MCP · <client> という名前のキーが表示されます。クライアントを切断するには、そのキーを削除してください。

内部では、認可サーバーメタデータは https://app.quanticdata.io/.well-known/oauth-authorization-server、 保護されたリソースのメタデータは https://api.quanticdata.io/.well-known/oauth-protected-resource/mcp にあります。動的クライアント登録(RFC 7591)とクライアント ID メタデータドキュメント、PKCE(S256)必須、1 時間有効なアクセストークンとローテーションするリフレッシュトークン、このエンドポイントにバインドされたトークン(RFC 8707)に対応しています。利用料金は、ほかのキーと同様に残高に請求されます。

または API キーを送信する

ベアラートークンを受け付けるクライアントは、OAuth を省略できます。キーはリクエストごとに Authorization ヘッダー(または X-Api-Key)で送信され、サーバー側には保存されません。

curl -X POST https://api.quanticdata.io/mcp \
  -H "Authorization: Bearer qd_live_your_key_here" \
  -H "Content-Type: application/json" \
  -H "Accept: application/json, text/event-stream" \
  -d '{"jsonrpc":"2.0","id":1,"method":"tools/list"}'

トークンもキーもないリクエストには、上記のメタデータを指す WWW-Authenticate ヘッダー付きで 401 が返されます。これにより、OAuth 対応クライアントでサインインが開始されます。

エンドポイントをセルフホストするには、同じパッケージに含まれる2つ目のバイナリを使います。QUANTICDATA_API_KEY を設定すると、認証情報を送信しない呼び出し元に対し、そのアカウントでサービスを提供します。

QUANTICDATA_API_KEY=qd_live_… PORT=9310 npx -y quanticdata-mcp-remote

ソースから実行する(開発)

npm install
npm run build

次に、npx の代わりにローカルビルドをクライアントに指定します。

{
  "mcpServers": {
    "quanticdata": {
      "command": "node",
      "args": ["/absolute/path/to/scraper-mcp/dist/index.js"],
      "env": {
        "QUANTICDATA_API_KEY": "qd_live_your_key_here"
      }
    }
  }
}

環境変数

変数デフォルト説明
QUANTICDATA_API_KEY—必須。 お使いの qd_live_ キー。
QUANTICDATA_API_BASEhttps://api.quanticdata.io/v1ステージング/セルフホスト向けの上書き設定です。
QUANTICDATA_TOOLSall 28読み込むツールを一部に限定します。名前(search,scrape)またはプリセット(lite、web、research、collectors、proxies)を指定します。詳しくは以下をご覧ください。

セルフホスト型リモートエンドポイント(quanticdata-mcp-remote)専用、任意:

変数デフォルト説明
MCP_OAUTH_RESOURCEhttps://api.quanticdata.io/mcpOAuth リソースとしてのこのエンドポイントです。
MCP_OAUTH_ISSUERhttps://app.quanticdata.ioリソースメタデータで公開される認可サーバーです。
MCP_OAUTH_INTROSPECT_URLhttp://127.0.0.1:3090/api/v1/internal/oauth/introspectOAuth アクセストークンの検証先です。
MCP_INTERNAL_TOKEN—トークンイントロスペクション呼び出し用のシークレットです。未設定の場合、API キーのみ受け付けます。

ローカルモデル(Ollama、LM Studio、Qwen、Open WebUI)

28 個のツール定義は約 14,000 トークンです。Ollama のデフォルトのコンテキスト長 4K ではローカルモデルに収まらず、コンテキスト長 32K でも最初のページを表示する前に、利用可能な領域のほぼ半分が失われます。読み込むツールを減らしてください。

プリセットツール定義トークン数
litesearch_and_read~360
websearch, search_and_read, scrape~4,200
researchweb + map, batch, batch_status~5,100
collectorslist_collectors, run_collector, collector_run_status~830
proxieslist_proxies, generate_proxies, proxy_locations, whitelist_ip~1,800

stdio では QUANTICDATA_TOOLS=web を設定します。ホスト型エンドポイントでは URL に ?tools=web を追加し、API キーを Bearer ヘッダーとして送信します。 https://api.quanticdata.io/mcp?tools=web。名前は組み合わせられます。例:?tools=lite,collectors。

プロンプトの例

  • "example.com の料金ページをスクレイピングして、プランと料金を教えてください。"
  • "米国で「nintendo switch oled」を Google Shopping で検索し、最安の 5 件をリストアップしてください。"
  • "docs.example.com のマップを作成してから、/guides/ ページのみをクロールして要約してください。"
  • "プロキシプランを一覧表示し、米国のスティッキーな住宅用プロキシを 5 つ、socks5 URL として生成してください。"
  • "ドイツのローテーションモバイルプロキシを取得し、サーバー IP 203.0.113.7 をホワイトリストに登録してください。"

プライバシーポリシー

ポリシー全文:https://quanticdata.io/privacy

このサーバーが送信する情報。 このサーバーはお使いのマシン上で実行され、独自の qd_live_ キーで認証して、公開されている QuanticData API(https://api.quanticdata.io/v1)とのみ通信します。各呼び出しには、ユーザー(またはエージェント)が渡した引数(対象 URL またはクエリと、抽出プロンプト)が含まれます。マシン上のその他の情報が読み取られたり送信されたりすることはありません。このサーバーはファイルシステム、シェル、クリップボードへのアクセス権を持ちません。

収集する情報。 ユーザーから提供されたアカウントデータ(氏名、メールアドレス、請求情報)と、請求、不正利用防止、サポートのために保存するリクエストログ(対象 URL またはクエリ、タイムスタンプ、応答ステータス、転送バイト数、使用された API キー)を収集します。結果を返すために必要な範囲を超えて、スクレイピングしたページのコンテンツを保持することはありません。

本サービスを通じて収集するデータ。 収集する公開ウェブデータはユーザーが決定し、そのデータの管理者はユーザーです。当社は、リクエストを実行するためにのみ、ユーザーに代わってデータを処理します。本サービスを合法的に使用すること、アクセスするサイトの利用規約を遵守すること、および本サービスを通じて収集する個人データについては、ユーザーが責任を負います。

共有。 個人データを販売することはありません。サービスを運用する委託先(決済プロバイダー、メール配信、ホスティング、CDN、分析)のみにデータを共有し、委託先にはデータの保護を義務付ける契約を締結しています。また、トラフィックを中継する上流のプロキシネットワークとも共有します(共有するのは接続メタデータのみで、アカウント情報は共有しません)。法律で義務付けられる場合、データを開示することがあります。

保持期間。 アカウントデータはアカウントが存在する期間保持します。リクエストログは請求と不正利用の調査のため、一定期間のローリング方式で保持します。削除はいつでもリクエストできます。

ユーザーのキー。 Claude Desktop はキーを OS のキーチェーンに保存し、環境変数としてこのサーバーに渡します。キーがバンドルに書き込まれることはなく、QuanticData API 以外に送信されることもありません。https://app.quanticdata.io/api-keys からキーを取り消すか、ローテーションしてください。

お問い合わせ。 [email protected]

コメント

MCP は初めてですか?

プロトコルの概要から最初のサーバーの導入まで、よくある疑問にまとめて答えます。

AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。