proxy4agents-mcp について
proxy4agents-mcp(READMEではNovada Proxy)は、AIエージェントがウェブリクエストを住宅用プロキシ経由で送り、検索、クロール、ページ内容の抽出を行うMCPサーバーです。地域指定、スティッキーセッション、複数のプロキシプロバイダーに対応し、ワークフロー用プロンプトと参照リソースも備えます。
主な機能
- 01住宅用プロキシと地域指定
- 02一括取得と再帰クロール
- 03ページからの構造化データ抽出
- 04ウェブ検索とJavaScriptレンダリング
- 05スティッキーセッションでIPを維持
- 06ワークフロープロンプトと参照リソース
活用シーン
- 01ボット対策のあるウェブページの取得
- 02国や都市を指定したローカルコンテンツの取得
- 03複数ページからの商品情報の収集
- 04トピックを検索して関連ページを取得
MCP 対応
このMCPサーバーは、対応クライアントにプロキシ、取得、検索、レンダリング、抽出のツールを提供し、ワークフロー用のプロンプトとリソースも公開します。プロキシ機能には認証情報が必要で、検索とブラウザレンダリングにはそれぞれの設定が必要です。
設定
ローカルサーバーの設定はどのクライアントでも共通です。コピーしてクライアントの MCP 設定ファイルに貼り付けてください。
npx -y bestproxy4agents-mcpNOVADA_PROXY_USERシークレットNovada residential proxy usernameNOVADA_PROXY_PASSシークレットNovada residential proxy passwordNOVADA_API_KEYシークレットNovada Scraper API key for search toolNOVADA_BROWSER_WSシークレットNovada Browser API WebSocket URL for render toolBRIGHTDATA_USERシークレットBrightData full username including zoneBRIGHTDATA_PASSシークレットBrightData proxy passwordSMARTPROXY_USERシークレットSmartproxy usernameSMARTPROXY_PASSシークレットSmartproxy passwordOXYLABS_USERシークレットOxylabs usernameOXYLABS_PASSシークレットOxylabs passwordPROXY_URLシークレットGeneric HTTP proxy URL (http://user:pass@host:port)ローカルサーバーにはマシン上の実行環境(Node.js 18 以上など)が必要です。設定ファイルの場所はクライアントごとに異なります。
ツール
6掲載時のツール一覧 · 2 週間前に更新
| パラメーター | 型 | 必須 | 説明 |
|---|---|---|---|
| url | string | はい | 取得する URL |
| city | string | いいえ | 都市レベルのターゲティング:newyork、london、tokyo、…… |
| format | enum | いいえ | markdown は HTML タグを除去し、raw は HTML 全体を返しますmarkdown | raw |
| country | string | いいえ | 2 文字の国コード:US、DE、JP、GB、BR など(195 以上の選択肢) |
| timeout | number | いいえ | タイムアウト(秒)(1-120) |
| session_id | string | いいえ | 同じ IP を維持するには、呼び出し間で同じ ID を使用してください(使用できるのは英字、数字、アンダースコアのみ — ハイフン不可) |
詳細
Novada Proxy
エージェントファーストの住宅用プロキシ MCP — あらゆるプロバイダーで利用できます。
あらゆる HTTP リクエストを、Android スマートフォン、Windows PC、Mac など 200 万台以上の実在する家庭用デバイス経由でルーティングします。ボット対策システムを回避し、国や都市を指定したジオターゲティングを行い、複数ステップのワークフローを通じてスティッキーセッションを維持できます。Novada を基盤としています。
選ばれる理由 · インストール · ツール · プロンプト · リソース · プロバイダー · エージェントファースト
Claude Code、Cursor、Windsurf、Cline、Continue、および MCP 対応のあらゆる AI エージェントで利用できます。
ヒント
無料プランをご利用いただけます — novada.com で登録できます。クレジットカードは不要です。Scraper API、Web Unblocker、住宅用プロキシを無料で利用して、すぐに開発を始められます。
はじめに
### 人間向け- novada.com で無料アカウントを作成します。クレジットカードは不要です
- Dashboard → Residential Proxies → Endpoint Generator で認証情報を取得します。ユーザー名とパスワードをコピーしてください
- インストールして実行します:
# Claude Code
claude mcp add novada-proxy-mcp \
-e NOVADA_PROXY_USER=your_username \
-e NOVADA_PROXY_PASS=your_password \
-- npx -y novada-proxy-mcp
# Or use the CLI directly
npx novada-proxy-mcp status
npx novada-proxy fetch https://example.com
エージェント向け
メモ
エージェント: 人間に、上記の手順 1~2 を完了するよう伝えてください。認証情報を環境変数に設定すると、10 個すべてのツールをすぐに利用できます。API キーのローテーションもトークンの更新も不要です。プロキシの認証情報は永続的です。
Required env vars:
NOVADA_PROXY_USER — from novada.com dashboard
NOVADA_PROXY_PASS — from novada.com dashboard
Optional (for extra features):
NOVADA_API_KEY — enables novada_proxy_search (Google search)
NOVADA_BROWSER_WS — enables novada_proxy_render (JS rendering)
NOVADA_PROXY_ZONE — "res" (default), "isp", or "dcp"
サポートが必要ですか? [email protected] までお問い合わせください
Novada Proxy を選ぶ理由
AI エージェントは、商用ウェブサイトの 60~70%でブロックされます。標準的な HTTP リクエストは、Cloudflare、Akamai、DataDome、PerimeterX に検出され、拒否されます。Novada Proxy は、実際の家庭用 IP アドレスを経由してエージェントの通信をルーティングするため、人間のブラウザーと見分けがつきません。
| 問題 | 解決策 |
|---|---|
| Amazon、LinkedIn、Cloudflare がエージェントをブロックする | 実際の家庭用デバイスからの 200 万以上の住宅用 IP アドレス |
| ボット対策のチャレンジで 403/CAPTCHA が返される | 実デバイスのフィンガープリントで検出を回避 |
| JavaScript で描画されるページのコンテンツが空になる | novada_proxy_render が実際の Chromium を実行 |
| 地域制限のあるコンテンツやローカライズされたコンテンツ | 195 以上の国、都市レベルのターゲティング |
| 複数ステップのワークフローで同じ IP が必要 | スティッキーセッション — 呼び出しごとに同じ IP を維持 |
| 10 件以上の URL のスクレイピングに時間がかかる | novada_proxy_batch_fetch — 同時に並列処理 |
| 生の HTML ではなく、構造化されたフィールドが必要 | novada_proxy_extract — タイトル、価格、評価など |
| スクレイピング前に URL を見つけたい | novada_proxy_map — すべての内部リンクを検出 |
| 整理された検索結果が必要 | novada_proxy_search — Google の結果を JSON で取得 |
10 個のツール一覧
| ツール | 機能 | 必要なもの |
|---|---|---|
novada_proxy_fetch | 住宅用プロキシ経由で任意の URL を取得 | プロキシの認証情報 |
novada_proxy_batch_fetch | 2~20 件の URL を同時に取得(最大 5 倍の並列処理) | プロキシの認証情報 |
novada_proxy_extract | 構造化フィールドを抽出 — ヒューリスティックモード(fields)または LLM モード(schema) | プロキシの認証情報 |
novada_proxy_map | URL をクロールし、すべての内部リンクを JSON 配列で返す | プロキシの認証情報 |
novada_proxy_crawl | URL の検出を行いながらサイトを再帰的にクロール(BFS、深さ 1~5) | プロキシの認証情報 |
novada_proxy_session | スティッキーセッション — すべての呼び出しで同じ IP を維持 | プロキシの認証情報 |
novada_proxy_search | Google 検索 -> 構造化 JSON(タイトル、URL、スニペット) | NOVADA_API_KEY |
novada_proxy_render | 実際の Chromium で JavaScript を多用するページを描画 [BETA] | NOVADA_BROWSER_WS |
novada_proxy_research | ワンショットの詳細リサーチ — 検索 + 取得 + 統合 | NOVADA_API_KEY + プロキシ |
novada_proxy_status | プロキシネットワークの状態とバージョンを確認 | (なし) |
ツール選択のクイックガイド
| やりたいこと... | 使用するツール |
|---|---|
| 単一の URL を取得する | novada_proxy_fetch |
| 2~20 件の URL を一度に取得する | novada_proxy_batch_fetch |
| 特定のフィールド(タイトル、価格など)を抽出する | fields を指定して novada_proxy_extract を使用 |
| スキーマを使って任意のフィールドを抽出する | schema を指定して novada_proxy_extract を使用 |
| ページ上のすべてのリンクを見つける | novada_proxy_map |
| サイト全体をクロールする | novada_proxy_crawl |
| トピックを調査する | novada_proxy_research |
| Google を検索する | novada_proxy_search |
| JavaScript を多用するページを描画する | novada_proxy_render |
| 呼び出し間で同じ IP を維持する | novada_proxy_session |
| プロキシが動作するか確認する | novada_proxy_status |
ツールの使い分け
Goal: "Scrape a single URL"
└─ Static HTML page? → novada_proxy_fetch
└─ Need specific fields? → novada_proxy_extract (fields or schema mode)
└─ React/Vue SPA / blank page? → novada_proxy_render
Goal: "Scrape multiple URLs"
└─ You have the URLs already → novada_proxy_batch_fetch
└─ You need links from one page → novada_proxy_map → novada_proxy_batch_fetch
└─ You need to crawl a whole site → novada_proxy_crawl → novada_proxy_batch_fetch
Goal: "Research a topic" → novada_proxy_research (search + fetch + findings in one call)
Goal: "Search the web" → novada_proxy_search → novada_proxy_batch_fetch
Goal: "Login + multi-page flow" → novada_proxy_session (same session_id)
Goal: "Check if proxy works" → novada_proxy_status
5 プロンプト
複数のツールを連携させる、事前構築済みのエージェントワークフローです。任意の MCP クライアントから呼び出して、よくあるパターンを 1 ステップで実行できます。
| プロンプト | 説明 | 主な引数 |
|---|---|---|
fetch_url | ボット対策を回避しながら、レジデンシャルプロキシ経由で URL を取得します | url、country、format |
research_topic | 検索と一括読み取りのワークフロー。トピックに関する上位ページを見つけて読み取ります | query、num_results、country |
extract_product | 任意の E コマース URL から構造化された商品データを抽出します | url、fields |
crawl_site | サイト上のすべてのページを検出し、並列で取得します | url、limit、country |
troubleshoot | 問題が発生した場合に、プロキシを段階的に診断します | error_message |
メモ
プロンプトは複数ツールのワークフローを自動的にオーケストレーションします。たとえば、
research_topicはnovada_proxy_searchを実行し、続いてnovada_proxy_batch_fetchを実行します。エージェントがパイプラインを判断する必要はありません。
5 リソース
プロキシ呼び出しを行わずに、エージェントがいつでも読み取れる、常にアクセス可能な参照データです。
| リソース URI | 説明 |
|---|---|
proxy://countries | 都市レベルのターゲティングに対応する、195 か国以上の国コードの完全なリスト |
proxy://error-codes | 復旧手順を含む、型付きエラーコードの全一覧 |
proxy://workflows | 一般的なエージェントワークフローのパターン(クロール、調査、監視) |
proxy://supported-fields | novada_proxy_extract で抽出できるすべてのフィールドとその方法 |
proxy://cost-guide | ツールごとのクレジット、キャッシュの動作、コスト最適化のヒント |
クイックインストール
コア — レジデンシャルプロキシ経由で任意の URL を取得:
claude mcp add novada-proxy-mcp \
-e NOVADA_PROXY_USER=your_username \
-e NOVADA_PROXY_PASS=your_password \
-- npx -y novada-proxy-mcp
検索のみ:
claude mcp add novada-proxy-mcp \
-e NOVADA_API_KEY=your_key \
-- npx -y novada-proxy-mcp
すべてのツール(プロキシ + 検索 + ブラウザーによるレンダリング):
claude mcp add novada-proxy-mcp \
-e NOVADA_PROXY_USER=your_username \
-e NOVADA_PROXY_PASS=your_password \
-e NOVADA_API_KEY=your_key \
-e NOVADA_BROWSER_WS=your_browser_ws_url \
-- npx -y novada-proxy-mcp
Cursor / Windsurf / Cline — MCP 設定に追加:
{
"mcpServers": {
"novada-proxy-mcp": {
"command": "npx",
"args": ["-y", "novada-proxy-mcp"],
"env": {
"NOVADA_PROXY_USER": "your_username",
"NOVADA_PROXY_PASS": "your_password"
}
}
}
}
認証情報の取得先:novada.com -> ダッシュボード -> レジデンシャルプロキシ -> エンドポイントジェネレーター
プロバイダー
Novada Proxy はあらゆる HTTP プロキシプロバイダーに対応しています。Novada は標準で組み込まれており、最も幅広く統合されています。
優先順位: Novada -> BrightData -> Smartproxy -> Oxylabs -> Generic。最初に設定されたプロバイダーが使用されます。
| 機能 | Novada | BrightData | Smartproxy | Oxylabs | Generic HTTP |
|---|---|---|---|---|---|
| 国の自動ターゲティング | ✓ | ✓ | ✓ | ✓ | 手動 |
| 都市の自動ターゲティング | ✓ | ✓ | ✓ | ✓ | 手動 |
| 固定セッション | ✓ | ✓ | ✓ | ✓ | 手動 |
| 組み込み検索 API | ✓ | — | — | — | — |
| ブラウザー API(JS レンダリング) | ✓ | — | — | — | — |
BrightData の設定
claude mcp add novada-proxy-mcp \
-e BRIGHTDATA_USER="brd-customer-abc123-zone-residential" \
-e BRIGHTDATA_PASS=your_password \
-- npx -y novada-proxy-mcp
BRIGHTDATA_USER はゾーンを含む完全なユーザー名です。省略可能:BRIGHTDATA_HOST、BRIGHTDATA_PORT(デフォルトは zproxy.lum-superproxy.io:22225)。
Smartproxy の設定
claude mcp add novada-proxy-mcp \
-e SMARTPROXY_USER=your_username \
-e SMARTPROXY_PASS=your_password \
-- npx -y novada-proxy-mcp
省略可能:SMARTPROXY_HOST、SMARTPROXY_PORT(デフォルトは gate.smartproxy.com:10001)。
Oxylabs の設定
claude mcp add novada-proxy-mcp \
-e OXYLABS_USER=your_username \
-e OXYLABS_PASS=your_password \
-- npx -y novada-proxy-mcp
省略可能:OXYLABS_HOST、OXYLABS_PORT(デフォルトは pr.oxylabs.io:7777)。
汎用 HTTP プロキシ(IPRoyal、任意のプロバイダー)
claude mcp add novada-proxy-mcp \
-e PROXY_URL="http://username:[email protected]:12321" \
-- npx -y novada-proxy-mcp
Generic では country、city、session_id パラメーターは無視されます。ターゲティング情報はプロキシ URL に直接指定してください。
エージェントファースト設計
メモ
Novada Proxy は、自律型 AI エージェント専用に設計された唯一のプロキシ MCP です。すべてのレスポンス、エラー、説明は、機械による処理に最適化されています。
| 機能 | 意味 |
|---|---|
エラー内の agent_instruction | すべてのエラーで、エージェントが次に何をすべきかを正確に伝えます |
| 説明内の意思決定ツリー | すべてのツールに「使用する場面/代わりに使用するもの」のガイドがあります |
cache_hit メタデータ | 0 クレジットが使用された場合(キャッシュされたレスポンス)に、エージェントが把握できます |
呼び出しごとの credits_estimated | すべてのレスポンスにコスト追跡機能が組み込まれています |
| 型付きエラーコード | 機械可読なコードです:BOT_DETECTION_SUSPECTED、PAGE_NOT_FOUND など |
| 5 つのワークフロープロンプト | 事前構築済みのエージェントワークフロー:調査、クロール、抽出、診断 |
| 5 つのリファレンスリソース | 国、エラーコード、コストガイドにいつでもアクセスできます |
ツール
novada_proxy_fetch
レジデンシャルプロキシ経由で任意の URL を取得します。コンテンツ、ステータスコード、メタデータを含む構造化 JSON を返します。ネットワークエラー時は自動で再試行します。繰り返しの呼び出しはキャッシュされます(デフォルトの TTL は 300 秒です。meta.cache_hit: true はプロキシクレジットが使用されなかったことを示します)。
| パラメーター | 型 | デフォルト | 説明 |
|---|---|---|---|
url | string | 必須 | 対象 URL(http:// または https://) |
country | string | — | 2 文字の ISO コード:US、DE、JP、GB、BR…(195 以上の選択肢) |
city | string | — | 都市:newyork、london、tokyo、paris、berlin… |
session_id | string | — | 呼び出し間で同じ IP を使用するには、同じ ID を再利用します(ハイフンなし、最大 64 文字) |
format | string | markdown | markdown は HTML を除去します/raw は HTML 全体を返します |
timeout | number | 60 | タイムアウト時間(秒)(1~120) |
レスポンス:
{
"ok": true,
"tool": "novada_proxy_fetch",
"data": { "url": "...", "status_code": 200, "content": "...", "size_bytes": 34000 },
"meta": { "latency_ms": 1800, "cache_hit": false, "quota": { "credits_estimated": 1 } }
}
novada_proxy_batch_fetch
レジデンシャルプロキシ経由で 2~20 個の URL を並行して取得します。逐次取得より最大 5 倍高速です。URL ごとのエラーは個別に記録されるため、一部の URL の取得に失敗してもバッチ処理自体は成功します。すでに取得済みの URL にはレスポンスキャッシュを再利用します。
| パラメーター | 型 | デフォルト | 説明 |
|---|---|---|---|
urls | string[] | 必須 | 取得する 2~20 個の URL |
concurrency | number | 3 | 並列リクエスト数(1~5) |
country | string | — | すべての URL に適用する同じ国 |
format | string | markdown | markdown または raw |
timeout | number | 60 | URL ごとのタイムアウト時間(秒) |
レスポンス:
{
"ok": true,
"tool": "novada_proxy_batch_fetch",
"data": {
"requested": 3,
"succeeded": 3,
"failed": 0,
"results": [
{ "url": "https://...", "ok": true, "content": "...", "cache_hit": false, "latency_ms": 1200 },
{ "url": "https://...", "ok": true, "content": "...", "cache_hit": true, "latency_ms": 0 },
{ "url": "https://...", "ok": false, "error": { "code": "TLS_ERROR", "message": "..." } }
]
},
"meta": { "latency_ms": 4100, "quota": { "credits_estimated": 3 } }
}
novada_proxy_extract
ヒューリスティックなパターンマッチング(メタタグ、Open Graph、JSON-LD、Schema.org)を使用して、任意の URL から構造化フィールドを抽出します。軽量で、LLM は不要です。render_fallback: true を設定すると、プロキシ取得に失敗した場合に実際の Chromium 経由で自動的に再試行します。
| パラメーター | 型 | デフォルト | 説明 |
|---|---|---|---|
url | string | 必須 | 対象 URL |
fields | string[] | 必須 | 抽出するフィールド:title、price、description、rating、image、author、date… |
render_fallback | boolean | false | TLS/ボットによるブロック時に、novada_proxy_render 経由で自動再試行します |
country | string | — | 取得時の地域を指定します |
timeout | number | 60 | タイムアウト時間(秒) |
レスポンス:
{
"ok": true,
"tool": "novada_proxy_extract",
"data": {
"url": "https://books.toscrape.com/...",
"fields": { "title": "A Light in the Attic", "price": "£51.77", "description": null },
"extracted_via": "proxy_fetch"
},
"meta": { "latency_ms": 2100, "quota": { "credits_estimated": 1 } }
}
novada_proxy_map
URL をクロールし、すべての内部リンクを構造化 JSON 配列として返します。URL を推測することなくサイト全体をクロールするため、novada_proxy_batch_fetch の前に行うリンク発見のステップとして使用します。
| パラメーター | 型 | デフォルト | 説明 |
|---|---|---|---|
url | string | 必須 | クロール開始 URL |
limit | number | 50 | 返す URL の最大数(10~200) |
include_external | boolean | false | ドメイン外のリンクを含めます |
country | string | — | 取得時の地域を指定します |
timeout | number | 60 | タイムアウト時間(秒) |
レスポンス:
{
"ok": true,
"tool": "novada_proxy_map",
"data": {
"domain": "books.toscrape.com",
"internal_url_count": 20,
"internal_urls": ["https://books.toscrape.com/catalogue/...", "..."],
"sitemap_hint": "https://books.toscrape.com/sitemap.xml (check manually)"
},
"meta": { "latency_ms": 3800, "quota": { "credits_estimated": 1 } }
}
novada_proxy_session
スティッキーセッションで取得します。同じsession_idを指定したすべての呼び出しで、同じ住宅用IPを使用します。ログインフロー、ページネーションを使ったスクレイピング、価格監視に不可欠です。verify_sticky: trueを指定すると、利用前にIPの一貫性を確認できます。
| パラメーター | 型 | デフォルト | 説明 |
|---|---|---|---|
session_id | string | 必須 | 一意のID。同じIPを維持するには再利用してください(ハイフン不可、最大64文字) |
url | string | 必須 | 対象URL |
country | string | — | 2文字の国コード |
city | string | — | 市区町村レベルのターゲティング |
verify_sticky | boolean | false | IPの一貫性を確認するため、プロキシを3回呼び出します(約15~25秒追加) |
format | string | markdown | markdownまたはraw |
timeout | number | 60 | タイムアウト(秒) |
novada_proxy_search
Novada Scraper APIを介した、構造化されたGoogle検索です。タイトル、URL、スニペットを整ったJSON形式で返すため、HTMLの解析は不要です。
| パラメーター | 型 | デフォルト | 説明 |
|---|---|---|---|
query | string | 必須 | 検索クエリ |
num | number | 10 | 結果数(1~20) |
country | string | — | 地域設定:us、uk、de、jp… |
language | string | — | 言語:en、zh、de、ja… |
novada_proxy_render [BETA]
NovadaのBrowser API(実際のChromium、完全なJS実行)を使って、JavaScriptを多用するページをレンダリングします。SPA、React/Vueアプリ、通常のHTTP取得では空白で返されるページに使用します。
必要なもの: NOVADA_BROWSER_WS — Dashboard -> Browser API -> PlaygroundからPuppeteer URLをコピーしてください。
| パラメーター | 型 | デフォルト | 説明 |
|---|---|---|---|
url | string | 必須 | 対象URL |
format | string | markdown | markdown/html/text |
wait_for | string | — | 抽出前に待機するCSSセレクター(例:.product-title) |
timeout | number | 60 | タイムアウト(秒、5~120) |
1回の呼び出しで約5プロキシクレジットを消費します(
novada_proxy_fetchは1クレジット)。必要に応じて自動的に段階を引き上げるには、render_fallback: trueを指定してnovada_proxy_extractを使用してください。
novada_proxy_crawl
BFS走査でウェブサイトを再帰的にクロールします。URLを起点に、各深度レベルでリンクを検出し、メタデータ付きのURLツリー全体を返します。
| パラメーター | 型 | デフォルト | 説明 |
|---|---|---|---|
url | string | 必須 | クロール開始URL |
depth | number | 2 | BFSの深度(1~5) |
limit | number | 50 | クロールするページの最大数(10~200) |
include_content | boolean | false | 各URLのページ内容も返します |
country | string | — | すべての取得に地理ターゲティングを適用します |
format | string | markdown | include_content: trueの場合のコンテンツ形式 |
timeout | number | 60 | ページごとのタイムアウト(秒) |
使用する場面: サイト全体のスクレイピング、サイトマップの生成、コンテンツのインデックス作成など、1ページ以上が必要な場合に使用します。
代わりにnovada_proxy_mapを使用する場面: 必要なのが1ページのリンクのみ(深度1)である場合です。単一ページのリンク検出では、Mapのほうが高速で低コストです。
組み合わせ: novada_proxy_batch_fetchと組み合わせて、URLツリーから特定のページをスクレイピングします。
例:
{
"url": "https://example.com",
"depth": 2,
"limit": 50,
"include_content": false
}
レスポンス: data.pages[](url、depth、status_code、total_links)、data.urls[](novada_proxy_batch_fetchに渡すためのフラット配列)
novada_proxy_research
ワンショットのリサーチツールです。ウェブを検索し、上位の検索結果を取得して、ソースのプレビュー付きで構造化された調査結果を返します。エージェントは調査結果を分析して、より深く統合できます。
| パラメーター | 型 | デフォルト | 説明 |
|---|---|---|---|
query | string | 必須 | 調査する質問またはトピック |
depth | string | "standard" | "quick"(ソース3件)、"standard"(ソース5件)、"deep"(ソース10件) |
country | string | — | 検索結果を地域に合わせて調整します |
timeout | number | 60 | タイムアウト時間(秒) |
必要なもの: NOVADA_API_KEY(Google 検索用)とプロキシ認証情報(ソース取得用)
使用する場面: 複数のソースのコンテンツを1回の呼び出しで取得する必要がある、調査の質問、トピックの調査、競合分析、事実確認など。
検索結果の URL のみが必要で、ページ全体のコンテンツは不要な場合は、代わりに novada_proxy_search を使用してください。
組み合わせて使用: 個々のソースをさらに詳しく読むには、特定の urls[] に対して novada_proxy_fetch を使用します。
注: findings_summary はソースのプレビューを連結したものです。実際の統合分析には、エージェントが findings[] を分析する必要があります。
例:
{
"query": "best residential proxy providers 2026",
"depth": "standard"
}
レスポンス: data.findings[](title、url、snippet、content_preview)、data.urls[](後続処理用)、data.findings_summary
novada_proxy_extract — スキーマモード
fields(ヒューリスティック抽出)に加えて、novada_proxy_extract は schema パラメーターに対応しており、エージェントの LLM を使って任意のフィールドを追加の API コストなしで抽出できます。
スキーマモード(LLM 抽出)
任意のフィールドを抽出するには、fields の代わりに schema を渡します。このツールは、クリーニング済みのページコンテンツと抽出プロンプトを返し、エージェントが追加の API コストなしで抽出を実行します。
| パラメーター | 型 | デフォルト | 説明 |
|---|---|---|---|
url | string | 必須 | 対象 URL |
schema | object | — | キーはフィールド名、値はフィールドの説明です。fields の代わりに使用します。 |
render_fallback | boolean | false | TLS/ボットによるブロック時に、novada_proxy_render を使って自動的に再試行します |
country | string | — | 取得先の地域を指定します |
timeout | number | 60 | タイムアウト時間(秒) |
例:
{
"url": "https://example.com/product",
"schema": {
"product_name": "The full product name",
"price": "Current price with currency",
"warranty": "Warranty terms and duration",
"return_policy": "Return policy summary"
}
}
レスポンス: data.mode = "llm_extract"、data.content(クリーニング済みの Markdown)、data.extraction_prompt(エージェントが従ってフィールドを抽出するための指示)
セキュリティ: スキーマのキーには英数字とアンダースコア(a-z、0-9、_)のみを使用できます。最大50文字です。値は最大200文字です。
novada_proxy_status
プロキシネットワークの接続状況とバージョンを確認します。プロキシへのライブ呼び出しを行い、接続が機能していることを検証します。認証情報は不要です。
エージェントのワークフロー
サイトのクロールパイプライン(マップ -> バッチ)
# Agent task: "Read all products on this catalogue"
1. novada_proxy_map(url="https://books.toscrape.com", limit=50)
→ returns 20–50 internal URLs in 4s, 1 credit
2. novada_proxy_batch_fetch(urls=[...20 URLs], concurrency=5)
→ fetches all 20 pages in parallel, ~4s wall time, 20 credits
(vs ~60s sequential = 15x speedup)
調査パイプライン(検索 -> バッチ)
# Agent task: "Find and read top 5 pages about X"
1. novada_proxy_search(query="residential proxy MCP", num=5)
→ structured JSON: titles, URLs, snippets
2. novada_proxy_batch_fetch(urls=[...5 URLs], format="markdown")
→ full content of all 5 pages in parallel
スティッキーセッション — ログイン + 複数ページのスクレイピング
# Same IP across all calls
novada_proxy_session(session_id="job_001", url="https://example.com/login")
novada_proxy_session(session_id="job_001", url="https://example.com/dashboard")
novada_proxy_session(session_id="job_001", url="https://example.com/data/page/1")
novada_proxy_session(session_id="job_001", url="https://example.com/data/page/2")
価格モニタリング — 同一製品、3つの市場
novada_proxy_fetch(url="https://amazon.com/dp/B0BSHF7WHW", country="US")
novada_proxy_fetch(url="https://amazon.com/dp/B0BSHF7WHW", country="DE")
novada_proxy_fetch(url="https://amazon.com/dp/B0BSHF7WHW", country="JP")
# Second call per URL is a cache hit (0ms, 0 credits) if within 300s TTL
構造化データの抽出
# Agent task: "Get product details without parsing HTML"
novada_proxy_extract(
url="https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html",
fields=["title", "price", "description", "rating"],
render_fallback=true # auto-retry via Chromium if proxy gets blocked
)
レスポンスキャッシュ
すべての novada_proxy_fetch と novada_proxy_batch_fetch の呼び出しは、プロセス内でキャッシュされます。TTL の期間内に同じ URL を再取得しても、プロキシクレジットは消費されません。
| 動作 | 詳細 |
|---|---|
| デフォルト TTL | 300秒(5分) |
| キャッシュキー | url + format + country |
| セッションによるバイパス | session_id が存在する場合はキャッシュされません(スティッキールーティングにはライブ呼び出しが必要です) |
| 無効化 | PROXY4AGENT_CACHE_TTL_SECONDS=0 を設定します |
| 最大エントリー数 | 200(上限に達すると最も古いエントリーが削除されます) |
レスポンスからキャッシュ状況を確認する方法:
"meta": {
"cache_hit": true, // served from cache — no proxy credit used
"cache_age_seconds": 12, // seconds since the entry was stored
"latency_ms": 0 // ~0ms for cache hits
}
型付きエラーコード
すべてのエラーレスポンスには、型付きの error.code、recoverable フラグ、正しい次のステップを示す agent_instruction が含まれます。エージェントがエラーメッセージを解析する必要はありません。
| コード | 意味 | 復旧可能 | エージェントのアクション |
|---|---|---|---|
BOT_DETECTION_SUSPECTED | HTTP 4xx — 対象がリクエストをブロックしました | ✓ | novada_proxy_render または別の country を指定して再試行 |
TLS_ERROR | プロキシ経由の TLS/SSL 接続に失敗しました | ✓ | 別の country パラメーターを指定して再試行 |
TIMEOUT | リクエストがタイムアウト制限を超過しました | ✓ | timeout を増やすか、再試行 |
RATE_LIMITED | HTTP 429 — リクエストが多すぎます | ✓ | 5秒待って再試行 |
NETWORK_ERROR | DNS エラー — ホスト名が見つかりません | ✗ | URL が正しいことを確認 |
SESSION_STICKINESS_FAILED | 同じ IP を維持できませんでした | ✓ | verify_sticky: true を指定して再試行し、確認 |
INVALID_INPUT | パラメーター値が不正です | ✗ | パラメーターを修正して再試行 |
PROVIDER_NOT_CONFIGURED | 環境変数が不足しています | ✗ | 認証情報を設定して MCP を再起動 |
UNKNOWN_ERROR | 予期しないエラーです | ✓ | novada_proxy_status を確認して再試行 |
エラーレスポンス形式:
{
"ok": false,
"error": {
"code": "BOT_DETECTION_SUSPECTED",
"message": "HTTP 403 — request blocked by target",
"recoverable": true,
"agent_instruction": "Try novada_proxy_render (real browser). Or retry with a different country/session_id."
}
}
地域カバレッジ
195以上の国に対応しています。以下を含みます。
US GB DE FR JP CA AU BR IN KR SG NL IT ES MX RU PL SE NO DK FI CH AT BE PT CZ HU RO UA TR IL ZA NG EG AR CL CO PE VN TH ID MY PH TW HK NZ + ほか148か国
市区町村レベルのターゲティング: newyork · losangeles · chicago · london · paris · berlin · tokyo · seoul · sydney · toronto · singapore · dubai · mumbai · saopaulo
対応クライアント
| クライアント | インストール方法 |
|---|---|
| Claude Code | claude mcp add novada-proxy-mcp -e ... -- npx -y novada-proxy-mcp |
| Cursor | Settings -> MCP -> Add server -> npx -y novada-proxy-mcp |
| Windsurf | MCP config -> npx -y novada-proxy-mcp |
| Cline | MCP settings -> command: npx, args: ["-y", "novada-proxy-mcp"] |
| Continue | .continue/config.json -> mcpServers |
| Smithery | smithery.ai/server/novada-proxy-mcp |
| 任意の MCP クライアント | stdio トランスポート / npx -y novada-proxy-mcp |
ネットワーク
| 指標 | 値 |
|---|---|
| 住宅用 IP | 2,000,000+ |
| 稼働中のノード | 7,000+ |
| 国数 | 195+ |
| デバイスの種類 | Android、Windows、Mac |
| 稼働率 | 99.9% |
動作確認済み
Eコマース: Amazon、eBay、Walmart、Etsy、Shopify ストア
ビジネス向け: LinkedIn
ボット対策で保護されたサービス: Cloudflare、Akamai、DataDome
ニュースとコンテンツ: HackerNews、Reddit、BBC、CNN、NYTimes
テクノロジー: GitHub、Wikipedia、Stack Overflow、IMDB
実環境でのテスト結果
Novada の3種類のプロキシを使い、実環境を想定した33件のテストを実施しました(2026-04-28)。
| プロキシの種類 | テスト数 | 成功 | 備考 |
|---|---|---|---|
| Residential | 11 | 9 | Wikipedia、Shopify、HackerNews、地域ターゲティングは動作します。スティッキーセッションにはエンドポイントの設定が必要です。 |
| ISP | 7 | 7 | スティッキーセッション(session_verified: true)を含め、すべてのツールが動作します。 |
| Datacenter | 8 | 8 | 高速で費用対効果に優れています。ボット対策サイト(Amazon、CNN)ではデータセンター IP がブロックされる場合があります。その場合は住宅用プロキシを使用してください。 |
| エラー処理 | 7 | 7 | すべてのエラーコードが agent_instruction を含む構造化 JSON を返します。 |
成功率:94%(31/33件成功)。失敗はプロキシの種類による制限(ボット対策サイトでのデータセンタープロキシの使用)であり、コードのバグではありません。
プロキシの種類ガイド
| 用途 | 推奨プロキシ | 理由 |
|---|---|---|
| ボット対策サイト(Amazon、LinkedIn、CNN) | Residential | 実際の家庭用 IP のため、最も検出されにくい |
| 高速な大量スクレイピング | Datacenter | レイテンシが最も低く、GB あたりの料金が最安 |
| スティッキーセッション(ログインフロー) | ISP | 6時間のスティッキーセッションで、IP が安定 |
| 一般的なスクレイピング | いずれでも可 | どの種類でもほとんどのサイトに対応 |
既知の制限事項
| 制限事項 | 回避策 |
|---|---|
| アンチボットサイトでデータセンターの IP がブロックされる | レジデンシャルまたは ISP プロキシタイプを使用します(NOVADA_PROXY_ZONE=res) |
プロキシ側の DNS エラーが TLS_ERROR として表示される | 国を変更して再試行する前に、ドメインが存在するか確認します |
| CLI はステートレスです(呼び出しをまたいだキャッシュはありません) | キャッシュを利用するには MCP サーバーを使用するか、CLI の同一バッチ内で同じ URL を再取得します |
novada_proxy_render には Browser API キーが必要です | NOVADA_BROWSER_WS 環境変数を設定します。novada.com のダッシュボードから取得できます |
| ヒューリスティック抽出でフィールドが見つからない | schema モードを使用します。schema:{"field":"description"} を渡すと、クリーンアップ済みコンテンツと、エージェントが任意のフィールドを抽出するための抽出プロンプトが返されます(LLM による抽出は無料です) |
フィードバックとサポート
- メール: [email protected]
- GitHub の Issues: github.com/NovadaLabs/Novada-proxy/issues
- ウェブサイト: novada.com
ライセンス
MIT © Novada — LICENSE を参照してください
Novada Proxy(中国語ドキュメント)
AI エージェント専用のレジデンシャルプロキシ MCP — あらゆるプロバイダーに対応。
200 万台以上の実際の家庭用デバイス(Android 携帯電話、Windows PC、Mac)を経由して HTTP リクエストをルーティングし、アンチボットシステムを回避します。国や都市を指定して正確に位置を特定でき、リクエスト間で同じ IP を維持できます。
ツール · プロンプト · リソース · インストール · エージェント優先 · プロバイダー
Claude Code、Cursor、Windsurf、Cline、Continue、およびすべての MCP 互換エージェントに対応しています。Novada が提供しています。
ヒント
無料プラン — novada.com で登録できます。クレジットカードは不要です。Scraper API、Web Unblocker、レジデンシャルプロキシを無料で利用できます。
10 個のツール
novada_proxy_fetch → 通过住宅代理抓取任意 URL
novada_proxy_batch_fetch → 并发抓取 2-20 个 URL(最高 5 倍加速)
novada_proxy_extract → 从页面提取结构化字段(标题、价格、评分…)
novada_proxy_map → 爬取页面,返回所有内部链接 JSON 数组
novada_proxy_crawl → 递归爬取站点(BFS,深度 1-5),自动发现 URL
novada_proxy_session → 粘性会话 — 同一 session_id 始终同一 IP
novada_proxy_search → Google 搜索,返回结构化 JSON(无需解析 HTML)
novada_proxy_render → 真实 Chromium 渲染 JS 页面 [BETA]
novada_proxy_research → 一键深度研究 — 搜索 + 抓取 + 综合分析
novada_proxy_status → 检查代理网络健康状态
5 個のプロンプト
複数のツールを連鎖させて組み合わせる、事前構築済みのエージェントワークフローです。
| プロンプト | 説明 | 主なパラメーター |
|---|---|---|
fetch_url | レジデンシャルプロキシ経由で URL を取得し、アンチボットを自動的に回避します | url, country, format |
research_topic | 検索 + 一括読み込みワークフロー — トピックを検索し、上位のページを読み込みます | query, num_results, country |
extract_product | あらゆる EC サイトの URL から構造化された商品データを抽出します | url, fields |
crawl_site | サイト内のすべてのページを検出し、並行して取得します | url, limit, country |
troubleshoot | プロキシの問題を段階的に診断します | error_message |
5 個のリソース
プロキシの利用枠を消費せず、エージェントがいつでも読み取れる参照データです。
| リソース URI | 説明 |
|---|---|
proxy://countries | 都市レベルの位置指定に対応した、195 か国以上の国コード一覧 |
proxy://error-codes | すべての型付きエラーコードと復旧手順 |
proxy://workflows | 一般的なエージェントワークフローのパターン(クロール、調査、監視) |
proxy://supported-fields | novada_proxy_extract がサポートするすべての抽出フィールドと方法 |
proxy://cost-guide | 各ツールの利用枠消費量、キャッシュの動作、コスト最適化のヒント |
すばやく判断するためのガイド
| やりたいこと | 使用するツール |
|---|---|
| URL を 1 件取得する | novada_proxy_fetch |
| URL を 2~20 件同時に取得する | novada_proxy_batch_fetch |
| 特定のフィールド(タイトル、価格など)を抽出する | fields を指定して novada_proxy_extract を使用 |
| 任意のフィールドを抽出する(Schema モード) | schema を指定して novada_proxy_extract を使用 |
| ページ上のすべてのリンクを取得する | novada_proxy_map |
| サイト全体をクロールする | novada_proxy_crawl |
| トピックを調査する | novada_proxy_research |
| Google で検索する | novada_proxy_search |
| JavaScript を多用するページをレンダリングする | novada_proxy_render |
| リクエスト間で同じ IP を維持する | novada_proxy_session |
| プロキシが正常に動作するか確認する | novada_proxy_status |
ツール選択の判断ツリー
目标:抓取单个 URL
├─ 静态 HTML 页面? → novada_proxy_fetch
├─ 需要特定字段(价格/标题)? → novada_proxy_extract(fields 或 schema 模式)
└─ React/Vue SPA / 内容为空? → novada_proxy_render
目标:批量抓取多个 URL
├─ 已有 URL 列表? → novada_proxy_batch_fetch
├─ 需要获取单页链接? → novada_proxy_map → novada_proxy_batch_fetch
└─ 需要爬取整个站点? → novada_proxy_crawl → novada_proxy_batch_fetch
目标:研究某个主题 → novada_proxy_research(一次调用搜索 + 抓取 + 分析)
目标:网页搜索 → novada_proxy_search → novada_proxy_batch_fetch
目标:登录 + 多步骤流程 → novada_proxy_session(相同 session_id)
目标:验证代理是否正常工作 → novada_proxy_status
3 つの主要なパイプラインパターン
サイト全体のクロールパイプライン(推奨)
novada_proxy_map(url, limit=50)
│
▼
返回 20-50 个内部链接(1 credit,4 秒)
│
▼
novada_proxy_batch_fetch(urls, concurrency=5)
│
▼
并发抓取所有页面(N credits,~4 秒,比串行快 15x)
検索・調査パイプライン
novada_proxy_search(query, num=10)
│
▼
结构化 JSON:标题 + URL + 摘要
│
▼
novada_proxy_batch_fetch(urls, format="markdown")
│
▼
全部页面内容并行返回
スティッキーセッション — ログイン + 複数ページの取得
session_id = "job_001"
novada_proxy_session(session_id, url="/login") → 同一 IP
novada_proxy_session(session_id, url="/dashboard") → 同一 IP
novada_proxy_session(session_id, url="/data/1") → 同一 IP
novada_proxy_session(session_id, url="/data/2") → 同一 IP
エージェント優先の設計
メモ
Novada Proxy は、自律型 AI エージェント専用に設計された唯一のプロキシ MCP です。すべての応答、エラー、説明は、機械による利用に最適化されています。
| 特性 | 意味 |
|---|---|
エラー内の agent_instruction | すべてのエラーで、エージェントに次の操作を伝えます |
| 説明内の判断ツリー | すべてのツールに、いつ使うか/代わりに何を使うかのガイダンスがあります |
cache_hit メタデータ | エージェントは、クレジットを 0 消費したか(キャッシュヒット)を把握できます |
credits_estimated | すべての応答にコスト追跡が組み込まれています |
| 型付きエラーコード | 機械可読です:BOT_DETECTION_SUSPECTED、PAGE_NOT_FOUND など |
| 5 つのワークフロープロンプト | 事前構築済みのワークフロー:調査、クロール、抽出、診断 |
| 5 つの参考リソース | 国、エラーコード、コストガイド — いつでもアクセス可能 |
主な特長
1. 住宅用 IP ネットワーク
- 200 万台以上の実デバイス:Android 携帯電話、Windows PC、Mac
- 7,000 以上のアクティブノード、稼働率 99.9%
- 実際の家庭用 IP フィンガープリントにより、Cloudflare、Akamai、DataDome の検出を回避
2. 地理ターゲティング
- 195 以上の国、2 文字の ISO コード(
US、DE、JP、BR...) - 都市レベルの位置指定:
newyork、london、tokyo、singapore... - 同じ URL でも国が異なれば、独立したキャッシュキーが割り当てられ、互いに影響しません
3. 応答キャッシュ
同じ URL を繰り返し取得しても、プロキシのクレジットを消費しません:
// 第一次调用(live fetch)
"meta": { "cache_hit": false, "latency_ms": 1800, "quota": { "credits_estimated": 1 } }
// 第二次调用(cache hit)
"meta": { "cache_hit": true, "cache_age_seconds": 5, "latency_ms": 0 }
| 設定項目 | 説明 |
|---|---|
| デフォルト TTL | 300 秒(5 分) |
| キャッシュキー | url + format + country |
| キャッシュを無効化 | PROXY4AGENT_CACHE_TTL_SECONDS=0 |
| session_id | session_id があるリクエストはキャッシュされません(スティッキールーティングにはリアルタイム呼び出しが必要です) |
4. エージェント優先の JSON 出力
すべてのツールは統一された構造を返します:
{
"ok": true / false,
"tool": "工具名称",
"data": { ... },
"meta": {
"latency_ms": 1800,
"cache_hit": false,
"quota": { "credits_estimated": 1 }
}
}
5. 型付きエラーコード + 復旧指示
すべてのエラーには、code(列挙型)、recoverable(ブール値)、agent_instruction(次の操作)が含まれます:
{
"ok": false,
"error": {
"code": "BOT_DETECTION_SUSPECTED",
"recoverable": true,
"agent_instruction": "Try novada_proxy_render (real browser). Or retry with a different country/session_id."
}
}
| エラーコード | 意味 | 復旧可能 |
|---|---|---|
BOT_DETECTION_SUSPECTED | 対象サイトによってブロックされました(403) | ✓ |
TLS_ERROR | TLS/SSL 接続に失敗しました | ✓ |
TIMEOUT | リクエストがタイムアウトしました | ✓ |
RATE_LIMITED | HTTP 429 によるレート制限 | ✓ |
NETWORK_ERROR | DNS 解決に失敗しました | ✗ |
INVALID_INPUT | パラメーターエラー | ✗ |
PROVIDER_NOT_CONFIGURED | 認証情報が不足しています | ✗ |
6. バッチ並列取得
novada_proxy_batch_fetch には、セマフォによる並行処理制御が組み込まれています:
// 10 个 URL,concurrency=5,wall time = ~8.8s(串行估计 ~50s)
{
"data": {
"results": [
{ "url": "...", "ok": true, "cache_hit": false, "latency_ms": 1200 },
{ "url": "...", "ok": true, "cache_hit": true, "latency_ms": 0 },
{ "url": "...", "ok": false, "error": { "code": "TLS_ERROR" } }
]
},
"meta": { "latency_ms": 8800, "quota": { "credits_estimated": 10 } }
}
7. 複数プロバイダーのサポート
| プロバイダー | 環境変数 | 説明 |
|---|---|---|
| Novada(推奨) | NOVADA_PROXY_USER + NOVADA_PROXY_PASS | 最も深い統合。検索 + ブラウザー API を含みます |
| BrightData | BRIGHTDATA_USER + BRIGHTDATA_PASS | 自動位置指定に完全対応 |
| Smartproxy | SMARTPROXY_USER + SMARTPROXY_PASS | 自動位置指定に完全対応 |
| Oxylabs | OXYLABS_USER + OXYLABS_PASS | 自動位置指定に完全対応 |
| 汎用 HTTP | PROXY_URL=http://user:pass@host:port | 任意のプロキシプロバイダー |
8. 段階的なフォールバック(render_fallback)
novada_proxy_extract はブラウザーレンダリングへの自動切り替えをサポートします:
代理抓取失败(TLS / Bot检测)
│
▼ render_fallback=true
novada_proxy_render(真实 Chromium)
│
▼
data.extracted_via = "render" (agent 知道走了哪条路径)
data.fetch_warning = "Proxy fetch failed... escalated to render"
クイックインストール
# 核心(住宅代理抓取)
claude mcp add novada-proxy-mcp \
-e NOVADA_PROXY_USER=你的用户名 \
-e NOVADA_PROXY_PASS=你的密码 \
-- npx -y novada-proxy-mcp
# 仅搜索
claude mcp add novada-proxy-mcp \
-e NOVADA_API_KEY=你的_API_Key \
-- npx -y novada-proxy-mcp
# 全功能(代理 + 搜索 + 浏览器渲染)
claude mcp add novada-proxy-mcp \
-e NOVADA_PROXY_USER=你的用户名 \
-e NOVADA_PROXY_PASS=你的密码 \
-e NOVADA_API_KEY=你的_API_Key \
-e NOVADA_BROWSER_WS=你的_Browser_WS_URL \
-- npx -y novada-proxy-mcp
認証情報の取得:novada.com -> ダッシュボード -> 住宅用プロキシ -> エンドポイントジェネレーター
Cursor / Windsurf / Cline の設定:
{
"mcpServers": {
"novada-proxy-mcp": {
"command": "npx",
"args": ["-y", "novada-proxy-mcp"],
"env": {
"NOVADA_PROXY_USER": "你的用户名",
"NOVADA_PROXY_PASS": "你的密码"
}
}
}
}
ツールパラメーター早見表
novada_proxy_fetch
| パラメーター | 型 | デフォルト | 説明 |
|---|---|---|---|
url | string | 必須 | 対象 URL |
country | string | — | 国コード(US、DE、JP...) |
city | string | — | 都市(newyork、london...) |
session_id | string | — | 同じ IP を再利用します(ハイフンなし、最大 64 文字) |
format | string | markdown | markdown(HTML を除去)または raw(生の HTML) |
timeout | number | 60 | タイムアウト秒数(1-120) |
novada_proxy_batch_fetch
| パラメーター | 型 | デフォルト | 説明 |
|---|---|---|---|
urls | string[] | 必須 | 2~20 件の URL |
concurrency | number | 3 | 並列数(1-5) |
country | string | — | すべての URL に同じ国を適用します |
format | string | markdown | markdown または raw |
novada_proxy_extract
| パラメーター | 型 | デフォルト | 説明 |
|---|---|---|---|
url | string | 必須 | 対象 URL |
fields | string[] | 必須 | 抽出するフィールド(title、price、description、rating...) |
render_fallback | boolean | false | プロキシに失敗した場合、ブラウザーレンダリングに自動で切り替えます |
country | string | — | 地理ターゲティング |
novada_proxy_map
| パラメーター | 型 | デフォルト | 説明 |
|---|---|---|---|
url | string | 必須 | 開始 URL |
limit | number | 50 | 返す URL の最大数(10-200) |
include_external | boolean | false | 外部サイトへのリンクを含めます |
novada_proxy_session
| パラメーター | 型 | デフォルト | 説明 |
|---|---|---|---|
session_id | string | 必須 | セッション ID(ハイフンなし、最大 64 文字) |
url | string | 必須 | 対象 URL |
verify_sticky | boolean | false | IP の一貫性を検証します(追加で 15~25 秒必要です) |
country | string | — | 国コード |
novada_proxy_search
| パラメーター | 型 | デフォルト | 説明 |
|---|---|---|---|
query | string | 必須 | 検索キーワード |
num | number | 10 | 結果数(1-20) |
country | string | — | ローカライズされた結果(us、de、jp...) |
language | string | — | 言語(en、zh、de...) |
novada_proxy_render [BETA]
| 参数 | 类型 | 默认 | 说明 |
|---|---|---|---|
url | string | 必填 | 目标 URL |
format | string | markdown | markdown · html · text |
wait_for | string | — | 等待 CSS 选择器后再提取(如 .product-title) |
timeout | number | 60 | 超时秒数(5-120) |
novada_proxy_crawl
递归 BFS 爬取站点,从起始 URL 出发,按深度逐层发现链接,返回完整 URL 树及元数据。
| 参数 | 类型 | 默认 | 说明 |
|---|---|---|---|
url | string | 必填 | 起始 URL |
depth | number | 2 | BFS 深度(1-5) |
limit | number | 50 | 最大爬取页数(10-200) |
include_content | boolean | false | 同时返回每个页面的内容 |
country | string | — | 地理定向所有请求 |
format | string | markdown | include_content: true 时的内容格式 |
timeout | number | 60 | 每页超时秒数 |
适用场景: 全站抓取、站点地图生成、内容索引 — 需要抓取多个页面时使用。
改用 novada_proxy_map 的情况: 只需要单页链接(一层深度)。Map 更快、更省额度。
组合使用: 将 data.urls[] 传入 novada_proxy_batch_fetch 并发抓取。
请求示例:
{
"url": "https://example.com",
"depth": 2,
"limit": 50,
"include_content": false
}
响应: data.pages[](url、depth、status_code、total_links),data.urls[](扁平数组,可直接传给 novada_proxy_batch_fetch)
novada_proxy_research
一键深度研究工具 — 搜索网络、抓取排名靠前的结果,返回含来源预览的结构化分析。智能体可对 findings 进行进一步综合分析。
| 参数 | 类型 | 默认 | 说明 |
|---|---|---|---|
query | string | 必填 | 研究问题或主题 |
depth | string | "standard" | "quick"(3 个来源)、"standard"(5 个)、"deep"(10 个) |
country | string | — | 本地化搜索结果 |
timeout | number | 60 | 超时秒数 |
需要: NOVADA_API_KEY(Google 搜索)+ 代理凭证(抓取来源页面)
适用场景: 研究问题、主题调研、竞品分析、事实核查 — 需要一次调用获取多个来源内容时。
改用 novada_proxy_search 的情况: 只需要搜索结果 URL,不需要完整页面内容。
组合使用: 对 data.urls[] 中的特定 URL 调用 novada_proxy_fetch 进行深度阅读。
注意: findings_summary 是各来源内容的拼接预览 — 智能体应分析 findings[] 进行实质性综合。
请求示例:
{
"query": "2026年最佳住宅代理服务商",
"depth": "standard"
}
响应: data.findings[](title、url、snippet、content_preview),data.urls[](可链式传给其他工具),data.findings_summary
novada_proxy_extract — Schema 模式(LLM 提取)
除 fields(启发式提取)外,novada_proxy_extract 还支持 schema 参数,通过智能体自身的 LLM 提取任意字段 — 零额外 API 费用。
传入 schema 替代 fields,工具返回清洗后的页面内容 + 提取提示词 — 由你的智能体完成提取。
| 参数 | 类型 | 默认 | 说明 |
|---|---|---|---|
url | string | 必填 | 目标 URL |
schema | object | — | 键 = 字段名,值 = 字段描述。替代 fields 使用。 |
render_fallback | boolean | false | 代理失败时自动切换到浏览器渲染 |
country | string | — | 地理定向 |
timeout | number | 60 | 超时秒数 |
请求示例:
{
"url": "https://example.com/product",
"schema": {
"product_name": "完整的产品名称",
"price": "当前价格(含货币符号)",
"warranty": "保修条款和期限",
"return_policy": "退货政策摘要"
}
}
响应: data.mode = "llm_extract",data.content(清洗后的 Markdown 内容),data.extraction_prompt(供智能体遵循并提取字段的指令)
安全限制: Schema 键名只能包含字母、数字、下划线(a-z、0-9、_),最多 50 字符;值最多 200 字符。
使用场景
AI 智能体需要:
- 抓取电商网站(Amazon、eBay、Walmart)不被封锁
- 跨国家监控价格变动
- 访问 195+ 国家的地区限制内容
- 对 Cloudflare/Akamai 保护站点进行竞争情报收集
- 执行多步登录流程并保持同一 IP
- 渲染无真实浏览器就返回空白的 JS 页面
- Google 搜索返回结构化 JSON 结果
开发者构建:
- AI 驱动的网页研究工具
- 价格比较智能体
- 全站内容爬取管道
- SEO 监控仪表盘
- 市场调研自动化
已验证可用
电商: Amazon、eBay、Walmart、Etsy、Shopify
职业网络: LinkedIn
反机器人保护: Cloudflare 站点、Akamai、DataDome
新闻内容: HackerNews、Reddit、BBC、CNN、NYTimes
科技: GitHub、Wikipedia、Stack Overflow、IMDB
反馈与支持
- 邮箱: [email protected]
- GitHub Issues: github.com/NovadaLabs/Novada-proxy/issues
- 官网: novada.com
许可证
MIT © Novada
コメント
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。