mcpField
O
oxylabs-web-unblocker

oxylabs-web-unblocker

github.com/oxylabsデータ・データベース87773 回インストール2 週間前に更新
リポジトリ

oxylabs-web-unblocker について

oxylabs-web-unblocker はプロキシ経由でウェブサイトにアクセスするためのスキルです。ボット対策やフィンガープリント検出、JavaScript を多用するページへの対応に向け、ヘッダーでレンダリング、地域、セッション、ブラウザー操作を指定します。

主な機能

  1. 01プロキシ経由での GET・POST リクエスト
  2. 02HTML のレンダリングまたは PNG の取得
  3. 03セッション IP と地域の指定
  4. 04カスタムヘッダーと Cookie の転送
  5. 05リクエストヘッダーによるブラウザー操作の指定

活用シーン

  1. 01ボット対策のあるサイトへのアクセス
  2. 02JavaScript SPA のレンダリング済みコンテンツの取得
  3. 03複数リクエスト間でのセッション IP の維持
  4. 04指定地域からのウェブページ取得

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/oxylabs/agent-skills --skill oxylabs-web-unblocker

インストール後、Claude Code で/oxylabs-web-unblockerを入力して読み込まれたか確認します。

同梱ファイルexamples.md

詳細

Oxylabs Web Unblocker

フィンガープリント、ヘッダー、再試行、JavaScript のレンダリングを自動的に管理する、AI 搭載のプロキシソリューションです。

エンドポイント

https://unblock.oxylabs.io:60000

認証

プロキシの認証情報を使用した HTTP Basic 認証：

curl -k -x "https://unblock.oxylabs.io:60000" \
  -U "$OXYLABS_USERNAME:$OXYLABS_PASSWORD" \
  "https://example.com"

クイックスタート

基本的なリクエスト：

curl -k -x "https://unblock.oxylabs.io:60000" \
  -U "$OXYLABS_USERNAME:$OXYLABS_PASSWORD" \
  "https://ip.oxylabs.io/headers"

JavaScript レンダリングを使用する場合：

curl -k -x "https://unblock.oxylabs.io:60000" \
  -U "$OXYLABS_USERNAME:$OXYLABS_PASSWORD" \
  -H "x-oxylabs-render: html" \
  "https://example.com/spa-page"

ヘッダー

ヘッダー説明
x-oxylabs-renderレンダリング済み HTML の場合は html、PNG の生バイトデータの場合は png。空の値を指定すると、自動的な強制レンダリングが無効になります
X-Oxylabs-Session-Idリクエスト間で同じ IP を再利用します（任意のランダムな文字列）
X-Oxylabs-Geo-Location対象の国、都市／州、ZIP コード／郵便番号、または座標
x-oxylabs-force-headers: 1カスタムヘッダーの通過を有効にします
x-oxylabs-force-cookies: 1カスタム Cookie の通過を有効にします
X-Oxylabs-Successful-Status-Codes再試行を防ぐため、成功と見なすステータスコードを指定します
x-oxylabs-browser-instructionsJSON エスケープされたブラウザー操作。x-oxylabs-render: html が必要です

セッションの維持

複数のリクエスト間で同じ IP を再利用します：

curl -k -x "https://unblock.oxylabs.io:60000" \
  -U "$OXYLABS_USERNAME:$OXYLABS_PASSWORD" \
  -H "X-Oxylabs-Session-Id: my-session-123" \
  "https://example.com/page1"

ジオロケーションの指定

curl -k -x "https://unblock.oxylabs.io:60000" \
  -U "$OXYLABS_USERNAME:$OXYLABS_PASSWORD" \
  -H "X-Oxylabs-Geo-Location: Germany" \
  "https://example.com"

Germany、90210、California,United States、New York,New York,United States、lat: 40.7128, lng: -74.0060, rad: 50 などの値を使用します。

プロキシ経由で通常の HTTP メソッドとリクエストボディを使用できます。Web Unblocker は GET と POST の両方に対応しています。

Web Unblocker と通常のプロキシの使い分け

シナリオ使用するもの
ボット対策が施されたサイトWeb Unblocker
CAPTCHA、フィンガープリント検出Web Unblocker
JavaScript を多用する SPAx-oxylabs-render: html を指定した Web Unblocker
保護されていない単純なリクエスト通常のプロキシ
大量のリクエスト、価格重視通常のプロキシ

主なガイドライン

  • 常に -k フラグを使用するか、SSL 検証を無効にしてください。プロキシは独自の証明書を使用します
  • コンテンツが空の場合や成功率が低い場合は x-oxylabs-render: html を追加してください。レンダリングを伴うリクエストでは、クライアントのタイムアウトを 180 秒前後に設定してください
  • リダイレクトが重要な場合は、レスポンスヘッダーの X-Oxylabs-Final-Url を確認してください
  • AI の動作を妨げる可能性があるため、カスタムのブロック解除用ヘッダーを追加しないでください
  • ブラウザー指示ヘッダーの値は JSON エスケープしてコンパクトにし、x-oxylabs-render: html と併用してください

Python、Node.js、PHP、Go、Java、C# のコード例については、examples.md を参照してください。

コメント

Markdown 対応