mcpField
W
web-unblocker

web-unblocker

github.com/oxylabsデータ・データベース87778 回インストール2 週間前に更新
リポジトリ

web-unblocker について

Oxylabs Web Unblockerを使い、保護されたサイトやJavaScriptを多用するサイトへリクエストするためのスキルガイドです。レンダリング、セッション維持、地域指定を扱います。

主な機能

  1. 01フィンガープリントとヘッダーの自動管理
  2. 02HTMLまたはPNGへのレンダリング
  3. 03IPセッションの維持
  4. 04国・都市・座標による地域指定
  5. 05カスタムヘッダーとCookieの転送

活用シーン

  1. 01ボット対策サイトからのコンテンツ取得
  2. 02JavaScript SPAのレンダリング済みページ取得
  3. 03指定地域からのリクエスト

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/oxylabs/agent-skills --skill web-unblocker

インストール後、Claude Code で/web-unblockerを入力して読み込まれたか確認します。

同梱ファイルexamples.md

詳細

Oxylabs Web Unblocker

フィンガープリント、ヘッダー、再試行、JavaScript のレンダリングを自動的に管理する、AI 搭載のプロキシソリューションです。

エンドポイント

https://unblock.oxylabs.io:60000

認証

プロキシの認証情報を使用した HTTP Basic 認証：

curl -k -x "https://unblock.oxylabs.io:60000" \
  -U "$OXYLABS_USERNAME:$OXYLABS_PASSWORD" \
  "https://example.com"

クイックスタート

基本的なリクエスト：

curl -k -x "https://unblock.oxylabs.io:60000" \
  -U "$OXYLABS_USERNAME:$OXYLABS_PASSWORD" \
  "https://ip.oxylabs.io/headers"

JavaScript レンダリングを使用する場合：

curl -k -x "https://unblock.oxylabs.io:60000" \
  -U "$OXYLABS_USERNAME:$OXYLABS_PASSWORD" \
  -H "x-oxylabs-render: html" \
  "https://example.com/spa-page"

ヘッダー

ヘッダー説明
x-oxylabs-renderレンダリング済み HTML の場合は html、PNG の生バイトデータの場合は png。空の値を指定すると、自動的な強制レンダリングが無効になります
X-Oxylabs-Session-Idリクエスト間で同じ IP を再利用します（任意のランダムな文字列）
X-Oxylabs-Geo-Location対象の国、都市／州、ZIP コード／郵便番号、または座標
x-oxylabs-force-headers: 1カスタムヘッダーの通過を有効にします
x-oxylabs-force-cookies: 1カスタム Cookie の通過を有効にします
X-Oxylabs-Successful-Status-Codes再試行を防ぐため、成功と見なすステータスコードを指定します
x-oxylabs-browser-instructionsJSON エスケープされたブラウザー操作。x-oxylabs-render: html が必要です

セッションの維持

複数のリクエスト間で同じ IP を再利用します：

curl -k -x "https://unblock.oxylabs.io:60000" \
  -U "$OXYLABS_USERNAME:$OXYLABS_PASSWORD" \
  -H "X-Oxylabs-Session-Id: my-session-123" \
  "https://example.com/page1"

ジオロケーションの指定

curl -k -x "https://unblock.oxylabs.io:60000" \
  -U "$OXYLABS_USERNAME:$OXYLABS_PASSWORD" \
  -H "X-Oxylabs-Geo-Location: Germany" \
  "https://example.com"

Germany、90210、California,United States、New York,New York,United States、lat: 40.7128, lng: -74.0060, rad: 50 などの値を使用します。

プロキシ経由で通常の HTTP メソッドとリクエストボディを使用できます。Web Unblocker は GET と POST の両方に対応しています。

Web Unblocker と通常のプロキシの使い分け

シナリオ使用するもの
ボット対策が施されたサイトWeb Unblocker
CAPTCHA、フィンガープリント検出Web Unblocker
JavaScript を多用する SPAx-oxylabs-render: html を指定した Web Unblocker
保護されていない単純なリクエスト通常のプロキシ
大量のリクエスト、価格重視通常のプロキシ

主なガイドライン

  • 常に -k フラグを使用するか、SSL 検証を無効にしてください。プロキシは独自の証明書を使用します
  • コンテンツが空の場合や成功率が低い場合は x-oxylabs-render: html を追加してください。レンダリングを伴うリクエストでは、クライアントのタイムアウトを 180 秒前後に設定してください
  • リダイレクトが重要な場合は、レスポンスヘッダーの X-Oxylabs-Final-Url を確認してください
  • AI の動作を妨げる可能性があるため、カスタムのブロック解除用ヘッダーを追加しないでください
  • ブラウザー指示ヘッダーの値は JSON エスケープしてコンパクトにし、x-oxylabs-render: html と併用してください

Python、Node.js、PHP、Go、Java、C# のコード例については、examples.md を参照してください。

コメント

Markdown 対応