mcpField
W
web-unblocker

web-unblocker

github.com/oxylabs数据与数据库87778 次安装2 周前更新
代码仓库

关于 web-unblocker

这是一份使用 Oxylabs Web Unblocker 访问受保护或依赖 JavaScript 的网站的技能指南，涵盖页面渲染、会话保持和地理位置定位。

主要功能

  1. 01自动管理指纹与请求头
  2. 02将页面渲染为 HTML 或 PNG
  3. 03保持会话 IP 不变
  4. 04按国家、城市或坐标定位
  5. 05透传自定义请求头和 Cookie

适用场景

  1. 01获取反机器人保护网站的内容
  2. 02抓取 JavaScript 单页应用的渲染页面
  3. 03从指定地理位置发起请求

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/oxylabs/agent-skills --skill web-unblocker

安装后在 Claude Code 中输入/web-unblocker确认已加载。

附带文件examples.md

详细介绍

Oxylabs Web Unblocker

AI 驱动的代理解决方案，可自动管理指纹、标头、重试和 JavaScript 渲染。

端点

https://unblock.oxylabs.io:60000

身份验证

通过代理凭据使用 HTTP Basic Auth：

curl -k -x "https://unblock.oxylabs.io:60000" \
  -U "$OXYLABS_USERNAME:$OXYLABS_PASSWORD" \
  "https://example.com"

快速开始

基本请求：

curl -k -x "https://unblock.oxylabs.io:60000" \
  -U "$OXYLABS_USERNAME:$OXYLABS_PASSWORD" \
  "https://ip.oxylabs.io/headers"

使用 JavaScript 渲染：

curl -k -x "https://unblock.oxylabs.io:60000" \
  -U "$OXYLABS_USERNAME:$OXYLABS_PASSWORD" \
  -H "x-oxylabs-render: html" \
  "https://example.com/spa-page"

标头

标头描述
x-oxylabs-renderhtml 表示渲染后的 HTML，png 表示原始 PNG 字节；空值会停用自动强制渲染
X-Oxylabs-Session-Id在多个请求中复用同一 IP（任意随机字符串）
X-Oxylabs-Geo-Location目标国家、城市/州、邮政编码或坐标
x-oxylabs-force-headers: 1启用自定义标头透传
x-oxylabs-force-cookies: 1启用自定义 Cookie 透传
X-Oxylabs-Successful-Status-Codes定义自定义成功状态码以避免重试
x-oxylabs-browser-instructionsJSON 转义的浏览器操作；需要 x-oxylabs-render: html

会话持久性

在多个请求中复用同一 IP：

curl -k -x "https://unblock.oxylabs.io:60000" \
  -U "$OXYLABS_USERNAME:$OXYLABS_PASSWORD" \
  -H "X-Oxylabs-Session-Id: my-session-123" \
  "https://example.com/page1"

地理位置定位

curl -k -x "https://unblock.oxylabs.io:60000" \
  -U "$OXYLABS_USERNAME:$OXYLABS_PASSWORD" \
  -H "X-Oxylabs-Geo-Location: Germany" \
  "https://example.com"

可使用 Germany、90210、California,United States、New York,New York,United States 或 lat: 40.7128, lng: -74.0060, rad: 50 等值。

通过代理使用常规 HTTP 方法和请求正文；Web Unblocker 同时支持 GET 和 POST。

何时使用 Web Unblocker，何时使用常规代理

场景使用
有反机器人保护的网站Web Unblocker
CAPTCHA、指纹检测Web Unblocker
大量使用 JavaScript 的 SPA搭配 x-oxylabs-render: html 使用 Web Unblocker
简单请求、无保护常规代理
高请求量、对价格敏感常规代理

关键指南

  • 始终使用 -k 标志（或禁用 SSL 验证）——代理使用自有证书
  • 如果遇到内容为空或成功率较低的情况，请添加 x-oxylabs-render: html；对于渲染请求，请将客户端超时设置为接近 180 秒
  • 如果重定向很重要，请检查响应标头中的 X-Oxylabs-Final-Url
  • 避免添加可能干扰 AI 的自定义解封标头
  • 浏览器指令标头的值必须经过 JSON 转义且保持紧凑；同时搭配 x-oxylabs-render: html 使用

Python、Node.js、PHP、Go、Java 和 C# 的代码示例请参见 examples.md。

评论

支持 Markdown