关于 fetch
用于通过 Web Unlocker 获取单个 URL 内容的 Bright Data 技能,可返回 Markdown、HTML、截图或响应元数据。适合访问受阻页面或简单抓取,不用于跨多页提取结构化字段。
主要功能
- 01通过 Web Unlocker 获取 URL
- 02返回 Markdown、HTML 或截图
- 03指定国家并发起异步请求
- 04通过 CLI 或 REST API 调用
- 05处理区域选择与抓取错误
适用场景
- 01获取受阻文章的正文
- 02保存网页截图
- 03获取 HTML 供自定义解析
MCP 相关
技能说明 Bright Data 抓取工具的 MCP 计费方式:每个 `scrape_as_markdown`、`scrape_as_html` 或 `scrape_batch` URL 按一次 Web Unlocker 请求计费。未说明 MCP 服务的配置。
安装
复制下面的命令,在终端中运行。
npx skills add https:/ / github.com/ brightdata/ skills --skill fetch安装后在 Claude Code 中输入/fetch确认已加载。
详细介绍
Bright Data - Fetch
输入一个 URL,获取一个页面,输出为 Markdown、HTML 或截图。不会为你解析任何内容。
每个请求都会解除访问限制:IP 轮换、浏览器指纹、Cookie、CAPTCHA 求解和自动重试,并可选择国家。可通过 REST 请求正文的 render 参数强制进行 JavaScript 渲染。CLI 没有对应的标志,因此 CLI 抓取无法强制渲染(-f screenshot 仍会生成渲染后页面的截图)。
调用方式
CLI。 命令是 bdata scrape,它会运行 Web Unlocker。
bdata scrape https://example.com/article
默认格式为 Markdown。首次运行 bdata login 时,会尝试创建 cli_unlocker;如果尚未设置默认值,还会将其设为区域默认值,因此普通账户首次登录后无需指定 --zone。它不会覆盖你已设置的默认值。通过 Agent 注册获取的密钥无法创建区域,且其账户没有 cli_unlocker,因此请运行一次 bdata config set default_zone_unlocker agent_unlocker。通过其他方式设置的账户会使用其他名称的解锁区域(通过 Agent 注册获取的为 agent_unlocker,通过 MCP 服务获取的为 mcp_unlocker,手动创建时则可以是任意名称):在 bdata zones --json 中找到 "type" 为 "unblocker" 的条目,并传入其名称。可通过 --zone <name>、BRIGHTDATA_UNLOCKER_ZONE 或 bdata config set default_zone_unlocker <name> 覆盖默认值。
如果无法识别 bdata,则说明尚未安装 CLI,或 npm 的全局目录不在 PATH 中;这两种问题的解决方法都在 agent-onboarding 技能的 Install 部分。
REST。 对于没有 CLI 的任何机器,都可以使用相同的请求。
POST https://api.brightdata.com/request
Authorization: Bearer $BRIGHTDATA_API_KEY
Content-Type: application/json
{"zone":"cli_unlocker","url":"https://example.com/article",
"format":"raw","data_format":"markdown"}
cli_unlocker 是运行 bdata login 后使用的名称。其他账户请使用其 unblocker 区域的名称,如上所述。
format 用于指定封装格式,data_format 用于指定页面格式。"format":"raw" 会直接返回正文,"format":"json" 则会附带状态和标头。
对于需要保留在用户代码中的调用,SDK 可用一行代码封装同一个请求:const html = await client.scrapeUrl('https://example.com/article')。brightdata-sdk 技能负责这部分内容。scrape 技能的 references/web-unlocker.md 涵盖相同的单次 POST 请求形式和 KYC 错误代码。完整参数列表(包括 render、country 和 method)请参阅 Bright Data 的 Web Unlocker API 文档。
格式
| 需求 | CLI | REST 正文 | 说明 |
|---|---|---|---|
| Markdown(默认) | -f markdown | "format":"raw","data_format":"markdown" | 供大模型、索引或人阅读 |
| 原始 HTML | -f html | "format":"raw",不指定 data_format | 供用户自己的代码解析 |
| 截图 | -f screenshot | "format":"raw","data_format":"screenshot" | 二进制 PNG。除非通过 -o <path> 指定其他路径,否则 CLI 会写入 screenshot.png |
| 响应元数据 | -f json | "format":"json" | 在正文外附带状态和标头 |
关于 Markdown,有一点需要说明:返回的链接与页面原文完全一致,因此像 /pricing 这样的相对链接在文本离开网站后仍是相对链接,无法指向任何地方。如果输出会交给大模型、索引或 RAG 存储,这没有问题。如果要生成一份供人阅读和点击链接的独立文档,请先根据页面 URL 解析链接,并说明你已这样处理。
其他可用标志包括:--country <code>、--async、-o <path>、--json、--pretty、--timing 和 --mobile;当前 CLI 版本中 --mobile 不起作用。
示例 - 一篇被拦截的文章
用户需求:"我的脚本访问这个 URL 时收到 403,我只需要文章正文"
- 只有一个 URL,页面本身就是答案。继续使用此技能。
- 之所以需要此工具,正是因为收到 403,而不是要绕开其他问题。解除访问限制就是这款产品的用途。
- 用户或大模型需要的是文本,因此使用 Markdown;它本来就是默认格式。
bdata scrape https://www.example-news.com/2026/08/some-article
接着用一句话说明选择,并让用户可以用一个词覆盖:
已使用 Web Unlocker 将页面抓取为 Markdown。如果你想提取数据字段,请说
fields,我会改用维护中的抓取工具。
抓取请求遭拒时
先阅读错误信息。目标网站返回 403 不在此列表中,因为这正是此技能要解决的常见情况。
| 消息包含 | 含义 |
|---|---|
No Web Unlocker zone specified. | 未解析到区域。获取 bdata zones --json 中 "type":"unblocker" 条目的名称,并将其作为 --zone 传入;或者使用 bdata config set default_zone_unlocker <name> 保存一次。不要重新登录:这会替换已保存的密钥。 |
zone "<name>" not found | 当前账户中不存在已解析的区域;使用 Agent 注册创建的账户时,常见情况是 cli_unlocker。获取 bdata zones --json 中 "type":"unblocker" 条目的名称,并使用 bdata config set default_zone_unlocker <name> 保存。 |
另外两种拒绝不属于此技能的处理范围。密钥缺失或失效(No API key found 或 401)表示此机器尚未登录。少数目标网站要求账户先完成 KYC,Bright Data 才会提供服务:例如在 robots.txt 中自行屏蔽的 Reddit 等网站、政府网站、Bright Data 封锁列表中的网站,以及合规政策不允许访问的目标。大多数网站不需要这些。上述两种情况都属于 agent-onboarding 技能,该技能列出了准确的错误代码。请将用户引导至该技能;只有在请求确实遭到拒绝后,才可让任何人进行 KYC。
转交边界
| 请求 | 技能 |
|---|---|
| 获取数据字段,或抓取某个网站的许多页面 | scrape |
| 两次抓取同一网站,并在中间使用解析器 | scrape,因为这属于手动编写抓取工具 |
| 不带 URL 的查询 | search |
| 用户自己的浏览器代码,且指向未受阻止的浏览器 | browser |
如果抓取的实际目的是从页面提取数据字段,那就是抓取请求。请将其转交出去。
对于 CLI Markdown 或 HTML 抓取,切勿承诺支持 JavaScript 渲染;如果页面需要 JavaScript 渲染,请使用 "render":"true" 的 REST 调用。切勿因为页面返回 403 就改用浏览器或代理。这一个调用已经能处理这种情况。