mcpField
F
fetch

fetch

github.com/brightdata数据与数据库272136 次安装2 周前更新
代码仓库

关于 fetch

用于通过 Web Unlocker 获取单个 URL 内容的 Bright Data 技能,可返回 Markdown、HTML、截图或响应元数据。适合访问受阻页面或简单抓取,不用于跨多页提取结构化字段。

主要功能

  1. 01通过 Web Unlocker 获取 URL
  2. 02返回 Markdown、HTML 或截图
  3. 03指定国家并发起异步请求
  4. 04通过 CLI 或 REST API 调用
  5. 05处理区域选择与抓取错误

适用场景

  1. 01获取受阻文章的正文
  2. 02保存网页截图
  3. 03获取 HTML 供自定义解析

MCP 相关

技能说明 Bright Data 抓取工具的 MCP 计费方式:每个 `scrape_as_markdown`、`scrape_as_html` 或 `scrape_batch` URL 按一次 Web Unlocker 请求计费。未说明 MCP 服务的配置。

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/brightdata/skills --skill fetch

安装后在 Claude Code 中输入/fetch确认已加载。

详细介绍

Bright Data - Fetch

输入一个 URL,获取一个页面,输出为 Markdown、HTML 或截图。不会为你解析任何内容。

每个请求都会解除访问限制:IP 轮换、浏览器指纹、Cookie、CAPTCHA 求解和自动重试,并可选择国家。可通过 REST 请求正文的 render 参数强制进行 JavaScript 渲染。CLI 没有对应的标志,因此 CLI 抓取无法强制渲染(-f screenshot 仍会生成渲染后页面的截图)。

调用方式

CLI。 命令是 bdata scrape,它会运行 Web Unlocker。

bdata scrape https://example.com/article

默认格式为 Markdown。首次运行 bdata login 时,会尝试创建 cli_unlocker;如果尚未设置默认值,还会将其设为区域默认值,因此普通账户首次登录后无需指定 --zone。它不会覆盖你已设置的默认值。通过 Agent 注册获取的密钥无法创建区域,且其账户没有 cli_unlocker,因此请运行一次 bdata config set default_zone_unlocker agent_unlocker。通过其他方式设置的账户会使用其他名称的解锁区域(通过 Agent 注册获取的为 agent_unlocker,通过 MCP 服务获取的为 mcp_unlocker,手动创建时则可以是任意名称):在 bdata zones --json 中找到 "type" 为 "unblocker" 的条目,并传入其名称。可通过 --zone <name>、BRIGHTDATA_UNLOCKER_ZONE 或 bdata config set default_zone_unlocker <name> 覆盖默认值。

如果无法识别 bdata,则说明尚未安装 CLI,或 npm 的全局目录不在 PATH 中;这两种问题的解决方法都在 agent-onboarding 技能的 Install 部分。

REST。 对于没有 CLI 的任何机器,都可以使用相同的请求。

POST https://api.brightdata.com/request
     Authorization: Bearer $BRIGHTDATA_API_KEY
     Content-Type: application/json

     {"zone":"cli_unlocker","url":"https://example.com/article",
      "format":"raw","data_format":"markdown"}

cli_unlocker 是运行 bdata login 后使用的名称。其他账户请使用其 unblocker 区域的名称,如上所述。

format 用于指定封装格式,data_format 用于指定页面格式。"format":"raw" 会直接返回正文,"format":"json" 则会附带状态和标头。

对于需要保留在用户代码中的调用,SDK 可用一行代码封装同一个请求:const html = await client.scrapeUrl('https://example.com/article')。brightdata-sdk 技能负责这部分内容。scrape 技能的 references/web-unlocker.md 涵盖相同的单次 POST 请求形式和 KYC 错误代码。完整参数列表(包括 render、country 和 method)请参阅 Bright Data 的 Web Unlocker API 文档。

格式

需求CLIREST 正文说明
Markdown(默认)-f markdown"format":"raw","data_format":"markdown"供大模型、索引或人阅读
原始 HTML-f html"format":"raw",不指定 data_format供用户自己的代码解析
截图-f screenshot"format":"raw","data_format":"screenshot"二进制 PNG。除非通过 -o <path> 指定其他路径,否则 CLI 会写入 screenshot.png
响应元数据-f json"format":"json"在正文外附带状态和标头

关于 Markdown,有一点需要说明:返回的链接与页面原文完全一致,因此像 /pricing 这样的相对链接在文本离开网站后仍是相对链接,无法指向任何地方。如果输出会交给大模型、索引或 RAG 存储,这没有问题。如果要生成一份供人阅读和点击链接的独立文档,请先根据页面 URL 解析链接,并说明你已这样处理。

其他可用标志包括:--country <code>、--async、-o <path>、--json、--pretty、--timing 和 --mobile;当前 CLI 版本中 --mobile 不起作用。

示例 - 一篇被拦截的文章

用户需求:"我的脚本访问这个 URL 时收到 403,我只需要文章正文"

  1. 只有一个 URL,页面本身就是答案。继续使用此技能。
  2. 之所以需要此工具,正是因为收到 403,而不是要绕开其他问题。解除访问限制就是这款产品的用途。
  3. 用户或大模型需要的是文本,因此使用 Markdown;它本来就是默认格式。
bdata scrape https://www.example-news.com/2026/08/some-article

接着用一句话说明选择,并让用户可以用一个词覆盖:

已使用 Web Unlocker 将页面抓取为 Markdown。如果你想提取数据字段,请说 fields,我会改用维护中的抓取工具。

抓取请求遭拒时

先阅读错误信息。目标网站返回 403 不在此列表中,因为这正是此技能要解决的常见情况。

消息包含含义
No Web Unlocker zone specified.未解析到区域。获取 bdata zones --json 中 "type":"unblocker" 条目的名称,并将其作为 --zone 传入;或者使用 bdata config set default_zone_unlocker <name> 保存一次。不要重新登录:这会替换已保存的密钥。
zone "<name>" not found当前账户中不存在已解析的区域;使用 Agent 注册创建的账户时,常见情况是 cli_unlocker。获取 bdata zones --json 中 "type":"unblocker" 条目的名称,并使用 bdata config set default_zone_unlocker <name> 保存。

另外两种拒绝不属于此技能的处理范围。密钥缺失或失效(No API key found 或 401)表示此机器尚未登录。少数目标网站要求账户先完成 KYC,Bright Data 才会提供服务:例如在 robots.txt 中自行屏蔽的 Reddit 等网站、政府网站、Bright Data 封锁列表中的网站,以及合规政策不允许访问的目标。大多数网站不需要这些。上述两种情况都属于 agent-onboarding 技能,该技能列出了准确的错误代码。请将用户引导至该技能;只有在请求确实遭到拒绝后,才可让任何人进行 KYC。

转交边界

请求技能
获取数据字段,或抓取某个网站的许多页面scrape
两次抓取同一网站,并在中间使用解析器scrape,因为这属于手动编写抓取工具
不带 URL 的查询search
用户自己的浏览器代码,且指向未受阻止的浏览器browser

如果抓取的实际目的是从页面提取数据字段,那就是抓取请求。请将其转交出去。

对于 CLI Markdown 或 HTML 抓取,切勿承诺支持 JavaScript 渲染;如果页面需要 JavaScript 渲染,请使用 "render":"true" 的 REST 调用。切勿因为页面返回 403 就改用浏览器或代理。这一个调用已经能处理这种情况。

评论

支持 Markdown