mcpField
B
BrightData

BrightData

github.com/danielmiessler数据与数据库19.6k147 次安装今天更新
代码仓库

关于 BrightData

BrightData 是用于抓取单个 URL 或爬取网站的 Claude 技能，内容以 Markdown 输出。它按需逐级切换四种获取方式，仅在页面阻挡当前方式时升级。

主要功能

  1. 01抓取单页 URL
  2. 02爬取网站
  3. 03四级访问方式升级
  4. 04输出 Markdown
  5. 05Cloudflare Markdown 预检查

适用场景

  1. 01获取公开 URL 的内容
  2. 02抓取需要 JavaScript 渲染的页面
  3. 03爬取文档分区或整个网站

MCP 相关

遇到页面阻挡时，第四级使用 Bright Data MCP 工具 `mcp__Brightdata__scrape_as_markdown`。轻量爬取也会使用 MCP 的 `scrape_batch` 工具。

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/danielmiessler/lifeos --skill brightdata

安装后在 Claude Code 中输入/brightdata确认已加载。

附带文件Workflows/Crawl.mdWorkflows/FourTierScrape.md

详细介绍

自定义

执行前，请检查用户自定义设置： ~/.claude/LIFEOS/USER/CUSTOMIZATIONS/SKILLS/BrightData/

如果此目录存在，请加载并应用其中的任何 PREFERENCES.md、配置或资源。这些内容优先于默认行为。如果目录不存在，则使用技能默认设置。

🚨 必需：语音通知（任何操作前都必须执行）

调用此技能时，必须先发送此通知，然后才能进行任何其他操作。

  1. 发送语音通知：

    curl -s -X POST http://localhost:31337/notify \
  -H "Content-Type: application/json" \
  -d '{"message": "Running the WORKFLOWNAME workflow in the BrightData skill to ACTION"}' \
  > /dev/null 2>&1 &

  2. 输出文本通知：

    Running the **WorkflowName** workflow in the **BrightData** skill to ACTION...

此步骤不可省略。调用技能后请立即执行此 curl 命令。

BrightData

抓取单个 URL（FourTierScrape）或爬取整个网站（Crawl），并根据每个页面的需要逐级尝试，最多经过四个层级。输出始终为 Markdown。从第 1 层开始，仅在受阻时升级——每次都动用重型代理会浪费第 4 层额度。在第 1 层之前，会先执行 Cloudflare Accept: text/markdown 预检（配方见 FourTierScrape.md）。

四个层级（工具约定）

层级工具适用场景成本 / 延迟
1WebFetch公开内容，无机器人检测免费 · ~2-5 秒
2curl + Chrome headers用户代理 / 基本标头检查免费 · ~3-7 秒
3Interceptor（真实 Chrome）JavaScript 渲染 / SPA 页面免费 · ~10-20 秒
4Bright Data MCP mcp__Brightdata__scrape_as_markdownCAPTCHA、高级指纹识别、需要住宅 IPBright Data 额度 · ~5-15 秒

LifeOS 禁止使用 Playwright——第 3 层使用 Interceptor。跳级规则：明确要求“use Bright Data”→ 第 4 层；“use browser”→ 第 3 层；某个域名在第 1 层已失败 → 从第 2 层开始。准确的 curl 标头块、Cloudflare 预检和 Interceptor 命令见 Workflows/FourTierScrape.md。

工作流

路由时，输出：Running the **WorkflowName** workflow in the **BrightData** skill to ACTION...

工作流触发条件文件
FourTierScrape“scrape/fetch/pull/get/retrieve [URL]”、“can't access this site”、“site is blocking me”、“use Bright Data to fetch”Workflows/FourTierScrape.md
Crawl“crawl this site”、“spider this domain”、“map this website”、“get all pages from”、“scrape the whole site”、“crawl all pages under /docs”Workflows/Crawl.md

对于某个内容分区，Crawl 会选择 Light Crawl（MCP scrape_batch + 链接循环，≤50 页，约 $0.006/页）；对于整个网站，则选择 Full Crawl（Bright Data Crawl API api.brightdata.com/datasets/v3/trigger，$1.50/1K 页）。

注意事项

  • 四层升级顺序：WebFetch → curl → Interceptor → Bright Data 代理。 始终从第 1 层开始，仅在受阻时升级。LifeOS 禁止使用 Playwright。
  • Bright Data 代理会产生使用费用。 不要将第 4 层用于可通过第 1 至第 3 层访问的网站。
  • 解决 CAPTCHA 会增加延迟。 第 4 层响应需要预留额外时间。
  • 凭据位于 ~/.claude/.env — BRIGHTDATA_API_KEY。

执行日志

完成任何工作流后，追加一条 JSONL 记录：

echo '{"ts":"'$(date -u +%Y-%m-%dT%H:%M:%SZ)'","skill":"BrightData","workflow":"WORKFLOW_USED","input":"8_WORD_SUMMARY","status":"ok|error","duration_s":SECONDS}' >> ~/.claude/LIFEOS/MEMORY/SKILLS/execution.jsonl

将 WORKFLOW_USED 替换为已执行的工作流，将 8_WORD_SUMMARY 替换为简要的输入描述，并将 SECONDS 替换为大致的实际耗时。如果工作流失败，则记录 status: "error"。

评论

支持 Markdown