mcpField
B
BrightData

BrightData

github.com/danielmiesslerデータ・データベース19.6k147 回インストール今日更新
リポジトリ

BrightData について

BrightDataは、URLの取得やウェブサイトのクロールを行い、Markdownで出力するClaudeスキルです。ページにブロックされた場合に限り、4段階で取得方法を切り替えます。

主な機能

  1. 01単一URLの取得
  2. 02ウェブサイトのクロール
  3. 034段階のアクセス方法切り替え
  4. 04Markdown出力
  5. 05Cloudflare Markdown事前確認

活用シーン

  1. 01公開URLのコンテンツ取得
  2. 02JavaScript描画が必要なページの取得
  3. 03ドキュメントの一部やサイト全体のクロール

MCP 対応

ページにブロックされた場合、第4段階でBright Data MCPツール `mcp__Brightdata__scrape_as_markdown` を使用します。ライトクロールではMCPの `scrape_batch` ツールも使います。

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/danielmiessler/lifeos --skill brightdata

インストール後、Claude Code で/brightdataを入力して読み込まれたか確認します。

同梱ファイルWorkflows/Crawl.mdWorkflows/FourTierScrape.md

詳細

カスタマイズ

実行する前に、次の場所にユーザーのカスタマイズがないか確認してください： ~/.claude/LIFEOS/USER/CUSTOMIZATIONS/SKILLS/BrightData/

このディレクトリが存在する場合は、そこにある PREFERENCES.md、設定、またはリソースを読み込み、適用してください。これらはデフォルトの動作より優先されます。ディレクトリが存在しない場合は、スキルのデフォルト設定に従ってください。

🚨 必須：音声通知（何らかの操作を行う前に必須）

このスキルが呼び出されたときは、何よりも先にこの通知を必ず送信してください。

  1. 音声通知を送信：

    curl -s -X POST http://localhost:31337/notify \
  -H "Content-Type: application/json" \
  -d '{"message": "Running the WORKFLOWNAME workflow in the BrightData skill to ACTION"}' \
  > /dev/null 2>&1 &

  2. テキスト通知を出力：

    Running the **WorkflowName** workflow in the **BrightData** skill to ACTION...

これは省略できません。このスキルの呼び出しと同時に、直ちにこの curl コマンドを実行してください。

BrightData

単一の URL をスクレイピング（FourTierScrape）するか、サイト全体をクロール（Crawl）します。各ページに必要な場合に限り、4 段階のティアを順に引き上げます。出力は常に Markdown です。Tier 1 から開始し、ブロックされた場合に限り上位へ進んでください。毎回高負荷のプロキシを使うと、Tier 4 のクレジットを無駄にします。Tier 1 の前に Cloudflare の Accept: text/markdown 事前チェックを実行します（手順は FourTierScrape.md に記載）。

4 段階のティア（ツールの仕様）

Tierツール有効なケースコスト／所要時間
1WebFetch公開コンテンツ、ボット検知なし無料 · 約2～5秒
2curl + Chrome ヘッダーユーザーエージェント／基本的なヘッダーのチェック無料 · 約3～7秒
3Interceptor（実際の Chrome）JavaScript でレンダリングされるページ／SPA ページ無料 · 約10～20秒
4Bright Data MCP mcp__Brightdata__scrape_as_markdownCAPTCHA、高度なフィンガープリント認証、住宅用 IP が必要な場合Bright Data クレジット · 約5～15秒

LifeOS 全体で Playwright は禁止されています。Tier 3 では Interceptor を使用してください。先のティアへ進む場合：「Bright Data を使って」という明示的な指示 → Tier 4、「ブラウザーを使って」→ Tier 3、Tier 1 で失敗したドメイン → Tier 2 から開始します。正確な curl ヘッダーブロック、Cloudflare の事前チェック、Interceptor のコマンドは Workflows/FourTierScrape.md にあります。

ワークフロー

ルーティング時には、次のように出力してください：Running the **WorkflowName** workflow in the **BrightData** skill to ACTION...

ワークフロー起動条件ファイル
FourTierScrape「[URL] をスクレイピング／取得／引き出す／入手する」、「このサイトにアクセスできない」、「サイトにブロックされている」、「Bright Data を使って取得する」Workflows/FourTierScrape.md
Crawl「このサイトをクロールする」、「このドメインを巡回する」、「このウェブサイトの構成を把握する」、「からすべてのページを取得する」、「サイト全体をスクレイピングする」、「/docs 配下のすべてのページをクロールする」Workflows/Crawl.md

Crawl では、セクション単位の場合は Light Crawl（MCP scrape_batch + リンクループ、50 ページ以下、1 ページあたり約 0.006 ドル）、サイト全体の場合は Full Crawl（Bright Data Crawl API api.brightdata.com/datasets/v3/trigger、1,000 ページあたり 1.50 ドル）を選択します。

注意点

  • 4 段階で順に引き上げます：WebFetch → curl → Interceptor → Bright Data プロキシ。 常に Tier 1 から開始し、ブロックされた場合に限り上位へ進んでください。LifeOS 全体で Playwright は禁止されています。
  • Bright Data プロキシの利用にはコストがかかります。 Tier 1～3 でアクセスできるサイトには Tier 4 を使用しないでください。
  • CAPTCHA の解決には時間がかかります。 Tier 4 の応答には余裕を持ってください。
  • 認証情報は ~/.claude/.env にあります — BRIGHTDATA_API_KEY。

実行ログ

ワークフローの完了後、JSONL エントリを 1 つ追記してください：

echo '{"ts":"'$(date -u +%Y-%m-%dT%H:%M:%SZ)'","skill":"BrightData","workflow":"WORKFLOW_USED","input":"8_WORD_SUMMARY","status":"ok|error","duration_s":SECONDS}' >> ~/.claude/LIFEOS/MEMORY/SKILLS/execution.jsonl

WORKFLOW_USED は実行したワークフローに、8_WORD_SUMMARY は入力の簡単な説明に、SECONDS はおおよその実時間に置き換えてください。ワークフローが失敗した場合は、status: "error" を記録してください。

コメント

Markdown 対応