mcpField
F
fetch

fetch

github.com/brightdataデータ・データベース272136 回インストール2 週間前に更新
リポジトリ

fetch について

Web Unlocker 経由で単一 URL を取得し、Markdown、HTML、スクリーンショット、レスポンスメタデータを返す Bright Data のスキルです。ブロックされたページや単純な取得向けで、多数のページから構造化データを抽出する用途とは異なります。

主な機能

  1. 01Web Unlocker による URL 取得
  2. 02Markdown、HTML、スクリーンショットの出力
  3. 03国の指定と非同期リクエスト
  4. 04CLI または REST API からの利用
  5. 05ゾーン選択と取得エラーへの対応

活用シーン

  1. 01ブロックされた記事本文の取得
  2. 02ページのスクリーンショット保存
  3. 03独自解析用 HTML の取得

MCP 対応

Bright Data の MCP ツールに関する課金方法として、`scrape_as_markdown`、`scrape_as_html`、`scrape_batch` は URL ごとに Web Unlocker の 1 リクエストとして課金されると説明しています。MCP サーバーの設定は扱いません。

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/brightdata/skills --skill fetch

インストール後、Claude Code で/fetchを入力して読み込まれたか確認します。

詳細

Bright Data - Fetch

URLを1つ指定すると、Markdown、HTML、またはスクリーンショットでページが1つ返されます。解析は行われません。

すべてのリクエストでブロックが解除されます。選択した国からのIPローテーション、ブラウザーのフィンガープリント、Cookie、CAPTCHAの解決、自動再試行が含まれます。JavaScriptのレンダリングは、REST本文のrenderパラメーターで強制できます。CLIにはそのフラグがないため、CLIのフェッチではレンダリングを強制できません(-f screenshotでも、レンダリングされたページの画像になります)。

呼び出し

CLI。 コマンドはbdata scrapeで、Web Unlockerを実行します。

bdata scrape https://example.com/article

デフォルトはMarkdownです。初回のbdata loginではcli_unlockerの作成が試みられ、デフォルトが設定されていない場合はゾーンのデフォルトとして保存されるため、通常のアカウントで新規ログインする場合は--zoneは不要です。すでに設定されているデフォルトが上書きされることはありません。エージェント登録で取得したキーではゾーンを作成できず、そのアカウントにはcli_unlockerもないため、bdata config set default_zone_unlocker agent_unlockerを一度実行してください。別の方法で設定されたアカウントでは、アンブロッカーゾーンが別の名前で登録されています(エージェント登録の場合はagent_unlocker、MCP サーバーの場合はmcp_unlocker、手動で作成した場合は任意の名前です)。bdata zones --jsonで"type"が"unblocker"の項目を探し、その名前を指定してください。--zone <name>、BRIGHTDATA_UNLOCKER_ZONE、またはbdata config set default_zone_unlocker <name>で上書きできます。

bdataが認識されない場合は、CLIがインストールされていないか、npmのグローバルディレクトリがPATHに含まれていません。どちらの問題もagent-onboardingスキルのInstallセクションで解決できます。

REST。 CLIがないマシンでも同じリクエストを実行できます。

POST https://api.brightdata.com/request
     Authorization: Bearer $BRIGHTDATA_API_KEY
     Content-Type: application/json

     {"zone":"cli_unlocker","url":"https://example.com/article",
      "format":"raw","data_format":"markdown"}

cli_unlockerはbdata login後の名前です。それ以外のアカウントでは、前述のとおりunblockerゾーンの名前を使用してください。

formatはレスポンスの形式、data_formatはページの形式です。"format":"raw"は本文そのものを返し、"format":"json"は本文をステータスとヘッダーでラップして返します。

ユーザーが保持するコードでは、SDKを使うと同じ呼び出しを1行で記述できます。const html = await client.scrapeUrl('https://example.com/article')。この機能はbrightdata-sdkスキルが担当します。scrapeスキルのreferences/web-unlocker.mdでは、同じ1回のPOSTの形式とKYCエラーコードを説明しています。render、country、methodを含むすべてのパラメーターについては、Bright DataのWeb Unlocker APIドキュメントを参照してください。

形式

必要なものCLIREST本文備考
Markdown(デフォルト)-f markdown"format":"raw","data_format":"markdown"モデル、インデックス、人間向け
Raw HTML-f html"format":"raw"、data_formatなしユーザー自身のコードで解析する場合
スクリーンショット-f screenshot"format":"raw","data_format":"screenshot"バイナリPNG。-o <path>で別のパスを指定しない限り、CLIはscreenshot.pngに書き込みます
レスポンスのメタデータ-f json"format":"json"本文をステータスとヘッダーで囲んで返します

Markdownについての注意点が1つあります。リンクはページに記載されたとおりに返されるため、/pricingのような相対リンクは相対のまま残り、テキストがサイトから離れるとリンク先がなくなります。出力をモデル、インデックス、またはRAGストアに渡す場合は問題ありません。人が読んでクリックするスタンドアロンのドキュメントにする場合は、まずページURLを基準にリンクを解決し、その処理を行ったことを伝えてください。

ほかに使用できるフラグは、--country <code>、--async、-o <path>、--json、--pretty、--timing、--mobileです。なお、現在のCLIリリースでは--mobileは効果がありません。

例 - ブロックされた記事を1つ取得する

依頼内容:「このURLにアクセスするとスクリプトが403を返します。記事のテキストだけが必要です」

  1. URLは1つで、ページ自体が答えです。このスキルを使います。
  2. 403はここに来る理由であり、別の方法で回避すべき問題ではありません。ブロック解除がこの製品の機能です。
  3. 人またはモデル向けのテキストなので、デフォルト設定のMarkdownを使います。
bdata scrape https://www.example-news.com/2026/08/some-article

その後、ユーザーが1語で変更できるよう、選択内容を1行で伝えます。

Web Unlockerを使ってページをMarkdownとして取得しました。代わりにデータフィールドを抽出したい場合はfieldsと言ってください。メンテナンスされているスクレーパーを使います。

フェッチが拒否された場合

まずエラーを確認してください。対象サイトからの 403 はこの一覧には含まれません。このスキルが解決するのは、まさに通常発生するそのケースです。

メッセージに含まれる内容意味
No Web Unlocker zone specified.ゾーンが解決されていません。bdata zones --json の "type":"unblocker" エントリの名前を取得して --zone として渡すか、bdata config set default_zone_unlocker <name> で一度だけ保存してください。再度ログインしないでください。保存済みのキーが置き換えられます。
zone "<name>" not found解決されたゾーンはこのアカウントに存在しません。エージェント登録で作成されたアカウントの cli_unlocker などでよく発生します。bdata zones --json から "type":"unblocker" エントリを取得し、bdata config set default_zone_unlocker <name> で保存してください。

ほかの 2 つの拒否は、このスキルで解決するものではありません。キーがない、または無効な場合(No API key found、または 401)は、そのマシンでログインしていません。Bright Data がデータを提供する前に、アカウントで KYC が必要な対象も一部あります。robots.txt で自身をブロックしているサイト(Reddit など)、政府機関のサイト、Bright Data のブロックリストに掲載されているサイト、およびコンプライアンスポリシーで許可されていない対象が該当します。ほとんどのサイトでは、こうした対応は不要です。どちらの場合も agent-onboarding スキルの対象であり、正確なエラーコードが記載されています。ユーザーにはそちらを案内し、実際に呼び出しが拒否される前に KYC へ案内することは絶対に避けてください。

引き継ぎの境界

依頼内容スキル
データフィールド、または同一サイトの多数のページscrape
パーサーを挟んで同一サイトを 2 回フェッチすることscrape。手作業でスクレイパーを作成するケースです
URL を指定しないクエリsearch
ブロック解除済みのブラウザーを使う、ユーザー独自のブラウザーコードbrowser

ページからデータフィールドを抽出することが本来の目的であるフェッチは、スクレイピングの依頼です。引き継いでください。

CLI での Markdown または HTML のフェッチで、JavaScript レンダリングを約束しないでください。ページで JavaScript レンダリングが必要な場合は、"render":"true" を指定した REST 呼び出しを使用してください。ページが 403 を返したからといって、ブラウザーやプロキシを使わないでください。この 1 回の呼び出しで処理できます。

コメント