mcpField
D
datasets

datasets

github.com/brightdataデータ・データベース272131 回インストール2 週間前に更新
リポジトリ

datasets について

datasets スキルは、スクレイピングの代わりに Bright Data の Dataset Marketplace で既収集データセットを利用できるか、エージェントが判断するためのものです。対象データを確認して、サンプル確認と購入のためにコントロールパネルへ案内します。購入操作は行いません。

主な機能

  1. 01マーケットプレイスの対象確認
  2. 02購入とスクレイピングの区別
  3. 03購入検討画面への案内
  4. 04既存のデータセット ID への対応

活用シーン

  1. 01市場調査向けの既収集データを探す
  2. 02単発または定期利用に適したデータセットを確認
  3. 03実行できないマーケットプレイスのデータセット ID に対応

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/brightdata/skills --skill datasets

インストール後、Claude Code で/datasetsを入力して読み込まれたか確認します。

同梱ファイルreferences/marketplace.md

詳細

データセット

スクレイピングではなく、データセットを購入してください。Dataset Marketplace では、すでに収集されたデータを販売しています。利用にあたり、スクレイピングは一切必要ありません。ユーザーはデータセットを購入してダウンロードします。

これが適切な場合

次の3つの条件すべてを満たす必要があります。いずれかを満たさない場合、それは購入ではなくスクレイピング作業です。

条件条件を満たす例条件を満たさない例
特定の入力ではなく、汎用的で大規模なコーパスである「従業員数が50人を超える米国の全企業」「instagram.com/nasa のフォロワー数」
必要なのが一度だけ、またはデータセットのサブスクリプションで対応できるスケジュールである一度限りのトレーニングセット毎晩更新される価格フィード
数か月前のデータでも問題ない市場調査リアルタイムの在庫

条件のどれか1つでも満たさない場合は、scrape スキルを使います。一度だけ必要な場合、またはデータセットのサブスクリプションで対応できるスケジュールで必要な場合は、データセットを購入してください。もっと新しいデータが必要な場合、または特定の入力に対するデータが必要な場合は、スクレイピングしてください。

エージェントの役割:確認して案内する

エージェントはマーケットプレイスが依頼内容に対応しているか確認し、その後、ユーザーに案内します。購入はしません。購入には金銭が関わるため、サンプルとフィールドの対応範囲を確認したうえで、本人が自分のアカウントでコントロールパネルの https://brightdata.com/cp/datasets/browse から行います。エージェントがその手続きに関わる必要はありません。

確認に必要な呼び出しは最大4回です。無料の読み取りが3回、プローブが1回です。販売中のダウンロードや、必須入力があるスクレイパーへのプローブでは、ダウンロード処理は開始されません。ただし、必須入力がないスクレイパーでは、課金対象のジョブが開始される可能性があります。正確な呼び出し方法と、プローブしても安全な ID については references/marketplace.md を参照してください。該当するものが見つかったら、次のように1行で伝えます。

Bright Data では、これに近いデータセットをすでに販売しています。レコード単位の価格設定のため、スクレイピングよりもダウンロードを購入するほうが安く、早い場合があります。brightdata.com/cp/datasets/browse でご確認ください。ご希望であれば、代わりにスクレイピングします。

その後は停止して、返答を待ちます。念のためにバックグラウンドでスクレイパーを作成してはいけません。また、ユーザーに支払い情報を尋ねてはいけません。

エージェントは購入価格を見積もれません。GET /datasets/list では、各行のレコード数(size)は確認できますが、価格はわかりません。レコードあたりの料金と合計金額はコントロールパネルの注文ページに表示されるため、ユーザー本人がそこで判断します。

ユーザーがすでに持っている dataset_id

ユーザーが dataset_id を持っていて、それがマーケットプレイスの行に該当することが判明し、その実行を依頼する場合があります。まず、前提を正します。その ID では実行できません。販売中のダウンロードだからです。そのうえで、実際に選べる2つの方法を案内します。コントロールパネルで購入するか、scrape スキルを使い、実際のスクレイパーで対象リストを定義してスクレイピングします。

references/marketplace.md には、確認済みのマーケットプレイス情報、該当するかどうかの確認方法、未検証のままの情報が記載されています。

コメント