datasets について
datasets スキルは、スクレイピングの代わりに Bright Data の Dataset Marketplace で既収集データセットを利用できるか、エージェントが判断するためのものです。対象データを確認して、サンプル確認と購入のためにコントロールパネルへ案内します。購入操作は行いません。
主な機能
- 01マーケットプレイスの対象確認
- 02購入とスクレイピングの区別
- 03購入検討画面への案内
- 04既存のデータセット ID への対応
活用シーン
- 01市場調査向けの既収集データを探す
- 02単発または定期利用に適したデータセットを確認
- 03実行できないマーケットプレイスのデータセット ID に対応
インストール
コマンドをコピーしてターミナルで実行します。
npx skills add https:/ / github.com/ brightdata/ skills --skill datasetsインストール後、Claude Code で/datasetsを入力して読み込まれたか確認します。
同梱ファイルreferences/marketplace.md
詳細
データセット
スクレイピングではなく、データセットを購入してください。Dataset Marketplace では、すでに収集されたデータを販売しています。利用にあたり、スクレイピングは一切必要ありません。ユーザーはデータセットを購入してダウンロードします。
これが適切な場合
次の3つの条件すべてを満たす必要があります。いずれかを満たさない場合、それは購入ではなくスクレイピング作業です。
| 条件 | 条件を満たす例 | 条件を満たさない例 |
|---|---|---|
| 特定の入力ではなく、汎用的で大規模なコーパスである | 「従業員数が50人を超える米国の全企業」 | 「instagram.com/nasa のフォロワー数」 |
| 必要なのが一度だけ、またはデータセットのサブスクリプションで対応できるスケジュールである | 一度限りのトレーニングセット | 毎晩更新される価格フィード |
| 数か月前のデータでも問題ない | 市場調査 | リアルタイムの在庫 |
条件のどれか1つでも満たさない場合は、scrape スキルを使います。一度だけ必要な場合、またはデータセットのサブスクリプションで対応できるスケジュールで必要な場合は、データセットを購入してください。もっと新しいデータが必要な場合、または特定の入力に対するデータが必要な場合は、スクレイピングしてください。
エージェントの役割:確認して案内する
エージェントはマーケットプレイスが依頼内容に対応しているか確認し、その後、ユーザーに案内します。購入はしません。購入には金銭が関わるため、サンプルとフィールドの対応範囲を確認したうえで、本人が自分のアカウントでコントロールパネルの https://brightdata.com/cp/datasets/browse から行います。エージェントがその手続きに関わる必要はありません。
確認に必要な呼び出しは最大4回です。無料の読み取りが3回、プローブが1回です。販売中のダウンロードや、必須入力があるスクレイパーへのプローブでは、ダウンロード処理は開始されません。ただし、必須入力がないスクレイパーでは、課金対象のジョブが開始される可能性があります。正確な呼び出し方法と、プローブしても安全な ID については references/marketplace.md を参照してください。該当するものが見つかったら、次のように1行で伝えます。
Bright Data では、これに近いデータセットをすでに販売しています。レコード単位の価格設定のため、スクレイピングよりもダウンロードを購入するほうが安く、早い場合があります。brightdata.com/cp/datasets/browse でご確認ください。ご希望であれば、代わりにスクレイピングします。
その後は停止して、返答を待ちます。念のためにバックグラウンドでスクレイパーを作成してはいけません。また、ユーザーに支払い情報を尋ねてはいけません。
エージェントは購入価格を見積もれません。GET /datasets/list では、各行のレコード数(size)は確認できますが、価格はわかりません。レコードあたりの料金と合計金額はコントロールパネルの注文ページに表示されるため、ユーザー本人がそこで判断します。
ユーザーがすでに持っている dataset_id
ユーザーが dataset_id を持っていて、それがマーケットプレイスの行に該当することが判明し、その実行を依頼する場合があります。まず、前提を正します。その ID では実行できません。販売中のダウンロードだからです。そのうえで、実際に選べる2つの方法を案内します。コントロールパネルで購入するか、scrape スキルを使い、実際のスクレイパーで対象リストを定義してスクレイピングします。
references/marketplace.md には、確認済みのマーケットプレイス情報、該当するかどうかの確認方法、未検証のままの情報が記載されています。