mcpField
D
datasets

datasets

github.com/brightdata数据与数据库272131 次安装2 周前更新
代码仓库

关于 datasets

datasets 技能帮助 Agent 判断 Bright Data 的 Dataset Marketplace 是否有合适的预采集数据集可供购买,以替代抓取。它核查市场覆盖情况,并引导用户到控制面板查看样例和购买;Agent 不负责下单。

主要功能

  1. 01检查市场数据覆盖情况
  2. 02区分购买与数据抓取
  3. 03引导用户查看并购买
  4. 04处理已有的数据集 ID

适用场景

  1. 01为市场研究寻找预采集数据集
  2. 02判断数据集是否适合一次性或定期需求
  3. 03处理无法触发的市场数据集 ID

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/brightdata/skills --skill datasets

安装后在 Claude Code 中输入/datasets确认已加载。

附带文件references/marketplace.md

详细介绍

数据集

购买下载数据集,而不是抓取。Dataset Marketplace 销售已经收集好的数据。使用它完全不涉及抓取。用户购买数据集并下载。

适用情况

以下三个条件必须全部满足。少一个都属于抓取任务,而不是购买。

条件符合条件的示例不符合条件的示例
需要的是大型通用数据集,而非特定输入“所有员工超过 50 人的美国公司”“instagram.com/nasa 的关注者数量”
只需要一次,或数据集订阅涵盖的定期需求一次性训练集每晚更新的价格数据
数据有几个月的延迟也没关系市场调研实时库存

任何一项不满足,答案就是 scrape skill。如果只需要一次,或数据集订阅涵盖定期需求,就购买数据集。如果需要更新鲜的数据,或针对特定输入,就进行抓取。

Agent 的工作:检查并转交

Agent 检查 Marketplace 是否能满足需求,然后转交处理。它不会购买。购买涉及资金,因此应由用户在自己的账户中,通过控制面板 https://brightdata.com/cp/datasets/browse 操作,并先查看样本和字段覆盖情况。Agent 没有理由参与这个流程。

核实最多需要四次调用:三次免费读取和一次探测。对于出售中的下载数据集,或要求提供输入的抓取工具,探测不会启动任何任务;但对于无需提供输入的抓取工具,探测可能会启动计费任务。具体调用方式以及哪些 ID 可以安全探测,请参阅 references/marketplace.md。确认符合条件后,用一句话说明:

Bright Data 已经在销售一个看起来符合需求的数据集,按记录收费,因此购买下载数据集可能比抓取更便宜、更快。请前往 brightdata.com/cp/datasets/browse 查看。如果你决定改为抓取,请告诉我。

然后停止并等待。不要为了以防万一而在后台构建抓取工具,也不要向用户索要付款信息。

Agent 无法为购买定价。GET /datasets/list 会返回记录数量(size),但不包含价格。每条记录的费用和总价会显示在控制面板的订单页面上,由用户自行决定。

用户已有的 dataset_id

用户可能持有一个 dataset_id,后来发现它是 Marketplace 中的一条数据集记录,并要求启动它。首要任务是纠正这个前提:它无法启动,因为它是待售的下载数据集。然后提供两种可行方案:在控制面板购买,或通过 scrape skill 使用真正的抓取工具,抓取一份明确的目标列表。

references/marketplace.md 记录了已确认的 Marketplace 信息、成员资格检查,以及尚未核实的内容。

评论

支持 Markdown