mcpField
H
hugging-face-dataset-viewer

hugging-face-dataset-viewer

github.com/sickn33数据与数据库48.7k41 次安装今天更新
代码仓库

关于 hugging-face-dataset-viewer

面向数据探索的只读 skill，通过 Hugging Face Dataset Viewer API 查询数据集内容与元数据。支持预览、分页、搜索、过滤及获取 Parquet 链接，适合需要检查数据集的 Agent。

主要功能

  1. 01检查数据集可用性与配置
  2. 02预览并分页读取数据行
  3. 03搜索文本并按条件过滤
  4. 04获取 Parquet 分片链接
  5. 05查询规模、统计与 Croissant 元数据

适用场景

  1. 01抽查数据集行内容
  2. 02按文本或条件筛选数据记录
  3. 03查看数据集规模与列统计
  4. 04查找 Parquet 分片以供后续处理

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/sickn33/agentic-awesome-skills --skill hugging-face-dataset-viewer

安装后在 Claude Code 中输入/hugging-face-dataset-viewer确认已加载。

详细介绍

Hugging Face Dataset Viewer

何时使用

当你需要 Hugging Face Dataset Viewer 时，使用此技能。

使用此技能可执行只读的 Dataset Viewer API 调用，用于数据集探索与提取。

核心工作流

  1. 可选：使用 /is-valid 验证数据集是否可用。
  2. 使用 /splits 解析 config + split。
  3. 使用 /first-rows 进行预览。
  4. 使用 /rows 配合 offset 和 length（最大 100）对内容分页。
  5. 使用 /search 进行文本匹配，使用 /filter 进行行谓词过滤。
  6. 通过 /parquet 获取 parquet 链接，通过 /size 和 /statistics 获取总数/元数据。

默认值

  • Base URL：https://datasets-server.huggingface.co
  • 默认 API 方法：GET
  • 查询参数应进行 URL 编码。
  • offset 从 0 开始。
  • 对于行类端点，length 通常最大为 100。
  • 受限/私有数据集需要 Authorization: Bearer <HF_TOKEN>。

Dataset Viewer

  • 验证数据集：/is-valid?dataset=<namespace/repo>
  • 列出子集和 split：/splits?dataset=<namespace/repo>
  • 预览前几行：/first-rows?dataset=<namespace/repo>&config=<config>&split=<split>
  • 对行分页：/rows?dataset=<namespace/repo>&config=<config>&split=<split>&offset=<int>&length=<int>
  • 搜索文本：/search?dataset=<namespace/repo>&config=<config>&split=<split>&query=<text>&offset=<int>&length=<int>
  • 使用谓词过滤：/filter?dataset=<namespace/repo>&config=<config>&split=<split>&where=<predicate>&orderby=<sort>&offset=<int>&length=<int>
  • 列出 parquet 分片：/parquet?dataset=<namespace/repo>
  • 获取大小总计：/size?dataset=<namespace/repo>
  • 获取列统计信息：/statistics?dataset=<namespace/repo>&config=<config>&split=<split>
  • 获取 Croissant 元数据（如可用）：/croissant?dataset=<namespace/repo>

分页模式：

curl "https://datasets-server.huggingface.co/rows?dataset=stanfordnlp/imdb&config=plain_text&split=train&offset=0&length=100"
curl "https://datasets-server.huggingface.co/rows?dataset=stanfordnlp/imdb&config=plain_text&split=train&offset=100&length=100"

当分页不完整时，使用响应字段如 num_rows_total、num_rows_per_page 和 partial 来驱动续页逻辑。

搜索/过滤注意事项：

  • /search 匹配字符串列（全文风格行为由 API 内部实现）。
  • /filter 需要在 where 中使用谓词语法，并可在 orderby 中指定可选排序。
  • 保持过滤和搜索为只读且无副作用。

若要基于 CLI 发现 parquet URL 或执行 SQL，请使用 hf-cli 技能，配合 hf datasets parquet 和 hf datasets sql。

创建和上传数据集

根据依赖限制选择以下流程之一。

零本地依赖（Hub UI）：

  • 在浏览器中创建数据集仓库：https://huggingface.co/new-dataset
  • 在仓库的 "Files and versions" 页面上传 parquet 文件。
  • 验证分片出现在 Dataset Viewer 中：
curl -s "https://datasets-server.huggingface.co/parquet?dataset=<namespace>/<repo>"

低依赖 CLI 流程（npx @huggingface/hub / hfjs）：

  • 设置认证令牌：
export HF_TOKEN=<your_hf_token>
  • 将 parquet 文件夹上传到数据集仓库（若不存在则自动创建仓库）：
npx -y @huggingface/hub upload datasets/<namespace>/<repo> ./local/parquet-folder data
  • 创建时上传为私有仓库：
npx -y @huggingface/hub upload datasets/<namespace>/<repo> ./local/parquet-folder data --private

上传后，调用 /parquet 以发现用于配合 @~parquet 查询的 <config>/<split>/<shard> 值。

Agent Traces

Hub 支持来自 Claude Code、Codex 和 Pi Agent 的原始 Agent 会话轨迹。将它们作为原始 JSONL 文件上传到 Hugging Face Datasets，Hub 即可自动检测轨迹格式，将数据集标记为 Traces，并启用轨迹查看器以浏览会话、轮次、工具调用和模型响应。常见的本地会话目录：

  • Claude Code：~/.claude/projects
  • Codex：~/.codex/sessions
  • Pi：~/.pi/agent/sessions

默认使用私有数据集仓库，因为轨迹可能包含提示词、文件路径、工具输出、密钥或 PII。保留原始 .jsonl 文件，并按项目/cwd 分层嵌套，而不是将会话全部上传到数据集根目录。

hf repos create <namespace>/<repo> --type dataset --private --exist-ok
hf upload <namespace>/<repo> ~/.codex/sessions codex/<project-or-cwd> --type dataset

限制

  • 仅当任务明确符合其上游产品或 API 范围时，才使用此技能。
  • 在做出更改之前，请根据最新的官方文档核实命令、API 行为、价格、配额、凭据和部署效果。
  • 不要将生成的示例视为环境特定测试、安全审查或用户对破坏性或高成本操作的批准的替代品。

评论

支持 Markdown