hugging-face-dataset-viewer

Hugging Face Dataset Viewer

使用するタイミング

Hugging Face Dataset Viewer が必要なときにこのスキルを使用します。

このスキルは、データセットの探索と抽出のために読み取り専用の Dataset Viewer API 呼び出しを実行するために使用します。

基本的なワークフロー

1. 必要に応じて /is-valid でデータセットの利用可否を検証します。
2. /splits で config + split を解決します。
3. /first-rows でプレビューします。
4. /rows で offset と length（最大 100）を使ってコンテンツをページネーションします。
5. テキスト一致には /search、行の述語には /filter を使用します。
6. /parquet で parquet リンクを、/size と /statistics で合計とメタデータを取得します。

デフォルト

• ベース URL: https://datasets-server.huggingface.co
• デフォルトの API メソッド: GET
• クエリパラメータは URL エンコードする必要があります。
• offset は 0 始まりです。
• 行のようなエンドポイントでは、length の最大値は通常 100 です。
• ゲート付き/プライベートデータセットには Authorization: Bearer <HF_TOKEN> が必要です。

Dataset Viewer

• データセットを検証: /is-valid?dataset=<namespace/repo>
• サブセットと分割を一覧表示: /splits?dataset=<namespace/repo>
• 先頭行をプレビュー: /first-rows?dataset=<namespace/repo>&config=<config>&split=<split>
• 行をページネーション: /rows?dataset=<namespace/repo>&config=<config>&split=<split>&offset=<int>&length=<int>
• テキストを検索: /search?dataset=<namespace/repo>&config=<config>&split=<split>&query=<text>&offset=<int>&length=<int>
• 述語でフィルタリング: /filter?dataset=<namespace/repo>&config=<config>&split=<split>&where=<predicate>&orderby=<sort>&offset=<int>&length=<int>
• parquet シャードを一覧表示: /parquet?dataset=<namespace/repo>
• サイズの合計を取得: /size?dataset=<namespace/repo>
• 列の統計を取得: /statistics?dataset=<namespace/repo>&config=<config>&split=<split>
• Croissant メタデータを取得（利用可能な場合）: /croissant?dataset=<namespace/repo>

ページネーションのパターン:

curl "https://datasets-server.huggingface.co/rows?dataset=stanfordnlp/imdb&config=plain_text&split=train&offset=0&length=100"
curl "https://datasets-server.huggingface.co/rows?dataset=stanfordnlp/imdb&config=plain_text&split=train&offset=100&length=100"

ページネーションが部分的である場合は、num_rows_total、num_rows_per_page、partial などのレスポンスフィールドを使用して継続ロジックを駆動します。

検索/フィルタの注意点:

• /search は文字列列に一致します（全文検索スタイルの動作は API 内部のものです）。
• /filter は where に述語構文、orderby にオプションの並べ替えが必要です。
• フィルタリングと検索は読み取り専用かつ副作用のない状態に保ってください。

CLI ベースの parquet URL 検出や SQL については、hf datasets parquet と hf datasets sql を併用した hf-cli スキルを使用してください。

データセットの作成とアップロード

依存関係の制約に応じて、これらのフローのいずれかを使用してください。

ローカル依存関係ゼロ（Hub UI）:

• ブラウザでデータセットリポジトリを作成します: https://huggingface.co/new-dataset
• リポジトリの「Files and versions」ページで parquet ファイルをアップロードします。
• Dataset Viewer にシャードが表示されることを確認します:

curl -s "https://datasets-server.huggingface.co/parquet?dataset=<namespace>/<repo>"

低依存関係の CLI フロー（npx @huggingface/hub / hfjs）:

• 認証トークンを設定します:

export HF_TOKEN=<your_hf_token>

• parquet フォルダをデータセットリポジトリにアップロードします（リポジトリが存在しない場合は自動作成されます）:

npx -y @huggingface/hub upload datasets/<namespace>/<repo> ./local/parquet-folder data

• 作成時にプライベートリポジトリとしてアップロードします:

npx -y @huggingface/hub upload datasets/<namespace>/<repo> ./local/parquet-folder data --private

アップロード後、/parquet を呼び出して <config>/<split>/<shard> の値を検出し、@~parquet でクエリを実行します。

エージェントトレース

Hub は Claude Code、Codex、Pi Agent からの生のエージェントセッショントレースをサポートしています。それらを元の JSONL ファイルとして Hugging Face Datasets にアップロードすると、Hub はトレース形式を自動検出し、データセットに Traces タグを付け、セッション、ターン、ツール呼び出し、モデル応答を閲覧するためのトレースビューアを有効にします。一般的なローカルセッションディレクトリ:

• Claude Code: ~/.claude/projects
• Codex: ~/.codex/sessions
• Pi: ~/.pi/agent/sessions

トレースにはプロンプト、ファイルパス、ツール出力、シークレット、PII が含まれる可能性があるため、デフォルトではプライベートデータセットリポジトリを使用してください。元の .jsonl ファイルを保持し、すべてのセッションをデータセットのルートにアップロードするのではなく、プロジェクト/cwd ごとにネストしてください。

hf repos create <namespace>/<repo> --type dataset --private --exist-ok
hf upload <namespace>/<repo> ~/.codex/sessions codex/<project-or-cwd> --type dataset

制限事項

• このスキルは、タスクがその上流製品または API のスコープに明確に一致する場合にのみ使用してください。
• 変更を加える前に、コマンド、API の動作、料金、クォータ、認証情報、デプロイへの影響を、最新の公式ドキュメントで確認してください。
• 生成されたサンプルを、環境固有のテスト、セキュリティレビュー、または破壊的もしくは高コストな操作に対するユーザーの承認の代わりとして扱わないでください。