mcpField
W
wandb-eval-tables

wandb-eval-tables

github.com/wandbデータ・データベース71287 回インストール2 週間前に更新
リポジトリ

wandb-eval-tables について

既存の W&B Table データを、元の run やテーブルを変更せずに EvalTable としてプレビューするスキルです。対象の選択、列の分類、結果の検証に加え、変換制限と安全な削除を案内します。

主な機能

  1. 01読み取り専用のソーススキャン
  2. 02表キーごとのプレビュー
  3. 03列の役割分類ガイド
  4. 04作成した run の検証
  5. 05変換制限と安全な削除

活用シーン

  1. 01評価前の W&B テーブル確認
  2. 02選択したテーブルからの EvalTable プレビュー作成
  3. 03プレビューの記録状態の確認

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/wandb/skills --skill wandb-eval-tables

インストール後、Claude Code で/wandb-eval-tablesを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

references/
EVAL_TABLES.md
scripts/
table_artifact_to_eval_table_impl.py
table_artifact_to_eval_table.py

詳細

W&B EvalTable プレビュー

同梱のヘルパーを使って、既存の wandb.Table データを wandb.EvalTable データとしてプレビューします。プレビューでは新しい run とキーが作成されます。元の run やテーブルが上書きされることはありません。

変換する前に references/EVAL_TABLES.md を読んでください。EvalTable のセマンティクス、ソースの選択、制限、列の役割、検証、削除に関する正式な情報源です。

環境

wandb.EvalTable と Weave を含む W&B SDK が利用できる環境で、ヘルパーを実行してください。不足している依存関係を用意するには uv を使います。

uv run --with 'wandb[workspaces]>=0.28.1' --with weave \
  python skills/wandb-eval-tables/scripts/table_artifact_to_eval_table.py --help

認証情報とデフォルトのスコープは WANDB_API_KEY、WANDB_ENTITY、WANDB_PROJECT から取得できます。それ以外の場合は、entity/project 引数を明示的に指定してください。ダウンロードには固定の現在の作業ディレクトリではなく、オペレーティングシステムの一時ディレクトリが使用されます。

必須のワークフロー

  1. リクエストに合致する最も範囲の狭いソースを選びます。正確なアーティファクト、1 つの run、1 つの sweep、またはプロジェクト／ワークスペースのいずれかです。明示的に指定されたソースの範囲を広げないでください。
  2. scan を実行します。これは読み取り専用の事前確認であり、変換が行われた証明にはなりません。
  3. eligible_summary_by_table_key、テーブルの形状、切り詰め、警告、既存プレビューのメタデータを確認します。ユーザーがより広範なバッチを求めている場合を除き、テーブルキーを 1 つ選択してください。
  4. 確信がある場合に限り、列を分類します。入力タプルは行を一意に識別する必要があります。スコア列は数値またはブール値である必要があります。自由形式のテキストラベルと根拠は出力です。曖昧なテーブルは未分類のままにしてください。
  5. 呼び出しごとに --table-key を 1 つだけ指定して preview を実行します。ユーザーが別の書き込み可能なプロジェクトを指定した場合を除き、ターゲットはソースプロジェクト内にしてください。
  6. run が作成された場合は、最後に作成された run と正確なログ記録済みキーを対象に verify-preview を実行します。verified: true が返された場合に限り、成功を報告してください。
  7. 作成されたソースとスキップされたソース、およびすべての切り詰めやチェック失敗を報告します。
T=skills/wandb-eval-tables/scripts/table_artifact_to_eval_table.py

uv run python "$T" scan \
  --source-workspace ENTITY/PROJECT --max-runs 4

uv run python "$T" preview \
  --source-workspace ENTITY/PROJECT \
  --target-project ENTITY/PROJECT \
  --max-runs 4 \
  --table-key predictions

uv run python "$T" verify-preview \
  --run ENTITY/PROJECT/PREVIEW_RUN_ID \
  --table-key predictions_preview

安全性

  • scan と preview --dry-run は読み取り専用です。preview は W&B run、EvalTable、Weave 評価を作成するため、ユーザーが変換を依頼した場合に限り実行してください。
  • ヘルパーはテーブルを 10,000 行、100 列に制限し、1,000 行を超えると警告し、1 つのキーに対して対象となるテーブルアーティファクトが 50 個を超える場合は処理を拒否します。すべての制限を明示してください。切り詰められたプレビューを完全なものとして示してはいけません。
  • 場当たり的なログ記録でヘルパーの失敗を回避してはいけません。ヘルパーの引数を絞るか修正し、安全な場合に限り再試行してください。
  • 削除すると、Weave 評価とプレビュー run の両方が削除されます。まず delete-preview --dry-run を実行し、対象がすべてヘルパーによって作成されたものだと確認してから、取り消し不能な実行の前に承認を得てください。ソース run は決して削除しないでください。

コメント

Markdown 対応