mcpField
W
wandb-eval-tables

wandb-eval-tables

github.com/wandb数据与数据库71287 次安装2 周前更新
代码仓库

关于 wandb-eval-tables

用于将现有 W&B Table 数据预览为 EvalTable，且不改动源运行或表。该技能指导数据选择、列分类、结果验证，并处理转换限制与安全删除。

主要功能

  1. 01只读扫描源数据
  2. 02每次预览一个表键
  3. 03列角色分类指引
  4. 04验证新建运行
  5. 05转换限制与安全删除

适用场景

  1. 01评估前检查 W&B 表
  2. 02从指定表创建 EvalTable 预览
  3. 03确认预览是否正确记录

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/wandb/skills --skill wandb-eval-tables

安装后在 Claude Code 中输入/wandb-eval-tables确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

references/
EVAL_TABLES.md
scripts/
table_artifact_to_eval_table_impl.py
table_artifact_to_eval_table.py

详细介绍

W&B EvalTable 预览

使用随附的辅助工具，将现有的 wandb.Table 数据预览为 wandb.EvalTable 数据。预览会创建新的运行和键；绝不会覆盖源运行或表。

转换前请阅读 references/EVAL_TABLES.md。该文档是 EvalTable 语义、源选择、限制、列角色、验证和移除操作的权威来源。

环境

请在提供 W&B SDK（包含 wandb.EvalTable）和 Weave 的环境中运行辅助工具。使用 uv 提供缺失的依赖：

uv run --with 'wandb[workspaces]>=0.28.1' --with weave \
  python skills/wandb-eval-tables/scripts/table_artifact_to_eval_table.py --help

凭据和默认范围可以通过 WANDB_API_KEY、WANDB_ENTITY 和 WANDB_PROJECT 提供；否则，请传入明确的 entity/project 参数。下载内容会存入操作系统的临时目录，而不是固定的当前工作目录。

必需的工作流程

  1. 选择与请求匹配的最窄来源：确切的制品、单次运行、单个 sweep，或一个项目/工作区。不要扩大用户明确指定的来源范围。
  2. 运行 scan。这是只读的预检，不代表转换已完成。
  3. 查看 eligible_summary_by_table_key、表形状、截断情况、警告和现有预览元数据。除非用户要求更大范围的批处理，否则只选择一个表键。
  4. 只有在确信时才对列进行分类。输入元组必须能唯一标识行；分数列必须为数值或布尔类型；自由文本标签和理由属于输出。对含义不明确的表不进行类型标注。
  5. 每次调用运行 preview 时，只指定一个 --table-key。除非用户要求使用其他可写项目，否则目标应保留在源项目中。
  6. 如果创建了运行，请对最后创建的运行和确切的已记录键运行 verify-preview。只有当返回 verified: true 时，才能报告成功。
  7. 报告已创建和已跳过的来源，以及每一处截断或未通过的检查。
T=skills/wandb-eval-tables/scripts/table_artifact_to_eval_table.py

uv run python "$T" scan \
  --source-workspace ENTITY/PROJECT --max-runs 4

uv run python "$T" preview \
  --source-workspace ENTITY/PROJECT \
  --target-project ENTITY/PROJECT \
  --max-runs 4 \
  --table-key predictions

uv run python "$T" verify-preview \
  --run ENTITY/PROJECT/PREVIEW_RUN_ID \
  --table-key predictions_preview

安全

  • scan 和 preview --dry-run 为只读操作。preview 会创建 W&B 运行、EvalTables 和 Weave 评估；只有在用户请求转换时才运行。
  • 辅助工具会将表限制为最多 10,000 行和 100 列；超过 1,000 行时会发出警告；同一个键对应的合格表制品超过 50 个时会拒绝处理。请明确说明每项限制；绝不要暗示被截断的预览是完整的。
  • 不要通过临时日志记录绕过辅助工具错误。请缩小范围或更正辅助工具参数，然后仅在更改安全时重试。
  • 移除操作会删除 Weave 评估和预览运行。先运行 delete-preview --dry-run，确认每个目标都是由辅助工具创建的，并在执行不可逆操作前获得确认。绝不要删除源运行。

评论

支持 Markdown