关于 data-pipeline-auditor
Data Pipeline Auditor 是用于评估模型实验中数据集与预处理风险的技能，指导检查数据泄漏、标签语义、采样及训练测试不匹配，并按风险排序，提出针对性诊断建议。
主要功能
- 01梳理数据集构建与拆分
- 02检查泄漏、重复项和污染
- 03审查标签与预处理
- 04评估增强和采样的影响
- 05按可能性与影响排序风险
- 06提出针对性诊断与修复建议
适用场景
- 01审查模型的数据集与拆分设计
- 02调查可疑的评估结果提升
- 03检查预处理是否改变标签含义
- 04识别可能的训练测试不匹配
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/data-pipeline-auditor确认已加载。
详细介绍
数据流水线审计器
假设数据流水线可能导致结果出错。
数据收集
询问或推断：
- 数据集来源和构建流程；
- 数据集划分逻辑及任何筛选操作；
- 预处理／分词／归一化；
- 数据增强和采样；
- 标签来源及其模糊性；
- 训练／验证／测试指标和异常模式。
工作流
- 检查数据集的创建方式和划分。
- 检查数据泄漏、重复项和污染。
- 验证标签语义和预处理。
- 检查数据增强和采样的影响。
- 找出可能的训练集与测试集不匹配。
- 按可能性和影响对疑似错误进行排序。
- 建议有针对性的修复或诊断方法。
规则
- 对可疑的性能提升，应额外检查数据泄漏。
- 数据错误也应作为发现报告。
- 检查数据路径后，才能认定模型不可靠。
- 区分已确认的数据泄漏和可能存在的数据泄漏。
输出
返回：
- 流水线图；
- 已确认的风险；
- 需要检查的可能风险；
- 价值最高的诊断方法；
- 会改变论文主张或评估结果的修复措施。
评论
支持 Markdown