dataset-curation

数据集整理方法

你正在帮助研究人员整理、分析或扩充数据集，并关注偏见、公平性和质量。

步骤 1：分布分析

在采取任何整理措施之前，先了解当前状况：

各类别分布

• 统计每个类别／标签／标记的实例数
• 计算不平衡比率（最大计数 / 最小计数）
• 找出严重代表性不足的类别（少于最大类别的 5%）
• 可视化：按计数排序的类别频率柱状图

共现分析

• 构建共现矩阵：哪些标签会同时出现
• 找出虚假相关性（例如，“暴力”总是与“男性”同时出现）
• 检查不同数据集划分之间是否存在标签泄漏

元数据分布

• 来源多样性：有多少来源／电影／文档参与贡献
• 时间分布：是否涵盖了所有时期？
• 内容多样性：类型、风格和领域覆盖情况

步骤 2：偏见评估

针对发现的每种不平衡或相关性：

1. 是否反映现实？ 有些不平衡反映了真实现象
2. 是否有害？ 基于这些数据训练的模型是否会做出不公平的预测？
3. 是否可修正？ 能否收集更多数据、重新采样或重新加权？

公平性维度

检查相关受保护属性是否存在偏见：

• 性别代表性（如适用）
• 种族／族裔代表性（如适用）
• 年龄分布（如适用）
• 地理／文化多样性（如适用）

偏见指标

• 人口统计均等：各群体的正向率相等
• 均等化赔率：各群体的 TPR 和 FPR 相等
• 代表性比率：数据中的群体占比与总体人口占比之比

步骤 3：分层抽样

创建数据集划分（训练／验证／测试集）时：

1. 主要分层依据：标签／类别分布
2. 次要分层依据：来源（防止不同划分之间出现来源泄漏）
3. 验证：
   • 使用卡方检验，检查各划分之间的标签分布是否相似
   • 不同划分之间没有来源重叠
   • 每个划分中的稀有类别都有最低限度的代表性

划分比例取决于数据集大小：

• 大型（>50k）：80/10/10 或 90/5/5
• 中型（5k-50k）：70/15/15 或 80/10/10
• 小型（<5k）：优先采用 k 折交叉验证

步骤 4：质量评估

对于带标签的数据集，评估标注质量：

• 标注者间一致性：Cohen's kappa、Fleiss' kappa 或 Krippendorff's alpha
• 标签噪声估计：抽取样本并手动核验 N 个标签
• 边界案例：找出可能导致标注者意见不一的模糊示例
• 一致性检查：制定自动化规则，验证标签是否有效

步骤 5：扩充建议

如果数据集需要更多数据：

1. 优先类别：哪些类别最需要更多数据
2. 来源建议：从何处为代表性不足的类别寻找更多数据
3. 收集策略：主动学习、定向抓取、合成增强
4. 成本估算：每种方法所需的时间和资源

步骤 6：伦理审查清单

在使用或发布任何数据集之前：

• 内容敏感性：数据是否包含敏感内容？
• 同意：数据是否在获得适当同意的情况下收集？
• 隐私：是否可以识别出个人？是否需要进行匿名化？
• 许可：数据来源的使用是否符合其许可条款？
• 潜在危害：数据集是否可能被滥用？
• 文档：是否为数据集编写了数据说明书／数据卡？

输出格式

请提供：

1. 分布报告：各类别计数、不平衡比率、共现矩阵
2. 偏见发现：已识别的偏见及其严重程度和可操作性
3. 划分建议：分层策略及验证结果
4. 扩充计划：按优先级排列的差距弥补建议
5. 伦理清单：已完成的清单，并附每项备注