ai-training-data-class

AI/ML 训练数据集的敏感数据分类

概述

使用个人数据训练 AI 和机器学习模型会带来独特的分类挑战。训练数据可能包含直接个人数据、推断得出的特殊类别数据、受保护特征的代理变量，以及其同意范围不涵盖模型训练的数据。《欧盟 AI 法案》（Regulation (EU) 2024/1689）对高风险 AI 系统提出了额外要求，包括第 10 条规定的数据治理义务，这些义务与 GDPR 分类要求相交。本技能提供了一个框架，用于对训练数据进行分类、检测与偏见相关的特征、记录数据来源并核实同意范围。

GDPR 与 AI 法案的交集

GDPR 对训练数据的要求

GDPR 条款	对 AI 训练的适用情况
第 5(1)(b) 条 — 目的限制	训练模型属于独立的处理目的；如果数据是为客户服务而收集的，将其用于 ML 训练需要进行目的兼容性评估，或确立新的合法依据
第 5(1)(c) 条 — 数据最小化	训练数据集不得包含超出模型目标所需范围的个人数据
第 6 条 — 合法依据	模型训练需要独立的合法依据；最常见的是合法利益（第 6(1)(f) 条），但需要记录 LIA
第 9 条 — 特殊类别	如果训练数据包含特殊类别数据，或能够推断出此类数据，则需要满足第 9(2) 条的条件
第 22 条 — 自动化决策	如果训练出的模型作出的决定会产生法律或重大影响，则需采取额外的保障措施
第 25 条 — 通过设计实现数据保护	对训练数据进行分类是一项通过设计实施的措施，可用于提供适当的技术保护
第 35 条 — DPIA	高风险 AI 处理（用户画像、自动化决策）需要进行 DPIA

欧盟 AI 法案第 10 条 — 高风险 AI 的数据治理

AI 法案第 10 条要求，高风险 AI 系统的训练、验证和测试数据集必须：

1. 遵循适当的数据治理和管理实践（第 10(2) 条）
2. 具有相关性和足够的代表性，并尽可能做到无错误且完整（第 10(3) 条）
3. 考虑 AI 系统预期使用环境的具体地理、背景、行为或功能设置（第 10(4) 条）
4. 如果为检测和纠正偏见而处理特殊类别数据是严格必要的，则第 10(5) 条允许此类处理，但须采取适当的保障措施，包括假名化并遵守 GDPR

训练数据分类框架

分类层级 1：个人数据内容

分类	描述	示例
TRAINING_PII_DIRECT	数据集包含直接标识符	NLP 训练语料库中的客户姓名、电子邮件地址
TRAINING_PII_INDIRECT	数据集包含间接标识符	客户 ID、可用于识别特定个人的交易模式
TRAINING_SPECIAL_CAT	数据集包含第 9 条所指的特殊类别数据	用于医疗诊断模型的健康记录
TRAINING_CRIMINAL	数据集包含第 10 条所指的犯罪数据	根据刑事调查得出的欺诈交易标签
TRAINING_PSEUDONYMISED	个人数据已替换为令牌，但仍存在重新识别密钥	经过假名化的客户数据，映射信息由数据团队持有
TRAINING_ANONYMISED	根据 WP29 标准验证为匿名化的数据	k ≥ 10 的汇总人口统计数据
TRAINING_SYNTHETIC	人工生成且不含真实个人数据的数据	GAN 生成的合成交易数据
TRAINING_NON_PERSONAL	不含个人数据	市场价格数据、天气数据、产品规格

分类第 2 级：偏见与代理变量检测

即使数据集不直接包含第 9 条所述的特殊类别数据，也可能包含与受保护特征相关的代理变量：

代理变量	相关的受保护特征	检测方法
邮政编码/ZIP code	种族/族裔出身、社会经济地位	地理人口统计分析
名字	性别、族裔出身、年龄群体	查询姓名人口统计数据库
语言偏好	族裔出身、国籍	统计相关性分析
购物模式	宗教信仰（清真/犹太洁食购买）、健康状况	购买类别分析
网页浏览历史	政治观点、性取向、健康状况	对浏览类别进行主题建模
就业间断模式	性别（产假）、残障、健康状况	统计模式分析
信用评分	种族/族裔出身（美国/英国研究中记录的相关性）	差别影响分析

分类第 3 级：同意与目的范围

分类	描述	合规要求
CONSENT_COVERS_TRAINING	原始同意明确涵盖 AI/ML 训练	记录同意文本并核实其具体性
CONSENT_DOES_NOT_COVER	原始同意未预见到 ML 训练	需要重新取得同意，或采用其他合法依据
LEGITIMATE_INTEREST	ML 训练依据合法利益（第 6(1)(f) 条）	必须提供记录在案的 LIA
CONTRACT_PERFORMANCE	ML 训练对于履行合同而言必不可少	范围必须狭窄，且确实有必要
PUBLIC_DATA	数据来自公开来源	仍需具备合法依据；数据公开并非合法依据
RESEARCH_EXEMPTION	依据第 89(1) 条研究豁免进行处理	必须采取适当保障措施，包括假名化

数据卡文档

数据卡是一份随每个训练数据集提供的结构化文档，用于说明其内容、来源和局限性。该文档以“Datasheets for Datasets”框架（Gebru 等人，2021 年）为基础，并针对 GDPR 合规要求进行了调整。

Vanguard Financial Services 所需的数据卡字段

部分	字段
1. 数据集身份信息	名称、版本、创建日期、所有者、用途
2. 个人数据分类	第 1 级分类、包含的数据元素、分类标签
3. 数据主体	数据主体类别、数量、地理范围
4. 来源信息	原始收集目的、源系统、从收集到训练集的处理链
5. 同意/合法依据	第 3 级分类、同意文本引用或 LIA 引用、目的兼容性评估
6. 特殊类别评估	是否包含第 9 条数据（直接或推断所得），如适用则注明第 9(2) 条条件
7. 偏见评估	已识别的代理变量、差别影响分析结果、人口统计代表性统计数据
8. 去标识化	采用的技术（假名化、匿名化、合成数据生成）、评估引用
9. 保留期限	训练数据保留期限、模型保留期限、删除计划
10. 访问控制	谁可以访问训练数据、谁可以访问模型、审计日志记录
11. DPIA 引用	如适用，注明 DPIA 文档引用
12. 局限性	已知偏见、地理局限性、时间局限性、数据质量问题

偏见检测方法

第 1 步：人口统计代表性分析

针对每个训练数据集，计算代表性统计数据：

• 各人口群体分别占记录总数的百分比是多少（在已知范围内）？
• 代表性是否符合目标人群？
• 是否有任何群体的代表性比其在人群中的占比低 20% 以上？

第 2 步：代理变量识别

扫描所有特征，查找与 Art. 9 受保护特征的代理相关性：

• 计算每个特征与已知受保护特征之间的相关系数（如有）
• 将 |correlation| > 0.3 的特征标记为潜在代理变量
• 在数据卡中记录所有代理变量

第 3 步：差别影响分析

对于分类或评分模型：

• 按人口群体计算模型性能指标
• 应用 80%（五分之四）规则：如果任何受保护群体的选择率低于最受优待群体选择率的 80%，则可能存在差别影响
• 在数据卡中记录差别影响分析结果

第 4 步：AI Act Art. 10(5) 评估

如果偏差检测需要处理特殊类别数据：

• 说明为何处理对于检测和纠正偏差而言是“严格必要的”
• 对用于偏差测试的特殊类别数据进行假名化处理
• 确保满足 GDPR Art. 9(2) 的条件（通常为 Art. 9(2)(g) 的重大公共利益或 Art. 9(2)(j) 的研究）
• 在受控环境中处理，并将访问权限限制于偏差评估团队
• 偏差评估完成后删除特殊类别数据

执法与监管先例

• 意大利 Garante — Clearview AI（2022）：因在没有合法依据、同意或透明度的情况下，处理从公开来源抓取的生物识别数据以训练 AI 人脸识别模型，被罚款 2,000 万欧元。该案例确立了公开可用并不构成 AI 训练的合法依据。
• 意大利 Garante — ChatGPT/OpenAI（2023）：临时禁令及后续执法措施要求 OpenAI 为训练数据收集确立合法依据、实施年龄验证并提供退出机制。该案例强调，AI 训练涉及个人数据时，必须在整个数据生命周期内遵守 GDPR。
• CNIL — AI 训练数据执法通知（2024）：CNIL 发布了有关 AI 训练数据的指导说明，要求进行目的限制评估和比例性分析，并在训练数据包含特殊类别数据时采取具体措施。
• ICO — 生成式 AI 与数据保护咨询（2024）：ICO 认为，合法利益最有可能成为 AI 训练的合法依据，但必须形成书面 LIA，并考虑数据主体的合理预期。

集成点

• personal-data-test：训练数据必须首先分类为个人数据或非个人数据
• special-category-data：训练集中的 Art. 9 数据需要更严格的保护
• pseudo-vs-anon-data：必须验证训练数据的去标识化处理
• classification-policy：依据企业分类层级对训练数据进行分类
• data-lineage-tracking：必须追踪从最初收集到模型部署的完整溯源信息