ai-privacy-assessment

开展 AI 系统隐私评估

概述

处理个人数据的 AI 系统需要进行综合隐私与合规性评估，同时满足 GDPR 义务和《欧盟 AI 法案》（法规 2024/1689）的要求。本技能将 GDPR 第 35 条 DPIA 框架与 AI 特定风险评估相结合，涵盖训练数据处理的合法性、第 22 条自动化决策的影响、算法公平性，以及 NIST AI 风险管理框架的 MAP 功能。评估方法参考了 EDPB-EDPS 关于《AI 法案》提案的联合意见 5/2021，以及随后发布的 EDPB《AI 与数据保护指南》06/2025。

法律框架

适用于 AI 的 GDPR 条款

条款	对 AI 系统的适用情况
第 5(1)(a) 条 — 合法性、公平性、透明度	AI 处理必须有合法依据；AI 决策的逻辑必须能够向数据主体解释
第 5(1)(b) 条 — 目的限制	为某一目的收集的训练数据，未经进一步合法依据，不得用于训练服务于不兼容目的的 AI 模型
第 5(1)(c) 条 — 数据最小化	AI 模型不应要求超出必要范围的个人数据；应考虑使用合成数据和匿名化
第 5(1)(d) 条 — 准确性	影响个人的 AI 输出必须准确；必须监控模型漂移
第 6(1) 条 — 合法依据	AI 处理的每个阶段（数据收集、模型训练、推理、输出使用）都需要合法依据
第 9 条 — 特殊类别	使用健康、生物识别、遗传、种族、政治、宗教、性取向或工会数据进行训练，需要符合第 9(2) 条规定的豁免条件
第 13-14 条 — 透明度	隐私声明必须披露自动化决策的存在、有关所涉逻辑的有意义信息，以及其重要性和预期后果
第 22 条 — 自动化决策	数据主体有权不受仅基于自动化处理、且产生法律效力或对其产生类似重大影响的决定约束，但第 22(2) 条规定的例外情况除外
第 25 条 — 设计阶段的数据保护	AI 系统必须从设计阶段起嵌入隐私保护措施：隐私保护型 ML 技术、差分隐私、联邦学习
第 35 条 — DPIA	符合 EDPB WP248rev.01 标准（评估/评分、自动化决策、创新技术）的 AI 系统需要进行 DPIA

《欧盟 AI 法案》（法规 2024/1689）风险分类

风险类别	描述	《AI 法案》要求	与 GDPR 的交集
不可接受风险（第 5 条）	明令禁止的 AI 做法：公共机关进行社会评分、在公共场所实时远程生物识别（有例外情况）、在工作场所/教育场所进行情绪识别、无目标抓取图像以建立人脸识别数据库	禁止部署	第 9 条特殊类别、第 35 条 DPIA
高风险（附件 III）	用于所列领域的 AI 系统：生物识别、关键基础设施、教育、就业、基本服务、执法、移民、司法管理	合规性评估、风险管理体系、数据治理、透明度、人工监督、准确性/稳健性/网络安全	第 22 条、第 35 条 DPIA、第 25 条 DPbD
有限风险（第 50 条）	负有特定透明度义务的 AI 系统：聊天机器人、情绪识别、深度伪造	透明度义务（告知用户其正在与 AI 交互）	第 13-14 条透明度
最低风险	其他所有 AI 系统	无特定的《AI 法案》义务；自愿遵守行为准则	标准 GDPR 合规要求

EDPB-EDPS 联合意见 5/2021

《人工智能法案》提案联合意见中的主要建议：

1. 禁止在公共场所进行远程生物识别 — 支持该禁令，且不设例外
2. 人工智能专属 DPIA — EDPB 建议所有高风险人工智能系统都必须进行 DPIA，而不仅限于触发 Art. 35 要求的情况
3. 解释权 — Art. 22(3) 中获得人工干预并对决定提出异议的权利，应适用于所有由人工智能辅助作出的决定，而不仅限于完全自动化的决定
4. 训练数据治理 — 控制者必须确保整个模型生命周期中用于人工智能训练的个人数据处理合法，包括后续删除训练数据的情况
5. 人工智能训练的目的限制 — 将个人数据另作人工智能模型训练用途，需要根据 Art. 6(4) 进行兼容性评估，或另有合法依据

评估方法

阶段 1：人工智能系统分类（第 1 周）

1.1《人工智能法案》风险分类

根据《人工智能法案》确定人工智能系统的风险类别：

1. 检查 Art. 5 的禁止行为清单——如果系统属于禁止行为，则不得部署。
2. 检查附件 III 中的高风险类别：
   • 自然人的生物识别与分类
   • 关键基础设施的管理与运营
   • 教育与职业培训（招生、评估、监考）
   • 就业、劳动者管理及获得自雇机会（招聘、任务分配、绩效评估、解雇）
   • 获得并享用基本私人及公共服务（信用评分、保险定价、紧急服务调度）
   • 执法（犯罪风险评估、测谎、证据评估）
   • 移民、庇护及边境管控
   • 司法管理与民主进程
3. 检查 Art. 50 对有限风险人工智能的透明度义务。
4. 如果不属于高风险或有限风险，则归类为最低风险。

1.2 GDPR 处理评估

1. 确定人工智能生命周期各阶段所处理的所有个人数据：数据收集、数据准备、模型训练、模型验证、推理／部署、输出使用。
2. 确定各阶段依据 Art. 6(1) 处理数据的合法依据。
3. 如果涉及特殊类别数据，确定适用的 Art. 9(2) 条件。
4. 评估 Art. 22 是否适用（仅通过自动化方式作出且具有法律或重大影响的决定）。

阶段 2：训练数据处理合法性（第 2 周）

2.1 数据收集的合法性

评估问题	要求
收集训练数据是否具有 Art. 6(1) 规定的合法依据？	必须为每个数据来源确定合法依据
将数据用于人工智能训练是否与原始收集目的兼容？	进行 Art. 6(4) 兼容性评估，或分析 Art. 5(1)(b) 规定的进一步处理
是否专门针对人工智能训练取得了同意？	如果依据 Art. 6(1)(a)，则必须针对人工智能训练目的取得具体、知情且自愿给予的同意
如果使用合法利益，是否已进行利益衡量测试？	Art. 6(1)(f) 要求记录 LIA，包括人工智能特定影响
训练数据是否包含特殊类别数据？	必须满足 Art. 9(2) 的豁免条件；采取保障措施时，可能适用 Art. 9(2)(j) 科学研究条款

2.2 数据质量与偏见评估

评估领域	要求
代表性	训练数据必须能够代表 AI 系统的适用人群。必须识别并解决人口群体代表性不足的问题。
标签准确性	如果采用监督学习，标签必须准确且不含历史偏见。必须对人工标注人员进行反歧视原则培训。
时效性	训练数据必须反映当前状况。过时的训练数据可能产生歧视性输出。
代理变量	识别可能作为受保护特征代理的特征（邮政编码作为族裔的代理，姓名作为性别的代理）。
数据来源	记录所有训练数据的来源、收集方法和处理历史。

2.3 训练数据保留

• Art. 5(1)(e) 的存储期限限制适用于训练数据。
• 训练完成后，评估是否必须保留原始训练数据，或是否可以将其删除。
• 如果删除训练数据，应记录如何在已训练模型中嵌入的数据方面保障数据主体权利（访问、删除）。
• 考虑已训练模型本身是否构成个人数据（例如，能否通过模型反演攻击提取个体数据点）。

阶段 3：Art. 22 自动化决策评估（第 3 周）

3.1 Art. 22(1) 适用性测试

Does the AI system make decisions about individuals?
├─ NO → Art. 22 does not apply.
└─ YES → Continue.
    │
    Are decisions based solely on automated processing?
    ├─ NO → Art. 22(1) does not apply, but Art. 13-14 transparency still applies.
    │   (Note: "meaningful human involvement" must be genuine, not rubber-stamping.)
    └─ YES → Continue.
        │
        Do decisions produce legal effects or similarly significantly affect the individual?
        ├─ NO → Art. 22(1) does not apply.
        └─ YES → Art. 22(1) applies. The individual has the right not to be subject
            to the decision unless an Art. 22(2) exception applies.

3.2 Art. 22(2) 例外情形

例外情形	要求
Art. 22(2)(a) — 合同所必需	决策必须是与数据主体订立或履行合同所必需的
Art. 22(2)(b) — 法律授权	欧盟或成员国法律必须授权该决策并规定适当的保障措施
Art. 22(2)(c) — 明确同意	数据主体已明确同意自动化决策

3.3 Art. 22(3) 保障措施

即使适用 Art. 22(2) 中的某项例外，控制者也必须实施适当措施，包括：

• 获得人工干预的权利
• 表达数据主体观点的权利
• 对决策提出异议的权利
• 关于所涉逻辑的有意义信息（无需提供完整算法，但须充分说明相关因素及其相对权重）

阶段 4：算法偏见与公平性评估（第 3 至 4 周）

4.1 公平性指标

指标	描述	应用场景
人口统计均等	受保护群体之间的正向结果率应相等	信用评分、招聘
均等化赔率	各群体的真阳性率和假阳性率应相等	犯罪风险评估、欺诈检测
预测均等	各群体的阳性预测值应相等	医疗诊断、再犯预测
个体公平性	相似的个体应获得相似的结果	贷款定价、保险费计算
反事实公平性	如果仅改变受保护特征，结果就不应发生变化	任何决策系统

4.2 偏见测试流程

1. 根据司法管辖区和使用场景，确定相关的受保护特征（种族、性别、年龄、残障、宗教、性取向，依据《2010 年平等法》/《欧盟宪章》第 21 条）。
2. 按受保护特征对测试数据集进行划分。
3. 计算各群体的公平性指标。
4. 识别差别影响：如果任一受保护群体的选择率低于选择率最高群体的 80%（美国 EEOC 的五分之四规则，已被广泛采用为初步基准）。
5. 如果检测到差别影响，评估该差异是否可由合法的非歧视因素证明合理。
6. 记录偏见测试方法、结果和补救措施。

第 5 阶段：整合 NIST AI RMF MAP 功能（第 4 周）

NIST AI 风险管理框架（AI RMF 1.0，2023 年 1 月）的 MAP 功能用于识别 AI 系统的背景、能力和潜在影响。整合以下 MAP 子类别：

子类别	评估行动
MAP 1.1	记录预期目的、使用背景和部署环境
MAP 1.2	记录相互依赖和互联的系统
MAP 1.5	识别预期用户、受影响个人和利益相关方
MAP 1.6	评估对个人、群体、社区、组织和社会的影响
MAP 2.1	确定 AI 系统的知识边界，以及系统可能失效的条件
MAP 2.2	记录训练和测试方法的科学严谨性
MAP 2.3	评估 AI 系统训练和部署对环境的影响
MAP 3.1	记录 AI 系统的潜在益处
MAP 3.2	记录潜在成本、风险和负面影响
MAP 3.4	将风险具体对应到受影响的社区和利益相关方
MAP 3.5	记录已识别风险的可能性和严重程度
MAP 5.1	与不同群体的利益相关方和受影响社区进行沟通
MAP 5.2	与领域专家、AI 从业者和社会技术专家进行沟通

第 6 阶段：综合风险评估与报告（第 5–6 周）

1. 汇总 GDPR DPIA 风险、AI Act 合规差距和 NIST AI RMF 评估结果。
2. 使用 DPIA 风险矩阵评估每项风险的可能性和严重程度。
3. 结合隐私控制措施和 AI 治理控制措施，确定缓解措施。
4. 计算剩余风险级别。
5. 如果属于 AI Act 规定的高风险 AI，准备合格评定文件。
6. 提交给 DPO，以征求其关于 Art. 35(2) 的意见。
7. 如果剩余风险仍然较高，启动 Art. 36 事先咨询。

AI 特有的隐私风险

风险类别	描述	缓解方法
模型反演	攻击者从模型输出中重建训练数据	在训练期间使用差分隐私、对输出进行扰动、对模型 API 实施访问控制
成员推断	攻击者判断某个特定个人的数据是否在训练集中	正则化、差分隐私、限制模型置信度分数
数据投毒	恶意操纵训练数据，以影响模型输出	验证训练数据来源、异常检测、稳健的训练技术
概念漂移	随着现实世界的数据分布变化，模型准确率随时间下降	持续监控、自动重新训练触发机制、由人工审核边缘案例
解释操纵	通过操纵 AI 解释来掩盖歧视性因素	使用多种解释方法、对解释的一致性进行对抗测试
反馈循环	AI 决策生成的数据会强化现有偏见	定期进行偏见审计、人工参与审核、按人口群体监控结果

常见评估缺陷

1. 将 AI 训练视为单一处理操作：每个阶段（收集、准备、训练、推理）都是独立的处理操作，需要分别评估其合法依据。
2. 未经核实便依赖匿名化声明：声称已匿名化的数据，仍可能通过模型反演或关联攻击重新识别。
3. 第 22 条所要求的人工参与不足：对 AI 决策进行走过场式人工审核，不构成有意义的人工参与。
4. 忽视训练数据的目的限制：未经兼容性评估，便使用为提供服务而收集的客户数据训练 AI 模型。
5. 未针对受保护特征进行偏差测试：公平性评估仅关注整体准确率，未按人口群体细分数据。
6. 评估静态不变：AI 系统会随着重新训练而演进；模型重新训练或部署环境发生变化时，必须更新评估。

执法先例

• 意大利 Garante 诉 Clearview AI（2022）：因从互联网抓取生物识别数据以训练面部识别 AI，且缺乏合法依据、同意或 DPIA，处以 2,000 万欧元罚款。
• 意大利 Garante 诉 Deliveroo（2021）：因对外卖骑手进行算法管理，构成第 22 条所指的自动化决策，且缺乏充分保障措施，处以 250 万欧元罚款。该算法为骑手分配声誉评分和配送班次，未进行有意义的人工审核。
• 匈牙利 DPA 诉 Budapest Bank（2023）：因自动化信用评分系统将邮政编码作为族裔的替代指标，且未进行偏差影响评估，处以罚款。
• CNIL 诉 Clearview AI（2022）：处以 2,000 万欧元罚款；CNIL 命令删除所有法国居民的数据，并禁止继续收集数据。
• 荷兰 DPA 诉税务机关（2020）：因算法画像系统（SyRI）在欺诈检测中不成比例地针对少数族裔，违反《欧洲人权公约》第 8 条和第 14 条，处以 370 万欧元罚款。