ai-dpia

AI/ML 系统的数据保护影响评估

概述

AI 和 ML 系统带来了独特的隐私挑战，传统的 DPIA 方法无法充分应对。EDPB《通过 AI 系统处理个人数据指南 04/2025》确立了专门框架，用于补充 GDPR 第 35 条和 WP248rev.01 的一般 DPIA 要求。AI 专项 DPIA 必须评估完整的 ML 流程——从训练数据收集到模型部署和推理——并评估统计学习、模型涌现行为以及算法决策不透明性所带来的风险。本技能采用 EDPB 的 AI 专项 DPIA 方法，并将其与 EU AI Act 风险分类框架相结合。

AI 专项 DPIA 触发条件

AI 系统的强制 DPIA 触发条件

凡是符合以下任一条件的 AI 处理活动，都必须在部署前进行 DPIA：

触发条件	法律依据	说明
基于 AI 的画像分析产生法律效力	GDPR 第 35(3)(a) 条	产生对自然人具有法律效力或类似重大影响的决策的 ML 模型（信用评分、招聘、保险定价）
使用特殊类别数据进行训练	GDPR 第 35(3)(b) 条	使用大规模健康、生物识别、遗传、种族、政治、宗教、性取向或工会数据训练的模型
AI 驱动的监控	GDPR 第 35(3)(c) 条	在公共场所进行计算机视觉、人脸识别、行为分析或异常检测
高风险 AI 系统	EU AI Act 第 6 条	AI Act 附件 III 所列系统（生物识别、关键基础设施、就业、执法、移民、司法）
处理个人数据的基础模型	EDPB 指南 04/2025	使用包含个人数据的数据集训练的 LLM 和基础模型，无论其下游用途如何
自动推断敏感属性	EDPB 指南 04/2025	从非敏感输入推断第 9 条特殊类别数据的模型（例如，根据购买模式推断健康状况）

应用于 AI 的 EDPB WP248 标准

AI 系统通常会同时触发多个 WP248 标准：

• 评估／评分：分类和回归模型固有的功能
• 自动化决策：已部署 AI 系统的核心功能
• 创新技术：新型模型架构、训练技术
• 大规模处理：包含数百万条记录的训练数据集
• 数据集匹配／合并：汇总多源训练数据
• 脆弱数据主体：当 AI 应用于儿童、员工、患者时

当 AI 系统符合两项或更多标准时，通常必须进行 DPIA。

AI DPIA 方法——EDPB 框架

阶段 1：AI 系统描述（扩展第 35(7)(a) 条）

系统描述必须涵盖 AI 的完整生命周期：

1.1 训练阶段文档

• 训练数据来源：每个数据集的来源、收集方式、同意状态和合法依据
• 数据类别：训练数据中包含的所有个人数据类别，包括可能被无意纳入的数据（图像中的背景人物、文本语料中的元数据）
• 数据量：记录数量、受影响的数据主体数量、地理范围
• 数据预处理：清理、增强、标注流程以及任何人工审核
• 特征工程：哪些个人数据属性被用作特征，以及如何计算派生特征
• 训练基础设施：训练发生的位置（云服务提供商、司法管辖区）、训练期间的数据驻留地

1.2 模型架构文档

• 模型类型：神经网络架构（Transformer、CNN、RNN）、集成方法、决策树
• 模型参数：参数数量、模型大小、复杂度指标
• 可解释性特征：固有的可解释程度（白盒、灰盒、黑盒）
• 记忆风险：评估模型记忆训练数据的倾向（对于数据集较小的大模型，风险更高）

1.3 部署阶段文档

• 推理输入：推理时处理哪些个人数据
• 输出类型：分类、分数、建议、生成内容
• 决策流程：模型输出如何影响涉及数据主体的决策
• 人工监督：决策链中人工审核的程度和有效性
• 监控：漂移检测、性能监控、反馈循环

阶段 2：AI 特定的必要性与比例性

2.1 AI 的目的限制

• AI 系统对于既定目的是否必不可少，还是通过更简单的处理方式也能实现？
• 控制者是否评估过非 AI 替代方案，并记录为何必须使用 AI？
• 训练数据处理目的是否与原始收集目的兼容（第 6(4) 条评估）？
• 对于改变用途的数据：是否已根据 EDPB《04/2025 号指南》进行兼容性评估？

2.2 AI 的数据最小化

• 是否通过消融研究确定了满足可接受模型性能所需的最小数据集？
• 合成数据、联邦学习或差分隐私能否减少个人数据需求？
• 训练数据中是否存在不影响模型性能的个人数据元素？
• 控制者是否评估过匿名化或假名化数据能否实现足够的性能？

2.3 训练数据合法性评估

对于每个训练数据集，请记录：

评估要素	要求
原始收集目的	收集个人数据时，是否出于与 AI 训练兼容的目的？
合法依据	训练处理所依据的第 6(1) 条；合法利益需要进行利益衡量测试
同意的有效性	如果依据是同意，是否将 AI 训练明确列为目的？同意是否是在自由意愿下作出的？
特殊类别数据的适用条件	如果涉及第 9 条数据，适用第 9(2) 条中的哪项例外？
网络抓取的数据	EDPB 的立场：在没有额外保障措施的情况下，AI 训练的网络抓取通常不能依据合法利益
第三方数据集	控制者是否核实了上游合法依据链？

阶段 3：AI 特定的风险评估

3.1 AI 隐私风险类别

风险类别	描述	可能性因素
训练数据提取	攻击者从模型中提取训练数据原文	模型规模、训练数据重复情况、过拟合程度
成员推断	攻击者判断特定数据是否包含在训练集中	模型置信度分布、过拟合、影子模型的可用性
模型反演	攻击者根据模型输出重建输入特征	输出粒度、模型类型、可用的辅助信息
属性推断	模型泄露未作为输入提供的敏感属性	训练数据中的相关性、特征交互
涌现偏见放大	模型放大训练数据中的偏见，导致歧视性结果	训练数据的代表性、已采取的去偏措施
概念漂移歧视	随着时间推移，模型在不同人口群体中的性能出现不均衡下降	监控覆盖范围、重新训练频率
通过 AI 输出重新识别	模型输出可用于关联到特定数据主体	输出具体程度、人群独特性、辅助数据
自动化决策错误	不正确的 AI 决策对数据主体造成实质性损害	模型准确率、各群体中的错误分布

3.2 AI 风险评分矩阵

使用 EDPB 推荐的矩阵综合评估可能性与严重程度：

                    Negligible    Limited    Significant    Maximum
Almost Certain      Medium        High       Very High      Very High
Likely              Medium        High       High           Very High
Possible            Low           Medium     High           High
Remote              Low           Low        Medium         High

3.3 AI Act 风险级别整合

将 GDPR 风险评估与 AI Act 分类交叉参照：

• 不可接受风险（AI Act 第 5 条）：不得继续处理——社会评分、在公共场所实时进行生物识别（有限例外情况除外）
• 高风险（第 6 条及附件 III）：须承担更严格的 DPIA 义务，并进行合格评定
• 有限风险（第 50 条）：透明度义务——告知用户其正在与 AI 交互
• 最低风险：适用标准 DPIA 流程

第 4 阶段：AI 专属缓解措施

技术措施

措施	应对风险	实施方式
差分隐私	训练数据提取、成员推断	训练期间应用 DP-SGD，并校准 epsilon（ε ≤ 8 表示中等保护，ε ≤ 1 表示强保护）
联邦学习	数据集中化风险	在各数据持有方之间分布式开展训练，不集中个人数据
模型输出扰动	模型反演、属性推断	在模型输出中添加经过校准的噪声，对置信度分数进行取整
训练数据去重	记忆风险	训练前删除重复和近似重复记录
成员推断测试	成员推断	在部署前对模型进行 MI 攻击测试；若泄露超过阈值，则重新训练
公平性约束	偏见放大	训练期间应用人口统计均等、均等化赔率或校准约束
输入／输出过滤	生成式模型中的 PII 泄露	对模型输入和输出部署 PII 检测，并自动进行脱敏
模型剪枝与蒸馏	记忆、提取	压缩模型，降低其记忆单条记录的能力

组织措施

• 建立纳入隐私代表的 AI 伦理审查委员会
• 实施模型卡，为每个已部署模型记录其隐私属性
• 定期开展模型审计（至少每年一次），测试是否存在隐私泄露
• 维护训练数据来源记录，并确保具备删除能力
• 明确重新训练触发条件，并确保每个重新训练周期都进行 DPIA 审查
• 制定针对 AI 隐私事件的专门事件响应流程

阶段 5：人工监督评估

根据《人工智能法案》第 14 条和《GDPR》第 22 条，评估人工监督机制：

监督要素	评估问题
有意义的审查	人工审查者能否有效评估 AI 建议并予以否决？
时间和资源	是否为有意义的审查分配了充足时间，还是人工审查者只是走过场？
能力	审查者是否具备识别 AI 错误的专业知识？
权限	审查者是否有权并有办法否决 AI？
反馈机制	是否记录否决情况并将其用于改进模型？
自动化偏见	是否采取措施，降低人们倾向于听从 AI 的情况？

AI 的事先咨询触发条件

在以下情况下，必须依据第 36 条事先咨询监管机构：

1. 在采取所有缓解措施后，AI 系统仍产生较高的剩余风险
2. AI 系统使用新型技术大规模处理特殊类别数据
3. 监管机构根据第 35(4) 条制定的清单明确包含该 AI 用例
4. 根据《人工智能法案》第 5 条的例外规定，部署 AI 系统进行实时生物识别

执法先例

• Clearview AI（多个 DPA，2021-2024）：因部署面部识别 AI 时未进行 DPIA、缺乏合法依据或透明度，在意大利（2,000 万欧元）、法国（2,000 万欧元）、英国（750 万英镑）和希腊（2,000 万欧元）累计被罚款超过 9,000 万欧元
• CNIL 诉 Clearview AI（SAN-2022-019）：明确认定其未对生物识别 AI 处理开展 DPIA
• 意大利 DPA 诉 Replika（2023）：因年龄验证不足，且未对影响未成年人的 AI 处理开展 DPIA，下令停止 AI 聊天机器人处理
• 西班牙 DPA 诉 CaixaBank（PS/00421/2020）：因自动化信用评分未充分通过 DPIA 评估算法决策风险，被罚款 600 万欧元
• 荷兰 DPA 诉税务局（2020）：认定算法欺诈检测系统（SyRI）缺乏比例原则，且未针对 AI 驱动的画像分析进行充分的 DPIA

集成点

• ai-training-lawfulness：训练数据的详细合法依据分析为阶段 2 提供输入
• ai-automated-decisions：第 22 条评估与阶段 5 的人工监督相结合
• ai-model-privacy-audit：技术隐私测试结果为阶段 3 的风险评估提供输入
• ai-act-high-risk-docs：《人工智能法案》符合性评估与阶段 3.3 的风险分类相衔接
• ai-bias-special-category：偏见评估结果为歧视危害的风险评分提供输入