ai-automated-decisions

AI 自动化决策与人工监督

概述

GDPR 第 22 条赋予数据主体不受仅基于自动化处理（包括画像）且会产生法律效力或类似重大影响的决策约束的权利。EU AI Act 第 14 条通过针对高风险 AI 系统的具体人工监督设计要求对此作出补充。这些规定共同要求组织识别 AI 系统何时作出重大决策，在必要时确保有意义的人工介入，提供可解释的决策逻辑，并建立有效的异议处理机制。本技能提供了符合第 22 条要求并实施 AI Act 人工监督的完整框架。

第 22 条的范围与适用性

三项累积条件

只有同时满足以下三项条件，才会触发第 22 条第 1 款：

条件	要求	AI 应用
1. 决策	作出了一项决策（而非仅提供建议或输入）	AI 输出直接决定结果；从 AI 输出到采取行动之间不存在真正的人工决策环节
2. 完全自动化	决策完全基于自动化处理，包括画像	决策链中没有有意义的人工介入；走过场式确认不构成人工介入
3. 法律效力／重大影响	产生法律效力，或对数据主体产生类似重大影响	影响法律权利、合同状态、服务获取、财务结果或其他重大生活状况

“完全自动化”——EDPB 的解释

EDPB《自动化决策指南 06/2020》明确指出：

• 完全自动化意味着决策过程中没有有意义的人工参与

• 仅确认 AI 建议、而未进行真正评估的人工审核者，不构成有意义的介入

• 有意义的人工介入要求：

  • 审核者有权力和能力更改决策
  • 审核者能够获取所有相关信息
  • 分配了充足时间进行真正的审慎考虑
  • 审核者会定期行使独立判断（而非仅确认 AI 输出）
  • 实际上会使用推翻决策的能力

• 不属于完全自动化的情况：

  • 合格人员将 AI 输出作为多个输入之一进行真正审核
  • 人员运用独立判断并作出最终决策
  • 人员有能力且实际会行使裁量权，偏离 AI 建议

“法律效力或类似重大影响”

类别	示例	重大性
法律效力	合同订立／终止、施加法律义务、确定法律地位	直接影响法律权利
服务获取	拒绝提供信贷、保险、住房、教育、就业	对生活状况产生重大影响
财务影响	差别定价、福利计算、付款条款	产生实质性财务后果
健康与安全	医疗诊断优先级排序、紧急响应分诊	可能造成身体伤害
自由与自主权	监控评分、限制行动、屏蔽内容	影响基本自由

根据 EDPB 的意见，不具有类似重大影响的情况：

• 个性化广告（除非会强化对弱势群体的偏见）
• 通用推荐系统（除非会决定信息获取）
• 垃圾邮件过滤（除非会系统性地拦截重要通信）

第 22 条的例外与保障

第 22(2) 条 — 允许的自动化决策

例外情形	条件	要求的保障措施
第 22(2)(a) 条 — 合同所必需	决策是订立或履行合同所必需的	必须采取第 22(3) 条规定的保障措施
第 22(2)(b) 条 — 法律授权	根据欧盟或成员国法律获得授权，且具备适当措施	法律必须规定适当的保障措施
第 22(2)(c) 条 — 明确同意	基于明确同意	必须采取第 22(3) 条规定的保障措施

第 22(3) 条 — 强制性保障措施

依赖第 22(2) 条规定的例外情形时，控制者必须至少采取以下措施：

1. 获得人工介入的权利：由具备资质的人员审查自动化决策
2. 表达观点的权利：数据主体可以提供补充信息或背景情况
3. 提出异议的权利：通过正式机制对自动化决策提出质疑，并由另一名决策者进行审查

第 22(4) 条 — 特殊类别数据限制

基于第 9 条特殊类别数据作出的自动化决策，仅在以下情况下允许：

• 第 9(2)(a) 条 — 明确同意；或
• 第 9(2)(g) 条 — 基于欧盟或成员国法律规定的重大公共利益

在这两种情况下，都必须采取适当措施保障数据主体的权利。

人工监督设计 — 《AI 法案》第 14 条

第 14 条对高风险 AI 的要求

高风险 AI 系统的设计和开发必须确保其在使用过程中能够由自然人进行有效监督：

要求	实施方式
了解能力和局限性	文档、培训、模型卡
监控运行情况	实时监控仪表板、警报系统
检测异常和故障	漂移检测、性能监控
正确解读输出	置信度指标、解释工具
覆盖或撤销决策	配备授权链的覆盖机制
介入或停止系统	紧急停止能力
意识到自动化偏见	自动化偏见培训及应对措施

人工监督级别

级别	说明	第 22 条合规性	适用情形
人在环中（HITL）	人工在作出决策前审查每项 AI 建议	审查有实际意义时，完全合规	高影响的个体决策（招聘、信贷、医疗）
人在环上（HOTL）	人工监控 AI 决策，并可进行干预	干预能力真实有效且得到行使时，合规	具有有效监控机制的中等风险决策
人类主导（HIC）	人工设置参数并定期审查结果	可能不满足第 22 条要求 — 决策完全由自动化系统作出	定期审计的低风险批量决策
完全自主	不对个体决策进行人工监督	完全适用第 22 条 — 需要符合例外情形	仅限符合第 22(2) 条例外情形且采取第 22(3) 条保障措施的情况

有实际意义的人工介入标准

符合以下所有标准时，人工审查才构成“有实际意义的介入”：

标准	判断方式	警示信号
权限	审查者拥有正式权限覆盖 AI 决策	审查者只能上报，不能作出决定
能力	审查者具备评估决策所需的领域专业知识	审查者是未经培训的初级员工
信息	审查者能够访问所有输入、AI 输出及其解释	审查者只能看到 AI 评分，没有背景信息
时间	分配了充足时间进行真正的审慎评估	审查者每小时处理 200 项以上决策
独立性	审查者进行真正的独立判断	覆盖率低于 1%，表明审查者只是在走过场
问责制	审查者对决策负责	责任由 AI 系统所有者承担，而非审查者

异议与申诉机制

设计要求

要素	要求
可访问性	易于找到、访问和使用异议机制
时效性	规定响应期限（例如，30 天）
合格的审核人员	与原始决策情境不同；有权推翻原决定
信息提供	数据主体会收到关于决策因素以及如何提出异议的说明
证据审议	数据主体可以提交补充证据和背景信息
书面结果	对异议的决定会形成记录并传达给数据主体
进一步申诉	如果异议被驳回，应告知向 DPA 投诉或寻求司法救济的途径

异议处理工作流

1. 向数据主体告知自动化决策，并提供说明
2. 数据主体提交异议，说明理由并提供任何支持性证据
3. 将异议交由合格的人工审核人员处理（该人员与原始监督人员不同）
4. 审核人员评估：AI 输入、AI 输出、说明以及数据主体的论据
5. 审核人员独立作出决定：维持、修改或推翻原决定
6. 向数据主体传达处理结果及理由
7. 如果维持原决定：告知数据主体可采取的进一步措施（向 DPA 投诉、寻求司法救济）
8. 在权利行使登记簿中留存记录

AI 特定决策类别

信贷和金融决策

• AI 应用：信用评分、贷款审批、保险定价、欺诈检测
• Art. 22 适用条件：是——决定个人能否获得金融服务
• 要求：拒绝前进行有实质意义的人工审核；说明关键评分因素；提供由独立人员审核的异议渠道
• 执法案例：AEPD 因 CaixaBank 在自动化信贷决策中缺乏充分保障，处以 600 万欧元罚款

就业决策

• AI 应用：简历筛选、候选人排名、绩效评分、预测解雇
• Art. 22 适用条件：是——会对就业和生计造成重大影响
• 要求：由招聘经理作出最终决定，并拥有真正偏离 AI 排名的权力；告知申请人 AI 的使用情况；被拒绝的候选人可以请求说明
• 执法案例：意大利 DPA 因 Deliveroo 通过算法管理员工但未采取 Art. 22 要求的保障措施，处以 250 万欧元罚款

医疗保健决策

• AI 应用：诊断辅助、治疗建议、分诊、风险评分
• Art. 22 适用条件：如果 AI 决定治疗路径，则适用——通常通过医生监督来降低影响
• 要求：由医生作出最终临床决定；AI 用于辅助决策；告知患者 AI 所起的作用
• 特殊类别：健康数据——适用 Art. 22(4)

公共行政

• AI 应用：福利资格判定、欺诈检测、风险评估、资源分配
• Art. 22 适用条件：是——决定个人能否获得公共服务和福利
• 要求：必须具备 Art. 22(2)(b) 规定的法律依据；法律要求采取适当措施；透明说明算法标准
• 执法案例：荷兰法院因 SyRI 欺诈检测系统缺乏透明度和比例原则，将其废止

画像评估

GDPR 对画像的定义（Art. 4(4)）

对与自然人有关的个人方面进行评估的任何形式的自动化处理，尤其是分析或预测以下方面：

• 工作表现
• 经济状况
• 健康状况
• 个人偏好
• 兴趣
• 可靠性
• 行为
• 位置
• 行踪

AI 画像分析风险评估

画像类型	风险等级	Art. 22 触发条件	缓解措施
行为预测（购买、浏览）	中	仅当决策产生法律或重大影响时	提供退出选项、保持透明
信用评分／财务风险	高	是——涉及获取金融服务	人工审核、说明、提出异议
健康风险预测	极高	是——适用 Art. 22(4)	明确同意、医师监督
犯罪风险评估	极高	是——涉及自由和法律影响	需要法律依据、司法监督
工作表现评分	高	是——涉及就业影响	人力资源部门人工审核、通知员工
社会评分	禁止	不适用——AI Act Art. 5 禁止	不得实施

执法先例

• AEPD v. CaixaBank (PS/00421/2020, 2021)：因自动化信贷决策缺乏充分的 Art. 22 保障措施、解释或异议机制，罚款 600 万欧元。
• Italian DPA v. Deliveroo (2021)：因对外卖骑手进行算法管理而罚款 250 万欧元——Art. 22 适用于自动化工作分配和绩效评分。
• Dutch Court v. SyRI (2020)：算法欺诈检测系统被裁定违法——该系统在缺乏比例原则、透明度或充分保障措施的情况下对公民进行自动化画像。
• Hungarian DPA v. Bank (2019)：因自动拒绝信贷且未提供有关决策逻辑或异议机制的有意义信息而被罚款。
• French Conseil d'Etat v. Parcoursup (2019)：法院支持将算法用于大学招生，仅因为每份申请都确实经过了有意义的人工审核。
• Austrian DPA v. CRIF (2023)：信用评分公司因未提供有关自动化评分逻辑的有意义信息，违反 Art. 15(1)(h)。

集成点

• ai-transparency-reqs：解释要求纳入透明度框架
• ai-dpia：人工监督评估是 DPIA 第 5 阶段的组成部分
• ai-data-subject-rights：解释权和提出异议的权利属于权利行使程序
• ai-deployment-checklist：Art. 22 合规性是部署前验证项目
• ai-bias-special-category：自动化决策中的偏见会造成 Art. 22 所指的损害