关于 ai-bias-special-category
这项方法技能面向评估处理或推断受保护特征的 AI 系统的团队，涵盖公平性指标、测试、缓解方案及文档要求，以支持 GDPR 和欧盟 AI 法案义务。
主要功能
- 01直接数据与代理推断审查
- 02群体及个体公平性指标
- 03分阶段偏差检测流程
- 04数据、算法与输出缓解
- 05评估报告文档要求
适用场景
- 01审查招聘模型的群体差异
- 02测试人脸识别的群体准确率
- 03记录公平性指标的取舍
- 04规划部署后的偏差监测
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/ai-bias-special-category确认已加载。
包含的文件
除 SKILL.md 外，安装时一起下载的参考资料和脚本。
assets/template.mdreferences/standards.mdworkflows.mdscripts/process.py详细介绍
特殊类别数据的 AI 偏见评估
概述
AI 系统可能会放大、延续或引入针对受保护群体的偏见。受 GDPR 第 9 条特殊类别（种族、族裔、政治观点、宗教、工会成员身份、遗传数据、生物识别数据、健康状况、性取向）以及欧盟平等法（性别、年龄、残障）定义的群体均可能受到影响。AI 法案第 10 条要求针对训练数据采取数据治理实践以应对偏见，而第 5 条禁止基于 AI 的社会评分。本技能提供检测、衡量和缓解处理或推断特殊类别数据的 AI 系统中偏见的方法，并规定同时满足 GDPR 和 AI 法案义务的文档要求。
第 9 条特殊类别与 AI 偏见
直接处理特殊类别数据
当 AI 系统直接处理第 9 条数据时：
| 类别 | AI 偏见风险 | 示例 |
|---|---|---|
| 种族或族裔出身 | 招聘、信贷、执法中的歧视 | 简历筛选时对与少数族裔相关的姓名施加不利影响 |
| 政治观点 | 政治画像、内容压制 | 新闻推荐放大或压制政治观点 |
| 宗教信仰 | 拒绝提供服务、歧视性定向 | 保险定价因宗教信仰而异 |
| 工会成员身份 | 就业歧视 | 绩效评分对工会活动施加不利影响 |
| 遗传数据 | 保险／就业中的遗传歧视 | 根据遗传易感性确定健康保险价格 |
| 生物识别数据 | 不同人群的识别准确度存在差异 | 面部识别对肤色较深者的错误率更高 |
| 健康数据 | 基于健康状况的歧视 | 招聘算法对残障或心理健康病史施加不利影响 |
| 性取向 | 歧视、暴露身份 | 内容推荐无意中泄露性取向 |
推断特殊类别的代理特征
AI 模型经常会根据非敏感特征推断第 9 条数据：
| 代理特征 | 推断类别 | 机制 |
|---|---|---|
| 邮政编码／邮编 | 种族／族裔、收入 | 居住隔离模式 |
| 名字／姓氏 | 种族／族裔、宗教 | 姓名与族裔之间的相关性 |
| 浏览历史 | 政治观点、宗教、健康状况 | 内容消费模式 |
| 购买历史 | 健康状况、宗教 | 药品购买、饮食产品 |
| 语言模式 | 国籍、教育程度 | 方言、词汇、语法模式 |
| 设备／应用使用情况 | 年龄、收入、残障 | 辅助功能、设备类型 |
EDPB 的立场：从非敏感输入推断第 9 条数据构成对特殊类别数据的处理，适用相同的保护措施。
公平性指标
群体公平性指标
| 指标 | 定义 | 使用时机 |
|---|---|---|
| 人口统计均等 | P（正向结果 | 群体 A）= P（正向结果 | 群体 B） | 希望不论资质如何，各群体的选中率都相同 |
| 均等化赔率 | 各群体的 TPR 和 FPR 相同 | 要求各群体的准确率相同 |
| 机会均等 | 各群体的 TPR 相同（放宽版均等化赔率） | 要求正确检出率相同 |
| 校准 | P（Y=1 | 得分=s，群体=A）= P（Y=1 | 得分=s，群体=B） | 要求各群体的得分具有相同含义 |
| 预测均等 | 各群体的 PPV 相同 | 要求正向预测的可靠性在各群体间相同 |
个体公平性指标
| 指标 | 定义 |
|---|---|
| 一致性 | 相似个体获得相似结果 |
| 反事实公平性 | 如果受保护属性不同，结果仍会相同 |
| 因果公平性 | 从受保护属性到结果之间不存在因果路径 |
指标选择指南
| 决策场景 | 推荐指标 | 理由 |
|---|---|---|
| 招聘／招生 | 均等化赔率或机会均等 | 确保各群体中符合条件的候选人得到同等识别 |
| 信用评分 | 校准 | 无论属于哪个群体，分数都应代表相同的概率 |
| 犯罪风险评估 | 均等化赔率 | FPR 和 TPR 都应相等，以避免造成不成比例的影响 |
| 医疗保健 | 机会均等 + 校准 | 确保对病症的识别相同，且风险评分含义相同 |
| 内容审核 | 人口统计均等 | 内容移除不应对某些群体造成不成比例的影响 |
注意：数学上的不可能性结果表明，当各群体的基准率不同时，人口统计均等、均等化赔率和校准无法同时满足。请明确记录其中的权衡。
偏见检测方法
阶段 1：数据审计
- 将训练数据的人口统计特征与目标人群进行比较
- 找出代表性不足且模型表现可能较差的群体
- 检查标注数据中的历史偏见（例如，将存在偏见的招聘决策用作真实标签）
- 找出各群体之间标签噪声的差异
- 评估各群体的特征分布，判断是否存在代理歧视的可能性
阶段 2：模型测试
- 按受保护群体拆分评估模型表现
- 针对每对受保护群体计算选定的公平性指标
- 进行反事实测试：更改受保护属性，观察输出变化
- 测试交叉偏见（受保护属性的组合）
- 评估模型在各群体边缘案例和对抗性示例上的表现
阶段 3：输出分析
- 分析各群体的决策分布
- 找出对特定群体造成不成比例影响的阈值效应
- 测试反馈循环是否会随时间放大
- 评估输出解释的公平性（各群体获得的解释信息是否同样充分？）
偏见缓解策略
预处理（数据层面）
| 策略 | 描述 | 权衡 |
|---|---|---|
| 重采样 | 对代表性不足的群体进行过采样，对代表性过高的群体进行欠采样 | 可能降低数据多样性或引入重复项 |
| 重新加权 | 为代表性不足群体的样本分配更高权重 | 计算简单；可能无法解决结构性偏见 |
| 重新标注 | 修正存在历史偏见的标签 | 需要领域专业知识；可能带有主观性 |
| 公平表征学习 | 学习能够移除受保护属性信息的潜在表征 | 可能丢失合理的相关性 |
处理中（算法层面）
| 策略 | 描述 | 权衡 |
|---|---|---|
| 对抗性去偏 | 训练对抗模型从模型中预测受保护属性，并对预测成功进行惩罚 | 准确率与公平性之间存在权衡；需要受保护属性数据 |
| 公平性约束 | 将公平性指标作为训练约束加入 | 可能降低整体准确率；约束满足情况不一 |
| 正则化 | 在损失函数中加入与公平性相关的正则化项 | 平衡准确率与公平性；需要调优 |
| 因果建模 | 使用因果图阻断歧视路径 | 需要因果知识；实现复杂 |
后处理（输出层面）
| 策略 | 描述 | 权衡 |
|---|---|---|
| 阈值调整 | 为各群体设置不同的决策阈值，以使指标相等 | 可能被认为不公平；法律层面较复杂 |
| 分数校准 | 对各群体分别校准分数 | 需要充足的群体数据；可能降低区分能力 |
| 拒绝选项 | 对各群体的临界案例不作出决定 | 降低覆盖率；需要人工兜底 |
《AI 法案》第 10 条：数据治理
第 10 条对高风险 AI 的训练数据提出以下要求：
| 要求 | 实施方式 |
|---|---|
| 相关性 | 训练数据必须与预期用途相关 |
| 具备充分代表性 | 数据必须代表系统将要部署到的群体 |
| 无错误 | 开展数据质量评估和清理流程 |
| 完整性 | 充分覆盖各种部署场景 |
| 具备适当的统计属性 | 分析分布情况，包括人口统计代表性 |
| 偏见审查 | 检查训练数据中是否存在潜在偏见，尤其是与第 10 条第 2 款（f）项相关的偏见 |
第 10 条第 5 款：如果满足以下条件，为检测偏见而处理特殊类别数据，在高风险 AI 中是允许的：
- 对偏见监控、检测和纠正严格必要
- 采取适当的保障措施（假名化、访问控制）
- 数据不得用于其他目的
- 偏见评估后应删除数据，除非为合规文档留存数据是必要的
文档要求
偏见评估报告
| 部分 | 内容 |
|---|---|
| 系统说明 | 模型、用途、受影响群体 |
| 评估的受保护属性 | 第 9 条所列类别 + 平等法中的特征 |
| 选定的公平性指标 | 说明选择理由 |
| 数据审计结果 | 训练数据的人口统计信息、代表性差距 |
| 模型测试结果 | 各群体的表现、公平性指标、反事实结果 |
| 偏见发现 | 已识别的差异及严重程度评估 |
| 缓解措施 | 已采用的策略及其有效性证据 |
| 残留偏见 | 缓解后仍存在的差异 |
| 权衡文档 | 准确性与公平性的权衡、对指标不可能兼得情况的说明 |
| 持续监控计划 | 部署后的公平性监控 |
执法先例
- 荷兰税务局（SyRI，2020）：法院裁定算法欺诈检测因歧视性画像而违法——该系统对低收入、移民背景社区的居民进行不成比例的重点筛查。
- 意大利数据保护局诉 Deliveroo（2021）：认定算法化的员工管理存在基于受保护特征的歧视——违反第 22 条和平等法。
- 奥地利数据保护局诉 AMS 算法（2020）：奥地利就业服务算法因求职者的性别、年龄、残障和国籍而降低其评分——数据保护局认定该处理违法。
- AEPD 指南（2021）：西班牙数据保护局发布算法歧视指南，强调处理受保护特征的 AI 系统必须进行 DPIA。
- CNIL（2024）：发布 AI 偏见评估框架，要求对高影响 AI 系统进行公平性测试。
集成点
- ai-dpia：偏见评估结果纳入 DPIA 的歧视伤害风险评估
- ai-automated-decisions：存在偏见的自动化决策会触发第 22 条和平等法违规
- ai-training-lawfulness：根据第 10 条第 5 款，为检测偏见而处理特殊类别数据需要留存文档
- ai-transparency-reqs：应在模型卡和透明度文档中披露偏见评估结果
- ai-act-high-risk-docs：第 10 条的数据治理文档是合格评定的一部分
评论
支持 Markdown