ethics-safety-impact

伦理、安全与影响评估

目录

• 工作流
• 常见模式
• 防护措施
• 快速参考

示例

场景：推出用于贷款审批的信用评分算法

1. 利益相关者：贷款申请人（不同人口群体）、贷款机构、社会（经济流动性）
2. 危害：历史偏见导致差异性影响；缺乏透明度，无法提出申诉；反馈循环使拒绝申请的现象长期持续
3. 弱势群体：少数族裔、信用记录较少的移民、年轻人、贫困人群
4. 缓解措施：针对受保护群体开展公平性审计；提供原因代码和申诉渠道；使用替代数据（租金／水电费）；对特殊案例进行人工审核
5. 监控：各群体的审批率差异控制在 10% 以内；若差异性影响超过 20%，则升级至伦理委员会处理

工作流

复制此检查清单并跟踪进度：

Ethics & Safety Assessment Progress:
- [ ] Step 1: Map stakeholders and identify vulnerable groups
- [ ] Step 2: Analyze potential harms and benefits
- [ ] Step 3: Assess fairness and differential impacts
- [ ] Step 4: Evaluate severity and likelihood
- [ ] Step 5: Design mitigations and safeguards
- [ ] Step 6: Define monitoring and escalation protocols

第 1 步：梳理利益相关者并识别弱势群体

识别所有受影响方（直接用户、间接受影响方、社会）。优先关注风险最高的弱势群体。利益相关者分析框架请参见 resources/template.md。

第 2 步：分析潜在危害与收益

针对每个利益相关者群体，集思广益，分析可能出现的问题（危害）以及创造的价值（收益）。结构化分析请参见 resources/template.md。

第 3 步：评估公平性和差异性影响

评估不同群体的结果、待遇或访问权限是否存在差异。检查是否存在差异性影响。公平性标准与衡量方法请参见 resources/methodology.md。

第 4 步：评估严重程度和可能性

按严重程度（1-5）和可能性（1-5）为每项危害评分，并优先处理高风险组合。优先级框架请参见 resources/template.md。

第 5 步：设计缓解措施和保障措施

针对高优先级危害，提出设计变更、政策保障措施和监督机制。干预类型请参见 resources/methodology.md。

第 6 步：制定监控和升级处理规程

设定指标、阈值、审核频率和升级触发条件。使用 resources/evaluators/rubric_ethics_safety_impact.json 进行验证。最低标准：平均分 ≥ 3.5。

常见模式

模式 1：算法公平性审计

• 利益相关方：受到算法决策影响的用户（招聘、贷款、内容排名）、受保护群体
• 危害：差别影响（对受保护群体的偏见）、加剧不平等的反馈循环、不透明导致无法追责
• 评估：测试各群体的统计均等、均等化赔率和校准情况；分析训练数据中是否存在历史偏见
• 缓解措施：去偏技术、公平性约束、可解释性、针对边缘案例的人工审核、定期审计
• 监控：差别影响比率、各群体的假阳性／假阴性率、用户申诉和申诉改判率

模式 2：数据隐私与同意

• 利益相关方：数据主体（数据被收集的用户）、弱势群体（儿童、边缘化社群）
• 危害：侵犯隐私、监视、数据泄露、缺乏知情同意、未经许可的二次使用、重新识别风险
• 评估：梳理数据流（收集 → 存储 → 使用 → 共享），识别敏感属性（个人身份信息、健康、位置），评估同意是否充分
• 缓解措施：数据最小化（仅收集必要数据）、匿名化／差分隐私、细粒度同意、用户数据控制（导出、删除）、加密
• 监控：泄露事件、数据访问日志、撤回同意的比率、用户数据请求（GDPR、CCPA）

模式 3：内容审核与言论自由

• 利益相关方：内容创作者、观看者、弱势群体（骚扰目标）、社会（信息完整性）
• 危害：审核过度（压制正当言论，尤其是边缘化群体的声音）、审核不足（放任伤害、骚扰、错误信息）、执法不一致
• 评估：分析审核错误率（假阳性／假阴性）、各群体受到的差异化执法、对文化背景的敏感度
• 缓解措施：附带示例的明确政策、申诉流程、人工审核、多元化审核人员、文化背景培训、透明度报告
• 监控：各类别的审核量和错误率、申诉改判率、不同语言／地区间的差异化执法

模式 4：无障碍与包容性设计

• 利益相关方：残障用户（视觉、听觉、行动、认知障碍）、老年人、低识字水平用户、低带宽用户
• 危害：被排斥在外（无法使用产品）、体验下降、安全风险（无法使用关键功能）、数字鸿沟
• 评估：WCAG 合规性审计、辅助技术测试、面向不同能力用户的研究、跨文化可用性测试
• 缓解措施：无障碍设计（WCAG AA/AAA）、替代文本、键盘导航、屏幕阅读器支持、低带宽模式、多语言支持、通俗易懂的语言
• 监控：无障碍测试覆盖率、残障社群的用户反馈、不同能力用户的任务完成率

模式 5：安全关键系统

• 利益相关方：最终用户（患者、驾驶员、操作人员）、弱势群体（儿童、老年人、健康状况不佳者）、公众安全
• 危害：身体伤害（受伤、死亡）、心理伤害（创伤）、财产损失、影响众多人员的级联故障
• 评估：故障模式分析（FMEA）、故障树分析、最坏情况分析、打破既有假设的边缘案例
• 缓解措施：冗余、故障保护机制、人工监督、严格测试（压力、混沌、对抗性）、事件响应计划、分阶段推出
• 监控：错误率、险些发生的事故、安全指标（事故、不良事件）、用户报告的问题、合规审计

防护准则

1. 明确指出脆弱群体：优先考虑儿童、老年人、残障人士、边缘化／受歧视群体、低收入者、低识字水平者、地理位置偏远者，以及遭受政治打压的群体。如果没有识别出此类群体，就要进一步深入审视。

2. 考虑次级和长期影响：关注反馈循环（伤害导致处境不利，进而招致更多伤害）、正常化、开创先例，以及小规模伤害随时间累积。要问“接下来会发生什么？”

3. 评估差异化影响，而不只是平均影响：某项功能可能对普通用户有益，却对特定群体造成伤害。检查是否存在差异性影响（不同群体的结果差异超过 20% 就是警示信号）、交叉性问题，以及分配正义。

4. 在发布前制定缓解措施：将保障措施融入设计，与多元用户进行测试，分阶段推出并持续监测，同时预先承诺开展审计。事后修复对已经受到伤害的人来说为时已晚。

5. 提供透明度和补救渠道：至少应解释决策、提供由人工审核的申诉机制、为受害者提供补救，并保留审计追踪记录。

6. 监测实际结果，而不只是初衷：按群体衡量结果差异、用户报告的伤害、错误率分布及意外后果。设定触发审查或停用的阈值。

7. 明确问责和升级机制：明确谁负责在发布前审查伦理风险、谁负责发布后监测、哪些情况会触发升级，以及谁有权叫停有害功能。

8. 尊重自主权和知情同意：以通俗语言提供知情选择、有意义的替代方案（而非强迫同意）、用户控制权（退出、删除数据）和用途限制。儿童和脆弱群体需要额外保护。

常见误区：

• ❌ 认为“我们一视同仁”就等于公平：对处境不同的群体采取相同待遇会延续不平等。实现公平往往需要区别对待。
• ❌ 不受约束地优化：不加限制地追求参与度／收入最大化，会放大愤怒情绪、成瘾和两极分化。应设定伦理边界。
• ❌ 先快速行动，之后再道歉：在安全／伦理问题上，预防胜于道歉。不能把伤害脆弱群体当作可接受的实验。
• ❌ 隐私作秀：不解释风险就要求同意，或将同意设为使用服务的必要条件，都不算真正的知情同意。
• ❌ 测试中的抽样偏差：只在员工（年轻、受教育程度高、会说英语）中测试，会忽略多元用户遭遇伤害的方式。
• ❌ 伦理漂白：发表表面功夫式的声明，却不做实质性改变。影响评估必须改变决策，而不只是记录决策。

快速参考

关键资源：

• resources/template.md：利益相关方梳理、伤害／收益分析、风险矩阵、缓解措施规划、监测框架
• resources/methodology.md：公平性指标、隐私分析、安全评估、偏见检测、参与式设计
• resources/evaluators/rubric_ethics_safety_impact.json：利益相关方分析、伤害识别、缓解措施设计和监测的质量标准

利益相关方优先级：

始终需要考虑的高风险群体：

• 儿童（<18 岁，尤其是 <13 岁）
• 残障人士（视力、听力、行动、认知）
• 种族／族裔少数群体，尤其是历来遭受歧视的群体
• 低收入者、无家可归者、经济状况不稳定者
• LGBTQ+ 群体，尤其是在敌意司法管辖区内的人群
• 老年人（>65 岁），尤其是数字技能较弱者
• 非英语使用者、低识字水平者
• 在高压环境中的政治异见人士、活动人士、记者
• 难民、移民、无证移民
• 患有精神疾病或认知障碍的人士

伤害类别：

• 身体：受伤、死亡、健康恶化
• 心理：创伤、压力、焦虑、抑郁、成瘾
• 经济：收入损失、债务、贫困、失去机会
• 社会：歧视、骚扰、排斥、关系破裂
• 自主权：胁迫、操纵、失去控制、尊严受损
• 隐私：监控、信息暴露、数据泄露、重新识别
• 声誉：污名、诽谤、地位受损
• 认知：错误信息、无法获取知识、信息茧房
• 政治：被剥夺选举权、审查、定向镇压

公平性定义（根据具体情境选择）：

• 人口统计均等：各群体的结果率相同（例如，所有群体的批准率均为 40%）
• 均等化机会：各群体的假阳性率和假阴性率相同
• 机会均等：各群体的真阳性率相同（平等获取利益）
• 校准：对所有群体而言，预测概率均与观察到的频率相符
• 个体公平：相似个体受到相似对待（Lipschitz 条件）
• 反事实公平：如果敏感属性（种族、性别）不同，结果仍然相同

缓解策略：

• 预防：通过设计变更消除伤害（例如，不收集敏感数据）
• 降低：降低发生概率或严重程度（例如，速率限制、对高风险操作增加阻力）
• 检测：在伤害发生时进行监控并发出警报（例如，偏差仪表板、异常检测）
• 应对：发现伤害后采取相应措施（例如，申诉、人工审核、补偿）
• 保障：为关键故障提供冗余、故障保护和熔断机制
• 透明度：进行解释和教育，增进理解与信任
• 赋能：让用户能够控制、选择、选择退出或自定义

监控指标：

• 结果差异：按受保护类别进行衡量（批准率、错误率、处理质量）
• 错误分布：假阳性／假阴性，负担由谁承担？
• 用户投诉：数量、类别、解决率、差异
• 参与度／留存率：各群体之间的差异（是否有些群体被排除在外？）
• 安全事件：数量、严重程度、受影响人群
• 同意／选择退出：有多少人拒绝？选择退出者的人口统计特征如何？

升级触发条件：

• 无正当理由的差异影响 >20%
• 导致严重伤害的安全事件（受伤、死亡）
• 弱势群体受到的影响尤为严重（伤害率 >2 倍）
• 用户投诉激增（>基线的 2 倍）
• 媒体／监管机构关注
• 提出内部伦理疑虑

以下情况应升级处理，不再仅依赖此技能：

• 需要满足法律合规要求（GDPR、ADA、《民权法案》、行业法规）
• 攸关生死的安全关键系统（医疗、交通运输）
• 儿童或弱势群体是主要用户
• 存在重大争议或政治敏感性
• 涉及新颖的伦理领域（新技术、无先例可循） → 咨询：法律顾问、伦理委员会、领域专家、受影响社区、监管机构

所需输入：

• 功能或决策（拟议的内容是什么？有什么变化？）
• 受影响群体（哪些人受到影响？直接和间接影响分别是什么？）
• 背景（要解决什么问题？为什么是现在？）

产出：

• ethics-safety-impact.md：利益相关方分析、伤害／收益评估、公平性评估、风险优先级排序、缓解计划、监控框架、升级流程