ai-risk-management

AI 风险管理 — 超越安全范畴，覆盖模型全生命周期

prompt-injection 涵盖 AI 安全领域中的一部分——攻击者操纵 LLM 输入。本技能涵盖部署 AI / ML 系统时其他所有与风险相关的方面：治理、公平性、稳健性、透明度、监控、针对 AI 故障的事件响应、第三方模型风险，以及遵守不断发展的 AI 监管要求。

本技能以 NIST AI RMF 1.0（于 2023 年发布）为框架——这是应用最广泛的自愿性框架——并结合监管层面（EU AI Act、美国联邦政策和州法律、行业专项指导）。当你部署的不只是聊天机器人封装的 AI 功能、监管机构询问“你们如何治理 AI”，或者生产环境中的 AI 系统出现问题时，请使用本技能。

交叉参考：prompt-injection 适用于提示词注入 / LLM 专属安全攻击；threat-modeling 适用于设计阶段的 AI 风险建模；incident-triage 和 breach-patterns 适用于 AI 相关事件响应模式；csf-mapping 适用于 AI RMF 所属的更广泛治理框架。

授权

使用用户组织构建、部署或购买的 AI 系统进行评估，且仅使用用户有权分享的材料。本技能会读取文档、模型卡、评估结果和代码。它不会使用真实用户数据对生产模型进行评估，也不会以第三方模型条款禁止的方式对其进行评估。监管结论仅供法律顾问参考，不构成法律建议。

NIST AI RMF — 四项职能

与网络安全框架一样，AI RMF 将相关工作划分为若干职能。结构相同，内容不同。

职能	涵盖内容
Govern（GOV，治理）	政策、问责、职责、风险承受度、AI 原则、董事会监督、治理结构
Map（MAP，映射）	背景——AI 系统是什么、能做什么、会影响谁、可能出现什么问题，以及有哪些法律 / 道德约束
Measure（MEAS，测量）	评估系统——公平性、稳健性、准确性、可解释性、隐私、安全；定量与定性指标
Manage（MAN，管理）	应对风险——缓解措施、监控、事件响应、停用、持续审查

该框架虽为自愿性框架，但在合同、RFP、行政命令和新兴法规中被引用的频率越来越高。应将其视为 AI 风险领域的通用语言。

工作流

第 1 步 — 梳理 AI 系统清单

在评估之前，先建立系统清单。大多数组织都低估了实际部署的 AI 系统数量。

类别	示例
自研训练模型	推荐引擎、欺诈检测、客户流失预测、内部 ML 流水线
自研 LLM 应用	客户支持聊天、内容生成、摘要、代码生成、用于搜索的嵌入
第三方 AI 功能	Stripe Radar（欺诈）、GitHub Copilot（代码补全）、Salesforce Einstein、Notion AI、Linear AI
所交付产品中嵌入的 AI	建议回复、智能默认值、AI 排序 / 排名
HR / 招聘中的 AI	简历筛选、候选人匹配、绩效评估——监管风险较高
面向客户决策中的 AI	定价、资格判定、内容审核、广告定向——监管风险较高
AI 编码 Agent 和扩展程序	Claude Code、Cursor、Codex、Gemini CLI、Copilot——以及它们以开发者权限加载的技能、插件、钩子、MCP 服务和 CLAUDE.md / AGENTS.md 文件；使用 agent-supply-chain-audit 进行审计

对于每个系统，记录：供应商（如有）、训练数据来源、部署场景、受影响对象、所辅助的决策，以及决策的审查方式。

步骤 2 — MAP：评估各系统的背景

针对清单中的每个 AI 系统，回答以下问题：

• 用途 — 该系统声称的目标是什么？实际部署是否符合目标？
• 利益相关方 — 谁会与系统交互，谁会受到系统决策的影响，谁有能力质疑这些决策？
• 法律 / 监管背景 — 是否受特定法律管辖？（《欧盟 AI 法案》的高风险类别、美国 HUD 的公平住房规则、针对就业 AI 的 EEOC 规定、FTC 关于不公平 / 欺骗性行为的规定、行业法律）
• 失效模式 — 系统“出故障”是什么样的？（答案错误、有偏见、产生幻觉、响应缓慢、成本高昂、本应回答却拒绝回答、本不该回答却给出答案）
• 可逆性 — 系统做出错误判断时，能否撤销该决定？（拒绝抵押贷款：难以撤销。垃圾邮件过滤：容易撤销）

步骤 3 — MEASURE：评估系统

评估类别及其对应的工程切入点：

准确性 / 性能

• 测试集评估 — 使用留出的数据，而非训练数据
• 评估数据切片上的性能，而不只看总体表现（系统总体准确率可能达到 95%，但对受影响最大的群体，准确率可能只有 60%）
• 分类任务使用混淆矩阵；回归任务使用基于分位数的误差分析
• 对于大模型：使用针对具体任务的评估（HELM、MMLU、自定义评估），尤其要针对应用的实际提示词进行自定义评估

公平性 / 偏见

• 人口统计均等 — 系统在不同受保护群体中是否产生相近的结果？
• 均等化赔率 — 不同群体的假阳性率和假阴性率是否相近？
• 校准 — 当系统表示“可能性为 80%”时，这对所有群体是否都确实为 80%？
• 个体公平性 — 相似的输入是否会产生相似的输出？

这些指标往往相互冲突，无法同时将它们全部最大化。MAP 步骤应已针对具体用例确定哪些指标最重要。对于招聘 AI，均等化赔率比人口统计均等更重要。对于贷款审批，选择取决于哪方利益占主导地位。

工具： Fairlearn（Microsoft）、AI Fairness 360（IBM）、What-If Tool（Google）、Aequitas（University of Chicago）、fairlearn.metrics、aif360.metrics。

鲁棒性

• 对抗性输入 — 足以改变预测结果的扰动（传统机器学习可使用 Foolbox、ART）
• 分布偏移 — 输入分布变化时，模型性能是否会下降（最终一定会）
• 压力测试 — 极端但合理的输入

对于大模型：

• 提示词注入（参见 prompt-injection）
• 越狱（DAN 风格、角色扮演、编码指令、多轮操纵）
• 间接提示词注入（模型读取的不可信内容）
• 不同改写提示词下的输出稳定性

可解释性 / 透明度

• 局部解释 — 模型为什么做出这个决定？可使用 SHAP、LIME、集成梯度
• 全局解释 — 总体而言，哪些特征对模型最重要？
• 模型卡片 — Google 为机器学习模型提供的文档模式。包括预期用途、性能指标、训练数据、局限性和伦理考量
• 系统卡片 — 对于集成大模型的系统，使用更长篇幅描述整个 AI 流水线

完全无法解释的模型，就无法在监管调查中为其辩护。对于影响重大的决策，可解释性不是可选项。

隐私

• 模型是否会泄露训练数据？（针对大模型的成员推断攻击、训练数据提取攻击）
• 含有 PII 的输入 / 输出是否经过适当的范围控制（参见 privacy-engineering）？
• 对于大模型微调：是否对训练数据进行了 PII 脱敏处理？

安全性

参见 prompt-injection — 提示词注入、间接注入、Agent 权限边界、MCP 安全性。输出到 AI RMF 评估中的内容是安全态势摘要。

步骤 4 — 管理：应对风险

对于在衡量阶段发现的每项重大风险：

风险	应对选项
对受保护群体存在偏见	使用平衡数据重新训练；在训练目标中添加约束；在预处理或后处理中进行公平性校正；移除该特征；移除该应用
对事实类查询产生幻觉	检索增强生成；要求提供引文；增加事实核查步骤；向用户发出警告
随时间发生漂移	监控；定期重新训练；采用冠军—挑战者部署
对抗鲁棒性不足	对抗训练；输入验证；对探测行为进行速率限制
高风险决策缺乏可解释性	改用可解释的模型类别；增加事后解释；加入人在回路机制
第三方模型透明度不足	供应商风险审查；在合同中保证训练数据相关事项；改用可自托管的替代方案
存在泄露个人身份信息（PII）的可能	在训练中使用差分隐私；在提示词中删除 PII；过滤输出

步骤 5 — 治理：架构与政策

使上述措施长期有效的持续性层面。

• AI 原则 — 以书面形式制定，经董事会批准，并尽可能公开（Google AI Principles、Microsoft Responsible AI Standard、OpenAI Usage Policies 可作为参考）
• 角色 — 谁是 AI 风险负责人？谁审查新的 AI 部署？谁有权叫停部署？
• 审批关卡 — 高影响 AI 系统（根据 MAP 步骤判定）必须在部署前接受审查。低影响系统则不必如此——过度设计会扼杀流程
• 文档更新周期 — 每次重新训练时更新模型卡；每次重大变更时更新系统卡
• AI 事件响应 — 什么情况会触发调查？（错误答案率超过阈值、群体间差异激增、现实环境中出现越狱）
• 退役 — 每个已部署模型都应有生命周期结束计划。没有负责人、无人维护的生产模型，就像未维护的依赖项，是 AI 领域的同类问题

监管层面（概述——具体细节由法律顾问确定）

截至 2026 年 10 月的状态。监管日期会变动；请在报告中注明“截至”日期，并在依据任何标注为（待核实）的内容行事前，重新查阅主要来源进行确认。

欧盟《人工智能法案》（Regulation (EU) 2024/1689）

按风险等级划分的框架：

• 禁止 — 社会评分、操纵性或剥削性 AI、无目标的人脸图像抓取、工作场所和学校的情绪识别、某些生物特征分类，以及实时远程生物特征识别。不得部署
• 高风险 — 附件 III 涵盖的用途（就业、教育、信贷、基本服务、执法、移民、关键基础设施），以及附件 I 受监管产品中的 AI。要求：风险管理体系、数据治理、技术文档、日志记录、透明度、人工监督、准确性／稳健性／网络安全、在欧盟数据库中注册、合格评定
• 透明度（第 50 条） — 聊天机器人、深度伪造、AI 生成的内容。告知用户他们正在与 AI 互动；以机器可读的方式标记合成内容
• 通用 AI（GPAI）模型 — 提供商须保留技术文档、发布训练内容摘要，并制定版权政策；具有系统性风险的模型还须进行评估、对抗性测试、事件报告和网络安全保障。GPAI 行为准则是通常用于证明合规的方式
• 最低风险 — 大多数 AI 应用。自愿行为准则

时间表：

日期	适用事项
2024 年 8 月 1 日	生效
2025 年 2 月 2 日	禁止的实践；提供商和部署者的 AI 素养义务
2025 年 8 月 2 日	GPAI 模型义务；治理和处罚
2026 年 8 月 2 日	第 50 条透明度义务；大多数其余条款
2027 年 12 月 2 日	附件 III 高风险义务——由 2026 年《人工智能数字综合法案》从 2026 年 8 月 2 日推迟至此（请对照 EUR-Lex 核实）
2028 年 8 月 2 日	附件 I 产品中的高风险 AI——同一修正案将日期从 2027 年 8 月 2 日推迟至此（请核实）

《综合法案》还更改了其他细节（对已上市系统的机器可读标记设置宽限期、新增禁止类别）。请查阅 EUR-Lex 上的合并文本，不要依赖摘要。

美国（联邦层面的拼凑式监管）

• **第 14110 号行政令（2023 年）已于 2025 年 1 月 20 日撤销。**不要将其作为现行政策引用。此后联邦层面的政策包括第 14179 号行政令（2025 年 1 月）和《美国 AI 行动计划》（2025 年 7 月），二者倾向于放松监管；以及 2025 年 12 月 11 日发布的一项行政令，指示各机构通过 AI 诉讼工作组挑战被认为负担过重的州 AI 法律（其中点名科罗拉多州的法律）。其对任何特定州法律的影响存在争议，也可能正在诉讼中（请核实）
• 《行动计划》指示 NIST 修订 AI RMF。请引用你实际采用的修订版本
• FTC 根据禁止不公平／欺骗性行为的权限执法——尤其针对 AI 声明，以及用于定价／招聘／住房的 AI
• EEOC 对就业领域的 AI 执法
• 行业特定监管（HUD 负责住房，CFPB 负责信贷，FDA 负责医疗 AI）
• 州法律——除非法院或立法机关另有规定，否则仍然有效：
  • 《科罗拉多州 AI 法案》（SB 24-205）——生效日期推迟至 2026 年 6 月 30 日，预计会有修订；请向州议会核实现行文本和日期（请核实）
  • 纽约市地方法律第 144 号，要求对自动化就业决策工具进行偏见审计
  • 伊利诺伊州生物特征信息隐私法（BIPA）
  • 加利福尼亚州 AB 2013（训练数据透明度）和 SB 942（AI 内容来源）

标准（自愿采用，但会被引用）

• NIST AI RMF 1.0 + 生成式 AI 配置文件
• ISO/IEC 42001 — AI 管理体系标准
• ISO/IEC 23894 — AI 风险管理

输出格式

# AI Risk Assessment
## System(s): [list]
## Framework: NIST AI RMF 1.0 [+ EU AI Act mapping if applicable]
## Date: [date]
## Assessor: [name]

### Executive summary
[2-3 paragraphs — top risks, governance posture, regulatory exposure, recommended next 90 days]

### AI system inventory
| System | Purpose | Stakeholders | Risk tier (per MAP) | Owner |
|--------|---------|--------------|---------------------|-------|

### MEASURE findings
| System | Category | Finding | Severity |
|--------|----------|---------|----------|
| [name] | Fairness | [Disparity description with metric] | High |
| [name] | Robustness | [Failure mode] | Medium |

### MANAGE plan
| Risk | Treatment | Owner | Deadline |
|------|-----------|-------|----------|

### GOVERN posture
- [ ] AI principles documented and approved
- [ ] AI inventory maintained
- [ ] Approval gate exists for high-impact deployments
- [ ] Model cards / system cards in place for production AI
- [ ] AI incident response defined
- [ ] Decommissioning plans exist

### Regulatory mapping (if applicable)
Status as of: [date]

| Regulation | Status | Applies from | Action items |
|------------|--------|--------------|--------------|

### References / evidence
[Links to model cards, eval reports, audit logs]

根据 owasp-audit 的处置规则（修复／延期／接受风险）。AI 接受风险的决策须获得工程方面的签字批准，并且（通常还需）根据系统影响获得法律／伦理方面的签字批准。

边界

• 此技能用于生成风险评估、治理材料和实施指导
• 对于高风险、受监管的 AI（医疗器械、自动驾驶系统、受当地审计法律约束的招聘 AI），监管认定由法律顾问作出——此技能提供该流程所需的工程输入，而非最终合规立场
• 拒绝协助构建落入《欧盟 AI 法案》禁止清单、违反公民权利法律（在受保护群体相关决策中造成差别影响）或在没有合法依据的情况下监视个人的 AI 系统
• 拒绝协助构建旨在规避透明度／披露要求的系统（例如，未披露的机器人、旨在受监管场景中欺骗他人的深度伪造内容）
• 对于与此技能相关但有所区别的 AI 安全主题（模型对齐研究、灾难性风险研究、前沿模型评估），请参考专业文献和前沿实验室——此技能关注的是企业部署风险管理

参考资料

• NIST AI RMF 1.0 — nist.gov/itl/ai-risk-management-framework（基础资料）
• NIST AI RMF Generative AI Profile — 生成式 AI 专用附录
• 《欧盟 AI 法案》 — Regulation (EU) 2024/1689 和 2026 Digital Omnibus 修正案，合并文本见 EUR-Lex；artificialintelligenceact.eu（社区维护的指南）
• GPAI Code of Practice — EU AI Office 为通用 AI 模型提供方制定
• America's AI Action Plan（2025 年 7 月）和 2025 年 12 月 11 日关于州 AI 法律的 EO — whitehouse.gov
• NIST AI 100-1、100-2 — 配套文件
• ISO/IEC 42001 — AI 管理体系标准
• OECD AI Principles — 国际参考资料
• EEOC 关于 AI 的技术指南
• FTC 关于 AI 的指南 — “Aiming for truth, fairness, and equity in your company's use of AI”
• Google Responsible AI Practices + Model Card Toolkit
• Microsoft Responsible AI Standard v2
• OpenAI Usage Policies + System Cards（系统卡披露示例）
• Anthropic Responsible Scaling Policy + Acceptable Use Policy（治理披露示例）
• MIT AI Risk Repository — 由学术界整理的 AI 风险目录
• Stanford CRFM Foundation Model Transparency Index — 透明度对比评估
• Fairlearn、AI Fairness 360、What-If Tool、Aequitas — 公平性评估工具
• HELM（Holistic Evaluation of Language Models）、MMLU、TruthfulQA — 大模型评估基准