ai-risk-governance

AI 风险与治理

适用场景

• 按风险等级和影响对 AI 用例进行分类
• 起草 AI 可接受使用政策和治理框架
• 构建 AI 风险登记册，跟踪可能性、严重程度和缓解措施
• 为 AI 部署准备模型卡、系统卡或 DPIA
• 审查第三方 LLM 供应商（数据条款、微调、安全承诺）
• 将 AI 产品映射到框架（NIST AI RMF、ISO 42001、EU AI Act 概念）
• 使产品和工程团队与合规要求保持一致
• 为影响重大的 AI 决策设计人在回路监督机制

不适用场景

• 实施 RAG 流水线、Agent 或生产功能 → ai-engineer
• 开展越狱测试或对抗性行动 → ai-redteam
• SOC 2/ISO 证据自动化和技术控制映射 → compliance-engineer
• 不涉及 AI 的一般 SOC 2 IT 控制 → cybersecurity
• 商业/企业 AI 解决方案架构 → applied-ai-architect-commercial-enterprise
• 技能组合治理和发布门禁 → ai-skill-manager

相关技能

需求	技能
构建 LLM 产品	ai-engineer
对抗性测试	ai-redteam
研究和基准测试	ai-researcher
企业安全计划	cybersecurity
流水线和数据安全	devsecops
SOC 2/ISO 证据和技术控制	compliance-engineer
AI 解决方案架构（商业/企业）	applied-ai-architect-commercial-enterprise
Agent 技能治理	ai-skill-manager
防护网关、分类器、发布	ml-infrastructure-engineer-safeguards
安全分类器研究和基准测试	ml-research-engineer-safeguards
防护措施的隐私研究	privacy-research-engineer-safeguards
企业安全风险登记册（非 AI 范围）	security-risk-analyst
并购/投资网络安全尽职调查和董事会材料	cyber-diligence-governance

核心工作流

1. 用例收集与分类

收集：

字段	用途
目的和用户	范围和问责
数据类型	PII、特殊类别、IP
自动化程度	人在回路还是自主运行
出错时的影响	安全、法律、财务、声誉
外部暴露范围	面向客户还是内部使用

风险等级（示例）：

等级	标准	控制措施
低	内部使用、影响低、不涉及敏感数据	标准政策 + 日志记录
中	面向客户或涉及内部 PII	审查 + 评估 + 监控
高	受监管领域、影响重大、自主采取行动	治理委员会 + 红队测试 + 加强监督

参见 references/risk_classification.md，了解面向 EU AI Act 的映射（非法律意见）。

2. 风险评估

使用结构化工作表：

1. 识别危害（偏见、幻觉、泄露、滥用、依赖）
2. 估计可能性和严重程度
3. 制定缓解措施（技术、流程、法律）
4. 指定负责人和审查日期
5. 签署接受剩余风险的文件

参见 references/risk_assessment.md，查看工作表和 NIST AI RMF 职能。

3. 文档材料

材料	适用时机
模型卡 / 系统卡	每个生产模型或供应商模型
数据表	描述训练/微调数据
评估摘要	部署前及定期评估
事件日志	AI 特有危害和未遂事件

参见 references/documentation.md，了解模型卡章节和变更日志。

4. 政策与监督

• 可接受使用政策（禁止用途、审批路径）
• 影响重大决策的人类监督规则
• 针对政策违规和严重事件的升级处理机制
• 面向构建者和审查者的培训

参见 references/policy_oversight.md，了解治理委员会的会议频率。

5. 供应商和第三方模型

审查：数据处理条款、子处理方、保留期限、是否使用客户数据进行微调、安全承诺、违规通知、退出计划。

供应商问卷主题请参阅 references/vendor_review.md。

何时加载参考资料

• 分级和法规映射 → references/risk_classification.md
• 评估和框架 → references/risk_assessment.md
• 模型卡 → references/documentation.md
• 政策和委员会 → references/policy_oversight.md
• 供应商 → references/vendor_review.md