ai-risk-management

AI リスク管理 — セキュリティの先へ、モデルのライフサイクル全体を対象に

prompt-injection は、攻撃者が LLM への入力を操作するという AI セキュリティの領域を扱います。このスキルでは、AI／ML システムの導入に伴うその他すべてのリスク、つまりガバナンス、公平性、堅牢性、透明性、監視、AI 固有の障害に対するインシデント対応、サードパーティモデルのリスク、新たに整備されつつある AI 規制への準拠を扱います。

このスキルの枠組みは、最も広く採用されている自主的なフレームワークである NIST AI RMF 1.0（2023 年公開）と、規制の枠組み（EU AI Act、米国の連邦政策および州法、分野別ガイダンス）です。チャットボットのラッパーを超える AI 機能を導入する場合、規制当局から「AI をどのように管理していますか」と尋ねられた場合、または本番環境の AI システムで問題が発生した場合に、このスキルを使用してください。

関連項目：プロンプトインジェクションや LLM 固有のセキュリティ攻撃については prompt-injection、設計時の AI リスクモデリングについては threat-modeling、AI 関連のインシデント対応パターンについては incident-triage と breach-patterns、AI RMF が位置づけられる、より広範なガバナンスの枠組みについては csf-mapping を参照してください。

承認

ユーザーの組織が構築、導入、または購入する AI システムを、共有する権利のある資料を使用して評価します。このスキルでは、ドキュメント、モデルカード、評価結果、コードを読み取ります。実際のユーザーデータを使って本番モデルに対する評価を実施したり、利用規約で禁止されている方法でサードパーティモデルを評価したりすることはありません。規制に関する結論は、法的助言ではなく、弁護士への情報提供を目的とします。

NIST AI RMF — 4 つの機能

サイバーセキュリティフレームワークと同様に、AI RMF では作業を機能ごとに整理します。構成は同じですが、内容は異なります。

機能	対象範囲
Govern (GOV)	ポリシー、説明責任、役割、リスク許容度、AI の原則、取締役会による監督、ガバナンス体制
Map (MAP)	コンテキスト — AI システムとは何か、何をするのか、誰に影響するのか、何が問題になり得るのか、法的・倫理的な制約は何か
Measure (MEAS)	システムの評価 — 公平性、堅牢性、精度、説明可能性、プライバシー、セキュリティ、定量・定性指標
Manage (MAN)	リスクへの対処 — 緩和策、監視、インシデント対応、運用終了、継続的なレビュー

このフレームワークは自主的なものですが、契約、RFP、行政命令、新たに整備されつつある規制で引用されることが増えています。AI リスクを語る共通言語として扱ってください。

ワークフロー

ステップ 1 — AI システムの一覧を作成する

評価を始める前に、一覧を作成します。多くの組織は、実際に導入している AI の規模を過小評価しています。

カテゴリ	例
自社開発の学習済みモデル	レコメンデーションエンジン、不正検出、解約予測、社内 ML パイプライン
自社での LLM 利用	カスタマーサポートのチャット、コンテンツ生成、要約、コード生成、検索用エンベディング
サードパーティの AI 機能	Stripe Radar（不正検出）、GitHub Copilot（コード補完）、Salesforce Einstein、Notion AI、Linear AI
出荷する製品に組み込まれた AI	返信候補、スマートデフォルト、AI による並べ替え／ランキング
人事／採用での AI	履歴書のスクリーニング、候補者のマッチング、パフォーマンス評価 — 規制上のリスクが高い領域
顧客向けの意思決定に使われる AI	価格設定、適格性判断、コンテンツモデレーション、広告ターゲティング — 規制上のリスクが高い領域
AI コーディングエージェントと拡張機能	Claude Code、Cursor、Codex、Gemini CLI、Copilot — および開発者権限で読み込まれるスキル、プラグイン、フック、MCP サーバー、CLAUDE.md／AGENTS.md ファイル。agent-supply-chain-audit で監査してください

それぞれについて、ベンダー（該当する場合）、学習データのソース、導入コンテキスト、影響を受ける人、判断への利用方法、判断のレビュー方法を記録します。

ステップ 2 — MAP：システムごとにコンテキストを評価する

インベントリ内の各 AI システムについて、次の問いに答えてください。

• 目的 — このシステムが掲げる目標は何ですか？ 実際の導入状況と一致していますか？
• ステークホルダー — このシステムを利用するのは誰ですか？ その判断の影響を受けるのは誰ですか？ その判断に異議を唱えられる立場にあるのは誰ですか？
• 法的／規制上のコンテキスト — 特定の法律の対象ですか？（EU AI Act の高リスクカテゴリー、米国 HUD の公正住宅ルール、雇用 AI に関する EEOC、不公正または欺瞞的な行為に関する FTC、業界別の法律）
• 障害モード — 「壊れている」とはどのような状態ですか？（誤った回答、偏った回答、幻覚による回答、遅い回答、高コストな回答、本来回答すべきことへの回答拒否、本来回答すべきでないことへの回答）
• 可逆性 — このシステムが誤った判断をした場合、その判断を取り消せますか？（住宅ローンの否決：取り消すのは困難。スパムフィルター：簡単）

ステップ 3 — MEASURE：システムを評価する

評価カテゴリーと、それぞれに対応するエンジニアリング上の手段を示します。

正確性／パフォーマンス

• テストセットによる評価 — 学習データではなく、保留データを使用します
• データ全体の集計値だけでなく、データの各スライスにおけるパフォーマンスも評価します（全体の精度が 95％のシステムでも、最も大きな影響を受ける人口統計グループでは 60％の精度かもしれません）
• 分類には混同行列、回帰には分位点ベースの誤差分析を使用します
• LLM には、タスク固有の評価（HELM、MMLU、カスタム評価）を使用します。特に、アプリケーションで実際に使うプロンプトを対象にしたカスタム評価が重要です

公平性／バイアス

• 人口統計的パリティ — 保護対象グループ間で、システムが同様の結果を出しますか？
• 等化オッズ — グループ間で、偽陽性率と偽陰性率は同程度ですか？
• キャリブレーション — システムが「80％の確率」と示した場合、すべてのグループで実際に 80％ですか？
• 個人公平性 — 類似した入力に対して、類似した出力が得られますか？

これらの指標はしばしば相反するため、すべてを同時に最大化することはできません。ユースケースで何を最も重視するかは、MAP の段階で決めておく必要があります。採用 AI では、人口統計的パリティより等化オッズが重要です。ローン審査では、どの利害を優先するかによって選択が異なります。

ツール： Fairlearn（Microsoft）、AI Fairness 360（IBM）、What-If Tool（Google）、Aequitas（University of Chicago）、fairlearn.metrics、aif360.metrics。

堅牢性

• 敵対的入力 — 予測を反転させる摂動（従来型 ML には Foolbox、ART）
• 分布シフト — 入力分布が変化したとき、モデルの性能が低下しますか（いずれ低下します）
• ストレステスト — 極端ではあるものの、起こり得る入力

LLM の場合：

• プロンプトインジェクション（prompt-injection を参照）
• 脱獄（DAN 形式、ロールプレイ、エンコードされた指示、複数ターンにわたる操作）
• 間接的なプロンプトインジェクション（モデルが読み取る信頼できないコンテンツ）
• 言い換えたプロンプト間での出力の安定性

説明可能性／透明性

• 局所的な説明 — モデルがこの判断を下した理由は何ですか？ SHAP、LIME、統合勾配を使用します
• 全体的な説明 — モデル全体でどの特徴量が重要ですか？
• モデルカード — Google による ML モデルのドキュメント形式です。想定される用途、パフォーマンス指標、学習データ、制約、倫理的配慮が含まれます
• システムカード — LLM 統合システム向けに、AI パイプライン全体を説明する、より詳細な形式です

まったく説明できないモデルは、規制当局の調査で擁護できないモデルです。影響の大きい判断では、説明可能性は必須です。

プライバシー

• モデルから学習データが漏えいしますか？（メンバーシップ推論攻撃、LLM に対する学習データ抽出攻撃）
• 個人を特定できる情報（PII）を含む入力／出力の範囲は適切ですか（privacy-engineering を参照）？
• LLM のファインチューニングでは、学習データに対して PII の削除処理を適用していますか？

セキュリティ

prompt-injection を参照してください。プロンプトインジェクション、間接的なインジェクション、エージェントの権限境界、MCP のセキュリティを扱います。AI RMF 評価への出力は、セキュリティ態勢の概要です。

ステップ 4 — 管理：リスクに対処する

MEASURE で明らかになった重大なリスクごとに、以下を検討します。

リスク	対処方法
保護対象クラスへの偏り	バランスの取れたデータで再学習する、学習目標に制約を追加する、前処理／後処理で公平性を補正する、特徴量を削除する、アプリケーションを廃止する
事実に関する質問への幻覚	検索拡張生成、引用の必須化、ファクトチェックのステップ、ユーザーへの警告
時間の経過に伴うドリフト	モニタリング、定期的な再学習、チャンピオン・チャレンジャー方式でのデプロイ
敵対的攻撃への堅牢性の不足	敵対的学習、入力検証、探索パターンに対するレート制限
重大な意思決定における説明可能性の欠如	解釈可能なモデルクラスに切り替える、事後説明を追加する、ヒューマン・イン・ザ・ループを導入する
透明性が不十分なサードパーティ製モデル	ベンダーリスクの審査、学習データに関する契約上の保証、セルフホスト可能な代替手段への切り替え
PII 漏えいの可能性	学習における差分プライバシー、プロンプト内の PII の削除、出力フィルタリング

ステップ 5 — ガバナンス：体制とポリシー

上記の取り組みを継続的に機能させるための基盤です。

• AI の原則 — 文書化し、取締役会の承認を得ます。可能であれば公開します（Google AI Principles、Microsoft Responsible AI Standard、OpenAI Usage Policies が参考になります）
• 役割 — AI リスクの責任者は誰ですか？新しい AI のデプロイを審査するのは誰ですか？デプロイを停止できるのは誰ですか？
• 承認ゲート — 高影響の AI システム（MAP ステップで定義）はデプロイ前に審査が必要です。低影響のシステムには必要ありません。過剰な設計はプロセスを損ないます
• ドキュメントの更新頻度 — 再学習のたびにモデルカードを更新し、重大な変更のたびにシステムカードを更新します
• AI のインシデント対応 — 何が調査のきっかけになりますか？（誤答率がしきい値を超えた場合、人口統計上の格差が急増した場合、実環境でジェイルブレイクが発生した場合）
• 廃止 — デプロイされたすべてのモデルに、ライフサイクル終了時の計画を用意します。所有者も保守もない本番モデルは、保守されていない依存関係の AI 版です

規制レイヤー（概要 — 詳細は弁護士が判断）

2026 年 10 月時点の状況です。規制の日程は変わるため、レポートには「時点」を明記し、(verify) と記された項目は、依拠する前に一次情報で再確認してください。

EU AI Act（Regulation (EU) 2024/1689）

リスク階層に基づく枠組み：

• 禁止 — ソーシャルスコアリング、操作的または搾取的なAI、対象を限定しない顔画像のスクレイピング、職場や学校での感情認識、特定の生体情報による分類、およびリアルタイムの遠隔生体認証。導入しないでください
• 高リスク — Annex III の用途（雇用、教育、信用、不可欠なサービス、法執行、移民、重要インフラ）および Annex I の規制対象製品におけるAI。必要事項：リスク管理システム、データガバナンス、技術文書、ログ記録、透明性、人間による監督、精度／堅牢性／サイバーセキュリティ、EU データベースへの登録、適合性評価
• 透明性（Article 50） — チャットボット、ディープフェイク、AI生成コンテンツ。ユーザーがAIとやり取りしていることを伝え、合成コンテンツに機械可読な方法でラベルを付けてください
• 汎用AI（GPAI）モデル — プロバイダーは技術文書を保管し、学習コンテンツの概要を公開し、著作権ポリシーを設ける必要があります。システミックリスクのあるモデルには、評価、敵対的テスト、インシデント報告、サイバーセキュリティが追加で求められます。GPAI Code of Practice は、通常、コンプライアンスを示すために使用されます
• 最小リスク — ほとんどのAIアプリケーション。任意の行動規範

施行スケジュール：

日付	適用内容
2024年8月1日	発効
2025年2月2日	禁止される行為、プロバイダーと導入者のAIリテラシー義務
2025年8月2日	GPAIモデルの義務、ガバナンスと罰則
2026年8月2日	Article 50 の透明性義務、その他ほとんどの規定
2027年12月2日	Annex III の高リスク義務 — 2026年の Digital Omnibus on AI により2026年8月2日から延期（EUR-Lex で確認）
2028年8月2日	Annex I 製品における高リスクAI — 同じ改正により2027年8月2日から延期（要確認）

Omnibus では、その他の詳細も変更されています（すでに市場に出ているシステムの機械可読なラベル付けに対する猶予期間、新たに禁止されるカテゴリなど）。要約ではなく、EUR-Lex の統合版テキストを確認してください。

米国（連邦レベルのパッチワーク）

• Executive Order 14110（2023年）は2025年1月20日に撤回されました。 現行のものとして引用しないでください。それ以降の連邦政策は、規制緩和を重視する EO 14179（2025年1月）と America's AI Action Plan（2025年7月）、および負担が大きいと見なされる州のAI法（Colorado州の法律を名指ししています）に対して、AI Litigation Task Force を通じて各機関が異議を申し立てるよう指示する2025年12月11日付のEOです。個々の州法に対する影響については議論があり、訴訟中の場合もあります（要確認）
• Action Plan は NIST に AI RMF の改訂を指示しました。実際に使用した改訂版を引用してください
• 不公正／欺瞞的行為に関する権限に基づく FTC の執行 — 特にAIに関する主張や、価格設定／採用／住宅でのAI利用が対象です
• 雇用AIについては EEOC が執行
• 分野別（住宅は HUD、信用は CFPB、医療AIは FDA）
• 州法 — 裁判所または州議会が別段の判断をしない限り、引き続き有効です：
  • Colorado AI Act（SB 24-205）— 施行日は2026年6月30日に延期され、改正が見込まれています。現行の条文と施行日を州議会で確認してください（要確認）
  • 自動雇用意思決定ツールのバイアス監査を定める NYC Local Law 144
  • 生体情報については Illinois BIPA
  • California AB 2013（学習データの透明性）および SB 942（AIコンテンツの来歴）

標準規格（任意だが参照されるもの）

• NIST AI RMF 1.0 + Generative AI Profile
• ISO/IEC 42001 — AIマネジメントシステム規格
• ISO/IEC 23894 — AIリスクマネジメント

出力形式

# AI Risk Assessment
## System(s): [list]
## Framework: NIST AI RMF 1.0 [+ EU AI Act mapping if applicable]
## Date: [date]
## Assessor: [name]

### Executive summary
[2-3 paragraphs — top risks, governance posture, regulatory exposure, recommended next 90 days]

### AI system inventory
| System | Purpose | Stakeholders | Risk tier (per MAP) | Owner |
|--------|---------|--------------|---------------------|-------|

### MEASURE findings
| System | Category | Finding | Severity |
|--------|----------|---------|----------|
| [name] | Fairness | [Disparity description with metric] | High |
| [name] | Robustness | [Failure mode] | Medium |

### MANAGE plan
| Risk | Treatment | Owner | Deadline |
|------|-----------|-------|----------|

### GOVERN posture
- [ ] AI principles documented and approved
- [ ] AI inventory maintained
- [ ] Approval gate exists for high-impact deployments
- [ ] Model cards / system cards in place for production AI
- [ ] AI incident response defined
- [ ] Decommissioning plans exist

### Regulatory mapping (if applicable)
Status as of: [date]

| Regulation | Status | Applies from | Action items |
|------------|--------|--------------|--------------|

### References / evidence
[Links to model cards, eval reports, audit logs]

owasp-audit に基づく処置ルール（修正／延期／受容するリスク）。AIのリスク受容の判断には、システムの影響に応じて、エンジニアリング部門と（多くの場合）法務／倫理部門の両方による承認が必要です。

境界

• このスキルでは、リスク評価、ガバナンス関連の成果物、実装ガイダンスを作成します
• 医療機器、自律システム、地域の監査法の適用対象となる採用 AI など、規制の厳しい高リスク AI については、規制上の判断は弁護士と協議して行います。このスキルが作成するのは、そのプロセスに役立つエンジニアリング上の情報であり、最終的なコンプライアンス方針ではありません
• EU AI Act の禁止リストに該当する AI システム、（保護対象の属性に基づく判断において異なる影響を及ぼすなど）公民権法に違反する AI システム、または法的根拠なく個人を監視するシステムの構築には協力しません
• 透明性や開示の要件を回避する目的で設計されたシステム（例：開示されていないボット、規制対象の状況で人を欺くことを目的としたディープフェイク）の構築には協力しません
• このスキルに関連するものの対象範囲外である AI 安全性のトピック（モデルアラインメント研究、壊滅的リスクの研究、フロンティアモデルの評価）については、専門文献やフロンティアラボを参照してください。このスキルの対象は、エンタープライズ環境への導入におけるリスク管理です

参考資料

• NIST AI RMF 1.0 — nist.gov/itl/ai-risk-management-framework（基礎資料）
• NIST AI RMF Generative AI Profile — 生成 AI に特化した補足資料
• EU AI Act — Regulation (EU) 2024/1689 および 2026 Digital Omnibus amendment。統合版テキストは EUR-Lex で参照できます。artificialintelligenceact.eu（コミュニティが管理するガイド）
• GPAI Code of Practice — 汎用 AI モデルのプロバイダー向けの EU AI Office の指針
• America's AI Action Plan（July 2025）および 2025 年 12 月 11 日の州 AI 法に関する EO — whitehouse.gov
• NIST AI 100-1, 100-2 — 関連文書
• ISO/IEC 42001 — AI マネジメントシステム規格
• OECD AI Principles — 国際的な参考資料
• 雇用における AI に関する EEOC の技術支援資料
• AI に関する FTC のガイダンス — 「Aiming for truth, fairness, and equity in your company's use of AI」
• Google Responsible AI Practices ＋ Model Card Toolkit
• Microsoft Responsible AI Standard v2
• OpenAI Usage Policies + System Cards（システムカードによる開示の例）
• Anthropic Responsible Scaling Policy + Acceptable Use Policy（ガバナンスに関する開示の例）
• MIT AI Risk Repository — 学術関係者が選定した AI リスクのカタログ
• Stanford CRFM Foundation Model Transparency Index — 比較可能な透明性評価
• Fairlearn、AI Fairness 360、What-If Tool、Aequitas — 公平性評価ツール
• HELM（Holistic Evaluation of Language Models）、MMLU、TruthfulQA — LLM 評価ベンチマーク