ai-privacy-assessment

AI システムのプライバシー評価の実施

概要

個人データを処理する AI システムには、GDPR の義務と EU AI Act（Regulation 2024/1689）の両方に対応した、プライバシー評価と適合性評価を組み合わせて実施する必要があります。このスキルでは、GDPR 第 35 条の DPIA フレームワークに AI 固有のリスク評価を統合し、トレーニングデータの適法性、第 22 条の自動化された意思決定がもたらす影響、アルゴリズムの公平性、NIST AI Risk Management Framework の MAP 機能を対象とします。評価手法は、EU AI Act 提案に関する EDPB-EDPS Joint Opinion 5/2021 と、その後の AI およびデータ保護に関する EDPB Guidelines 06/2025 に基づいています。

法的枠組み

AI に適用される GDPR の規定

規定	AI システムへの適用
第 5 条第 1 項（a）— 適法性、公平性、透明性	AI による処理には適法な根拠が必要です。AI による判断のロジックは、データ主体に説明できなければなりません
第 5 条第 1 項（b）— 目的の限定	ある目的で収集したトレーニングデータを、さらなる適法な根拠なしに、両立しない目的の AI モデルのトレーニングに使用することはできません
第 5 条第 1 項（c）— データの最小化	AI モデルが必要以上の個人データを要しないようにする必要があります。合成データや匿名化の利用を検討してください
第 5 条第 1 項（d）— 正確性	個人に影響を及ぼす AI の出力は正確でなければなりません。モデルのドリフトを監視する必要があります
第 6 条第 1 項 — 適法な根拠	AI 処理の各段階（データ収集、モデルのトレーニング、推論、出力の利用）に適法な根拠が必要です
第 9 条 — 特別な種類のデータ	健康、生体、遺伝、人種、政治、宗教、性的指向、または労働組合に関するデータを用いたトレーニングには、第 9 条第 2 項に基づく適用除外が必要です
第 13～14 条 — 透明性	プライバシー通知では、自動化された意思決定の有無、関係するロジックに関する有意義な情報、その重要性および想定される結果を開示する必要があります
第 22 条 — 自動化された意思決定	データ主体には、法的効果を生じさせる、または同様に重大な影響を及ぼす、もっぱら自動処理に基づく決定の対象とならない権利があります。ただし、第 22 条第 2 項に基づく例外があります
第 25 条 — 設計によるデータ保護	AI システムには、設計段階からプライバシー保護を組み込む必要があります。プライバシー保護型の ML 技術、差分プライバシー、連合学習などが該当します
第 35 条 — DPIA	EDPB WP248rev.01 の基準（評価／スコアリング、自動化された意思決定、革新的な技術）に該当する AI システムには、DPIA が必要です

EU AI Act（Regulation 2024/1689）のリスク分類

リスクカテゴリー	説明	AI Act の要件	GDPR との重複
許容できないリスク（第 5 条）	明確に禁止される AI の実践：公的機関によるソーシャルスコアリング、公共の場でのリアルタイム遠隔生体識別（例外あり）、職場や教育現場での感情認識、顔認識データベースを作成するための無差別なスクレイピング	禁止 — 導入できません	第 9 条の特別な種類のデータ、第 35 条の DPIA
高リスク（附属書 III）	指定分野の AI システム：生体認証、重要インフラ、教育、雇用、必須サービス、法執行、移住、司法行政	適合性評価、リスク管理システム、データガバナンス、透明性、人間による監視、正確性／堅牢性／サイバーセキュリティ	第 22 条、第 35 条の DPIA、第 25 条の DPbD
限定的リスク（第 50 条）	特定の透明性義務がある AI システム：チャットボット、感情認識、ディープフェイク	透明性義務（ユーザーに AI とやり取りしていることを通知）	第 13～14 条の透明性
最小限のリスク	その他すべての AI システム	AI Act に特定の義務はありません。自主的な実施規範が適用されます	GDPR の標準的な遵守

EDPB-EDPS 合同意見書 5/2021

AI 法案提案に関する合同意見書の主な勧告：

1. 公共の場におけるリモート生体識別の禁止 — 例外を設けずに支持
2. AI 固有の DPIA — EDPB は、Art. 35 の要件に限定せず、すべての高リスク AI システムに対する DPIA の実施を義務付けるよう勧告しました
3. 説明を受ける権利 — Art. 22(3) に定める人間の介入を受け、決定に異議を申し立てる権利は、完全に自動化された決定だけでなく、AI の支援を受けたすべての決定に適用すべきです
4. トレーニングデータのガバナンス — 管理者は、トレーニングデータがその後削除される場合も含め、モデルのライフサイクル全体を通じて、AI のトレーニングに使用する個人データの適法性を確保する必要があります
5. AI トレーニングにおける目的制限 — AI モデルのトレーニングのために個人データを別の目的に転用する場合は、Art. 6(4) に基づく適合性評価、または別個の適法な根拠が必要です

評価方法

フェーズ 1：AI システムの分類（第 1 週）

1.1 AI 法に基づくリスク分類

AI 法に基づいて、AI システムのリスクカテゴリを判定します。

1. Art. 5 の禁止行為リストを確認します。システムが禁止対象に該当する場合、導入できません。
2. Annex III の高リスクカテゴリを確認します。
   • 自然人の生体識別および分類
   • 重要インフラの管理および運用
   • 教育および職業訓練（入学選考、評価、試験監督）
   • 雇用、労働者の管理、および自営業へのアクセス（採用、業務割り当て、業績評価、解雇）
   • 必須の民間サービスおよび公共サービスへのアクセスとその利用（信用スコアリング、保険料の算定、緊急サービスの派遣）
   • 法執行（犯罪リスク評価、ポリグラフ、証拠評価）
   • 移民、庇護、国境管理
   • 司法および民主的プロセスの運営
3. 限定的リスクの AI に関する Art. 50 の透明性義務を確認します。
4. 高リスクまたは限定的リスクに該当しない場合は、最小リスクに分類します。

1.2 GDPR に基づく処理の評価

1. AI のライフサイクルの各段階（データ収集、データ準備、モデルのトレーニング、モデルの検証、推論／導入、出力の利用）で処理されるすべての個人データを特定します。
2. 各段階について、Art. 6(1) に基づく適法な根拠を特定します。
3. 特別なカテゴリのデータが含まれる場合は、Art. 9(2) に基づく条件を特定します。
4. Art. 22 が適用されるかどうかを評価します（法的効果または重大な影響をもたらす、完全に自動化された決定）。

フェーズ 2：トレーニングデータの適法性（第 2 週）

2.1 データ収集の適法性

評価項目	要件
トレーニングデータは Art. 6(1) に基づく適法な根拠のもとで収集されましたか？	各データソースについて、適法な根拠を特定する必要があります
AI のトレーニングへのデータ利用は、当初の収集目的と適合していますか？	Art. 6(4) に基づく適合性評価、または Art. 5(1)(b) に基づく二次処理の分析が必要です
AI のトレーニングを目的とする同意を取得しましたか？	Art. 6(1)(a) に依拠する場合、AI のトレーニング目的について、具体的かつ十分な情報に基づいた、自由意思による同意が必要です
正当な利益に依拠する場合、比較衡量テストを実施しましたか？	Art. 6(1)(f) に基づき、AI 固有の影響を含む LIA を文書化する必要があります
トレーニングデータに特別なカテゴリのデータが含まれていますか？	Art. 9(2) に基づく適用除外が必要です。セーフガードを講じた科学的研究には、Art. 9(2)(j) が適用される場合があります

2.2 データ品質とバイアスの評価

評価領域	要件
代表性	トレーニングデータは、AI システムの適用対象となる母集団を代表するものでなければなりません。人口統計学的グループの過少代表を特定し、対処する必要があります。
ラベルの正確性	教師あり学習の場合、ラベルは正確で、過去のバイアスが含まれていない必要があります。人間のラベラーは、差別防止の原則についてトレーニングを受ける必要があります。
時間的妥当性	トレーニングデータは現在の状況を反映している必要があります。古いトレーニングデータは、差別的な出力を生み出す可能性があります。
代理変数	保護対象の特性の代理として機能する可能性がある特徴量を特定します（郵便番号は民族性の代理、名前は性別の代理など）。
データの来歴	すべてのトレーニングデータについて、出典、収集方法、処理履歴を文書化します。

2.3 トレーニングデータの保持

• Art. 5(1)(e) の保存期間の制限は、トレーニングデータにも適用されます。
• トレーニング完了後、元のトレーニングデータを保持する必要があるか、削除できるかを評価します。
• トレーニングデータを削除する場合、トレーニング済みモデルに埋め込まれたデータに関して、データ主体の権利（アクセス、消去）をどのように実現するかを文書化します。
• トレーニング済みモデル自体が個人データに該当するかどうかを検討します（モデル反転攻撃によって個々のデータポイントを抽出できる場合）。

フェーズ 3：Art. 22 の自動意思決定に関する評価（第 3 週）

3.1 Art. 22(1) の適用性テスト

Does the AI system make decisions about individuals?
├─ NO → Art. 22 does not apply.
└─ YES → Continue.
    │
    Are decisions based solely on automated processing?
    ├─ NO → Art. 22(1) does not apply, but Art. 13-14 transparency still applies.
    │   (Note: "meaningful human involvement" must be genuine, not rubber-stamping.)
    └─ YES → Continue.
        │
        Do decisions produce legal effects or similarly significantly affect the individual?
        ├─ NO → Art. 22(1) does not apply.
        └─ YES → Art. 22(1) applies. The individual has the right not to be subject
            to the decision unless an Art. 22(2) exception applies.

3.2 Art. 22(2) の例外

例外	要件
Art. 22(2)(a) — 契約に必要	データ主体との契約の締結または履行に、意思決定が必要でなければなりません
Art. 22(2)(b) — 法律で認められている	EU 法または加盟国法が意思決定を認め、適切な保護措置を定めている必要があります
Art. 22(2)(c) — 明示的な同意	データ主体が自動意思決定に明示的に同意している必要があります

3.3 Art. 22(3) の保護措置

Art. 22(2) の例外が適用される場合でも、管理者は以下を含む適切な措置を実施する必要があります。

• 人間の介入を求める権利
• データ主体の見解を表明する権利
• 意思決定に異議を申し立てる権利
• 関連するロジックについての有意義な情報（アルゴリズム全体ではなく、要因とその相対的な重みを理解するために十分な情報）

フェーズ 4：アルゴリズムのバイアスと公平性の評価（第 3〜4 週）

4.1 公平性の指標

指標	説明	適用例
人口統計学的均等性	保護対象グループ間で肯定的な結果の割合が等しい必要があります	信用スコアリング、採用
均等化オッズ	グループ間で真陽性率と偽陽性率が等しい必要があります	犯罪リスク評価、不正検出
予測的均等性	グループ間で陽性的中率が等しい必要があります	医療診断、再犯予測
個人間の公平性	類似した個人には類似した結果が適用される必要があります	融資価格設定、保険料の算出
反実仮想的公平性	保護対象の特性のみを変更した場合、結果が変わらない必要があります	あらゆる意思決定システム

4.2 バイアス検査プロトコル

1. 管轄区域とユースケースに関連する保護対象の特性を定義します（Equality Act 2010／EU Charter Art. 21 に基づく、人種、性別、年齢、障害、宗教、性的指向）。
2. 保護対象の特性ごとにテストデータセットを分割します。
3. 各グループの公平性指標を計算します。
4. 格差のある影響を特定します。保護対象グループのいずれかの選択率が、最も高い選択率のグループの 80％未満である場合が該当します（米国 EEOC の 5 分の 4 ルールで、出発点となる基準として広く採用されています）。
5. 格差のある影響が検出された場合、その格差が正当かつ差別的でない要因によって正当化されるかを評価します。
6. バイアス検査の方法、結果、是正措置を文書化します。

フェーズ 5：NIST AI RMF の MAP 機能の統合（第 4 週）

NIST AI リスクマネジメントフレームワーク（AI RMF 1.0、2023 年 1 月）の MAP 機能では、AI システムのコンテキスト、能力、潜在的な影響を特定します。以下の MAP サブカテゴリーを統合します。

サブカテゴリー	評価アクション
MAP 1.1	意図された目的、使用コンテキスト、導入環境を文書化する
MAP 1.2	相互依存・相互接続するシステムを文書化する
MAP 1.5	意図されたユーザー、影響を受ける個人、ステークホルダーを特定する
MAP 1.6	個人、グループ、コミュニティ、組織、社会への影響を評価する
MAP 2.1	AI システムの知識の限界と、機能しなくなる可能性のある条件を定める
MAP 2.2	トレーニングおよびテストの方法論における科学的健全性を文書化する
MAP 2.3	AI システムのトレーニングおよび導入による環境への影響を評価する
MAP 3.1	AI システムがもたらす潜在的なメリットを文書化する
MAP 3.2	潜在的なコスト、リスク、悪影響を文書化する
MAP 3.4	リスクを、影響を受けるコミュニティやステークホルダーに具体的に対応付ける
MAP 3.5	特定したリスクの発生可能性と深刻度を文書化する
MAP 5.1	多様なステークホルダーや影響を受けるコミュニティと関わる
MAP 5.2	分野の専門家、AI の実務者、社会技術の専門家と関わる

フェーズ 6：リスク評価の統合と報告（第 5～6 週）

1. GDPR DPIA のリスク、AI Act のコンプライアンス上のギャップ、NIST AI RMF の調査結果を統合します。
2. 各リスクについて、DPIA のリスクマトリックスを使用して発生可能性と深刻度を評価します。
3. プライバシー管理策と AI ガバナンス管理策を組み合わせた緩和策を特定します。
4. 残存リスクレベルを算出します。
5. AI Act に基づく高リスク AI の場合、適合性評価の文書を作成します。
6. Art. 35(2) の助言を求めるため、DPO に提出します。
7. 残存リスクが高い場合は、Art. 36 の事前協議を開始します。

AI 固有のプライバシーリスク

リスクカテゴリー	説明	緩和策
モデル反転	攻撃者がモデルの出力からトレーニングデータを再構築する	トレーニング時の差分プライバシー、出力の摂動、モデル API へのアクセス制御
メンバーシップ推論	攻撃者が、特定の個人のデータがトレーニングセットに含まれていたかどうかを判断する	正則化、差分プライバシー、モデルの信頼度スコアの制限
データポイズニング	トレーニングデータを悪意を持って操作し、モデルの出力に偏りを生じさせる	トレーニングデータの来歴の検証、異常検知、堅牢なトレーニング手法
概念ドリフト	現実世界のデータ分布が変化するにつれて、モデルの精度が時間とともに低下する	継続的なモニタリング、自動再トレーニングのトリガー、境界事例の人によるレビュー
説明の操作	差別的要因を隠すために AI の説明を巧みに悪用する	複数の説明手法、説明の一貫性に対する敵対的テスト
フィードバックループ	AI の判断が、既存のバイアスを強化するデータを生み出す	定期的なバイアス監査、ヒューマン・イン・ザ・ループによるレビュー、人口統計グループ別の結果モニタリング

よくある評価上の不備

1. AI のトレーニングを単一の処理として扱う：各段階（収集、準備、トレーニング、推論）はそれぞれ独立した処理であり、個別に適法性の根拠を評価する必要があります。
2. 検証せずに匿名化の主張に依存する：匿名化されたとされるデータも、モデル反転攻撃や照合攻撃によって再識別される可能性があります。
3. 第 22 条に基づく人間の関与が不十分：AI の判断に対する形だけの人間による審査は、意味のある人間の関与には該当しません。
4. トレーニングデータに対する目的制限を無視する：サービス提供のために収集した顧客データを、適合性評価を行わずに AI モデルのトレーニングに使用することです。
5. 保護対象の特性に関するバイアステストがない：公平性の評価を、人口統計上の属性で細分化せず、全体の精度だけに限定することです。
6. 評価が固定的である：AI システムは再トレーニングによって変化するため、モデルの再トレーニング時や導入状況の変化時には評価を更新する必要があります。

執行の先例

• イタリアの Garante 対 Clearview AI（2022 年）：適法な根拠、同意、DPIA がないまま、顔認識 AI のトレーニングを目的にインターネットから生体データを収集したとして、2,000 万 EUR の罰金が科されました。
• イタリアの Garante 対 Deliveroo（2021 年）：フードデリバリー配達員のアルゴリズムによる管理が、第 22 条に定める自動化された意思決定に該当するにもかかわらず、適切な保護措置がなかったとして、250 万 EUR の罰金が科されました。このアルゴリズムは、意味のある人間による審査なしに評価スコアを付与し、配達シフトを割り当てていました。
• ハンガリーの DPA 対 Budapest Bank（2023 年）：バイアスの影響評価を行わず、民族性の代理指標として郵便番号を使用した自動信用スコアリングシステムに対し、罰金が科されました。
• CNIL 対 Clearview AI（2022 年）：2,000 万 EUR の罰金が科されました。CNIL は、フランス居住者の全データの削除を命じ、今後のデータ収集を禁止しました。
• オランダの DPA 対税務当局（2020 年）：不正検出において、SyRI というアルゴリズムによるプロファイリングシステムが民族的少数派を不均衡に標的とし、ECHR 第 8 条および第 14 条に違反したとして、370 万 EUR の罰金が科されました。