ai-dpia

AI／ML システムのデータ保護影響評価

概要

AI および ML システムは、従来の DPIA 手法では十分に対処できない特有のプライバシー課題をもたらします。AI システムを通じた個人データの処理に関する EDPB ガイドライン 04/2025 は、GDPR 第 35 条および WP248rev.01 の一般的な DPIA 要件を補完する専門的な枠組みを定めています。AI 固有の DPIA では、トレーニングデータの収集からモデルのデプロイと推論に至るまで、ML パイプライン全体を評価し、統計的学習、創発的なモデルの挙動、アルゴリズムによる意思決定の不透明性から生じるリスクを評価する必要があります。このスキルは、EU AI Act のリスク分類フレームワークと統合した、EDPB の AI 固有の DPIA 手法を実装します。

AI 固有の DPIA 実施要件

AI システムに対する必須の DPIA 実施要件

以下の基準のいずれかを満たす AI 処理はすべて、デプロイ前に DPIA を実施する必要があります。

基準	法的根拠	説明
法的効果を伴う AI に基づくプロファイリング	GDPR 第 35 条第 3 項（a）	自然人に対して法的効果、または同様に重大な影響をもたらす決定を行う ML モデル（信用スコアリング、採用、保険料の算定など）
特別カテゴリデータを用いたトレーニング	GDPR 第 35 条第 3 項（b）	健康、生体、遺伝、人種、政治、宗教、性的指向、労働組合に関するデータを大規模に用いてトレーニングされたモデル
AI を活用した監視	GDPR 第 35 条第 3 項（c）	公共空間におけるコンピュータビジョン、顔認識、行動分析、異常検知
高リスク AI システム	EU AI Act 第 6 条	AI Act の附属書 III に記載されているシステム（生体認証による識別、重要インフラ、雇用、法執行、移民、司法）
個人データを処理する基盤モデル	EDPB ガイドライン 04/2025	下流での用途にかかわらず、個人データを含むデータセットでトレーニングされた LLM および基盤モデル
機微な属性の自動推論	EDPB ガイドライン 04/2025	機微ではない入力から GDPR 第 9 条の特別カテゴリデータを推論するモデル（購入パターンから健康状態を推論するなど）

AI に適用される EDPB WP248 基準

AI システムは、WP248 の複数の基準に同時に該当することがよくあります。

• 評価／スコアリング：分類モデルや回帰モデルに本質的に含まれます
• 自動化された意思決定：デプロイされた AI システムの中核的な機能です
• 革新的なテクノロジー：新しいモデルアーキテクチャやトレーニング手法です
• 大規模な処理：数百万件のレコードを含むトレーニングデータセットです
• データセットの照合／結合：複数のソースからトレーニングデータを集約します
• 脆弱なデータ主体：AI を子ども、従業員、患者に適用する場合です

AI システムが 2 つ以上の基準を満たす場合、DPIA が必要であると推定されます。

AI DPIA の方法論 — EDPB フレームワーク

フェーズ 1：AI システムの説明（第 35 条第 7 項（a）の拡張）

体系的な説明では、AI のライフサイクル全体を対象とする必要があります。

1.1 トレーニング段階の文書化

• トレーニングデータのソース：各データセットの出所、収集方法、同意の状況、適法な根拠
• データカテゴリ：トレーニングデータに含まれるすべての個人データカテゴリ。意図せず含まれる可能性のあるデータ（画像に写り込んだ人物、テキストコーパス内のメタデータなど）も含みます
• データ量：レコード数、影響を受けるデータ主体、対象地域
• データの前処理：クリーニング、拡張、ラベリングのプロセス、および人によるレビューの有無
• 特徴量エンジニアリング：特徴量として使用する個人データ属性、および派生特徴量の算出方法
• トレーニングインフラストラクチャ：トレーニングの実施場所（クラウドプロバイダー、管轄区域）、トレーニング中のデータレジデンシー

1.2 モデルアーキテクチャの文書化

• モデルの種類：ニューラルネットワークのアーキテクチャ（トランスフォーマー、CNN、RNN）、アンサンブル手法、決定木
• モデルのパラメーター：パラメーター数、モデルサイズ、複雑さの指標
• 説明可能性の特性：本質的な解釈可能性のレベル（ホワイトボックス、グレーボックス、ブラックボックス）
• 記憶のリスク：モデルが学習データを記憶する傾向の評価（データセットが小さい大規模モデルほど高くなります）

1.3 デプロイフェーズの文書化

• 推論時の入力：推論時に処理される個人データ
• 出力の種類：分類、スコア、推奨事項、生成コンテンツ
• 意思決定パイプライン：モデルの出力がどのようにデータ主体に影響する意思決定に反映されるか
• 人による監督：意思決定の過程における人によるレビューのレベルと有効性
• モニタリング：ドリフト検出、パフォーマンス監視、フィードバックループ

フェーズ 2：AI 固有の必要性と比例性

2.1 AI における目的の限定

• AI システムは明示された目的に必要ですか。それとも、より単純な処理で達成できますか。
• 管理者は AI 以外の代替手段を評価し、AI が必要な理由を文書化していますか。
• 学習データの処理目的は、当初の収集目的と両立していますか（第 6 条第 4 項の評価）。
• 目的を変更して使用するデータについて、EDPB ガイドライン 04/2025 に従った両立性評価を実施していますか。

2.2 AI におけるデータ最小化

• 許容可能なモデル性能に必要な最小データセットを、アブレーション研究を通じて特定していますか。
• 合成データ、連合学習、または差分プライバシーによって、必要な個人データを削減できますか。
• 学習データに、モデル性能に寄与しない個人データの要素は含まれていますか。
• 管理者は、匿名化データまたは仮名化データで十分な性能を達成できるか評価していますか。

2.3 学習データの適法性評価

各学習データセットについて、以下を文書化してください。

評価項目	要件
当初の収集目的	個人データは、AI の学習と両立する目的で収集されましたか。
適法な根拠	学習処理の第 6 条第 1 項の根拠 — 正当な利益に依拠する場合は利益衡量テストが必要です
同意の有効性	同意を根拠とする場合、AI の学習は目的として明示されていましたか。同意は自由に与えられましたか。
特別カテゴリーの条件	第 9 条のデータが含まれる場合、どの第 9 条第 2 項の例外が適用されますか。
ウェブスクレイピングで取得したデータ	EDPB の見解：AI の学習を目的とするウェブスクレイピングは、追加の保護措置なしに正当な利益に依拠することは一般にできません
第三者のデータセット	管理者は、上流における適法な根拠の連鎖を確認していますか。

フェーズ 3：AI 固有のリスク評価

3.1 AI におけるプライバシーリスクのカテゴリ

リスクカテゴリ	説明	発生可能性に関する要因
学習データの抽出	攻撃者がモデルから学習データをそのまま抽出します	モデルのサイズ、学習データの反復回数、過学習の度合い
メンバーシップ推論	攻撃者が特定のデータが学習セットに含まれていたかどうかを判定します	モデルの信頼度分布、過学習、シャドーモデルの利用可能性
モデル反転	攻撃者がモデルの出力から入力特徴を再構築します	出力の粒度、モデルの種類、利用可能な補助情報
属性推論	モデルが入力として与えられていない機微な属性を明らかにします	学習データにおける相関、特徴間の相互作用
創発的なバイアスの増幅	モデルが学習データに存在するバイアスを増幅し、差別的な結果を生み出します	学習データの代表性、適用されたバイアス軽減策
概念ドリフトによる差別	時間の経過とともに、モデルの性能が人口統計グループ間で不均等に低下します	モニタリングの対象範囲、再学習の頻度
AI の出力による再識別	モデルの出力によって、特定のデータ主体に結び付けられる可能性があります	出力の具体性、集団内での一意性、補助データ
自動意思決定の誤り	AI による誤った判断がデータ主体に重大な損害を与えます	モデルの精度、グループ間の誤りの分布

3.2 AI リスク評価マトリックス

EDPB 推奨のマトリックスを使用して、発生可能性と重大性を組み合わせます。

                    Negligible    Limited    Significant    Maximum
Almost Certain      Medium        High       Very High      Very High
Likely              Medium        High       High           Very High
Possible            Low           Medium     High           High
Remote              Low           Low        Medium         High

3.3 AI Act のリスクレベルとの統合

GDPR のリスク評価を AI Act の分類と照合します。

• 許容できないリスク（AI Act 第 5 条）：処理を進めてはなりません — ソーシャルスコアリング、公共空間におけるリアルタイムの生体認証による識別（限定的な例外あり）
• 高リスク（第 6 条および附属書 III）：DPIA の義務が強化され、適合性評価が必要です
• 限定的なリスク（第 50 条）：透明性に関する義務 — AI とやり取りしていることをユーザーに通知します
• 最小リスク：標準的な DPIA プロセスが適用されます

フェーズ 4：AI 固有のリスク軽減策

技術的対策

対策	対処するリスク	実装
差分プライバシー	学習データの抽出、メンバーシップ推論	学習中に DP-SGD を適用し、イプシロンを調整します（中程度の保護では ε ≤ 8、強力な保護では ε ≤ 1）
連合学習	データの集中化リスク	個人データを一元化せずに、データ保有者間で分散して学習します
モデル出力の摂動	モデル反転、属性推論	モデルの出力に調整済みのノイズを加え、信頼度スコアを丸めます
学習データの重複排除	記憶のリスク	学習前に重複および類似するレコードを削除します
メンバーシップ推論テスト	メンバーシップ推論	デプロイ前にモデルに対して MI 攻撃を実行し、漏えいがしきい値を超えた場合は再学習します
公平性の制約	バイアスの増幅	学習中に、人口統計的パリティ、等化オッズ、またはキャリブレーションの制約を適用します
入出力のフィルタリング	生成モデルにおける PII の漏えい	モデルの入力と出力に対して PII 検出を実施し、自動的に編集します
モデルのプルーニングと蒸留	記憶、抽出	個々のレコードを記憶する能力を減らすため、モデルを圧縮します

組織的対策

• プライバシー担当者を含む AI 倫理審査委員会を設置します
• デプロイする各モデルのプライバシー特性を記載したモデルカードを作成します
• プライバシー漏えいを検査する定期的なモデル監査を実施します（最低でも年 1 回）
• 学習データの来歴に関する文書と、データを削除できる手段を維持します
• 再学習のトリガーを定義し、再学習サイクルごとに DPIA のレビューを実施します
• AI のプライバシーインシデントに特化したインシデント対応手順を導入します

フェーズ 5：人による監督の評価

AI Act 第 14 条および GDPR 第 22 条に基づき、人による監督の仕組みを評価します。

監督要素	評価する質問
有意義なレビュー	人間のレビュアーは、AI の推奨を効果的に評価し、それを覆すことができますか？
時間とリソース	有意義なレビューに十分な時間が割り当てられていますか。それとも、人間は単なる追認役になっていますか？
能力	レビュアーは AI の誤りを特定できる専門知識を持っていますか？
権限	レビュアーには、AI の判断を覆す権限と手段がありますか？
フィードバックの仕組み	判断を覆した記録は残され、モデルの改善に反映されていますか？
自動化バイアス	AI の判断に委ねてしまう傾向を軽減する措置が講じられていますか？

AI に関する事前協議の要件

次の場合、監督機関との第 36 条に基づく事前協議が必要です。

1. あらゆる軽減措置を講じた後も、AI システムに高い残留リスクがある
2. AI システムが、新しい技術を用いて大規模に特別カテゴリーのデータを処理する
3. 監督機関の第 35 条第 4 項のリストに、該当する AI のユースケースが明記されている
4. AI Act 第 5 条の例外に基づき、AI システムがリアルタイムの生体識別に使用される

執行に関する先例

• Clearview AI（複数の DPA、2021～2024 年）：DPIA、適法な根拠、透明性を欠いたまま顔認識 AI を導入したことを理由に、イタリア（2,000 万ユーロ）、フランス（2,000 万ユーロ）、英国（750 万ポンド）、ギリシャ（2,000 万ユーロ）で、総額 9,000 万ユーロを超える罰金
• CNIL 対 Clearview AI（SAN-2022-019）：生体認証 AI の処理について DPIA が実施されていなかったと認定
• イタリア DPA 対 Replika（2023 年）：年齢確認が不十分であり、未成年者に影響する AI 処理について DPIA を実施していなかったため、AI チャットボットによる処理の停止を命令
• スペイン DPA 対 CaixaBank（PS/00421/2020）：アルゴリズムによる意思決定のリスクに適切に対処する DPIA を実施せずに自動信用スコアリングを行ったとして、600 万ユーロの罰金
• オランダ DPA 対税務当局（2020 年）：アルゴリズムによる不正検知システム（SyRI）について、比例性と AI によるプロファイリングに対する適切な DPIA が欠けていると認定

統合ポイント

• ai-training-lawfulness：トレーニングデータの適法な根拠に関する詳細な分析をフェーズ 2 に反映
• ai-automated-decisions：第 22 条の評価をフェーズ 5 の人による監督と統合
• ai-model-privacy-audit：技術的なプライバシーテストの結果をフェーズ 3 のリスク評価に反映
• ai-act-high-risk-docs：AI Act の適合性評価をフェーズ 3.3 のリスク分類と整合
• ai-bias-special-category：バイアス評価の結果を、差別による被害のリスクスコアリングに反映