ai-bias-special-category

特別カテゴリーデータに関するAIバイアス評価

概要

AIシステムは、GDPR第9条の特別カテゴリ（人種、民族、政治的意見、宗教、労働組合への加入、遺伝データ、生体データ、健康、性的指向）およびEUの平等法（性別、年齢、障害）で定義される保護対象グループに対するバイアスを増幅、永続化、または新たに生み出す可能性があります。AI法第10条は、バイアスに対処するトレーニングデータのデータガバナンス慣行を義務付け、第5条はAIベースのソーシャルスコアリングを禁止しています。このスキルでは、特別カテゴリーデータを処理または推論するAIシステムのバイアスを検出、測定、軽減する方法と、GDPRおよびAI法の両方の義務を満たす文書化要件を示します。

第9条の特別カテゴリとAIバイアス

特別カテゴリーデータの直接処理

AIシステムが第9条のデータを直接処理する場合：

カテゴリ	AIバイアスのリスク	例
人種または民族的出自	採用、信用審査、警察活動における差別	少数民族に関連する名前を不利に扱う履歴書選考
政治的意見	政治的プロファイリング、コンテンツの抑制	政治的見解を増幅または抑制するニュース推薦
宗教的信念	サービスの拒否、差別的なターゲティング	宗教的所属によって変動する保険料
労働組合への加入	雇用差別	組合活動を不利に扱うパフォーマンス評価
遺伝データ	保険や雇用における遺伝的差別	遺伝的素因に基づく健康保険料
生体データ	人口統計グループ間の精度差	肌の色が濃い人に対してエラー率が高い顔認識
健康データ	健康状態に基づく差別	障害やメンタルヘルスの履歴を不利に扱う採用アルゴリズム
性的指向	差別、本人の意図しない露見	性的指向を意図せず明らかにするコンテンツ推薦

特別カテゴリの代理推論

AIモデルは、機微でない特徴から第9条のデータを頻繁に推論します。

代理特徴	推論されるカテゴリ	仕組み
郵便番号	人種／民族、所得	居住地の分離パターン
名／姓	人種／民族、宗教	名前と民族性の相関
閲覧履歴	政治的意見、宗教、健康	コンテンツの消費パターン
購入履歴	健康状態、宗教	医薬品の購入、食事関連商品の購入
言語パターン	国籍、教育	方言、語彙、文法のパターン
デバイス／アプリの利用状況	年齢、所得、障害	アクセシビリティ機能、デバイスの種類

EDPBの見解：機微でない入力から第9条のデータを推論することは、特別カテゴリーデータの処理に該当します。同じ保護が適用されます。

公平性の指標

グループ公平性の指標

指標	定義	使用する場面
人口統計的均等性	P（肯定的結果 | グループA）= P（肯定的結果 | グループB）	資格にかかわらず、選定率を均等にしたい場合
均等化オッズ	TPRおよびFPRがグループ間で等しい	グループ間で精度を均等にしたい場合
均等機会	TPRがグループ間で等しい（均等化オッズを緩和したもの）	真陽性の検出を均等にしたい場合
キャリブレーション	P（Y=1 | スコア=s、グループ=A）= P（Y=1 | スコア=s、グループ=B）	スコアがグループ間で同じ意味を持つようにしたい場合
予測的均等性	PPVがグループ間で等しい	肯定的予測の信頼性をグループ間で均等にしたい場合

個人公平性の指標

指標	定義
一貫性	類似した個人が類似した結果を受ける
反実仮想的公平性	保護属性が異なっていても結果が同じになる
因果的公平性	保護属性から結果への因果経路が存在しない

指標選択の指針

判断の場面	推奨される指標	理由
採用／入学選考	等化オッズまたは機会均等	グループ間で、条件を満たす候補者を同等に検出できます
信用スコアリング	キャリブレーション	グループにかかわらず、スコアが同じ確率を意味する必要があります
犯罪リスク	等化オッズ	不均衡な影響を避けるため、FPR と TPR の両方を等しくする必要があります
医療	機会均等＋キャリブレーション	病状を同等に検出し、リスクスコアが同じ意味を持つようにします
コンテンツモデレーション	人口統計的パリティ	コンテンツの削除が特定のグループに不均衡な影響を与えないようにします

注：数学的な不可能性の結果から、グループ間でベースレートが異なる場合、人口統計的パリティ、等化オッズ、キャリブレーションを同時に満たすことはできません。このトレードオフを明示的に記録してください。

バイアス検出の手法

フェーズ 1：データ監査

1. 学習データの人口統計を対象集団と照合してプロファイリングします
2. モデルの性能が低くなる可能性のある、代表性の低いグループを特定します
3. ラベル付きデータに過去のバイアスがないか確認します（例：バイアスのある採用判断を正解データとして使用）
4. グループ間でラベルノイズに差があるか特定します
5. グループ間の特徴分布を評価し、代理差別の可能性を確認します

フェーズ 2：モデルテスト

1. 保護対象グループ別に分けてモデルの性能を評価します
2. 保護対象グループの各ペアについて、選択した公平性指標を算出します
3. 反事実テストを実行します：保護対象属性を変更し、出力の変化を観察します
4. 交差性バイアス（保護対象属性の組み合わせ）をテストします
5. グループごとに、エッジケースや敵対的な例に対するモデルの性能を評価します

フェーズ 3：出力分析

1. グループ間の判断分布を分析します
2. 特定のグループに不均衡な影響を与えるしきい値効果を特定します
3. フィードバックループが時間とともに増幅するかテストします
4. 出力説明の公平性を評価します（グループ間で説明の情報量は同等でしょうか？）

バイアス軽減の戦略

前処理（データレベル）

戦略	説明	トレードオフ
再サンプリング	代表性の低いグループをオーバーサンプリングし、代表性の高いグループをアンダーサンプリングします	データの多様性が損なわれたり、重複が生じたりする可能性があります
再重み付け	代表性の低いグループのサンプルに高い重みを割り当てます	計算上は簡単ですが、構造的なバイアスには対処できない場合があります
再ラベル付け	過去のバイアスのあるラベルを修正します	分野の専門知識が必要で、主観的になる可能性があります
公平な表現学習	保護対象属性の情報を取り除いた潜在表現を学習します	正当な相関関係が失われる可能性があります

学習時処理（アルゴリズムレベル）

戦略	説明	トレードオフ
敵対的デバイアス	モデルから保護対象属性を予測する敵対モデルを学習し、その成功にペナルティを課します	精度と公平性のトレードオフがあり、保護対象属性のデータが必要です
公平性制約	公平性指標を学習時の制約として追加します	全体の精度が低下する可能性があり、制約の充足度にも差があります
正則化	損失関数に公平性に関する正則化項を追加します	精度と公平性のバランスを取れますが、調整が必要です
因果モデリング	因果グラフを使って差別的な経路を遮断します	因果関係に関する知識が必要で、実装が複雑です

後処理（出力レベル）

戦略	説明	トレードオフ
しきい値調整	指標を均等化するため、グループごとに異なる判断しきい値を設定します	不公平と受け取られる可能性があり、法的にも複雑です
スコアのキャリブレーション	グループごとにスコアを調整します	十分なグループデータが必要で、差別を減らせる可能性があります
棄却オプション	グループを問わず、境界付近のケースについて判断を保留します	対応範囲が狭まり、人間による代替対応が必要です

AI 法第 10 条 データガバナンス

第 10 条では、高リスク AI の学習データに次の要件を定めています。

要件	実装
関連性があること	学習データは意図された目的に関連している必要があります
十分に代表性があること	データは、システムの導入対象となる母集団を代表している必要があります
誤りがないこと	データ品質の評価およびクリーニングのプロセス
完全であること	導入シナリオを十分にカバーしていること
適切な統計的特性を備えていること	人口統計学的な代表性を含む分布分析
バイアスを調査すること	学習データに潜在的なバイアスがないか調査します。特に第 10 条第 2 項 (f) に関連するバイアスを対象とします

第 10 条第 5 項：バイアス検出を目的とした特別カテゴリデータの処理は、次の条件を満たす場合、高リスク AI について認められます。

• バイアスの監視、検出、是正に厳密に必要であること
• 適切な保護措置（仮名化、アクセス制御）の対象であること
• データを他の目的に使用しないこと
• コンプライアンス文書のために保持する必要がない限り、バイアス評価後に削除すること

文書化要件

バイアス評価レポート

セクション	内容
システムの説明	モデル、目的、影響を受けるグループ
評価対象の保護属性	第 9 条のカテゴリ＋平等法上の特性
選定した公平性指標	選定理由を含む
データ監査の結果	学習データの人口統計、代表性の不足
モデルテストの結果	グループ別の性能、公平性指標、反実仮想の結果
バイアスの調査結果	特定された格差と重大度の評価
緩和策	有効性を示す証拠とともに適用した戦略
残存バイアス	緩和後に残る格差
トレードオフの文書化	精度と公平性のトレードオフ、指標の両立不可能性に関する認識
継続的な監視計画	導入後の公平性監視

執行事例

• オランダ税務当局（SyRI、2020 年）：裁判所は、差別的なプロファイリングを理由に、アルゴリズムによる不正検出を無効としました。このシステムは、低所得者や移民を背景に持つ住民が多い地域を不均衡に標的としていました。
• イタリアのデータ保護機関対 Deliveroo（2021 年）：アルゴリズムによる労働者管理が、保護対象の特性に基づいて差別していると認定されました。第 22 条および平等法に違反していました。
• オーストリアのデータ保護機関対 AMS アルゴリズム（2020 年）：性別、年齢、障害、市民権を理由に求職者のスコアを低く評価するオーストリアの雇用サービス用アルゴリズムについて、データ保護機関は処理が違法であると判断しました。
• AEPD のガイダンス（2021 年）：スペインのデータ保護機関は、アルゴリズムによる差別に関するガイダンスを発行し、保護対象の特性を処理する AI システムには DPIA が必要であることを強調しました。
• CNIL（2024 年）：影響の大きい AI システムに公平性テストを義務付ける AI バイアス評価フレームワークを公開しました。

統合ポイント

• ai-dpia：バイアス評価の結果を、差別による損害に関する DPIA のリスク評価に反映します
• ai-automated-decisions：バイアスのある自動意思決定は、第 22 条および平等法への違反につながります
• ai-training-lawfulness：バイアス検出を目的とした特別カテゴリデータの第 10 条第 5 項に基づく処理には、文書化が必要です
• ai-transparency-reqs：バイアスの調査結果は、モデルカードおよび透明性に関する文書で開示する必要があります
• ai-act-high-risk-docs：第 10 条のデータガバナンス文書は、適合性評価の一部です