ai-training-data-class

AI／ML トレーニングデータセットの機微データ分類

概要

個人データでトレーニングされたAIおよび機械学習モデルには、固有の分類上の課題があります。トレーニングデータには、直接的な個人データ、推測された特別カテゴリデータ、保護対象の特性の代理変数、ならびに同意の範囲がモデルのトレーニングに及ばないデータが含まれる場合があります。EU AI Act（Regulation (EU) 2024/1689）は、高リスクAIシステムに追加要件を課しており、GDPRの分類要件と交差する第10条のデータガバナンス義務などが含まれます。このスキルでは、トレーニングデータを分類し、バイアスに関連する特徴を検出し、データの来歴を文書化して、同意の適用範囲を確認するためのフレームワークを提供します。

GDPRとAI Actの交差点

トレーニングデータに関するGDPR要件

GDPR条項	AIトレーニングへの適用
第5条(1)(b) — 目的の制限	モデルのトレーニングは独立した処理目的です。データが顧客サービスのために収集された場合、MLトレーニングに使用するには、目的の適合性評価または新たな適法根拠が必要です
第5条(1)(c) — データの最小化	トレーニングデータセットに含める個人データは、モデルの目的に必要な量を超えてはなりません
第6条 — 適法根拠	モデルのトレーニングには独自の適法根拠が必要です。正当な利益（第6条(1)(f)）が最も一般的ですが、LIAの文書化が必要です
第9条 — 特別カテゴリ	トレーニングデータに特別カテゴリデータが含まれる場合、または特別カテゴリデータの推測が可能な場合は、第9条(2)の条件が必要です
第22条 — 自動化された意思決定	トレーニング済みモデルが法的効果または重大な影響を伴う意思決定を行う場合、追加の保護措置が適用されます
第25条 — データ保護バイデザイン	トレーニングデータの分類は、適切な技術的保護を可能にするバイデザイン対策です
第35条 — DPIA	高リスクのAI処理（プロファイリング、自動化された意思決定）にはDPIAが必要です

EU AI Act第10条 — 高リスクAIのデータガバナンス

AI Act第10条は、高リスクAIシステムのトレーニング、検証、テスト用データセットについて、以下を求めています。

1. 適切なデータガバナンスおよび管理慣行の対象となること（第10条(2)）
2. 関連性があり、十分に代表的で、可能な限り誤りがなく完全であること（第10条(3)）
3. AIシステムの使用が意図される地理的、文脈的、行動的、または機能的な特定の環境を考慮すること（第10条(4)）
4. バイアスの検出および修正のために特別カテゴリデータの処理が厳密に必要な場合、第10条(5)に基づき、仮名化やGDPRへの準拠を含む適切な保護措置を条件として、これを認めること

トレーニングデータ分類フレームワーク

分類ティア1：個人データの内容

分類	説明	例
TRAINING_PII_DIRECT	データセットに直接識別子が含まれる	NLPトレーニングコーパス内の顧客名、メールアドレス
TRAINING_PII_INDIRECT	データセットに間接識別子が含まれる	個人の特定につながる顧客ID、取引パターン
TRAINING_SPECIAL_CAT	データセットに第9条の特別カテゴリデータが含まれる	医療診断モデル用の健康記録
TRAINING_CRIMINAL	データセットに第10条の犯罪データが含まれる	犯罪捜査から得られた不正取引ラベル
TRAINING_PSEUDONYMISED	個人データがトークンに置き換えられているが、再識別キーが存在する	データチームが対応表を保持する仮名化された顧客データ
TRAINING_ANONYMISED	WP29の基準に照らして匿名化が確認されたデータ	k ≥ 10 の集約された人口統計
TRAINING_SYNTHETIC	実在の個人データを含まない人工生成データ	GANで生成された合成取引データ
TRAINING_NON_PERSONAL	個人データを含まない	市場価格データ、気象データ、製品仕様

分類ティア 2：バイアスとプロキシの検出

データセットに Art. 9 の特別カテゴリデータが直接含まれていない場合でも、保護対象の特性と相関するプロキシ変数が含まれている可能性があります。

プロキシ変数	相関する保護対象の特性	検出方法
郵便番号／ZIP コード	人種／民族的出自、社会経済的地位	地域の人口統計分析
名	性別、民族的出自、年齢層	名前に関する人口統計データベースの照合
希望言語	民族的出自、国籍	統計的相関分析
買い物のパターン	宗教的信念（ハラール／コーシャの購入）、健康状態	購入カテゴリ分析
ウェブ閲覧履歴	政治的見解、性的指向、健康状態	閲覧カテゴリのトピックモデリング
雇用の空白期間のパターン	性別（出産休暇）、障害、健康状態	統計的パターン分析
信用スコア	人種／民族的出自（米国／英国の研究で相関が確認されています）	格差影響分析

分類ティア 3：同意と目的の範囲

分類	説明	コンプライアンス要件
CONSENT_COVERS_TRAINING	当初の同意で AI／ML のトレーニングが明示的に対象とされています	同意文を記録し、具体性を確認します
CONSENT_DOES_NOT_COVER	当初の同意では ML のトレーニングが想定されていませんでした	新たな同意、または代替となる適法な根拠が必要です
LEGITIMATE_INTEREST	ML のトレーニングが正当な利益（Art. 6(1)(f)）に基づいています	LIA の文書化が必要です
CONTRACT_PERFORMANCE	契約の履行に ML のトレーニングが必要です	範囲を限定し、真に必要であることが求められます
PUBLIC_DATA	公開されている情報源から取得したデータです	適法な根拠は引き続き必要です。公開されていること自体は適法な根拠にはなりません
RESEARCH_EXEMPTION	Art. 89(1) の研究に関する適用除外に基づく処理です	仮名化を含む適切な保護措置が必要です

データカードの文書化

データカードは、各トレーニングデータセットに付属する構造化文書であり、その内容、来歴、制約事項について透明性を提供します。「Datasheets for Datasets」フレームワーク（Gebru et al., 2021）をモデルとし、GDPR 準拠に合わせて調整されています。

Vanguard Financial Services に必要なデータカードの項目

セクション	項目
1. データセットの識別情報	名前、バージョン、作成日、所有者、目的
2. 個人データの分類	ティア 1 の分類、含まれるデータ要素、分類ラベル
3. データ主体	データ主体のカテゴリ、件数、地理的範囲
4. 来歴	当初の収集目的、ソースシステム、収集からトレーニングセットまでの処理チェーン
5. 同意／適法な根拠	ティア 3 の分類、同意文の参照先または LIA の参照先、目的の適合性評価
6. 特別カテゴリの評価	Art. 9 のデータが含まれているか（直接的または推論によるものか）、該当する場合は Art. 9(2) の条件
7. バイアス評価	特定されたプロキシ変数、格差影響分析の結果、人口統計上の構成比
8. 識別性の除去	適用した手法（仮名化、匿名化、合成データ生成）、評価の参照先
9. 保持	トレーニングデータの保持期間、モデルの保持期間、削除スケジュール
10. アクセス制御	トレーニングデータにアクセスできるユーザー、モデルにアクセスできるユーザー、監査ログの記録
11. DPIA の参照先	該当する場合、DPIA 文書の参照先
12. 制約事項	既知のバイアス、地理的制約、時間的制約、データ品質上の問題

バイアス検出の方法論

ステップ 1：人口統計学的な代表性の分析

各トレーニングデータセットについて、代表性に関する統計を算出します。

• 各人口統計グループのレコードが占める割合はどの程度ですか（判明している範囲で）？
• 代表性は対象母集団と一致していますか？
• 母集団に対して20％を超えて過小代表となっているグループはありますか？

ステップ 2：代理変数の特定

すべての特徴量を確認し、Art. 9 の保護対象特性との代理相関を調べます。

• 各特徴量と既知の保護対象特性との相関係数を算出します（該当する場合）
• |相関| > 0.3 の特徴量に、潜在的な代理変数としてフラグを付けます
• すべての代理変数をデータカードに記録します

ステップ 3：不均衡な影響の分析

分類モデルまたはスコアリングモデルの場合：

• 人口統計グループごとにモデルのパフォーマンス指標を算出します
• 80％（5分の4）ルールを適用します。保護対象グループの選択率が、最も優遇されるグループの選択率の80％未満である場合、不均衡な影響が存在する可能性があります
• 不均衡な影響の分析結果をデータカードに記録します

ステップ 4：AI 法 Art. 10(5) の評価

バイアス検出に特別カテゴリーデータの処理が必要な場合：

• バイアスの検出と是正に処理が「厳密に必要」である理由を記録します
• バイアス検査に使用する特別カテゴリーデータを仮名化します
• GDPR Art. 9(2) の条件が確立されていることを確認します（通常は、Art. 9(2)(g) の重大な公共の利益、または Art. 9(2)(j) の研究）
• アクセスをバイアス評価チームに制限した管理環境で処理します
• バイアス評価の完了後、特別カテゴリーデータを削除します

執行事例と規制上の先例

• イタリアの Garante — Clearview AI（2022）：適法な根拠、同意、透明性なしに、AI 顔認識のトレーニング用として公開情報源から収集した生体データを処理したことに対し、2,000万ユーロの罰金を科しました。情報が公開されていることは、AI トレーニングの適法な根拠にはならないという判断を示しました。
• イタリアの Garante — ChatGPT/OpenAI（2023）：一時的な利用禁止措置と、その後の執行により、OpenAI はトレーニングデータの収集に適法な根拠を確立し、年齢確認を導入し、オプトアウトの仕組みを提供することが求められました。個人データを用いた AI トレーニングでは、データライフサイクル全体を通じて GDPR への準拠が必要であることが強調されました。
• CNIL — AI トレーニングデータに関する執行通知（2024）：CNIL は、目的制限の評価、比例性の分析、トレーニングデータに特別カテゴリーデータが含まれる場合の具体的な措置を求める、AI トレーニングデータに関するガイダンスシートを公開しました。
• ICO — 生成 AI とデータ保護に関する協議（2024）：ICO は、正当な利益が AI トレーニングにおいて最も可能性の高い適法な根拠であるとの見解を示しましたが、データ主体の合理的な期待を考慮した文書化済みの LIA が必要です。

統合ポイント

• personal-data-test：トレーニングデータは、まず個人データか非個人データかに分類する必要があります
• special-category-data：トレーニングセット内の Art. 9 データには、より厳格な保護が必要です
• pseudo-vs-anon-data：トレーニングデータの匿名化が検証されている必要があります
• classification-policy：トレーニングデータは、企業の分類ティアに基づいて分類されます
• data-lineage-tracking：元の収集からモデルのデプロイまで、完全な来歴を追跡する必要があります