ai-automated-decisions

AI による自動意思決定と人間による監督

概要

GDPR 第 22 条では、データ主体に対し、プロファイリングを含む自動処理のみに基づく決定で、法的効果または同様に重大な影響をもたらすものの対象とならない権利が認められています。EU AI Act 第 14 条はこれを補完し、高リスク AI システムに対する具体的な人間による監督の設計要件を定めています。これらの規定により、組織は AI システムが重大な決定を行う状況を特定し、必要に応じて実質的な人間の介入を確保し、説明可能な決定ロジックを提供するとともに、効果的な異議申し立ての仕組みを設ける必要があります。このスキルでは、第 22 条への準拠と AI Act に基づく人間による監督の実施に関する包括的なフレームワークを提供します。

第 22 条の適用範囲

3 つの累積条件

第 22 条第 1 項は、次の 3 つの条件すべてが満たされた場合にのみ適用されます。

条件	要件	AI の適用
1. 決定	決定が行われる（単なる推奨や入力ではない）	AI の出力が結果を直接決定する。AI の出力から実行までの間に、実質的な人間による意思決定の段階が存在しない
2. 自動処理のみ	プロファイリングを含む自動処理のみに基づく	意思決定の連鎖に実質的な人間の介入がない。形式的な追認は人間による介入とはみなされない
3. 法的効果／重大な影響	データ主体に法的効果をもたらす、または同様に重大な影響を与える	法的権利、契約上の地位、サービスへのアクセス、経済的結果、その他の生活への重大な影響に及ぶ

「自動処理のみ」— EDPB の解釈

自動化された意思決定に関する EDPB ガイドライン 06/2020 では、次のように明確化されています。

• 自動処理のみとは、意思決定プロセスに実質的な人間の関与がないことを意味します

• AI の推奨を実質的な評価なしに単に承認する人間は、実質的な介入を行っていません

• 実質的な人間の介入には、次の要件があります。

  • 審査担当者に決定を変更する権限と能力があること
  • 審査担当者が関連するすべての情報にアクセスできること
  • 実質的に検討するための十分な時間が確保されていること
  • 審査担当者が独立した判断を日常的に行っていること（AI の出力を承認するだけではない）
  • 実際に運用上、決定を覆す能力が活用されていること

• 次の場合は自動処理のみではありません。

  • 適格な人間が、複数の判断材料の 1 つとして AI の出力を実質的に審査する
  • 人間が独立した判断を適用し、最終決定を行う
  • 人間が AI の推奨から逸脱する裁量を持ち、実際に行使する

「法的効果または同様に重大な影響」

カテゴリ	例	重大性
法的効果	契約の締結／終了、法的義務の賦課、法的地位の判定	法的権利に直接影響する
サービスへのアクセス	信用、保険、住宅、教育、雇用の拒否	生活状況に重大な影響を与える
経済的影響	差別的な価格設定、給付額の算定、支払条件	重大な経済的結果をもたらす
健康と安全	医療診断の優先順位付け、緊急対応のトリアージ	身体的危害が生じる可能性がある
自由と自律性	監視スコアリング、移動制限、コンテンツのブロック	基本的自由に影響する

EDPB によれば、同様に重大な影響には該当しないもの：

• パーソナライズ広告（脆弱なグループに対する偏見を強める場合を除く）
• 一般的なレコメンデーションシステム（情報へのアクセスを決定する場合を除く）
• スパムフィルタリング（重要な通信を体系的にブロックする場合を除く）

第 22 条の例外と保護措置

第 22 条第 2 項 — 許容される自動化された意思決定

例外	条件	必要な保護措置
第 22 条第 2 項(a) — 契約上の必要性	契約の締結または履行に必要な意思決定である	第 22 条第 3 項の保護措置が必要
第 22 条第 2 項(b) — 法律による授権	適切な措置を定める EU 法または加盟国法により授権されている	法律で適切な保護措置を定める必要がある
第 22 条第 2 項(c) — 明示的な同意	明示的な同意に基づく	第 22 条第 3 項の保護措置が必要

第 22 条第 3 項 — 必須の保護措置

第 22 条第 2 項の例外に依拠する場合、管理者は少なくとも以下を実施する必要があります。

1. 人による介入を受ける権利：資格を有する者が自動化された意思決定を審査します
2. 意見を表明する権利：データ主体は追加情報や背景を提示できます
3. 異議を申し立てる権利：別の意思決定者による審査を伴う、自動化された意思決定に異議を申し立てる正式な仕組み

第 22 条第 4 項 — 特別カテゴリーのデータに関する制限

第 9 条の特別カテゴリーのデータに基づく自動化された意思決定は、以下の場合にのみ許可されます。

• 第 9 条第 2 項(a) — 明示的な同意、または
• 第 9 条第 2 項(g) — EU 法または加盟国法に基づく重大な公益

いずれの場合も、データ主体の権利を保護するための適切な措置を講じる必要があります。

人間による監督の設計 — AI 法第 14 条

高リスク AI に関する第 14 条の要件

高リスク AI システムは、使用中に自然人が効果的に監督できるよう、設計および開発する必要があります。

要件	実装
能力と限界を理解する	ドキュメント、トレーニング、モデルカード
運用を監視する	リアルタイム監視ダッシュボード、アラートシステム
異常や機能不全を検知する	ドリフト検知、パフォーマンス監視
出力を正しく解釈する	信頼度の指標、説明ツール
意思決定を覆す、または取り消す	権限の連鎖を備えたオーバーライド機構
システムに介入する、または停止する	緊急停止機能
自動化バイアスを認識する	自動化バイアスに関するトレーニングと対策

人間による監督のレベル

レベル	説明	第 22 条への準拠	適切なケース
Human-in-the-loop（HITL）	人間が意思決定の前に AI の推奨を毎回審査する	審査が有意義であれば完全に準拠	個人に関わる重大な意思決定（採用、信用、医療）
Human-on-the-loop（HOTL）	人間が AI による意思決定を監視し、介入できる	介入能力が実質的に備わり、行使されていれば準拠	効果的な監視が可能な、中程度のリスクを伴う意思決定
Human-in-command（HIC）	人間がパラメーターを設定し、定期的に結果を審査する	第 22 条を満たさない可能性がある — 意思決定が完全に自動化されている	定期監査を伴う、低リスクの一括意思決定
完全自律型	個々の意思決定に対する人間の監督がない	第 22 条が全面的に適用される — 例外が必要	第 22 条第 2 項の例外が適用され、第 22 条第 3 項の保護措置が講じられている場合に限る

有意義な人間の介入の基準

以下のすべての基準を満たす場合、人間による審査は「有意義な介入」に該当します。

基準	判定方法	警告サイン
権限	審査担当者は AI の判断を覆す正式な権限を持っている	審査担当者は上申しかできず、自ら判断できない
能力	審査担当者は意思決定を評価するための専門知識を持っている	審査担当者がトレーニングを受けていない若手職員である
情報	審査担当者はすべての入力、AI の出力、説明にアクセスできる	審査担当者には背景情報がなく、AI のスコアしか見えない
時間	真摯に検討するための十分な時間が割り当てられている	審査担当者が 1 時間あたり 200 件以上の意思決定を処理している
独立性	審査担当者が実質的な判断を行っている	オーバーライド率が 1% 未満で、形式的な承認であることが示唆される
説明責任	審査担当者が意思決定に対する説明責任を負っている	説明責任が審査担当者ではなく、AI システムの所有者にある

異議申し立てと不服申立ての仕組み

設計要件

要素	要件
アクセシビリティ	異議申し立ての仕組みを見つけやすく、利用しやすく、使いやすいこと
適時性	対応期間が定められていること（例：30 日）
適格な審査担当者	当初の決定時とは異なる立場にあり、決定を覆す権限を有すること
情報提供	データ主体に、決定要因と異議申し立ての方法について説明すること
証拠の考慮	データ主体が追加の証拠や状況説明を提出できること
書面による結果	異議申し立てに対する決定が記録され、通知されること
さらなる不服申し立て	異議申し立てが却下された場合、DPA への苦情申し立てまたは司法救済への道筋が示されること

異議申し立てのワークフロー

1. データ主体に、自動化された決定とその説明を通知する
2. データ主体が、理由と裏付けとなる証拠を添えて異議申し立てを提出する
3. 異議申し立てを、適格な人間の審査担当者（当初の監督とは異なる担当者）に割り当てる
4. 審査担当者が、AI の入力、AI の出力、説明、およびデータ主体の主張を評価する
5. 審査担当者が、決定を維持、変更、または覆す独立した判断を下す
6. 理由を添えて、結果をデータ主体に通知する
7. 決定が維持された場合、データ主体にさらなる選択肢（DPA への苦情申し立て、司法救済）を知らせる
8. 権利行使記録簿に記録を保管する

AI に固有の決定カテゴリー

信用および金融に関する決定

• AI の用途：信用スコアリング、融資承認、保険料の算定、不正検出
• Art. 22 の適用対象：該当 — 金融サービスへのアクセスを決定するため
• 必要な対応：却下の前に意味のある人間による審査を行うこと、主要なスコアリング要因を説明すること、独立した審査による異議申し立てを可能にすること
• 法執行：AEPD は、適切な保護措置を講じずに自動化された信用判断を行った CaixaBank に 600 万 EUR の罰金を科した

雇用に関する決定

• AI の用途：履歴書のスクリーニング、候補者の順位付け、業績スコアリング、解雇予測
• Art. 22 の適用対象：該当 — 雇用と生計に重大な影響を与えるため
• 必要な対応：採用担当者が AI による順位付けから実際に逸脱する権限を持ったうえで最終決定を下すこと、応募者に AI の利用を知らせること、不採用となった候補者が説明を求められること
• 法執行：イタリアの DPA は、Art. 22 の保護措置を講じずにアルゴリズムによる労働者管理を行った Deliveroo に 250 万 EUR の罰金を科した

医療に関する決定

• AI の用途：診断支援、治療の推奨、トリアージ、リスクスコアリング
• Art. 22 の適用対象：AI が治療方針を決定する場合に該当 — 通常は医師の監督によって軽減される
• 必要な対応：医師が最終的な臨床判断を下すこと、AI を意思決定支援として機能させること、AI の役割を患者に知らせること
• 特別カテゴリー：健康データ — Art. 22(4) が適用される

公共行政

• AI の用途：給付の受給資格判定、不正検出、リスク評価、リソース配分
• Art. 22 の適用対象：該当 — 公共サービスや給付へのアクセスを決定するため
• 必要な対応：Art. 22(2)(b) に基づく法的根拠が必要、法律によって適切な措置が義務付けられること、アルゴリズムの基準について透明性を確保すること
• 法執行：オランダの裁判所は、透明性と比例性の欠如を理由に、SyRI の不正検出システムを無効とした

プロファイリングの評価

GDPR におけるプロファイリングの定義（Art. 4(4)）

自然人に関する個人的側面を評価するためのあらゆる形式の自動処理、特に以下を分析または予測するもの：

• 業務遂行能力
• 経済状況
• 健康
• 個人的な好み
• 関心
• 信頼性
• 行動
• 位置情報
• 移動

AI プロファイリングのリスク評価

プロファイリングの種類	リスクレベル	Art. 22 の適用条件	リスク軽減策
行動予測（購入、閲覧）	中	法的または重大な影響を伴う決定の場合に限る	オプトアウト、透明性
信用スコアリング／金融リスク	高	該当 — 金融サービスへのアクセス	人による審査、説明、異議申し立て
健康リスク予測	非常に高い	該当 — Art. 22(4) が適用される	明示的な同意、医師による監督
犯罪リスク評価	非常に高い	該当 — 自由および法的影響	法的根拠が必要、司法による監督
雇用パフォーマンスのスコアリング	高	該当 — 雇用への影響	人事部門による審査、従業員への通知
ソーシャルスコアリング	禁止	該当なし — AI Act Art. 5 による禁止	実装しない

執行上の先例

• AEPD v. CaixaBank (PS/00421/2020, 2021)：Art. 22 に基づく適切な保護措置、説明、または異議申し立ての仕組みを備えずに自動化された信用判断を行ったとして、600 万ユーロの罰金。
• Italian DPA v. Deliveroo (2021)：配達員のアルゴリズムによる管理に対して 250 万ユーロの罰金 — Art. 22 は、作業の割り当てとパフォーマンスのスコアリングの自動化に適用された。
• Dutch Court v. SyRI (2020)：アルゴリズムによる不正検知システムを無効と判断 — 比例性、透明性、または適切な保護措置なしに市民のプロファイリングを自動化していた。
• Hungarian DPA v. Bank (2019)：判断ロジックや異議申し立ての仕組みに関する有意義な情報を提供せずに自動化された信用否決を行ったとして、罰金。
• French Conseil d'Etat v. Parcoursup (2019)：各申請について有意義な人による審査が実際に行われていたことを理由に限り、大学入学選考でのアルゴリズムの使用を裁判所が認めた。
• Austrian DPA v. CRIF (2023)：信用スコアリング会社 — 自動スコアリングのロジックに関する有意義な情報を提供しなかったとして、Art. 15(1)(h) に違反。

統合ポイント

• ai-transparency-reqs：説明要件を透明性フレームワークに反映
• ai-dpia：人による監督の評価は DPIA のフェーズ 5 の構成要素
• ai-data-subject-rights：説明を求める権利と異議申し立ての権利は、権利行使手続きにあたる
• ai-deployment-checklist：Art. 22 への準拠は、導入前の検証項目
• ai-bias-special-category：自動化された決定におけるバイアスは Art. 22 の損害を生じさせる