mcpField
A
ai-federated-learning

ai-federated-learning

github.com/mukul975安全32342 次安装32 周前更新
代码仓库

关于 ai-federated-learning

面向机器学习与隐私合规团队的联邦学习指南,介绍跨设备、跨机构和纵向架构,以及安全聚合、差分隐私和 GDPR 风险。重点说明数据留在参与方本地并不代表没有隐私风险。

主要功能

  1. 01介绍三类联邦学习架构
  2. 02比较安全聚合协议
  3. 03说明本地与中心差分隐私
  4. 04评估 GDPR 合规要点
  5. 05分析梯度泄露与遗忘难题

适用场景

  1. 01规划跨设备或跨机构训练
  2. 02为模型更新选择安全聚合方案
  3. 03评估联邦训练的隐私预算
  4. 04识别联邦学习中的 GDPR 风险

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/mukul975/privacy-data-protection-skills --skill ai-federated-learning

安装后在 Claude Code 中输入/ai-federated-learning确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

assets/
template.md
references/
standards.md
workflows.md
scripts/
process.py

详细介绍

符合 GDPR 的联邦学习

概述

联邦学习(FL)是一种分布式机器学习方法,可在多个数据持有方之间训练模型,而无需集中个人数据。联邦学习不会将训练数据收集到中央存储库,而是将模型发送到数据所在处,在每个参与方的设备或服务器上计算本地更新,并仅在中央协调方聚合模型更新(梯度或权重)。这种架构通过消除为 AI 训练传输和集中个人数据的需要,直接符合 GDPR 的数据最小化(第 5(1)(c) 条)和设计保护(第 25 条)原则。然而,联邦学习并非隐私保护的万能良方——它也会带来自身的隐私风险,必须通过互补技术加以管理。

联邦学习架构模式

模式 1:跨设备联邦学习

适用场景:使用数百万台用户设备(智能手机、平板电脑、物联网设备)中的数据进行训练。

组件描述
参与方最终用户设备(智能手机、平板电脑、可穿戴设备)
规模数千至数百万个参与方
数据每台设备的数据量小,汇总后数据量大(例如,键盘预测、健康指标)
协调中央服务器按轮次选择参与方、分发模型并聚合更新
通信通过移动网络传输压缩后的梯度更新
隐私风险单个梯度更新可能泄露设备数据相关信息

GDPR 分析:

  • 数据最小化:个人数据绝不离开设备——合规性强
  • 控制者角色:平台运营方是控制者;设备所有者不是处理者
  • 合法依据:在设备上处理数据需获得同意或基于合法利益
  • 国际传输:若聚合过程能保护隐私,则不会传输个人数据
  • 删除权:设备可从后续轮次中排除;可能需要进行模型遗忘
模式 2:跨机构联邦学习

适用场景:跨组织边界进行训练(医院、银行、子公司)。

组件描述
参与方组织数据孤岛(医院、分支机构、合作公司)
规模2 至 100 个参与方
数据每个数据孤岛的数据量大且结构化(例如,医疗记录、金融交易)
协调可信聚合方或点对点协议
通信组织之间通过安全信道传输模型更新
隐私风险梯度更新可能暴露机构数据模式

GDPR 分析:

  • 共同控制者认定:参与方和聚合方可能属于共同控制者(第 26 条)——需签订共同控制者协议
  • 数据处理协议:若聚合方是处理者,则需签订第 28 条规定的数据处理协议(DPA)
  • 数据最小化:个人数据留在各自的数据孤岛内——合规性强
  • 国际传输:若数据孤岛位于不同司法管辖区,梯度传输是否合法取决于隐私保障措施
  • 合法依据:每个数据孤岛都需要为本地训练单独确定合法依据;聚合也需要单独的依据
模式 3:纵向联邦学习

用例:不同组织持有同一批个体的不同特征。

组件说明
参与方持有互补数据的组织(银行 + 零售商共享客户特征)
规模2 到 10 个参与方
数据针对重叠个体的不同特征
协调使用安全多方计算组合特征
通信加密的中间表示
隐私风险特征关联可能会泄露各方掌握的个体属性

GDPR 分析:

  • 共同控制者:参与方很可能属于共同控制者——各方都为了共同目的处理个人数据
  • 目的限制:联合训练目的必须与各方最初收集数据的目的相兼容
  • 数据主体通知:必须告知数据主体有关跨组织联邦训练的情况
  • 同意:跨组织组合数据可能需要征得同意

安全聚合协议

协议 1:基于掩码的安全聚合

参与方使用成对的随机掩码对本地更新进行掩码处理,这些掩码会在聚合时相互抵消。聚合器只能收到总和,而看不到单独的更新。

属性值
隐私保障聚合器和其他参与方都看不到单独的更新
计算成本O(n^2) 成对密钥协商,每轮 O(n) 掩码处理
通信成本基线的 2 倍(掩码 + 掩码后的更新)
掉线容忍度只要有足够的参与方留下,即可处理参与方掉线
串通抵抗力可防御聚合器与最多 t-1 个参与方串通
协议 2:同态加密聚合

参与方使用同态加密方案对更新进行加密。聚合器无需解密即可对加密数据求和。

属性值
隐私保障具备计算安全性——更新全程处于加密状态
计算成本加密/解密操作的开销为 100-1000 倍
通信成本基线的 2-10 倍(密文膨胀)
掉线容忍度极佳——加密后的更新可独立求和
串通抵抗力可防御聚合器(聚合器不持有解密密钥)
协议 3:可信执行环境(TEE)

聚合在硬件保护的安全区(Intel SGX、ARM TrustZone)内进行。参与方将更新发送到 TEE,由 TEE 在隔离内存中执行聚合。

属性值
隐私保障基于硬件的隔离——聚合器无法查看更新
计算成本接近原生性能(安全区切换仅带来少量开销)
通信成本基线(安全区之间无需因加密而增加数据量)
掉线容忍度极佳
串通抵抗力取决于硬件信任模型;易受侧信道攻击

差分隐私集成

本地差分隐私(LDP)

每个参与方在将梯度更新发送给聚合器之前添加噪声:

  • 机制:添加根据敏感度和隐私预算(epsilon、delta)校准的高斯噪声
  • 保障:单独的更新满足差分隐私——聚合器无法推断具体数据点
  • 权衡:噪声越大,模型精度越低;需要更多参与方进行补偿
  • 建议的 epsilon:每轮为 1-10,并对各轮进行隐私核算
中心差分隐私(CDP)

聚合器在将聚合后的更新应用于全局模型之前添加噪声:

  • 机制:向裁剪后的梯度总和添加高斯噪声
  • 保障:全局模型针对任一参与方的数据满足差分隐私
  • 权衡:达到相同精度时,所需噪声比 LDP 少(噪声会相互抵消);需要可信聚合器
  • 建议的 epsilon:总隐私预算为 1-8
隐私预算管理
参数描述指引
Epsilon(ε)隐私损失参数——数值越低,隐私性越强ε ≤ 1:强隐私;ε ≤ 8:中等;ε > 10:弱
Delta(δ)隐私失效的概率δ < 1/N,其中 N 为数据集大小
轮数(T)联邦训练轮数隐私性会随轮数增加而下降——使用组合定理
裁剪范数(C)每位参与者的最大梯度范数在隐私性(较低的 C)与收敛性(较高的 C)之间取得平衡
噪声乘数(σ)噪声与敏感度之比由 ε、δ、C 和组合方法决定

联邦学习的 GDPR 合规性评估

与隐私保护设计(第 25 条)原则的一致性
GDPR 原则FL 实现方式合规状态
数据最小化(第 5(1)(c) 条)个人数据保留在本地——仅传输模型更新合规性强
目的限制(第 5(1)(b) 条)为指定的训练目的进行本地处理需要记录每位参与者的处理目的
存储限制(第 5(1)(e) 条)不设中央训练数据存储库——数据根据每位参与者的政策保留在本地合规性取决于参与者的数据保留政策
完整性和保密性(第 5(1)(f) 条)安全聚合可保护更新的机密性结合 SA + DP 时保护效果强
准确性(第 5(1)(d) 条)模型准确性可能与集中式训练不同监控并记录准确性方面的权衡
尚存的 GDPR 挑战
  1. 梯度泄露:即使不传输原始数据,模型更新也可能泄露训练数据——安全聚合和 DP 可以降低风险,但无法彻底消除
  2. 模型记忆:聚合后的模型仍可能记住个别记录——训练后需要进行隐私审计
  3. 删除权:从训练后的模型中移除某位参与者的贡献颇具挑战——需要机器遗忘或重新训练
  4. 控制者/处理者的认定:复杂的多方 FL 架构需要明确划分角色
  5. 合法依据:每位参与者都需要独立的合法依据;聚合方需要处理更新的合法依据
  6. 透明度:必须告知数据主体其参与联邦学习的情况

实施注意事项

通信效率
技术描述隐私影响
梯度压缩在传输前对梯度进行量化或稀疏化可能与 DP 噪声相互作用——需要谨慎校准
联邦平均(FedAvg)通信前执行多次本地 SGD 步骤减少通信轮数;可能增加每轮的隐私成本
梯度选择仅发送排名前 k 的梯度分量会泄露哪些分量最重要——构成隐私风险
参与者选择
策略描述隐私考量
随机选择每轮均匀随机抽样参与者确保公平代表性;通过子采样实现隐私放大
基于可用性选择资源充足的参与者可能偏向某些参与者特征
基于贡献选择数据对模型改进最大化的参与者会泄露数据分布信息——存在隐私风险

执法相关性

虽然尚无执法行动专门针对联邦学习,但这项技术与以下内容直接相关:

  • CNIL AI 建议(2024):将联邦学习列为 AI 训练的推荐隐私增强技术
  • EDPB Guidelines 04/2025:提及分布式训练是 AI 系统的数据最小化措施
  • Garante v. OpenAI(2023):集中式数据收集是合规方面的关键问题——采用联邦学习替代方案本可降低相关风险
  • AI Act Art. 10:训练数据的数据治理——联邦学习(FL)可在保持数据本地化的同时实现数据治理

集成点

  • ai-dpia:联邦学习(FL)架构可降低 DPIA 评估中的数据集中化风险
  • ai-training-lawfulness:通过将数据保留在本地,联邦学习(FL)可能简化合法性依据的认定
  • ai-model-privacy-audit:联邦模型需要进行分布式隐私审计
  • ai-privacy-inference:联邦学习(FL)可与机密计算互补,保障推理隐私
  • ai-data-retention:联邦学习(FL)中的数据本地化可简化数据保留合规工作

评论

支持 Markdown