mcpField
D
designing-privacy-preserving-analytics

designing-privacy-preserving-analytics

github.com/mukul975数据与数据库32336 次安装32 周前更新
代码仓库

关于 designing-privacy-preserving-analytics

面向需要从个人数据中提取统计洞察的组织,介绍差分隐私、k-匿名性、l-多样性和 t-接近性等方法,并提供隐私预算管理与实施流程。

主要功能

  1. 01介绍四种统计披露控制技术
  2. 02说明差分隐私预算分配
  3. 03描述隐私预算耗尽流程
  4. 04提供分析查询实施步骤
  5. 05涵盖预算跟踪与审计记录

适用场景

  1. 01规划具有隐私保护的统计分析
  2. 02为查询分配差分隐私预算
  3. 03管理多次查询的累计隐私损失
  4. 04审核隐私保护分析的输出与记录

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/mukul975/privacy-data-protection-skills --skill designing-privacy-preserving-analytics

安装后在 Claude Code 中输入/designing-privacy-preserving-analytics确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

assets/
template.md
references/
standards.md
workflows.md
scripts/
process.py

详细介绍

设计保护隐私的分析

概述

保护隐私的分析使组织能够从个人数据中提取统计洞见,而不暴露个人层面的信息。这直接支持 GDPR 第 5(1)(c) 条(数据最小化)和序言第 26 条(真正匿名的数据不受该法规约束)。第 29 条工作组关于匿名化技术的第 05/2014 号意见(WP216)指出,有效的匿名化必须能够抵御个体识别、关联和推断攻击。

四种主要的统计披露控制技术构成了保护隐私的分析基础:差分隐私、k-匿名性、l-多样性和 t-接近性。每种技术在隐私保障与数据效用之间都有不同的权衡。

统计披露控制技术

差分隐私

差分隐私(Dwork 等人,2006)提供了一种数学保证:无论是否包含任何单个个体的数据,分析的输出都大致相同。形式上,如果对于最多只有一条记录不同的所有数据集 D1 和 D2,以及所有输出集合 S,随机机制 M 均满足以下条件,则称 M 满足 (epsilon, delta)-差分隐私:

P[M(D1) ∈ S] ≤ e^ε × P[M(D2) ∈ S] + δ

其中,epsilon(ε)是隐私损失参数,delta(δ)限定隐私泄露的概率。

隐私预算分配:

Epsilon 范围隐私级别典型用例
0.01 — 0.1非常强医学研究、遗传数据、高敏感度分析
0.1 — 1.0强通用分析、人口统计分析
1.0 — 5.0中等汇总业务指标、趋势分析
5.0 — 10.0弱低敏感度计数、已公开的统计数据

主要库:

库维护方语言机制类型
Google DP LibraryGoogleC++/Java/GoLaplace、Gaussian、分区选择
OpenDPHarvard IQSS & MicrosoftRust/Python可组合框架、Laplace、Gaussian、指数机制
Apple PPMLAppleSwift本地差分隐私、count-mean-sketch、Hadamard response
IBM diffprivlibIBM ResearchPython兼容 Scikit-learn、支持差分隐私的机器学习
PyDPOpenMinedPython(C++ 后端)Google DP Library 的 Python 封装
k-匿名性

如果对于准标识符属性,数据集中的每条记录都无法与至少 k-1 条其他记录区分,则该数据集满足 k-匿名性(Sweeney,2002)。准标识符是指可以与外部数据结合起来重新识别个体的属性(例如,年龄、邮政编码、性别)。

实现方法:

  1. 识别数据集中的准标识符
  2. 应用泛化层级(例如,年龄 27 → 年龄范围 25-30,邮政编码 8001 → 80**)
  3. 对无法仅通过泛化达到 k-匿名性的记录进行抑制处理
  4. 验证所有等价类中的 k 值

**局限性:**如果等价类中的敏感值都相同,k-匿名性无法防止属性披露。

l-多样性

l-多样性(Machanavajjhala 等人,2007)扩展了 k-匿名性,要求每个等价类至少包含 l 个“充分代表”的敏感属性值。这可以防止属性披露攻击。

变体:

  • **不同值 l-多样性:**每个等价类至少包含 l 个不同的敏感值
  • **熵 l-多样性:**每个等价类中敏感值的熵 ≥ log(l)
  • **递归 (c,l)-多样性:**出现频率最高的敏感值,其出现次数少于出现频率最低的敏感值的 c 倍
t-Closeness

t-Closeness(Li 等人,2007 年)要求任意等价类中的敏感属性分布与整个数据集中的该属性分布之间的距离不超过 t,距离使用地球搬运距离(EMD)衡量。

这可以防止偏斜攻击:即使满足 l-diversity,攻击者仍可能根据等价类中的分布推断出敏感属性。

隐私预算管理

隐私预算用于跟踪多次查询造成的累计隐私损失。在顺序组合下,总隐私损失是各个 epsilon 的总和。在并行组合下(针对互不相交的子集),总隐私损失是各个 epsilon 中的最大值。

Prism Data Systems AG 的预算分配框架:

分析功能Epsilon 分配刷新频率理由
每日活跃用户数每天 0.1每日敏感度低,频率高
按地区划分的收入每季度 0.5每季度敏感度中等,属于聚合指标
功能使用模式每月 0.3每月根据 Art. 6(1)(f) 用于产品开发
客户流失分析每季度 0.2每季度涉及行为分析
A/B 测试结果每次实验 0.1每次实验二元结果,披露风险低
年度预算总额≤ 8.0所有功能的预算总和,考虑组合

预算耗尽协议:

  1. 年度预算消耗达到 80% 时,向数据保护官发出警报
  2. 消耗达到 95% 时,每次新增查询均须获得 DPO 批准
  3. 消耗达到 100% 时,阻止所有后续差分隐私查询,直至下一个预算周期
  4. 紧急查询须经 DPO 和首席信息安全官共同批准

架构设计

┌──────────────────────────────────────────────────────────┐
│                    Analyst Interface                      │
│              (SQL-like query submission)                  │
└──────────────────────┬───────────────────────────────────┘
                       │
┌──────────────────────▼───────────────────────────────────┐
│                 Privacy Gateway                           │
│  ┌─────────────┐  ┌──────────────┐  ┌────────────────┐  │
│  │ Query Parser │  │ Budget Check │  │ Sensitivity    │  │
│  │ & Validator  │  │ (ε tracker)  │  │ Calibration    │  │
│  └──────┬──────┘  └──────┬───────┘  └───────┬────────┘  │
│         └────────────────┼──────────────────┘            │
└──────────────────────────┼───────────────────────────────┘
                           │
┌──────────────────────────▼───────────────────────────────┐
│              Noise Injection Layer                        │
│  ┌──────────────┐  ┌──────────────┐  ┌───────────────┐  │
│  │ Laplace      │  │ Gaussian     │  │ Exponential   │  │
│  │ Mechanism    │  │ Mechanism    │  │ Mechanism     │  │
│  └──────────────┘  └──────────────┘  └───────────────┘  │
└──────────────────────────┬───────────────────────────────┘
                           │
┌──────────────────────────▼───────────────────────────────┐
│              Data Processing Layer                        │
│  ┌─────────────────┐  ┌──────────────────────────────┐   │
│  │ k-Anonymization │  │ Aggregation Engine           │   │
│  │ Pre-processing  │  │ (min group size: 11)         │   │
│  └─────────────────┘  └──────────────────────────────┘   │
└──────────────────────────┬───────────────────────────────┘
                           │
┌──────────────────────────▼───────────────────────────────┐
│              Encrypted Data Store                         │
│         (Field-level AES-256-GCM encrypted)              │
└──────────────────────────────────────────────────────────┘

实施工作流

  1. 对分析查询进行分类 — 根据敏感度对每个分析用例进行分类(访问的直接标识符、组合的准标识符、涉及的敏感属性),并分配 epsilon 预算。

  2. 选择机制 — 根据查询类型选择适当的噪声机制:计数查询使用 Laplace,要求 (ε,δ)-DP 的均值/方差查询使用 Gaussian,选择查询使用指数机制。

  3. 校准敏感度 — 确定每个查询函数的全局敏感度(添加或删除一条记录时输出的最大变化)。尽可能通过裁剪输入值来使用有界敏感度。

  4. 实施预算跟踪 — 部署集中式隐私预算台账,记录每次查询消耗的 epsilon、强制执行组合上限,并在预算耗尽时阻止查询。

  5. 应用预处理 — 如果仅使用差分隐私无法提供足够的效用,则将 k-anonymity 用作预处理步骤,以降低下游差分隐私查询的敏感度。

  6. 验证输出 — 确认发布的统计数据符合最小群体规模要求(根据 Prism Data Systems AG 政策为 11 条记录),并在加噪结果旁报告置信区间。

  7. 审计跟踪 — 记录每次隐私保护查询的以下信息:时间戳、分析人员身份、查询哈希、消耗的 epsilon、使用的机制,以及剩余累计预算。

主要法规参考

  • GDPR 第 5(1)(c) 条 — 数据最小化原则
  • GDPR 第 5(1)(e) 条 — 存储期限限制
  • GDPR 第 25 条 — 通过设计实现数据保护和默认数据保护
  • GDPR 第 89 条 — 科学或历史研究或统计目的处理的保障措施
  • GDPR 序言第 26 条 — 匿名信息的范围
  • GDPR 序言第 162 条 — 统计目的
  • 第 29 条工作组关于匿名化技术的第 05/2014 号意见(WP216)
  • ENISA 报告:《假名化技术和最佳实践》(2019 年 11 月)

评论

支持 Markdown