TensorFlow Privacy

本仓库包含 TensorFlow Privacy 的源代码，这是一个 Python 库，提供了用于在训练机器学习模型时实现差分隐私的 TensorFlow 优化器实现。该库还附带教程和分析工具，用于计算所保障的隐私边界。

TensorFlow Privacy 库目前仍在持续开发中，我们始终欢迎贡献。特别是，我们非常欢迎帮助解决当前未关闭的问题。

最新更新

2024年2月14日：自版本 0.9.0 起，TensorFlow Privacy 的 GitHub 仓库将发布为两个独立的 PyPI 包。第一个包将沿用 tensorflow-privacy 的名称，包含与 DP 模型训练相关的部分；第二个包 tensorflow-empirical-privacy 将包含与经验性隐私测试相关的部分。

2023年2月21日：现在提供了一种高效的逐样本梯度裁剪的新实现，适用于仅由 Dense 和 Embedding 层组成的 DP Keras 模型。这些模型利用了 这篇论文 中快速梯度计算的结果。该实现应能支持在不产生显著内存或运行时开销的情况下进行 DP 训练，并且由于它是针对每个样本单独裁剪梯度，因此不再需要调整微批次的数量。

设置 TensorFlow Privacy

依赖项

本库使用 TensorFlow 来定义机器学习模型。因此，安装 TensorFlow（>= 1.14）是先决条件。您可以在 这里 找到安装说明。为了获得更好的性能，建议安装支持 GPU 的 TensorFlow 版本（详细的安装步骤可在 TensorFlow 官方文档中找到）。

安装 TensorFlow Privacy

如果您只想将 TensorFlow Privacy 作为库使用，可以直接执行：

pip install tensorflow-privacy

否则，您可以将此 GitHub 仓库克隆到您选择的目录中：

git clone https://github.com/tensorflow/privacy

然后以“可编辑”模式安装本地包，以便将其添加到您的 PYTHONPATH 中：

cd privacy
pip install -e .

如果您希望做出贡献，我们建议先 fork 该仓库，再克隆您的 fork，而不是直接克隆本仓库。

贡献

我们欢迎各种形式的贡献！错误修复和新功能可以通过 GitHub 的 pull 请求提交。为加快代码审查流程，我们要求：

• 向 TensorFlow Privacy 提交代码时，请在您的 pull 请求中遵循 PEP8 with two spaces 编码风格（与 TensorFlow 使用的风格相同）。大多数情况下，只需对您编辑过的文件运行 autopep8 -i --indent-size 2 <file> 即可。
• 您还应使用 pylint 并结合 TensorFlow 的 pylint 配置文件（链接）来检查代码，命令如下：pylint --rcfile=/path/to/the/tf/rcfile <edited file.py>。
• 在提交首次 pull 请求时，请签署 Google CLA。
• 我们不接受包含 Git 子模块的 pull 请求，因为维护 Git 子模块会带来诸多问题，详情请参阅 这篇文章。

教程目录

为了帮助您快速上手本库的功能，我们提供了一份详细的入门指南 在这里，教您如何使用 TensorFlow (TF) Privacy 将现有优化器（如 SGD、Adam 等）包装成其差分隐私版本。您还将学习如何调整差分隐私优化引入的参数，以及如何使用 TF Privacy 中提供的分析工具来衡量隐私保障程度。

此外，tutorials/ 文件夹中还包含演示库功能的脚本。教程列表在教程目录中的 README 文件中有所说明。

注意：教程内容经过精心维护，但它们并不属于 API 的一部分，可能会在没有任何提前通知的情况下随时更改。请勿编写导入教程的第三方代码，并期望其接口不会发生变化。

研究目录

该文件夹包含用于复现机器学习隐私相关研究论文结果的代码。它不像教程目录那样受到严格维护，而是更像一个方便的归档存储。

TensorFlow 2.x

TensorFlow Privacy 现已支持 TensorFlow 2！您可以使用位于 privacy/tensorflow_privacy/privacy/optimizers/dp_optimizer_keras.py 中的新 Keras 基础估算器。

不过，要使其与 tf.keras.Model 和 tf.estimator.Estimator 兼容，您需要安装 TensorFlow 2.4 或更高版本。

备注

本仓库的内容取代了 tensorflow/models 仓库中现有的以下文件夹： repository

联系方式

如果您有任何无法通过提交 issue 解决的问题，请随时联系：

• Galen Andrew (@galenmandrew)
• Steve Chien (@schien1729)
• Nicolas Papernot (@npapernot)

版权

版权所有 © 2019 Google LLC

TensorFlow Privacy 快速上手指南

TensorFlow Privacy 是一个 Python 库，提供了用于训练具有**差分隐私（Differential Privacy, DP）**保护的机器学习模型的 TensorFlow 优化器实现。本指南将帮助你快速搭建环境并开始使用。

环境准备

系统要求

• Python: 建议 Python 3.6+
• TensorFlow: 版本需 >= 1.14（推荐使用 TensorFlow 2.4+ 以支持最新的 Keras 接口和高效梯度裁剪功能）。
• 硬件加速: 为获得更佳性能，强烈建议安装支持 GPU 的 TensorFlow 版本。

前置依赖

在开始之前，请确保已安装 TensorFlow。你可以访问 TensorFlow 官网 获取详细安装指令。

国内开发者提示：在安装 Python 包时，建议使用国内镜像源以提升下载速度。例如使用清华源： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

你可以根据需求选择直接安装发布版或从源码安装开发版。

方式一：直接安装（推荐普通用户）

如果你仅需将 TensorFlow Privacy 作为库使用，可直接通过 pip 安装：

pip install tensorflow-privacy

(国内加速):

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-privacy

注意：自 0.9.0 版本起，该库拆分为两个包：

• tensorflow-privacy：包含差分隐私模型训练相关功能。
• tensorflow-empirical-privacy：包含经验隐私测试相关功能。 大多数训练场景只需安装前者。

方式二：源码安装（推荐贡献者或需要最新特性者）

如果你需要修改源码或使用尚未发布的最新功能：

git clone https://github.com/tensorflow/privacy
cd privacy
pip install -e .

(国内加速克隆):

git clone https://gitee.com/mirrors/tensorflow-privacy.git
# 或者使用代理加速 GitHub 克隆

基本使用

以下示例展示如何将标准的 SGD 优化器替换为差分隐私优化器，并在 Keras 模型中进行训练。

简单示例代码

import tensorflow as tf
from tensorflow_privacy.privacy.optimizers import dp_optimizer_keras

# 1. 构建一个简单的 Keras 模型
model = tf.keras.Sequential([
    tf.keras.layers.Dense(10, activation='relu', input_shape=(5,)),
    tf.keras.layers.Dense(1)
])

# 2. 定义差分隐私优化器
# 参数说明：
# - learning_rate: 学习率
# - noise_multiplier: 噪声乘数，控制隐私保护强度
# - l2_norm_clip: 梯度裁剪范数，限制单个样本对梯度的影响
dp_optimizer = dp_optimizer_keras.DPKerasSGDOptimizer(
    learning_rate=0.1,
    noise_multiplier=1.0,
    l2_norm_clip=1.0,
    seed=None
)

# 3. 编译模型
model.compile(
    optimizer=dp_optimizer,
    loss='mean_squared_error',
    metrics=['accuracy']
)

# 4. 准备数据 (此处仅为示例占位符)
# x_train, y_train 应为你的实际数据
x_train = tf.random.normal((100, 5))
y_train = tf.random.normal((100, 1))

# 5. 训练模型
# batch_size 在此处对应于微批次（microbatches）的概念，
# 新版实现已自动处理每个样本的梯度裁剪，无需手动调整微批次数量。
model.fit(x_train, y_train, epochs=5, batch_size=32)

关键点说明

• 梯度裁剪：新的实现（针对仅包含 Dense 和 Embedding 层的模型）提供了高效的逐样本梯度裁剪，无需手动设置微批次（microbatches），且几乎没有内存或运行时开销。
• 隐私计算：训练完成后，可使用库中提供的分析工具计算具体的隐私保证（epsilon, delta）。详细用法请参考官方 tutorials/ 目录下的完整教程。