TensorFlow Probability

TensorFlow Probability 是一个用于概率推理（probabilistic reasoning）和统计分析的 TensorFlow 库。作为 TensorFlow 生态系统的一部分，TensorFlow Probability 提供了概率方法与深度网络的集成、通过自动微分实现的基于梯度的推断，以及通过硬件加速（如 GPU）和分布式计算实现对大规模数据集和模型的扩展能力。

TFP 也可以作为 "Tensor-friendly Probability" 在纯 JAX 环境中运行！： from tensorflow_probability.substrates import jax as tfp -- 了解更多请访问此处。

我们的概率机器学习工具结构如下：

第 0 层：TensorFlow。数值运算。特别是，LinearOperator 类支持无矩阵（matrix-free）实现，可以利用特殊结构（对角、低秩等）进行高效计算。它由 TensorFlow Probability 团队构建和维护，现已成为核心 TF 中 tf.linalg 的一部分。

第 1 层：统计构建模块

• 分布（Distributions，tfp.distributions）： 大量概率分布和相关统计量，支持批处理和广播语义。请参阅 分布教程。
• 双射器（Bijectors，tfp.bijectors）： 随机变量的可逆且可组合变换。双射器提供了丰富的变换分布类别，从经典的 对数正态分布 到复杂的深度学习模型如 掩码自回归流。

第 2 层：模型构建

• 联合分布（Joint Distributions，例如 tfp.distributions.JointDistributionSequential）： 一个或多个可能相互依赖的分布之上的联合分布。 关于使用 TFP 的 JointDistribution 进行建模的入门介绍，请查看 此 colab
• 概率层（Probabilistic Layers，tfp.layers）： 对其所表示函数具有不确定性的神经网络层，扩展了 TensorFlow 层。

第 3 层：概率推断

• 马尔可夫链蒙特卡罗（Markov chain Monte Carlo，tfp.mcmc）： 通过采样近似积分的算法。包括 哈密顿蒙特卡罗、 随机游走 Metropolis-Hastings，以及构建自定义转移核的能力。
• 变分推断（Variational Inference，tfp.vi）： 通过优化近似积分的算法。
• 优化器（Optimizers，tfp.optimizer）： 随机优化方法，扩展了 TensorFlow 优化器。包括 随机梯度朗之万动力学。
• 蒙特卡罗（Monte Carlo，tfp.monte_carlo）： 计算蒙特卡罗期望的工具。

TensorFlow Probability 正在积极开发中。接口可能随时更改。

示例

查看 tensorflow_probability/examples/ 获取端到端示例。其中包括以下教程笔记本：

• 线性混合效应模型（Linear Mixed Effects Models）。 一种分层线性模型，用于在样本间共享统计强度。
• 八所学校（Eight Schools）。 一种用于可交换处理效应的分层正态模型。
• 分层线性模型（Hierarchical Linear Models）。 在 TensorFlow Probability、R 和 Stan 之间进行比较的分层线性模型。
• 贝叶斯高斯混合模型（Bayesian Gaussian Mixture Models）。 使用概率生成模型进行聚类。
• 概率主成分分析（Probabilistic Principal Components Analysis）。 使用潜变量进行降维。
• 高斯连接函数（Gaussian Copulas）。 用于捕捉随机变量间依赖关系的概率分布。
• TensorFlow Distributions：温和入门。 TensorFlow Distributions 简介。
• 理解 TensorFlow Distributions 的形状。 如何区分任意形状概率计算中的样本（samples）、批次（batches）和事件（events）。
• TensorFlow Probability 案例研究：协方差估计。 用户应用 TensorFlow Probability 进行协方差估计的案例研究。

还包括以下示例脚本：

使用潜码和变分推断（variational inference）进行表示学习。

• 向量量化自编码器（Vector-Quantized Autoencoder）。 使用向量量化进行离散表示学习。
• 解耦序列变分自编码器（Disentangled Sequential Variational Autoencoder） 使用变分推断对序列进行解耦表示学习。
• 贝叶斯神经网络（Bayesian Neural Networks）。 对权重具有不确定性的神经网络。
• 贝叶斯逻辑回归（Bayesian Logistic Regression）。 用于二分类的贝叶斯推断。

安装

有关安装 TensorFlow 的更多详细信息、安装先决条件的指导以及（可选）设置虚拟环境，请参阅 TensorFlow 安装指南。

稳定版本

要安装最新的稳定版本，请运行以下命令：

# 注意事项：

# - `--upgrade` 标志确保您获得最新版本。
# - `--user` 标志确保软件包安装到您的用户目录
#   而不是系统目录。
# - TensorFlow 2 软件包需要 pip >= 19.0
python -m pip install --upgrade --user pip
python -m pip install --upgrade --user tensorflow tensorflow_probability

对于仅 CPU 使用（以及更小的安装），请使用 tensorflow-cpu 安装。

要使用 TensorFlow 2.0 之前的版本，请运行：

python -m pip install --upgrade --user "tensorflow<2" "tensorflow_probability<0.9"

注意：由于 TensorFlow 未作为 TensorFlow Probability 软件包的依赖项包含在 setup.py 中，您必须显式安装 TensorFlow 软件包（tensorflow 或 tensorflow-cpu）。这使我们能够维护一个软件包，而不是分别为 CPU 和 GPU 启用的 TensorFlow 维护单独的软件包。有关 TensorFlow 和 TensorFlow Probability 之间依赖关系的更多详细信息，请参阅 TFP 发布说明。

夜间构建

TensorFlow Probability 还有夜间构建版本，pip 软件包名为 tfp-nightly，它依赖于 tf-nightly 或 tf-nightly-cpu 之一。夜间构建包含较新的功能，但可能比版本化发布更不稳定。稳定版本和夜间版本的文档均可 在此获取。

python -m pip install --upgrade --user tf-nightly tfp-nightly

从源代码安装

您也可以从源代码安装。这需要 Bazel 构建系统。强烈建议在尝试从源代码构建 TensorFlow Probability 之前安装 TensorFlow 的夜间构建版本（tf-nightly）。TFP 当前支持的最新的 Bazel 版本是 6.4.0；对 7.0.0+ 的支持正在进行中（WIP, Work In Progress）。

# sudo apt-get install bazel git python-pip  # Ubuntu；其他系统，请参阅上述链接。
python -m pip install --upgrade --user tf-nightly
git clone https://github.com/tensorflow/probability.git
cd probability
bazel build --copt=-O3 --copt=-march=native :pip_pkg
PKGDIR=$(mktemp -d)
./bazel-bin/pip_pkg $PKGDIR
python -m pip install --upgrade --user $PKGDIR/*.whl

社区

作为 TensorFlow 的一部分，我们致力于营造一个开放且友好的环境。

• Stack Overflow：提出或回答技术问题。
• GitHub：报告 bug 或提出功能需求。
• TensorFlow 博客：获取 TensorFlow 团队的最新内容和社区精选文章。
• YouTube 频道：关注 TensorFlow 相关节目。
• tfprobability@tensorflow.org：开放的邮件列表，用于讨论和提问。

更多详情请参见 TensorFlow 社区页面。查看我们最新的公开报道：

• Coffee with a Googler: TensorFlow 中的概率机器学习
• TensorFlow Probability 简介

贡献

我们期待与您合作！请参阅 CONTRIBUTING.md 了解如何贡献。本项目遵循 TensorFlow 的行为准则。参与本项目即表示您同意遵守该准则。

参考文献

如果您在论文中使用了 TensorFlow Probability，请引用：

• TensorFlow Distributions. Joshua V. Dillon, Ian Langmore, Dustin Tran, Eugene Brevdo, Srinivas Vasudevan, Dave Moore, Brian Patton, Alex Alemi, Matt Hoffman, Rif A. Saurous. arXiv preprint arXiv:1711.10604, 2017.

（我们深知 TensorFlow Probability 的内容远不止 Distributions，但 Distributions 论文阐述了我们的愿景，目前是一个合适的引用来源。）

TensorFlow Probability 快速上手指南

环境准备

系统要求

• Python 3.7+
• pip 19.0+（TensorFlow 2 必需）
• 支持的操作系统：Linux、macOS、Windows

前置依赖

• 必须安装：TensorFlow（tensorflow 或 tensorflow-cpu）
• 可选：GPU 支持需安装 CUDA/cuDNN（参考 TensorFlow GPU 指南）

注意：TensorFlow Probability 不将 TensorFlow 作为依赖项自动安装，需手动指定。

---

安装步骤

方式一：稳定版安装（推荐）

# 升级 pip
python -m pip install --upgrade --user pip

# 安装 TensorFlow + TensorFlow Probability
python -m pip install --upgrade --user tensorflow tensorflow_probability

仅 CPU 版本（体积更小）：

python -m pip install --upgrade --user tensorflow-cpu tensorflow_probability

国内镜像加速（清华源）：

python -m pip install --upgrade --user -i https://pypi.tuna.tsinghua.edu.cn/simple \
    tensorflow tensorflow_probability

方式二：每日构建版（最新功能）

python -m pip install --upgrade --user tf-nightly tfp-nightly

验证安装

import tensorflow as tf
import tensorflow_probability as tfp

print(tfp.__version__)  # 应输出版本号

---

基本使用

示例 1：创建分布并采样

import tensorflow as tf
import tensorflow_probability as tfp

tfd = tfp.distributions

# 创建正态分布
normal = tfd.Normal(loc=0., scale=1.)

# 采样
samples = normal.sample(1000)  # 1000 个样本

# 计算概率密度
log_prob = normal.log_prob(0.0)

示例 2：JAX 后端使用（无 TensorFlow）

from tensorflow_probability.substrates import jax as tfp

tfd = tfp.distributions

# 同样 API，底层使用 JAX
normal = tfd.Normal(loc=0., scale=1.)
samples = normal.sample(seed=42)  # JAX 需要显式传入 seed

示例 3：简单贝叶斯推断（MCMC）

import tensorflow_probability as tfp

tfd = tfp.distributions
tfb = tfp.bijectors

# 定义目标分布（标准正态）
target_log_prob = lambda x: -0.5 * tf.square(x)

# HMC 采样器
hmc = tfp.mcmc.HamiltonianMonteCarlo(
    target_log_prob_fn=target_log_prob,
    num_leapfrog_steps=3,
    step_size=0.1
)

# 运行 MCMC（简化示例，实际需设置初始状态）

---

下一步

资源	链接
官方教程	GitHub Examples
API 文档	https://www.tensorflow.org/probability/api_docs/python/tfp
分布形状指南	Understanding TensorFlow Distributions Shapes