RLax

RLax（发音为"relax"）是一个构建在 JAX 之上的库，提供了用于实现强化学习智能体的有用构建块。完整文档可在 rlax.readthedocs.io 查阅。

安装

您可以通过 PyPI 安装 RLax 的最新发布版本：

pip install rlax

或者您可以从 GitHub 安装最新的开发版本：

pip install git+https://github.com/deepmind/rlax.git

所有 RLax 代码都可以使用 jax.jit 进行即时编译，以在不同硬件（如 CPU、GPU、TPU）上运行。

为了运行 examples/，您还需要克隆仓库并安装额外的依赖项： optax、 haiku 和 bsuite。

内容

提供的操作和函数并非完整算法，而是实现了强化学习特定的数学运算，这些运算在构建能够学习的完整功能智能体时是必需的：

• 价值函数（Values），包括状态价值和动作价值；
• 贝尔曼方程（Bellman equations）非线性推广的价值函数；
• 回报分布（Return Distributions），又称分布式价值函数；
• 广义价值函数（General Value Functions），用于除主要奖励之外的累积量；
• 策略（Policies），通过连续和离散动作空间中的策略梯度（policy-gradients）实现。

该库同时支持在线策略学习（on-policy learning）和离线策略学习（off-policy learning），即从与智能体当前策略不同的策略采样的数据进行学习。

请参阅文件级和函数级的文档字符串，以获取这些函数的文档以及引入和使用这些函数的论文引用。

用法

请参阅 examples/ 中的示例，了解如何使用 RLax 中的一些函数实现简单的强化学习智能体，并在 BSuite 的 Catch 环境（强化学习文献中常见的智能体开发单元测试）上展示学习效果：

其他使用 rlax 的 JAX 强化学习智能体示例可在 bsuite 中找到。

背景

强化学习研究的是学习系统（智能体）的问题，该系统必须学会与其所嵌入的世界（环境）进行交互。

智能体和环境以离散的步骤进行交互。在每一步，智能体选择一个动作，并获得环境状态的（部分）快照（观测）以及一个标量反馈信号（奖励）。

智能体的行为由以过去环境观测为条件的动作概率分布来表征（策略）。智能体寻求一种策略，从任何给定的步骤开始，能够最大化从该时刻起将获得的折扣累积奖励（回报）。

通常，智能体策略或环境动力学本身是随机的。在这种情况下，回报是一个随机变量，最优智能体策略通常更精确地定义为最大化回报期望（价值）的策略，考虑智能体和环境的随机性。

强化学习算法

强化学习算法主要有三类原型：

1. 估计状态和动作的价值，并通过检查推断策略（例如，选择估计价值最高的动作）
2. 学习环境模型（能够预测观测和奖励），并通过规划推断策略。
3. 对可以直接执行的策略进行参数化。

无论如何，策略、价值或模型都只是函数。在深度强化学习中，这些函数由神经网络表示。在这种情况下，通常将强化学习更新表述为可微分的伪损失函数（类似于（无）监督学习）。在自动微分下，可以恢复原始更新规则。

但请注意，特别是只有在以正确方式采样的输入数据时，更新才是有效的。例如，策略梯度损失仅在输入轨迹是当前策略的无偏样本时才有效；即数据是在线的。该库无法检查或强制执行此类约束。然而，函数文档字符串中提供了描述如何使用每个操作的论文链接。

命名约定和开发指南

我们为与单一经验流交互的智能体定义函数和操作。JAX 的 vmap 构造可用于将这些函数应用于批次（例如，支持回放和并行数据生成）。

许多函数会考虑连续时间步中的策略、动作、奖励和价值，以计算其输出。在这种情况下，通常使用后缀 _t 和 tm1 来澄清每个输入是在哪一步生成的，例如：

• q_tm1：转换源状态中的动作价值。
• a_tm1：在源状态中选择的动作。
• r_t：在目标状态中获得的奖励。
• discount_t：与转换相关的折扣。
• q_t：目标状态中的动作价值。

每个函数都提供了广泛的测试。所有测试还应验证 rlax 函数在编译为 XLA 使用 jax.jit 时以及使用 jax.vmap 执行批处理操作时的输出。

引用 RLax

该仓库是 DeepMind JAX 生态系统的一部分，引用 Rlax 请使用以下引用：

@software{deepmind2020jax,
  title = {The {D}eep{M}ind {JAX} {E}cosystem},
  author = {DeepMind and Babuschkin, Igor and Baumli, Kate and Bell, Alison and Bhupatiraju, Surya and Bruce, Jake and Buchlovsky, Peter and Budden, David and Cai, Trevor and Clark, Aidan and Danihelka, Ivo and Dedieu, Antoine and Fantacci, Claudio and Godwin, Jonathan and Jones, Chris and Hemsley, Ross and Hennigan, Tom and Hessel, Matteo and Hou, Shaobo and Kapturowski, Steven and Keck, Thomas and Kemaev, Iurii and King, Michael and Kunesch, Markus and Martens, Lena and Merzic, Hamza and Mikulik, Vladimir and Norman, Tamara and Papamakarios, George and Quan, John and Ring, Roman and Ruiz, Francisco and Sanchez, Alvaro and Sartran, Laurent and Schneider, Rosalia and Sezener, Eren and Spencer, Stephen and Srinivasan, Srivatsan and Stanojevi\'{c}, Milo\v{s} and Stokowiec, Wojciech and Wang, Luyu and Zhou, Guangyao and Viola, Fabio},
  url = {http://github.com/deepmind},
  year = {2020},
}

RLax 快速上手指南

环境准备

系统要求

• Python 3.7+
• JAX 支持的硬件平台（CPU、GPU 或 TPU）

前置依赖

• JAX：RLax 基于 JAX 构建，需提前安装
• NumPy

pip install jax jaxlib numpy

安装步骤

方式一：从 PyPI 安装稳定版

pip install rlax

方式二：安装最新开发版

pip install git+https://github.com/deepmind/rlax.git

国内加速（可选）

若访问 GitHub 较慢，可使用国内镜像：

pip install git+https://gitee.com/mirrors/rlax.git

运行示例所需额外依赖

如需运行 examples/ 目录下的示例，还需安装以下库：

pip install optax haiku bsuite

基本使用

RLax 提供了强化学习常用的数学运算操作，可与 JAX 的 jit 编译和 vmap 批处理配合使用。

简单示例：计算 Q 值更新

import jax.numpy as jnp
import rlax

# 假设有如下数据（batch_size=2）
q_tm1 = jnp.array([[0.5, 0.3], [0.2, 0.8]])  # 当前 Q 值
a_tm1 = jnp.array([0, 1])                     # 采取的动作
r_t = jnp.array([1.0, 0.5])                   # 即时奖励
discount_t = jnp.array([0.99, 0.99])          # 折扣因子
q_t = jnp.array([[0.4, 0.6], [0.3, 0.7]])     # 目标 Q 值

# 使用 rlax 计算 q_learning 更新
q_learning = rlax.q_learning()
update = q_learning(q_tm1, a_tm1, r_t, discount_t, q_t)
print(update)

关键命名约定

RLax 函数通常使用以下后缀区分不同时间步的数据：

• _t：当前时间步的值
• _tm1：上一时间步的值

例如：

• q_tm1：转换源状态的行动价值
• a_tm1：转换源状态选择的动作
• r_t：转换目标状态获得的奖励
• discount_t：转换对应的折扣因子
• q_t：转换目标状态的行动价值

编译与批处理

from jax import jit, vmap

# JIT 编译以获得最佳性能
q_learning_compiled = jit(q_learning)

# 使用 vmap 进行批量处理
batch_q_learning = vmap(q_learning, in_axes=(0, 0, 0, 0, 0))

更多示例请参考 examples/ 目录及 官方文档。