流行的无模型强化学习算法

基于 PyTorch 和 TensorFlow 2.0 的、针对 OpenAI Gym 环境以及自定义 Reacher 环境的最先进无模型强化学习算法实现。

算法包括：

• Q-learning；
• SARSA；
• 蒙特卡洛回归；
• Actor-Critic (AC/A2C)；
• Soft Actor-Critic (SAC)；
• 深度确定性策略梯度 (DDPG)；
• 双延迟 DDPG (TD3)；
• 近端策略优化 (PPO)；
• QT-Opt（包含交叉熵方法）；
• PointNet；
• Transporter；
• 循环策略梯度；
• 软决策树；
• 概率混合专家 (PMOE)；
• QMIX 等。

请注意，这个仓库更像是我在研究和学习期间实现并测试过的算法个人集合，而非用于实际使用的官方开源库或软件包。不过，我认为与大家分享这些内容可能会有所帮助，并期待大家对我的实现进行有益的讨论。但我在代码的清理和结构化方面并没有投入太多精力。正如你可能注意到的那样，每种算法可能有多个版本的实现，我特意将它们全部展示出来，供你参考和比较。此外，该仓库仅包含 PyTorch 实现。

对于 RL 算法的官方库，我提供了以下两个基于 TensorFlow 2.0 + TensorLayer 2.0 的库：

• RL 教程 (状态：已发布) 包含以简单结构呈现的 RL 算法教程式实现。

• RLzoo (状态：已发布) 是一个具有高级 API 的基准实现，支持多种流行环境，结构层次分明，便于使用。

针对多智能体 RL，我还建立了一个新的仓库（PyTorch）：

• MARS (状态：开发中) 是一个用于游戏类多智能体 RL 的库，例如 PettingZoo Atari、SlimeVolleyBall 等。

由于 TensorFlow 2.0 已经采用了动态图构建方式，取代了静态图，因此在 TensorFlow 和 PyTorch 之间迁移 RL 代码变得非常容易。

内容：

• 多个版本的 Soft Actor-Critic (SAC) 已被实现。

  SAC 版本 1：

  sac.py：使用状态值函数。

  论文：https://arxiv.org/pdf/1801.01290.pdf

  SAC 版本 2：

  sac_v2.py：使用目标 Q 值函数代替状态值函数。

  论文：https://arxiv.org/pdf/1812.05905.pdf

  SAC 离散版

  sac_discrete.py：适用于离散动作空间。

  论文（作者实际上是我的 IC 同学之一）：https://arxiv.org/abs/1910.07207

  SAC 离散版 PER

  sac_discrete_per.py：适用于离散动作空间，并采用优先经验回放（PER）。

• 深度确定性策略梯度 (DDPG)：

  ddpg.py：DDPG 的实现。

• 双延迟 DDPG (TD3)：

  td3.py：TD3 的实现。

  论文：https://arxiv.org/pdf/1802.09477.pdf

• 近端策略优化 (PPO)：

  对于连续环境，实现了两个版本：

  版本 1：ppo_continuous.py 和 ppo_continuous_multiprocess.py

  版本 2：ppo_continuous2.py 和 ppo_continuous_multiprocess2.py

  对于离散环境：

  ppo_gae_discrete.py：采用广义优势估计（GAE）

• Actor-Critic (AC) / A2C：

  ac.py：可扩展的 AC/A2C，易于修改为 DDPG 等。

  这是一个非常可扩展的普通 AC/A2C 版本，支持所有连续/离散、确定性/非确定性情况。

• Q-learning、SARSA、蒙特卡洛回归：

  qlearning_sarsa_mc.ipynb：三者的对比。

• DQN：

  dqn.py：一个简单的 DQN。

• QT-Opt：

  在 这里 实现了两个版本。

• PointNet 用于通过无监督学习从图像中生成地标，已在 这里 实现。这种方法也被用作基于图像的强化学习中的 SOTA 算法，称为 Transporter。

  原始论文：通过条件图像生成进行对象地标的无监督学习

  强化学习相关论文：用于感知和控制的对象关键点的无监督学习

• 循环策略梯度：

  rdpg.py：带有 LSTM 策略的 DDPG。

  td3_lstm.py：带有 LSTM 策略的 TD3。

  sac_v2_lstm.py：带有 LSTM 策略的 SAC。

  sac_v2_gru.py：带有 GRU 策略的 SAC。

  参考文献：

  基于记忆的递归神经网络控制

  通过动力学随机化实现机器人控制的模拟到现实迁移

• 软决策树 作为 PPO 的函数逼近器：

  sdt_ppo_gae_discrete.py：将 PPO 中的策略网络层替换为 软决策树，以实现可解释的强化学习。

  论文：CDT：用于可解释强化学习的级联决策树

• 概率混合专家 (PMOE)：

  PMOE 使用可微分的多模态高斯分布来替代标准的单模态高斯分布，用于策略表示。

  pmoe_sac.py：基于离线策略 SAC。

  pmoe_ppo.py：基于在线策略 PPO。

  论文：用于高效深度强化学习的概率混合专家

• QMIX：

  qmix.py：一种完全协作式的多智能体强化学习算法，演示环境使用 pettingzoo。

  论文：http://proceedings.mlr.press/v80/rashid18a.html

• 相位策略梯度 (PPG)：

  待办事项

  论文：相位策略梯度

• 最大后验策略优化 (MPO)：

  待办事项

  论文：最大后验策略优化

• 优势加权回归 (AWR)：

  待办事项

  论文：优势加权回归：简单且可扩展的离线强化学习

使用方法：

python ***.py --train

python ***.py --test

故障排除：

如果您遇到“未实现错误”，这可能是由于 Gym 版本不正确所致。最新的 gym==0.14 不适用。请使用 pip install -r requirements.txt 安装 gym==0.7 或 gym==0.10。

一些被低估的技巧：

众所周知，在强化学习算法的实际实现中，有许多技巧可以提升性能，包括超参数调整、归一化、网络架构，甚至是隐藏层的激活函数等。我在本仓库的代码中遇到的一些技巧总结如下：

• 环境特定：

  • 对于 Gym 中的 Pendulum-v0 环境，通常对奖励进行预处理 (r+8)/8 可以提高学习效率，如 此处 所示。 此外，该环境还需要将最大 episode 长度设置为至少 150，才能更好地学习；episode 过短会使得学习变得困难。
  • Gym 中的 MountainCar-v0 环境奖励非常稀疏（只有到达终点旗时才有奖励），因此其学习曲线通常较为嘈杂；所以针对该环境可能也需要一些特殊的处理方法。

• 归一化：

  • 在批次中进行奖励归一化或优势归一化，有时可以显著提升算法的性能（学习效率和稳定性）。尽管理论上像 PPO 这样的策略梯度算法在训练过程中不应应用数据归一化，因为这会导致分布偏移。要深入理解这个问题，我们需要区分以下两种情况：(1) 对直接输入数据（如观测值、动作、奖励等）进行归一化；(2) 对价值估计（状态值、状态-动作值、优势等）进行归一化。对于 (1)，更合理的归一化方式是维护一个移动平均的均值和标准差，从而达到类似于在 RL 代理学习过程中对整个数据集进行归一化的效果（然而在 RL 中这是不可能的，因为数据来源于智能体与环境的交互）。而对于 (2)，我们可以直接对价值估计进行归一化（而不是保留历史平均值），因为我们并不希望这些估计值发生分布偏移，因此可以将其视为一种静态分布。

• 多进程：

  • 基于 torch.multiprocessing 的多进程更新是否是并行化代码的正确且安全的方式？ 从官方文档（例如 Hogwild 示例）可以看出，torch.multiprocessing 的使用并未采用任何显式锁机制，这意味着当多个进程同时计算梯度并更新共享模型时，可能会存在潜在的安全隐患。更多讨论请参见 这里，以及一些 测试 和 解答。总体而言，虽然存在不安全更新的风险，但多进程带来的加速效果往往更为显著（而且 RL 训练本身就有很大的方差和噪声）。

  • 尽管我提供了几种算法的多进程版本（如 SAC、PPO 等），但对于 Gym 中的小规模环境来说，通常并不需要甚至可能效率更低。在这种情况下，使用向量化环境包装器来进行并行环境采样可能是更合适的解决方案，因为学习效率的瓶颈主要在于与环境的交互，而非模型的学习（反向传播）过程。

  • 关于多进程使用的一个小提示：

    

    要在多个进程之间共享类实例及其状态，必须将实例放入 `multiprocessing.manager` 中：

    

• PPO 细节：

  • 这里 我总结了连续动作空间下 PPO 算法的实现细节，对应脚本为 ppo_gae_continuous.py、ppo_gae_continuous2.py 和 ppo_gae_continuous3.py。

关于 实现技巧 的更多讨论，请参阅我们书中这一章：链接。

性能：

• SAC 用于 Gym 的 Pendulum-v0 环境：

带有自动更新熵系数 α 的 SAC：

不带自动更新熵系数 α 的 SAC：

结果显示，自动更新熵有助于智能体更快地学习。

• TD3 用于 Gym 的 Pendulum-v0 环境：

采用确定性策略的 TD3：

采用非确定性/随机策略的 TD3：

看起来采用确定性策略的 TD3 表现稍好一些，但总体差异不大。

• AC 用于 Gym 的 CartPole-v0 环境：

不过，普通的 AC/A2C 并不能很好地处理像 Gym 的 Pendulum-v0 这样的连续动作空间问题。

• PPO 用于 Gym 的 LunarLanderContinuous-v2 环境：

请使用 ppo_continuous_multiprocess2.py。

引用：

若需引用此仓库，请使用以下格式：

@misc{rlalgorithms,
  author = {Zihan Ding},
  title = {Popular-RL-Algorithms},
  year = {2019},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/quantumiracle/Popular-RL-Algorithms}},
}

其他资源：

深度强化学习：基础、研究与应用 施普林格自然出版社 2020年

是我与董浩博士和张尚恒博士共同主编的书籍，全面涵盖了深度强化学习领域的多个主题。详细信息请参见官方网站和施普林格网页。如需引用该书，请使用以下格式：

@book{deepRL-2020,
 title={Deep Reinforcement Learning: Fundamentals, Research, and Applications},
 editor={Hao Dong, Zihan Ding, Shanghang Zhang},
 author={Hao Dong, Zihan Ding, Shanghang Zhang, Hang Yuan, Hongming Zhang, Jingqing Zhang, Yanhua Huang, Tianyang Yu, Huaqing Zhang, Ruitong Huang},
 publisher={Springer Nature},
 note={\url{http://www.deepreinforcementlearningbook.org}},
 year={2020}
}

Popular-RL-Algorithms 快速上手指南

本指南基于 Popular-RL-Algorithms 项目，旨在帮助开发者快速运行基于 PyTorch 的主流无模型强化学习算法（如 SAC, PPO, DDPG, TD3 等）。

注意：本项目主要为作者研究与学习期间的代码合集，包含多种实现版本以供对比参考，并非官方封装的标准库。代码结构可能较为灵活，适合学习与实验。

环境准备

• 操作系统: Linux / macOS / Windows
• Python 版本: 推荐 Python 3.6 - 3.8
• 核心框架: PyTorch
• 关键依赖:
  • gym: 必须安装特定版本。最新版的 gym==0.14 会导致报错，请严格按照要求安装 gym==0.7 或 gym==0.10。
  • pettingzoo (可选，用于多智能体 QMIX 算法)

安装步骤

1. 克隆仓库

   git clone https://github.com/quantumiracle/Popular-RL-Algorithms.git
   cd Popular-RL-Algorithms
   

2. 安装依赖 建议使用国内镜像源加速安装，并严格锁定 gym 版本以避免兼容性错误。

   # 使用清华源安装依赖（自动处理 gym 版本限制）
   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   如果 requirements.txt 未明确指定 gym 版本，请手动执行以下命令强制安装兼容版本：

   pip install gym==0.10 -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 验证安装 确保 PyTorch 和 Gym 能正常导入且无版本冲突。

基本使用

项目中的每个算法对应独立的 .py 文件（例如 sac_v2.py, ppo_continuous.py, ddpg.py 等）。

1. 训练模型

在命令行中运行具体算法脚本，并添加 --train 参数。

# 示例：训练 SAC 算法 (Version 2)
python sac_v2.py --train

# 示例：训练 PPO 算法 (连续动作空间)
python ppo_continuous.py --train

# 示例：训练 DDPG 算法
python ddpg.py --train

2. 测试/评估模型

训练完成后，使用 --test 参数加载模型进行评估。

# 示例：测试 SAC 算法
python sac_v2.py --test

# 示例：测试 PPO 算法
python ppo_continuous.py --test

3. 进阶提示

• 多进程加速: 部分算法提供了多进程版本（文件名含 multiprocess），适用于计算密集型任务，但在小规模 Gym 环境中可能收益不明显。

  python ppo_continuous_multiprocess2.py --train
  

• 离散动作空间: 针对离散动作空间，请使用对应的 _discrete 版本脚本（如 sac_discrete.py, ppo_gae_discrete.py）。
• 环境奖励调整: 对于 Pendulum-v0 等特定环境，代码中已内置了奖励预处理（如 (r+8)/8）以提升学习效率，无需手动修改。