使用 PyTorch 的深度强化学习算法

此仓库包含深度强化学习算法和环境的 PyTorch 实现。

（为了帮助你记住所学的机器学习知识，可以将其记录在 Gizmo 中）

已实现的算法

1. 深度 Q 学习 (DQN) _{^{(Mnih 等人, 2013)}}
2. 带有固定 Q 目标的 DQN _{^{(Mnih 等人, 2013)}}
3. 双 DQN (DDQN) _{^{(Hado van Hasselt 等人, 2015)}}
4. 带有优先级经验回放的 DDQN _{^{(Schaul 等人, 2016)}}
5. 决斗式 DDQN _{^{(Wang 等人, 2016)}}
6. REINFORCE _{^{(Williams 等人, 1992)}}
7. 深度确定性策略梯度 (DDPG) _{^{(Lillicrap 等人, 2016)}}
8. 孪生延迟深度确定性策略梯度 (TD3) _{^{(Fujimoto 等人, 2018)}}
9. 软演员-评论家 (SAC) _{^{(Haarnoja 等人, 2018)}}
10. 用于离散动作的软演员-评论家 (SAC-Discrete) _{^{(Christodoulou, 2019)}}
11. 异步优势演员-评论家 (A3C) _{^{(Mnih 等人, 2016)}}
12. 同步优势演员-评论家 (A2C)
13. 近端策略优化 (PPO) _{^{(Schulman 等人, 2017)}}
14. 带有事后经验回放的 DQN (DQN-HER) _{^{(Andrychowicz 等人, 2018)}}
15. 带有事后经验回放的 DDPG (DDPG-HER) _{^{(Andrychowicz 等人, 2018)}}
16. 层次化 DQN (h-DQN) _{^{(Kulkarni 等人, 2016)}}
17. 用于层次化强化学习的随机神经网络 (SNN-HRL) _{^{(Florensa 等人, 2017)}}
18. 多样性就是一切 (DIAYN) _{^{(Eyensbach 等人, 2018)}}

所有实现都能快速解决 Cart Pole（离散动作）、Mountain Car Continuous（连续动作）、Bit Flipping（具有动态目标的离散动作）或 Fetch Reach（具有动态目标的连续动作）。我计划很快添加更多层次化强化学习算法。

已实现的环境

1. 位翻转游戏 _{^{（如 Andrychowicz 等人, 2018 所述）}}
2. 四房间游戏 _{^{（如 Sutton 等人, 1998 所述）}}
3. 长走廊游戏 _{^{（如 Kulkarni 等人, 2016 所述）}}
4. Ant-{迷宫、推、摔} _{^{（如 Nachum 等人, 2018 及其配套 代码 所述）}}

结果

1. Cart Pole 和 Mountain Car

下图展示了各种强化学习算法成功学习离散动作游戏 Cart Pole 或连续动作游戏 Mountain Car。运行这些算法时使用了 3 个随机种子，图中阴影区域表示正负 1 个标准差。所使用的超参数可在 results/Cart_Pole.py 和 results/Mountain_Car.py 文件中找到。

2. 事后经验回放 (HER) 实验

下图展示了 DQN 和 DDPG 在带有和不带事后经验回放 (HER) 的 Bit Flipping（14 位）和 Fetch Reach 环境中的表现。这些环境分别在 2018 年事后经验回放论文 和 2018 年多目标强化学习论文 中有所描述。实验结果与论文中的发现一致，表明引入 HER 可以使智能体解决原本无法解决的问题。请注意，每对智能体使用了相同的超参数，唯一的区别在于是否使用了事后经验回放。

3. 层次化强化学习实验

左侧的结果展示了 DQN 和来自 Kulkarni 等人, 2016 的层次化 DQN 算法在同样由 Kulkarni 等人, 2016 解释的长走廊环境中表现。该环境要求智能体先到达走廊尽头再返回才能获得更大的奖励。这种延迟满足感和状态的混淆使得 DQN 很难学会这一任务。然而，如果我们引入一个元控制器（如 h-DQN 中所示），指导低层控制器的行为，就能取得更好的进展。这与论文中的结果相符。

右侧的结果展示了 DDQN 和来自 Florensa 等人, 2017 的用于层次化强化学习的随机神经网络 (SNN-HRL) 算法的表现。选择 DDQN 作为对比是因为 SNN-HRL 的实现内部使用了两个 DDQN 算法。需要注意的是，SNN-HRL 前 300 轮训练用于预训练，因此在这期间没有奖励。

使用方法

仓库的高层次结构如下：

├── agents                    
    ├── actor_critic_agents   
    ├── DQN_agents         
    ├── policy_gradient_agents
    └── stochastic_policy_search_agents 
├── environments   
├── results             
    └── data_and_graphs        
├── tests
├── utilities             
    └── data structures            

i) 观看智能体学习上述游戏

要观看所有不同智能体学习 Cart Pole 任务，请按照以下步骤操作：

git clone https://github.com/p-christ/Deep_RL_Implementations.git
cd Deep_RL_Implementations

conda create --name myenvname
y
conda activate myenvname

pip3 install -r requirements.txt

python results/Cart_Pole.py

对于其他游戏，只需将最后一行代码改为 Results 文件夹中的其他文件即可。

ii) 在其他环境中训练智能体

大多数 OpenAI Gym 环境都适用。你只需要修改 config.environment 字段（可参考 Results/Cart_Pole.py 中的示例）。

此外，如果你创建了一个继承自 gym.Env 的自定义环境类，也可以使用自己的自定义游戏。请参阅 Environments/Four_Rooms_Environment.py 中的自定义环境示例，并查看脚本 Results/Four_Rooms.py 以了解如何让智能体在该环境中进行训练和测试。

Deep-Reinforcement-Learning-Algorithms-with-PyTorch 快速上手指南

本指南旨在帮助开发者快速搭建基于 PyTorch 的深度强化学习算法库，涵盖从环境配置到运行示例的全过程。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 Linux)
• Python 版本：Python 3.6+
• 包管理工具：Conda (推荐) 或 pip
• 前置依赖：
  • PyTorch (框架核心)
  • OpenAI Gym (仿真环境)
  • NumPy, Matplotlib 等科学计算库

国内加速建议： 在使用 pip 安装依赖时，建议指定清华或阿里镜像源以提升下载速度： pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

请按照以下步骤克隆仓库并配置运行环境：

1. 克隆项目代码

   git clone https://github.com/p-christ/Deep_RL_Implementations.git
   cd Deep_RL_Implementations
   

2. 创建并激活 Conda 虚拟环境

   conda create --name myenvname python=3.8
   # 输入 y 确认安装
   conda activate myenvname
   

3. 安装项目依赖

   pip3 install -r requirements.txt
   

   (若需使用国内镜像，请参考上方“环境准备”中的加速建议)

基本使用

项目内置了多种经典算法（如 DQN, PPO, SAC, A3C 等）和环境。以下是运行最基础的 Cart Pole（倒立摆）训练示例的步骤：

1. 运行默认示例 (Cart Pole)

执行以下命令启动训练，系统将展示智能体如何学习平衡杆子：

python results/Cart_Pole.py

运行后，您将看到训练过程中的奖励曲线图表，展示算法的收敛情况。

2. 运行其他内置游戏

若要尝试其他环境（如连续动作空间的 Mountain Car），只需更改执行的脚本文件：

python results/Mountain_Car.py

可用的结果脚本位于 results/ 目录下，对应不同的算法与环境组合。

3. 自定义环境与算法

本项目支持大多数 OpenAI Gym 环境。若要修改配置以运行其他游戏：

1. 打开对应的脚本文件（例如 results/Cart_Pole.py）。
2. 修改配置文件中的 config.environment 字段，填入目标 Gym 环境名称（如 "LunarLander-v2"）。
3. 运行该脚本即可。

若需使用完全自定义的环境，可参考 environments/Four_Rooms_Environment.py 创建一个继承自 gym.Env 的类，并在新的结果脚本中调用它。