状态: 活跃（正在积极开发中，可能会有破坏性变更）

本仓库将实现经典及最前沿的深度强化学习算法。其目标是提供清晰易懂的 PyTorch 代码，供开发者学习深度强化学习算法。

未来，我们将不断添加更多最先进的算法，并持续维护现有代码。

需求

• Python <=3.6
• tensorboardX
• gym >= 0.10
• PyTorch >= 0.4

请注意，TensorFlow 不支持 Python 3.7。

安装

pip install -r requirements.txt

如果安装失败：

• 安装 gym

pip install gym

• 安装 PyTorch

请前往官方网址进行安装：https://pytorch.org/

建议使用 Anaconda 虚拟环境来管理你的包。

• 安装 tensorboardX

pip install tensorboardX
pip install tensorflow==1.12

• 测试

cd Char10\ TD3/
python TD3_BipedalWalker-v2.py --mode test

如果安装成功，你将看到一个双足行走的机器人。

BipedalWalker:

• 4. 安装 openai-baselines（可选）

# 克隆 openai baselines
git clone https://github.com/openai/baselines.git
cd baselines
pip install -e .

DQN

在这里，我上传了两个 DQN 模型，分别用于训练 CartPole-v0 和 MountainCar-v0。

MountainCar-v0 的提示

这是一个稀疏的二元奖励任务。只有当车到达山顶时，才会获得非零奖励。通常情况下，在随机策略下可能需要 1e5 步才能完成。你可以添加一个奖励项，例如使奖励与当前车辆位置成正比。当然，还有更高级的方法，比如逆向强化学习。

这是 DQN 的价值损失。我们可以看到损失增加到了 1e13，然而网络仍然工作得很好。这是因为随着训练的进行，target_net 和 act_net 之间的差异越来越大，导致计算出的损失累积得非常大。之前的损失较小，是因为奖励非常稀疏，从而导致两个网络的更新幅度也很小。

与 DQN 相关的论文

1. 使用深度强化学习玩 Atari 游戏 [arxiv] [代码]
2. 带有双重 Q 学习的深度强化学习 [arxiv] [代码]
3. 用于深度强化学习的对决网络架构 [arxiv] [代码]
4. 优先级经验回放 [arxiv] [代码]
5. 用于探索的噪声网络 [arxiv] [代码]
6. 强化学习的分布视角 [arxiv] [代码]
7. 彩虹：结合深度强化学习的改进 [arxiv] [代码]
8. 基于分位数回归的分布强化学习 [arxiv] [代码]
9. 分层深度强化学习：整合时间抽象与内在动机 [arxiv] [代码]
10. 神经情景控制 [arxiv] [代码]

策略梯度

使用以下命令运行已保存的模型

python Run_Model.py

使用以下命令训练模型

python pytorch_MountainCar-v0.py

policyNet.pkl

这是我训练好的模型。

演员-评论家

这是一种算法框架，经典的 REINFORCE 方法就属于演员-评论家方法。

DDPG

在 Pendulum-v0 中的每集奖励：

PPO

• 原始论文：https://arxiv.org/abs/1707.06347
• OpenAI Baselines 博客文章：https://blog.openai.com/openai-baselines-ppo/

A2C

优势策略梯度，一篇 2017 年的论文指出，A2C 和 A3C 在性能上的差异并不明显。

异步优势演员评论家方法（A3C）自论文发表以来一直具有很大的影响力。该算法结合了几种关键思想：

• 一种基于固定长度经验片段（例如 20 个时间步）的更新机制，利用这些片段来计算回报和优势函数的估计值。
• 策略网络和价值网络共享层的架构。
• 异步更新。

A3C

原始论文：https://arxiv.org/abs/1602.01783

SAC

这并不是论文作者的实现！！！

在 Pendulum-v0 中的每集奖励：

TD3

这并不是论文作者的实现！！！

在 Pendulum-v0 中的每集奖励：

在 BipedalWalker-v2 中的每集奖励：

如果你想测试你的模型：

python TD3_BipedalWalker-v2.py --mode test

与深度强化学习相关的论文

[01] 深度强化学习简述
[02] 连续控制强化学习中的Beta策略
[03] 使用深度强化学习玩Atari游戏
[04] 基于双重Q-learning的深度强化学习
[05] 用于深度强化学习的决斗网络架构
[06] 深度强化学习中的连续控制
[07] 基于模型加速的连续深度Q-learning
[08] 深度强化学习的异步方法
[09] 信任域策略优化
[10] 近端策略优化算法
[11] 利用克罗内克分解近似法的可扩展信任域深度强化学习方法
[12] 使用广义优势估计进行高维连续控制
[13] 软演员-评论家：带有随机演员的离策略最大熵深度强化学习
[14] 解决演员-评论家方法中的函数逼近误差

待办事项

• DDPG
• SAC
• TD3

最佳强化学习课程

• OpenAI的Spinning Up
• 戴维·西尔弗的课程
• 伯克利深度强化学习课程
• 实用强化学习
• 李宏毅的深度强化学习课程

Deep-reinforcement-learning-with-pytorch 快速上手指南

本项目旨在提供清晰、易读的 PyTorch 代码，帮助开发者学习经典及前沿的深度强化学习（Deep RL）算法。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• Python 版本：<= 3.6（注意：TensorFlow 1.x 不支持 Python 3.7+，项目依赖中包含 TensorFlow）
• 核心框架：PyTorch >= 0.4
• 仿真环境：Gym >= 0.10
• 可视化工具：tensorboardX

推荐方案：建议使用 Anaconda 创建虚拟环境来管理依赖包，以避免版本冲突。

2. 安装步骤

第一步：安装基础依赖

克隆项目后，尝试一键安装 requirements：

pip install -r requirements.txt

第二步：处理安装失败情况

如果上述命令失败，请按顺序手动安装以下组件：

1. 安装 Gym

   pip install gym
   

   (国内加速建议：pip install gym -i https://pypi.tuna.tsinghua.edu.cn/simple)

2. 安装 PyTorch 请访问官网获取适合您环境的安装命令：https://pytorch.org/ 推荐使用 Anaconda 环境进行安装。

3. 安装 TensorboardX 及兼容版 TensorFlow

   pip install tensorboardX
   pip install tensorflow==1.12
   

   (国内加速建议：添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 参数)

4. (可选) 安装 OpenAI Baselines 如果需要对比或参考官方基线实现：

   git clone https://github.com/openai/baselines.git
   cd baselines
   pip install -e .
   

   (国内加速建议：使用 git clone https://gitee.com/mirror/openai-baselines.git 或其他镜像源)

3. 基本使用

项目包含多种算法（如 DQN, DDPG, PPO, A3C, SAC, TD3 等），以下是验证安装和运行测试的最简示例。

验证安装 (TD3 算法测试)

运行以下命令测试双足行走机器人（BipedalWalker）环境。如果安装成功，您将看到机器人运动的演示画面。

cd Char10\ TD3/
python TD3_BipedalWalker-v2.py --mode test

训练模型示例

• 策略梯度 (Policy Gradient) - 训练山地车任务

  python pytorch_MountainCar-v0.py
  

• 策略梯度 (Policy Gradient) - 运行已保存的模型

  python Run_Model.py
  

• DQN 算法 项目 Char01 DQN 目录下提供了针对 CartPole-v0 和 MountainCar-v0 的训练脚本，直接运行对应目录下的主程序即可。

提示：对于稀疏奖励任务（如 MountainCar-v0），随机策略可能需要 1e5 步才能收敛。若训练困难，可尝试修改奖励函数（使其与位置正相关）或参考项目中提供的预训练模型 policyNet.pkl。