DeepRL

如果您有任何问题或想报告错误，请直接提交 issue，而不是给我发邮件。

使用 PyTorch 实现的模块化深度强化学习算法库。可在简单任务和复杂游戏之间轻松切换。

已实现的算法包括：

• （双/ Dueling/ 优先级）深度 Q 学习 (DQN)
• 分类 DQN (C51)
• 分位数回归 DQN (QR-DQN)
• （连续/离散）同步优势演员评论家 (A2C)
• 同步 N 步 Q 学习 (N-Step DQN)
• 深度确定性策略梯度 (DDPG)
• 近端策略优化 (PPO)
• 选项评论家架构 (OC)
• 双延迟 DDPG (TD3)
• Off-PAC-KL/截断ETD/差分GQ/MVPI/ReverseRL/COF-PAC/GradientDICE/Bi-Res-DDPG/DAC/Geoff-PAC/QUOTA/ACE

DQN 智能体以及 C51 和 QR-DQN 都配备异步执行器用于数据生成，并使用异步回放缓冲区将数据传输到 GPU。
在一台 RTX 2080 Ti 显卡和 3 个线程的配置下，DQN 智能体在 6 小时内即可完成 Breakout 游戏中的 1000 万步（4000 万帧，250 万次梯度更新）训练。

依赖

• PyTorch v1.5.1
• 更多详情请参阅 Dockerfile 和 requirements.txt

使用方法

examples.py 包含所有已实现算法的示例。
Dockerfile 提供了用于生成下方曲线的环境。
如果您希望引用本仓库，请使用以下 BibTeX 格式：

@misc{deeprl,
  author = {Zhang, Shangtong},
  title = {Modularized Implementation of Deep RL Algorithms in PyTorch},
  year = {2018},
  publisher = {GitHub},
  journal = {GitHub Repository},
  howpublished = {\url{https://github.com/ShangtongZhang/DeepRL}},
}

曲线（commit 9e811e）

BreakoutNoFrameskip-v4（1 次运行）

Mujoco

• DDPG/TD3 的评估性能。 （5 次运行，平均值 ± 标准误差）

• PPO 的在线性能。 （5 次运行，平均值 ± 标准误差，采用窗口大小为 10 的平滑处理）

参考文献

• 通过深度强化学习实现人类水平控制
• 深度强化学习的异步方法
• 带有双 Q 学习的深度强化学习
• 用于深度强化学习的 Dueling 网络架构
• 使用深度强化学习玩 Atari 游戏
• HOGWILD!: 一种无锁并行化随机梯度下降的方法
• 确定性策略梯度算法
• 深度强化学习中的连续控制
• 使用广义优势估计进行高维连续控制
• 强化学习中的混合奖励架构
• 信任区域策略优化
• 近端策略优化算法
• 丰富环境中运动行为的涌现
• 使用深度网络对 Atar i 游戏中的动作条件视频进行预测
• 强化学习的分布视角
• 基于分位数回归的分布强化学习
• 选项评论家架构
• 解决演员评论家方法中的函数逼近误差
• 部分超参数来自 DeepMind Control Suite、OpenAI Baselines 以及 Ilya Kostrikov

我论文中的代码

它们位于本仓库的其他分支中，可以作为使用此代码库的良好示例。

• 状态分布不匹配下的 Softmax 离策略演员评论家的全局最优性和有限样本分析 [Off-PAC-KL]
• 用于预测和控制的截断强调时序差分方法 [TruncatedETD]
• 深入探讨演员评论家算法中的折扣率不匹配问题 [Discounting]
• 用目标网络打破致命三联症 [TargetNetwork]
• 带有函数逼近的平均奖励离策略策略评估 [DifferentialGQ]
• 面向风险规避型强化学习的均值-方差策略迭代 [MVPI]
• 利用逆向强化学习学习回顾性知识 [ReverseRL]
• 可证明收敛的双时间尺度离策略演员评论家与函数逼近 [COF-PAC, TD3-random]
• GradientDICE：重新思考平稳值的广义离线估计 [GradientDICE]
• 深度残差强化学习 [Bi-Res-DDPG]
• 广义离策略演员评论家 [Geoff-PAC, TD3-random]
• DAC：用于学习选项的双演员评论家架构 [DAC]
• QUOTA：用于强化学习的分位数选项架构 [QUOTA-离散, QUOTA-连续]
• ACE：一种结合树搜索的连续控制演员集成算法 [ACE]

DeepRL 快速上手指南

DeepRL 是一个基于 PyTorch 的模块化深度强化学习算法库，支持从简单的玩具任务到复杂的游戏环境（如 Atari、Mujoco）。它实现了 DQN、A2C、PPO、TD3 等主流算法，并针对数据生成和 GPU 传输进行了异步优化。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python: 建议 Python 3.6+
• GPU: 可选，但推荐使用 NVIDIA GPU 以加速训练（如 RTX 2080 Ti）
• 核心依赖:
  • PyTorch v1.5.1 (或兼容版本)
  • 其他依赖请参考项目根目录下的 requirements.txt

国内加速建议： 安装 PyTorch 时，建议使用清华或中科大镜像源以提升下载速度。 例如：pip install torch==1.5.1 -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

你可以通过克隆仓库并安装依赖来完成设置。

1. 克隆项目代码

   git clone https://github.com/ShangtongZhang/DeepRL.git
   cd DeepRL
   

2. 安装依赖包 推荐使用虚拟环境（如 conda 或 venv），然后安装所需库：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. (可选) 使用 Docker 如果你希望环境完全隔离且复现文中的实验曲线，可以直接构建 Docker 镜像：

   docker build -t deeprl .
   

基本使用

DeepRL 的设计非常直观，所有已实现算法的使用示例都包含在 examples.py 文件中。

运行示例

要查看如何运行特定算法（例如在 Breakout 游戏中运行 DQN），请直接参考并修改 examples.py。通常的使用模式如下：

# 伪代码示例，具体参数请参阅 examples.py
from deep_rl import *

# 选择算法和环境
agent = DQNAgent()
agent.train(game='BreakoutNoFrameskip-v4')

你可以直接运行该脚本测试默认配置：

python examples.py

关键特性说明

• 异步加速：DQN、C51 和 QR-DQN 代理内置了异步数据生成器和异步回放缓冲区，能够高效地将数据传输至 GPU。
• 性能参考：在单张 RTX 2080 Ti 和 3 个线程的配置下，DQN 代理可在 6 小时内完成 Breakout 游戏的 1000 万步训练（4000 万帧，250 万次梯度更新）。

引用本项目

如果在研究或项目中使用了此代码，请使用以下 BibTeX 进行引用：

@misc{deeprl,
  author = {Zhang, Shangtong},
  title = {Modularized Implementation of Deep RL Algorithms in PyTorch},
  year = {2018},
  publisher = {GitHub},
  journal = {GitHub Repository},
  howpublished = {\url{https://github.com/ShangtongZhang/DeepRL}},
}