深度强化学习 使用

PyTorch 和 Visdom

---

• 已训练智能体的示例测试（DQN在Breakout上、A3C在Pong上、DoubleDQN在CartPole上、连续A3C在InvertedPendulum（MuJoCo）上）：

• 在训练Pong上的A3C智能体时的在线绘图示例（使用16个学习者进程）：

• 在训练CartPole上的DQN智能体时的日志示例（我们目前使用WARNING作为日志级别，以消除来自visdom的INFO输出）：

[WARNING ] (MainProcess) <===================================>
[WARNING ] (MainProcess) bash$: python -m visdom.server
[WARNING ] (MainProcess) http://localhost:8097/env/daim_17040900
[WARNING ] (MainProcess) <===================================> DQN
[WARNING ] (MainProcess) <-----------------------------------> 环境
[WARNING ] (MainProcess) 创建 {gym | CartPole-v0}，种子：123
[INFO    ] (MainProcess) 正在创建新环境：CartPole-v0
[WARNING ] (MainProcess) 动作空间：[0, 1]
[WARNING ] (MainProcess) 状态空间：4
[WARNING ] (MainProcess) <-----------------------------------> 模型
[WARNING ] (MainProcess) MlpModel (
  (fc1): Linear (4 -> 16)
  (rl1): ReLU ()
  (fc2): Linear (16 -> 16)
  (rl2): ReLU ()
  (fc3): Linear (16 -> 16)
  (rl3): ReLU ()
  (fc4): Linear (16 -> 2)
)
[WARNING ] (MainProcess) 无预训练模型。将从头开始训练。
[WARNING ] (MainProcess) <===================================> 训练中...
[WARNING ] (MainProcess) 验证数据，步骤：501
[WARNING ] (MainProcess) 开始训练，步骤：501
[WARNING ] (MainProcess) 报告，步骤：2500 | 经过时间：5.32397913933
[WARNING ] (MainProcess) 训练统计：epsilon：0.972
[WARNING ] (MainProcess) 训练统计：总奖励：2500.0
[WARNING ] (MainProcess) 训练统计：平均奖励：21.7391304348
[WARNING ] (MainProcess) 训练统计：完成回合数：115
[WARNING ] (MainProcess) 训练统计：成功回合数：114
[WARNING ] (MainProcess) 训练统计：成功率：0.991304347826
[WARNING ] (MainProcess) 评估，步骤：2500
[WARNING ] (MainProcess) 第2500次迭代；平均值：1.73136949539
[WARNING ] (MainProcess) 第2500次迭代；平均时差误差：0.0964358523488
[WARNING ] (MainProcess) 第2500次迭代；平均步数：9.34579439252
[WARNING ] (MainProcess) 第2500次迭代；步数标准差：0.798395631184
[WARNING ] (MainProcess) 第2500次迭代；平均奖励：9.34579439252
[WARNING ] (MainProcess) 第2500次迭代；奖励标准差：0.798395631184
[WARNING ] (MainProcess) 第2500次迭代；完成回合数：107
[WARNING ] (MainProcess) 第2500次迭代；成功回合数：106
[WARNING ] (MainProcess) 第2500次迭代；成功率：0.990654205607
[WARNING ] (MainProcess) 保存模型，步骤：2500：/home/zhang/ws/17_ws/pytorch-rl/models/daim_17040900.pth ...
[WARNING ] (MainProcess) 已保存模型，步骤：2500：/home/zhang/ws/17_ws/pytorch-rl/models/daim_17040900.pth。
[WARNING ] (MainProcess) 继续训练，步骤：2500
...

---

包含哪些内容？

该仓库目前包含以下智能体：

• 深度Q学习（DQN）[1], [2]
• 双重DQN [3]
• 对抗网络DQN（Dueling DQN）[4]
• 异步优势演员-评论家（A3C）（同时支持离散和连续动作空间）[5], [6]
• 基于经验回放的高效演员-评论家（ACER）（目前仅支持离散动作空间（截断重要性采样，一阶TRPO））[7], [8]

进行中的工作：

• ACER的测试

未来计划：

• 深度确定性策略梯度（DDPG）[9], [10]
• 连续DQN（CDQN或NAF）[11]

代码结构与命名规范：

注意：我们遵循与pytorch-dnc完全相同的代码结构，以便于代码移植。

• ./utils/factory.py

我们建议用户参考./utils/factory.py， 其中我们将所有集成的Env、Model、 Memory、Agent列成Dict的形式。 这四个核心类均在./core/中实现。 ./utils/factory.py中的工厂模式使代码非常整洁， 无论您想训练哪种类型的Agent， 或者在哪种类型的Env上训练， 您只需简单地修改./utils/options.py中的几个参数， 然后./main.py就会自动完成所有操作（注意：此./main.py文件无需修改）。

• 命名

为了使代码更加清晰易读，我们按照以下模式命名变量（主要在继承的Agent中）：

• *_vb: torch.autograd.Variable或此类对象的列表
• *_ts: torch.Tensor或此类对象的列表
• 其他情况：普通Python数据类型

依赖项

• Python 2.7
• PyTorch >=v0.2.0
• Visdom
• OpenAI Gym >=v0.9.0（对于较低版本，只需更换为可用的游戏，例如将PongDeterministic-v4改为PongDeterministic-v3）
• mujoco-py（可选：用于训练连续版A3C）

---

如何运行：

您只需修改 ./utils/options.py 中的一些参数，即可训练一个新的配置。

• 在 ./utils/options.py 中配置您的训练：

  • 第14行: 向 CONFIGS 添加一项，以定义您的训练（agent_type, env_type, game, model_type, memory_type）
  • 第33行: 选择您刚刚添加的项
  • 第29-30行: 填写您的机器/集群ID（MACHINE) 和时间戳（TIMESTAMP)，以定义您的训练标识（MACHINE_TIMESTAMP），该训练对应模型文件和日志文件将分别保存在该标识下（./models/MACHINE_TIMESTAMP.pth 和 ./logs/MACHINE_TIMESTAMP.log）。同时，Visdom 可视化也将以此标识显示（首先在 bash 中输入 python -m visdom.server & 启动 Visdom 服务器，然后在浏览器中打开此地址：http://localhost:8097/env/MACHINE_TIMESTAMP）
  • 第32行: 若要训练模型，设置 mode=1（训练可视化将在 http://localhost:8097/env/MACHINE_TIMESTAMP 下显示）；若要测试当前训练的模型，只需将 mode=2 即可（测试可视化将在 http://localhost:8097/env/MACHINE_TIMESTAMP_test 下显示）。

• 运行：

  python main.py

---

额外脚本 :)

我们还提供了 2 个额外脚本，用于在训练后快速评估您的结果。（依赖：lmj-plot）

• plot.sh（例如，从日志文件绘制图形：logs/machine1_17080801.log）

  • ./plot.sh machine1 17080801
  • 生成的图表将保存到 figs/machine1_17080801/

• plot_compare.sh（例如，比较日志文件：logs/machine1_17080801.log, logs/machine2_17080802.log）

  ./plot.sh 00 machine1 17080801 machine2 17080802

  • 生成的图表将保存到 figs/compare_00/
  • 颜色编码顺序为：红色 绿色 蓝色 品红 黄色 青色

---

开发过程中参考的仓库：

• matthiasplappert/keras-rl
• transedward/pytorch-dqn
• ikostrikov/pytorch-a3c
• onlytailei/A3C-PyTorch
• Kaixhin/ACER
• 以及 @stokasto 提供的 A3C 私人实现

---

引用

如果您觉得本库很有用并希望引用它，可以使用以下格式：

@misc{pytorch-rl,
  author = {Zhang, Jingwei and Tai, Lei},
  title = {jingweiz/pytorch-rl},
  url = {https://github.com/jingweiz/pytorch-rl},
  year = {2017}
}

pytorch-rl 快速上手指南

pytorch-rl 是一个基于 PyTorch 和 Visdom 的深度强化学习开源库，实现了 DQN、Double DQN、Dueling DQN、A3C（支持离散/连续动作空间）及 ACER 等主流算法。

环境准备

系统要求

• Python: 2.7
• PyTorch: >= v0.2.0
• OpenAI Gym: >= v0.9.0
  • 注：若使用低版本 Gym，需将游戏名称调整为对应版本（如将 PongDeterministic-v4 改为 PongDeterministic-v3）。
• MuJoCo (可选): 仅当训练连续动作空间的 A3C (如 InvertedPendulum) 时需要安装 mujoco-py。
• Visdom: 用于实时可视化训练过程。

依赖安装

建议使用国内镜像源加速安装（以清华源为例）：

# 安装基础依赖
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torchvision

# 安装 OpenAI Gym
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple gym

# 安装 Visdom
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple visdom

# (可选) 安装 MuJoCo 支持
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple mujoco-py

安装步骤

1. 克隆仓库代码：

   git clone https://github.com/jingweiz/pytorch-rl.git
   cd pytorch-rl
   

2. 确认目录结构包含 ./utils/, ./core/, main.py 等核心文件。

基本使用

该库采用工厂模式，无需修改核心代码 main.py，只需配置 ./utils/options.py 即可启动训练或测试。

1. 配置训练任务

打开 ./utils/options.py 进行以下设置：

• 定义新配置 (第 14 行附近)： 在 CONFIGS 字典中添加条目，指定智能体类型 (agent_type)、环境类型 (env_type)、游戏名称 (game)、模型类型 (model_type) 和记忆类型 (memory_type)。

• 选择配置 (第 33 行附近)： 将当前激活的配置指向上一步添加的条目名称。

• 设置签名 (第 29-30 行)： 填写机器 ID (MACHINE) 和时间戳 (TIMESTAMP)。这将生成唯一的训练签名 (MACHINE_TIMESTAMP)，用于保存模型 (./models/)、日志 (./logs/) 以及 Visdom 可视化路径。

• 设置模式 (第 32 行)：

  • mode=1: 训练模式。启动训练并实时记录。
  • mode=2: 测试模式。加载当前签名下的模型进行评估。

2. 启动 Visdom 服务

在运行训练前，需在终端后台启动 Visdom 服务器以查看实时图表：

python -m visdom.server &

启动后，在浏览器访问 http://localhost:8097 即可查看监控面板。

3. 运行训练或测试

执行主程序脚本：

python main.py

• 训练时：日志将输出到终端，同时可在浏览器 http://localhost:8097/env/MACHINE_TIMESTAMP 查看实时曲线。
• 测试时：可视化地址为 http://localhost:8097/env/MACHINE_TIMESTAMP_test。

4. (可选) 结果绘图

训练完成后，可使用提供的脚本绘制日志图表（需安装 lmj-plot）：

# 安装绘图依赖
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple git+https://github.com/lmjohns3/py-plot.git

# 绘制单个日志文件 (例如：logs/machine1_17080801.log)
./plot.sh machine1 17080801

# 对比多个日志文件
./plot_compare.sh 00 machine1 17080801 machine2 17080802

生成的图片将保存在 figs/ 目录下。