TensorFlow 中的深度强化学习

TensorFlow 对深度强化学习相关论文的实现。该实现包含以下内容：

[1] 使用深度强化学习玩 Atari 游戏
[2] 通过深度强化学习实现人类水平的控制
[3] 带有双 Q 学习的深度强化学习
[4] 用于深度强化学习的决斗网络架构
[5] 优先级经验回放（开发中）
[6] 基于自助法的 DQN 进行深度探索（开发中）
[7] 深度强化学习的异步方法（开发中）
[8] 基于模型加速的连续深度 q-Learning（开发中）

需求

• Python 2.7
• gym
• tqdm
• OpenCV2 或 Scipy
• TensorFlow 0.12.0

使用方法

首先，安装依赖项：

$ pip install -U 'gym[all]' tqdm scipy

别忘了同时安装最新版的 TensorFlow。另外请注意，您还需要安装 doom-py 的依赖项，因为它是 gym[all] 所必需的。

使用 [1] 中描述的 DQN 模型进行训练（不使用 GPU）：

$ python main.py --network_header_type=nips --env_name=Breakout-v0 --use_gpu=False

使用 [2] 中描述的 DQN 模型进行训练：

$ python main.py --network_header_type=nature --env_name=Breakout-v0

使用 [3] 中描述的双 DQN 模型进行训练：

$ python main.py --double_q=True --env_name=Breakout-v0

使用 [4] 中描述的带有双 Q 学习的决斗网络进行训练：

$ python main.py --double_q=True --network_output_type=dueling --env_name=Breakout-v0

使用 [4] 中描述的 MLP 模型，在走廊环境中进行训练（对调试很有用）：

$ python main.py --network_header_type=mlp --network_output_type=normal --observation_dims='[16]' --env_name=CorridorSmall-v5 --t_learn_start=0.1 --learning_rate_decay_step=0.1 --history_length=1 --n_action_repeat=1 --t_ep_end=10 --display=True --learning_rate=0.025 --learning_rate_minimum=0.0025
$ python main.py --network_header_type=mlp --network_output_type=normal --double_q=True --observation_dims='[16]' --env_name=CorridorSmall-v5 --t_learn_start=0.1 --learning_rate_decay_step=0.1 --history_length=1 --n_action_repeat=1 --t_ep_end=10 --display=True --learning_rate=0.025 --learning_rate_minimum=0.0025
$ python main.py --network_header_type=mlp --network_output_type=dueling --observation_dims='[16]' --env_name=CorridorSmall-v5 --t_learn_start=0.1 --learning_rate_decay_step=0.1 --history_length=1 --n_action_repeat=1 --t_ep_end=10 --display=True --learning_rate=0.025 --learning_rate_minimum=0.0025
$ python main.py --network_header_type=mlp --network_output_type=dueling --double_q=True --observation_dims='[16]' --env_name=CorridorSmall-v5 --t_learn_start=0.1 --learning_rate_decay_step=0.1 --history_length=1 --n_action_repeat=1 --t_ep_end=10 --display=True --learning_rate=0.025 --learning_rate_minimum=0.0025

结果

[4] 中 Corridor-v5 环境下 DQN（紫色）、DDQN（红色）、决斗 DQN（绿色）、决斗 DDQN（蓝色）的结果。

[4] 中 Breakout-v0 环境下无帧跳过 DQN（白蓝）、有帧跳过的 DQN（浅紫色）、决斗 DDQN（深蓝色）的结果。

由于与 [4] 一致，因此未实现超参数和梯度裁剪功能。

参考文献

• DQN-tensorflow
• DeepMind 的代码

作者

Taehoon Kim / @carpedm20

deep-rl-tensorflow 快速上手指南

本指南帮助中国开发者快速部署并运行基于 TensorFlow 的深度强化学习（Deep RL）开源项目，复现经典的 DQN、Double DQN 及 Dueling Network 等算法。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux 或 macOS（Windows 需配置相应环境）
• Python 版本：Python 2.7
• 核心框架：TensorFlow 0.12.0
• 依赖库：
  • gym (OpenAI 健身馆环境)
  • tqdm (进度条显示)
  • OpenCV2 或 Scipy (图像处理)
  • doom-py (部分环境需要，由 gym[all] 触发安装)

注意：本项目基于较旧的 TensorFlow 0.12.0 和 Python 2.7 开发。若在现代环境中运行，可能需要创建独立的虚拟环境（如使用 virtualenv 或 conda）以避免版本冲突。

安装步骤

1. 安装 Python 依赖

推荐使用国内镜像源（如清华源）加速安装过程。执行以下命令安装基础依赖：

pip install -U 'gym[all]' tqdm scipy -i https://pypi.tuna.tsinghua.edu.cn/simple

提示：安装 gym[all] 时会自动尝试安装 doom-py 等额外依赖。如果系统缺少编译工具（如 cmake, g++），请先通过包管理器安装（例如 Ubuntu: sudo apt-get install cmake g++）。

2. 安装 TensorFlow

由于项目指定需要 TensorFlow 0.12.0，请使用以下命令精确安装该版本（同样推荐使用国内源）：

pip install tensorflow==0.12.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

如果您需要使用 GPU 加速，请确保已安装对应的 CUDA 和 cuDNN 版本，并安装 tensorflow-gpu==0.12.0。

基本使用

安装完成后，即可通过 main.py 脚本训练模型。以下是最简单的使用示例，使用 DQN 算法 在 Breakout-v0（打砖块游戏）环境中进行训练，且不启用 GPU。

示例：运行基础 DQN 模型

python main.py --network_header_type=nips --env_name=Breakout-v0 --use_gpu=False

其他常用训练命令

如需尝试更先进的变体模型，可参考以下命令：

• 训练 Nature DQN 模型（参考论文 [2]）：

  python main.py --network_header_type=nature --env_name=Breakout-v0
  

• 训练 Double DQN 模型（参考论文 [3]）：

  python main.py --double_q=True --env_name=Breakout-v0
  

• 训练 Dueling Double DQN 模型（参考论文 [4]）：

  python main.py --double_q=True --network_output_type=dueling --env_name=Breakout-v0
  

• 调试模式：在简单的 CorridorSmall-v5 环境中测试 MLP 网络结构：

  python main.py --network_header_type=mlp --network_output_type=normal --observation_dims='[16]' --env_name=CorridorSmall-v5 --t_learn_start=0.1 --learning_rate_decay_step=0.1 --history_length=1 --n_action_repeat=1 --t_ep_end=10 --display=True --learning_rate=0.025 --learning_rate_minimum=0.0025
  

运行后，程序将自动下载环境资源（首次运行可能需要时间），并开始训练过程，终端会显示实时的奖励数据和进度条。