Human-Level Control through Deep Reinforcement Learning (通过深度强化学习实现人类水平的控制)

Tensorflow 实现的通过深度强化学习实现人类水平的控制论文。

该实现包含：

1. Deep Q-network (深度Q网络) 和 Q-learning (Q学习)
2. Experience replay memory (经验回放记忆)
   • 用于减少连续更新之间的相关性
3. 用于Q-learning目标的网络在固定间隔内保持不变
   • 用于减少目标Q-values (Q值) 和预测Q-values之间的相关性

依赖

• Python 2.7 或 Python 3.3+
• gym
• tqdm
• SciPy 或 OpenCV2
• TensorFlow 0.12.0

使用

首先，使用以下命令安装依赖：

$ pip install tqdm gym[all]

要训练 Breakout 模型：

$ python main.py --env_name=Breakout-v0 --is_train=True
$ python main.py --env_name=Breakout-v0 --is_train=True --display=True

要使用 gym 测试并录制屏幕：

$ python main.py --is_train=False
$ python main.py --is_train=False --display=True

结果

使用 GTX 980 ti 训练 24 小时的结果。

简单结果

使用 GTX 980 Ti 对 Breakout 的模型 m2（红色）进行 30 小时训练的详细信息。

使用 GTX 980 Ti 对 Breakout 的模型 m3（红色）进行 30 小时训练的详细信息。

详细结果

[1] 无 learning rate decay (学习率衰减) 的 Action-repeat (帧跳过) 1、2 和 4

[2] 有 learning rate decay (学习率衰减) 的 Action-repeat (帧跳过) 1、2 和 4

[1] 和 [2]

[3] Action-repeat 为 4 的 DQN (深度Q网络，深蓝色)、Dueling DQN (对决DQN，深绿色)、DDQN (双重DQN，棕色)、Dueling DDQN (对决双重DQN，青绿色)

当前的 hyper parameters (超参数) 和 gradient clipping (梯度裁剪) 并未完全按照论文中的方式实现。

[4] Distributed (分布式) action-repeat (帧跳过) 为 1，无 learning rate decay (学习率衰减)

[5] Distributed (分布式) action-repeat (帧跳过) 为 4，无 learning rate decay (学习率衰减)

参考文献

• simple_dqn
• 通过深度强化学习实现人类水平控制的代码

许可证

MIT 许可证。

DQN-tensorflow 快速上手指南

环境准备

系统要求

• Python 2.7 或 Python 3.3+
• 支持 CUDA 的 NVIDIA GPU（推荐用于加速训练）

前置依赖

• TensorFlow 0.12.0（注意：此为2016年旧版本，建议使用虚拟环境）
• OpenAI Gym
• tqdm
• SciPy 或 OpenCV2

安装步骤

# 1. 安装核心依赖
pip install tqdm gym[all]

# 2. 安装 TensorFlow 0.12.0
# CPU 版本
pip install tensorflow==0.12.0

# GPU 版本（推荐）
pip install tensorflow-gpu==0.12.0

# 3. 安装图像处理库（二选一）
pip install scipy  # 推荐
# 或
pip install opencv-python

基本使用

训练模型

以 Breakout 游戏为例：

# 后台训练模式
python main.py --env_name=Breakout-v0 --is_train=True

# 可视化训练模式（实时显示游戏画面）
python main.py --env_name=Breakout-v0 --is_train=True --display=True

测试模型

# 后台测试模式
python main.py --is_train=False

# 可视化测试模式
python main.py --is_train=False --display=True

提示：完整训练可能需要数小时至数十小时，GPU 环境可显著缩短训练时间。