DeepMind Atari 深度 Q 学习器

本仓库托管了发表在《Nature》上的文章所附带的 原始代码，以及我对其进行的实验（如果有）。

免责声明

• 此代码库并非由我编写（仅包含"+我的调整”部分），且我并非 DeepMind 员工。
• 该实现版本较旧，目前已有更高效强化学习算法可用。如果您有兴趣将 RL（强化学习）应用于您的问题，请查看 Keras-RL 或 rllab。

DQN 3.0

在 Ubuntu 14.04 配合 nVidia GTX 970 上测试：

更多视频请访问 YouTube 播放列表：Deepmind DQN 游戏演示

本项目包含 DQN（深度 Q 网络）3.0 的源代码，这是一种基于 Lua 的深度强化学习架构，用于复现论文《通过深度强化学习实现人类水平控制》（Nature 518, 529–533 (2015 年 2 月 26 日) doi:10.1038/nature14236）中描述的实验。

为了复现实验结果，需要安装以下依赖项：

• LuaJIT 和 Torch 7.0
• nngraph
• Xitari (Arcade Learning Environment（街机学习环境）(Bellemare 等人，2013) 的分支)
• AleWrap (Xitari 的 Lua 接口) 已提供这些依赖项的安装脚本。

提供了两个运行脚本：run_cpu 和 run_gpu。顾名思义，前者使用常规 CPU 训练 DQN 网络，而后者使用 GPU（CUDA），通常能带来显著的速度提升。

安装说明

安装需要 Linux 系统并配备 apt-get。

注意：若要运行 DQN 的 GPU 版本，您需要在下方安装 Torch 之前额外安装 NVIDIA® CUDA®（5.5 版或更高版本）工具包。 这可从 https://developer.nvidia.com/cuda-toolkit 下载，安装说明可在 http://docs.nvidia.com/cuda/cuda-getting-started-guide-for-linux 找到

要在 Atari 游戏中训练 DQN，必须安装以下组件：

• LuaJIT 和 Torch 7.0
• nngraph
• Xitari
• AleWrap

若要在名为 'torch' 的子目录中安装上述所有内容，只需运行

./install_dependencies.sh

从软件包的根目录执行。

注意：上述安装脚本将通过 apt-get 安装以下软件包： build-essential, gcc, g++, cmake, curl, libreadline-dev, git-core, libjpeg-dev, libpng-dev, ncurses-dev, imagemagick, unzip

在 Atari 游戏中训练 DQN

在针对某款游戏运行 DQN 之前，应将其 ROM 复制到 'roms' 子目录中。 然后只需运行脚本

./run_cpu <game name>

或者，如果启用了 GPU 支持，

./run_gpu <game name>

注意：在拥有多个 GPU 的系统上，可以通过设置环境变量 GPU_ID 来在指定的 GPU 上启动 DQN 训练，例如

GPU_ID=2 ./run_gpu <game name>

如果未指定 GPU_ID，默认将使用第一个可用的 GPU（ID 0）。

存储训练后网络的 .gif 文件

一旦获得网络的快照，您可以运行

./test_gpu <game name> <snapshopt filename>

让它玩一局游戏并将 .gif 文件存储在 gifs 目录下。例如

./test_gpu breakout DQN3_0_1_breakout_FULL_Y.t7

选项

DQN 的选项在 run_cpu（或 run_gpu）中设置。例如，您可以通过将 'prog_freq' 设置为不同的值来更改输出到 stdout 的信息频率。

DeepMind Atari Deep Q Learner 快速上手指南

本项目复现了 DeepMind 在 Nature 发表的 DQN 论文代码，基于 Lua/Torch 架构。请注意，该实现较为早期，若用于现代研究建议参考 Keras-RL 等更新框架。

环境准备

• 操作系统: Linux (官方测试环境为 Ubuntu 14.04)。
• GPU 支持 (可选): 需要 NVIDIA® GPU，并预先安装 CUDA Toolkit (版本 5.5 或更高)。
• 核心依赖: LuaJIT, Torch 7.0, nngraph, Xitari (ALE 的 Fork), AleWrap。

安装步骤

1. 系统工具: 确保系统已安装 apt-get。
2. CUDA 配置: 若计划使用 GPU 加速，请先完成 CUDA Toolkit 的安装。
3. 一键安装依赖: 在项目根目录下执行以下脚本，将自动安装所需的所有依赖包及编译工具：

   ./install_dependencies.sh
   

基本使用

1. 准备数据: 将 Atari 游戏的 ROM 文件复制到项目目录下的 roms 子文件夹中。
2. 开始训练:
   • CPU 模式:

     ./run_cpu <game name>
     

   • GPU 模式 (推荐，速度显著提升):

     ./run_gpu <game name>
     

   • 指定 GPU 设备 (多卡环境):

     GPU_ID=2 ./run_gpu <game name>
     

3. 测试与输出: 加载训练好的网络快照进行游戏演示并保存 GIF：

   ./test_gpu <game name> <snapshopt filename>
   

   (示例：./test_gpu breakout DQN3_0_1_breakout_FULL_Y.t7)