简单的DQN

很遗憾，这个仓库已经过时，现在有更好的代码库。我建议你可以看看这个来学习基础知识，或者参考这个来获取针对Atari游戏的完整DQN实现。

这是一个深度Q学习智能体，旨在复现DeepMind在论文《通过深度强化学习实现人类水平控制》（http://www.nature.com/nature/journal/v518/n7540/full/nature14236.html）中的成果。它设计得简单、快速且易于扩展。具体来说：

• 使用Python编写。
• 采用ALE的原生Python接口。
• 更新以支持使用OpenAI Gym进行训练和测试。
• 使用来自Neon深度学习库的最快的卷积操作。
• 每个屏幕状态在回放缓冲区中仅保留一次，利用NumPy数组切片实现快速的小批量采样。
• 尽量减少了数组和数据类型之间的转换次数。

请观看Breakout、Pong、Seaquest和Space Invaders的游戏示例视频：

安装

目前仅提供Ubuntu系统的安装说明。对于macOS，请参考ALE和Neon的文档。

Neon

安装先决条件：

sudo apt-get install libhdf5-dev libyaml-dev libopencv-dev pkg-config
sudo apt-get install python python-dev python-pip python-virtualenv
sudo apt-get install libcurl4-openssl-dev
sudo apt-get install libsox-fmt-all libsox-dev sox

克隆并编译代码：

git clone https://github.com/NervanaSystems/neon.git
cd neon
make

如果你想尝试滤波器可视化功能，请使用最新版本的Neon，并运行make -e VIS=true命令。如果你之前已经安装了Neon但未启用可视化依赖项，则需要在执行make -e VIS=true之前先创建一个名为vis_requirements.txt的空文件，以确保虚拟环境中的Python依赖项能够正确安装。

Neon会将自身安装到.venv虚拟环境中。你需要激活该环境才能在Python中导入Neon：

source .venv/bin/activate

Arcade Learning Environment

如果你只打算使用OpenAI Gym，可以跳过此步骤。

安装先决条件：

sudo apt-get install cmake libsdl1.2-dev

克隆并编译代码：

git clone https://github.com/mgbellemare/Arcade-Learning-Environment.git
cd Arcade-Learning-Environment
cmake -DUSE_SDL=ON -DUSE_RLGLUE=OFF -DBUILD_EXAMPLES=ON .
make -j 4

安装Python库（假设你已激活Neon虚拟环境）：

pip install .

OpenAI Gym

如果你只打算直接使用Arcade Learning Environment，可以跳过此步骤。

安装OpenAI Gym：

pip install gym
pip install gym[atari]

简单DQN

先决条件：

pip install numpy argparse logging

Neon虚拟环境已经包含了这些库，但这里仍列出以防万一。

此外，还需要OpenCV，而将其安装到虚拟环境中比较麻烦。我最终采用了以下方法：

sudo apt-get install python-opencv
ln -s /usr/lib/python2.7/dist-packages/cv2.so NEON_HOME/.venv/lib/python2.7/site-packages/

其中NEON_HOME是指你安装（克隆）Neon的目录。

然后只需克隆代码：

git clone https://github.com/tambetm/simple_dqn
cd simple_dqn

可选

若需绘图，可安装matplotlib：

pip install matplotlib

若要生成游戏视频，可安装avconv：

sudo apt-get install libav-tools

运行代码

训练

要训练Breakout游戏：

./train.sh roms/breakout.bin

如果使用OpenAI Gym：

./train.sh Breakout-v0 --environment gym

有许多可用选项，只需运行./train.sh --help即可查看。训练过程中，每完成一个epoch，网络权重都会保存到snapshots文件夹中，文件名为<game>_<epoch_nr>.pkl。训练统计数据则保存到results/<game>.csv文件中，稍后可以从中生成图表。

继续训练

可以通过运行以下命令继续训练：

./resume.sh snapshots/breakout_10.pkl

请注意，此时回放缓冲区是空的。

仅测试

要对预训练模型进行测试：

./test.sh snapshots/breakout_77.pkl

如果使用OpenAI Gym进行测试：

./test_gym.sh snapshots/Breakout-v0_77.pkl

测试结果会保存到results/Breakout-v0文件夹中。随后你可以将结果上传到OpenAI Gym：

./upload_gym.sh results/Breakout-v0 --api_key <your_key>

需要注意的是，OpenAI Gym环境与默认环境有所不同，因此使用OpenAI Gym进行测试时应使用在OpenAI Gym环境下训练的模型。

带可视化地玩一局游戏

要玩一局游戏并在游戏过程中显示画面：

./play.sh snapshots/breakout_77.pkl

即使没有GPU，也可以通过在命令行中添加--backend cpu来运行。游戏过程中可以使用以下按键：

• a - 慢速播放，
• s - 快速播放，
• m - 手动控制模式，
• [ - 降低音量，
• ] - 提高音量。

可视化功能甚至可以在文本终端中正常工作！

录制游戏视频

要玩一局游戏并录制视频：

./record.sh snapshots/breakout_77.pkl

首先会将游戏帧提取为PNG文件，保存到videos/<game>文件夹中。然后使用avconv将这些PNG文件转换成视频，并保存为videos/<game>_<epoch_nr>.mov。

结果绘图

要绘制结果图表：

./plot.sh results/breakout.csv

这将生成results/breakout.png，其中包括四个主要图表：每局平均奖励、各阶段的游戏数量（训练、测试或随机）、验证集的平均Q值以及平均网络损失。你可以通过--fields选项自定义绘图内容——只需列出逗号分隔的CSV字段名（第一行）。例如，默认情况下使用--fields average_reward,meanq,nr_games,meancost即可获得标准结果。图表的排列顺序是从左到右、从上到下。

可视化滤波器

要使用引导反向传播生成滤波器可视化效果，请运行以下命令：

./nvis.sh snapshots/breakout_77.pkl

滤波器可视化的工作流程如下：

1. 首先，它会进行一局游戏以生成一组状态（每个状态由4帧组成）；
2. 然后，它会找到最能激活每个滤波器的状态；
3. 最后，通过引导反向传播技术，展示屏幕上的哪些区域对每个滤波器的“活跃度”影响最大。

结果将被写入文件 results/<game>.html。默认情况下，每个卷积层仅可视化4个滤波器。如果想查看更多的滤波器，可以在命令行中添加 --visualization_filters <nr_filters> 参数。

注意！由于如何可视化由4帧组成的状态并不十分明确，我做了一个简化——只使用最后3帧，并将它们分别放置在不同的颜色通道中。因此，灰色部分表示没有变化，蓝色代表最近的变化，其次是绿色和红色。如果你观察球的轨迹，就会发现它用红、绿、蓝三种颜色标记出来，这样更容易理解。

Nervana Cloud

要在 Nervana Cloud 上训练模型，首先需要安装并配置 Nervana Cloud。

假设已安装必要的依赖项，可以运行以下命令：

ncloud train src/main.py --args "roms/breakout.bin --save_weights_prefix snapshopts/breakout --csv_file results/breakout.csv" --custom_code_url https://github.com/NervanaSystems/simple_dqn

这将会下载代码库并运行训练脚本。

要使用 Nervana Cloud 测试模型，可以运行：

ncloud train src/main.py --args "roms/breakout.bin --random_steps 0 --train_steps 0 --epochs 1 --load_weights snapshops/breakout_77.pkl" --custom_code_url https://github.com/NervanaSystems/simple_dqn

性能分析

有三个额外的脚本用于性能分析：

• profile_train.sh — 在训练模式下运行 Pong 游戏1000步。此脚本用于找出小批量采样和网络训练代码中的瓶颈。通过将探索率设置为1来禁用预测功能。
• profile_test.sh — 在测试模式下运行 Pong 游戏1000步。此脚本用于找出预测代码中的瓶颈。通过将探索率设置为0来禁用探索功能。
• profile_random.sh — 使用随机动作运行 Pong 游戏1000步。此脚本用于测量 ALE 接口的性能，完全不使用神经网络。

已知差异

• Simple DQN 使用 Neon 的默认 RMSProp 实现，而 DeepMind 则采用了来自 Alex Graves 论文 中的不同公式（参见第23页，公式40）。
• Simple DQN 在跳过帧时采用平均帧值（这是 ALE 内置的功能），而不是像 DeepMind 论文中那样取连续两帧的最大值。
• Simple DQN 使用 Neon 的 Xavier 初始化方法，而 DeepMind 则使用基于输入节点数的初始化方法。

致谢

如果没有来自我的博士同学 Kristjan Korjus、Ardi Tampuu、Ilya Kuzovkin 和 Taivo Pungas 的启发与前期工作，这一切都不可能实现。他们均来自由 Raul Vicente 主持的位于 塔尔图大学，爱沙尼亚 Computational Neuroscience lab。此外，我也要感谢 Nathan Sprague 以及其他在 Deep Q-Learning 讨论组 中的优秀同仁们。

Simple DQN 快速上手指南

⚠️ 重要提示：本仓库代码已过期，仅适合学习基础原理。生产环境或深入研究建议参考 keon/deep-q-learning 或 stable-baselines。

Simple DQN 是一个用于复现 DeepMind“人类水平控制”论文的简化版深度 Q 学习代理。它基于 Python 和 Neon 深度学习库，支持 ALE 和 OpenAI Gym 环境，旨在简单、快速且易于扩展。

1. 环境准备

本指南主要基于 Ubuntu 系统。macOS 用户需参考 ALE 和 Neon 的官方文档自行调整。

系统要求

• 操作系统：Ubuntu (推荐)
• Python 版本：Python 2.7 (基于原文依赖)
• 硬件：支持 GPU 加速（可选 CPU 模式）

前置依赖安装

请依次执行以下命令安装系统级依赖：

sudo apt-get update
sudo apt-get install libhdf5-dev libyaml-dev libopencv-dev pkg-config
sudo apt-get install python python-dev python-pip python-virtualenv
sudo apt-get install libcurl4-openssl-dev
sudo apt-get install libsox-fmt-all libsox-dev sox
sudo apt-get install cmake libsdl1.2-dev
sudo apt-get install python-opencv
sudo apt-get install libav-tools

2. 安装步骤

第一步：安装 Neon 深度学习库

Neon 是本项目的基础框架，需编译安装并激活虚拟环境。

git clone https://github.com/NervanaSystems/neon.git
cd neon
make
# 激活虚拟环境
source .venv/bin/activate

第二步：安装 Arcade Learning Environment (ALE)

如果您只打算使用 OpenAI Gym，可跳过此步。

cd .. # 返回上一级目录
git clone https://github.com/mgbellemare/Arcade-Learning-Environment.git
cd Arcade-Learning-Environment
cmake -DUSE_SDL=ON -DUSE_RLGLUE=OFF -DBUILD_EXAMPLES=ON .
make -j 4
# 在已激活的 Neon 虚拟环境中安装 Python 接口
pip install .

第三步：安装 OpenAI Gym (可选但推荐)

pip install gym
pip install gym[atari]

第四步：配置 Simple DQN

克隆项目代码，并解决 OpenCV 在虚拟环境中的链接问题。

cd ..
git clone https://github.com/tambetm/simple_dqn
cd simple_dqn

# 修复 OpenCV 路径 (将 NEON_HOME 替换为您实际安装 neon 的路径)
# 示例：假设 neon 安装在 ~/neon
ln -s /usr/lib/python2.7/dist-packages/cv2.so ~/neon/.venv/lib/python2.7/site-packages/

# 安装其他 Python 依赖
pip install numpy argparse logging matplotlib

3. 基本使用

确保当前终端已激活 Neon 虚拟环境 (source .venv/bin/activate)。

训练模型

以经典的 Breakout 游戏为例：

方式 A：使用原生 ALE 接口

./train.sh roms/breakout.bin

方式 B：使用 OpenAI Gym (推荐)

./train.sh Breakout-v0 --environment gym

训练过程中，模型权重会自动保存至 snapshots 文件夹，统计数据保存至 results 文件夹。

测试模型

使用已训练好的模型进行测试（例如第 77 轮的模型）：

使用原生接口测试：

./test.sh snapshots/breakout_77.pkl

使用 Gym 接口测试：

./test_gym.sh snapshots/Breakout-v0_77.pkl

可视化游玩

带界面显示地玩一局游戏（支持键盘控制速度、手动模式等）：

./play.sh snapshots/breakout_77.pkl

若无 GPU，可添加 --backend cpu 参数运行。

查看训练结果图表

生成包含平均奖励、Q 值等指标的图表：

./plot.sh results/breakout.csv

生成的图片位于 results/breakout.png。