简介

本软件包提供了一个基于 Lasagne/Theano 的深度 Q 学习算法实现，该算法在以下文献中有所描述：

使用深度强化学习玩雅达利游戏
Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller

以及

Mnih, Volodymyr, 等人. “通过深度强化学习实现人类水平的控制.” 《自然》杂志 518.7540 (2015): 529-533.

这里有一段视频展示了训练好的网络在打砖块游戏中玩耍（使用的是早期版本的代码）：

http://youtu.be/SZ88F82KLX4

依赖项

• 一块性能尚可的 NVIDIA 显卡
• OpenCV
• Theano (https://github.com/Theano/Theano)
• Lasagne (https://github.com/Lasagne/Lasagne)
• Pylearn2 (https://github.com/lisa-lab/pylearn2)
• 街机学习环境 (https://github.com/mgbellemare/Arcade-Learning-Environment)

在 Ubuntu 系统下，可以使用脚本 dep_script.sh 来安装所有依赖项。

运行

使用脚本 run_nips.py 或 run_nature.py 来启动所有必要的进程：

$ ./run_nips.py --rom breakout

$ ./run_nature.py --rom breakout

run_nips.py 脚本使用的参数与原始 NIPS 工作坊论文一致。这段代码大约需要 2–4 天才能完成训练。而 run_nature.py 脚本则采用了与《自然》杂志论文一致的参数设置。虽然最终得到的策略会更好，但训练时间也会相应延长，大约需要 6–10 天。

无论使用哪个脚本，输出文件都会存储在一个以 ROM 名称为前缀的文件夹中。每完成一个 epoch，网络对象都会被序列化并保存为 pickle 文件。测试结果将记录在 results.csv 文件中。你可以通过执行 plot_results.py 脚本来绘制训练进度曲线：

$ python plot_results.py breakout_05-28-17-09_0p00025_0p99/results.csv

训练完成后，你可以使用 ale_run_watch.py 脚本观看网络的实际表现：

$ python ale_run_watch.py breakout_05-28-17-09_0p00025_0p99/network_file_99.pkl

性能调优

Theano 配置

在 THEANO_FLAGS 环境变量或 .theanorc 配置文件中将 allow_gc 设置为 False，可以在略微增加 GPU 内存占用的情况下显著提升性能。

获取帮助

深度 Q 学习论坛 可用于讨论和交流关于深度 Q 学习的一般性问题，以及本软件包的具体使用方法。

参阅

• https://sites.google.com/a/deepmind.com/dqn

  这是 DeepMind 在《自然》杂志论文中所使用的代码。根据其许可协议，该代码仅可用于“评估和复现”论文中的相关结论。

• https://github.com/muupan/dqn-in-the-caffe

  基于 Caffe 的可行实现。（我尚未尝试过，但有视频显示该智能体成功地玩起了 Pong 游戏。）

• https://github.com/kristjankorjus/Replicating-DeepMind

  目前似乎已不再维护？据我所知，这个项目从未真正运行起来。项目的介绍可以参见：
  http://robohub.org/artificial-general-intelligence-that-plays-atari-video-games-how-did-deepmind-do-it/

• https://github.com/brian473/neural_rl

  这是一个几乎可用的实现，由我的学生 Brian Brown 在 2014 年春季开发完成。尽管我没有直接复用他的代码，但我和 Brian 曾一起努力填补原始论文中的一些空白部分。

deep_q_rl 快速上手指南

环境准备

本工具基于 Lasagne/Theano 实现深度 Q 学习算法，主要用于复现 Atari 游戏强化学习研究。运行前请确保满足以下硬件与软件要求：

系统要求

• GPU: 需要较新款的 NVIDIA GPU（用于加速训练）。
• 操作系统: 推荐 Ubuntu Linux（官方提供了自动化安装脚本）。

前置依赖

请确保已安装以下库：

• OpenCV
• Theano
• Lasagne
• Pylearn2
• Arcade Learning Environment (ALE)

提示：国内开发者在安装 Python 依赖时，建议配置清华或阿里镜像源以加速下载（例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>）。

安装步骤

项目提供了一键安装脚本，可自动在 Ubuntu 环境下安装所有必要依赖。

1. 克隆或下载本项目代码。
2. 执行安装脚本：

   ./dep_script.sh
   

   注：若手动安装，请参考 README 中的依赖列表逐一配置 Theano、Lasagne 及 ALE 环境。

基本使用

安装完成后，可使用提供的脚本启动训练进程。以下以经典的 "Breakout" 游戏为例：

1. 开始训练

根据复现论文的不同，可选择两种训练模式：

• 模式 A（复现 NIPS 研讨会论文）：参数较少，训练较快（约 2-4 天）。

  ./run_nips.py --rom breakout
  

• 模式 B（复现 Nature 期刊论文）：参数更优，最终策略效果更好，但耗时较长（约 6-10 天）。

  ./run_nature.py --rom breakout
  

运行后，程序会在以 ROM 名称命名的文件夹中保存输出文件。每个 epoch 结束后会存储网络对象的 pickle 文件，测试结果将记录在 results.csv 中。

2. 可视化训练进度

训练过程中或结束后，可绘制结果图表：

python plot_results.py breakout_05-28-17-09_0p00025_0p99/results.csv

(请将文件名替换为你实际生成的路径)

3. 观看智能体演示

训练完成后，加载保存的网络模型文件观看 AI 玩游戏：

python ale_run_watch.py breakout_05-28-17-09_0p00025_0p99/network_file_99.pkl

性能优化建议

为显著提升 GPU 运行性能，建议在环境变量 THEANO_FLAGS 或 .theanorc 配置文件中设置：

allow_gc=False

注意：此设置会略微增加 GPU 显存占用。