异步深度强化学习

异步深度强化学习

关于

尝试复现 Google DeepMind 的论文《异步深度强化学习方法》。

http://arxiv.org/abs/1602.01783

使用 TensorFlow 实现了用于玩“Atari Pong”游戏的异步优势演员-评论家（A3C）方法。同时实现了 A3C-FF 和 A3C-LSTM 两种模型。

经过 26 小时训练后的学习效果视频如下：

欢迎在 Issues 中提出任何建议或意见。

https://github.com/miyosuda/async_deep_reinforce/issues/1

如何构建

首先需要构建支持多线程的 Arcade Learning Environment 版本。我对其进行了修改，使其能够在多线程环境下运行。

$ git clone https://github.com/miyosuda/Arcade-Learning-Environment.git
$ cd Arcade-Learning-Environment
$ cmake -DUSE_SDL=ON -DUSE_RLGLUE=OFF -DBUILD_EXAMPLES=OFF .
$ make -j 4

$ pip install .

建议在 VirtualEnv 环境中安装。

如何运行

进行训练：

$python a3c.py

查看游戏播放结果：

$python a3c_disp.py

使用 GPU

要启用 GPU，请在 “constants.py” 文件中将 “USE_GPU” 标志设置为 True。

在使用 8 个并行游戏环境时，GPU（GTX980Ti）和 CPU（Core i7 6700）的速度对比如下。（使用 LOCAL_T_MAX=20 设置记录）

类型	A3C-FF	A3C-LSTM
GPU	1722 步/秒	864 步/秒
CPU	1077 步/秒	540 步/秒

结果

Pong 游戏各本地线程的得分曲线如下。（使用 GTX980Ti 显卡）

A3C-LSTM LOCAL_T_MAX = 5

A3C-LSTM LOCAL_T_MAX = 20

与原论文不同，这里的分数并未通过全局网络进行平均。

需求

• TensorFlow r1.0
• numpy
• cv2
• matplotlib

参考资料

该项目使用了 muupan 维基 [muuupan/async-rl] (https://github.com/muupan/async-rl/wiki) 中的配置设置。

致谢

• @aravindsrinivas 提供了一些超参数的信息。

async_deep_reinforce 快速上手指南

本指南帮助开发者快速部署并运行基于 TensorFlow 的异步深度强化学习（A3C）工具，用于训练 Atari Pong 游戏代理。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 macOS (Windows 可能需要额外配置以支持多线程 Arcade 环境)
• Python: 推荐 Python 3.x
• 核心依赖:
  • TensorFlow r1.0
  • numpy
  • opencv-python (cv2)
  • matplotlib
  • CMake
  • SDL2 开发库 (用于构建 Arcade Learning Environment)

建议：推荐使用 virtualenv 或 conda 创建独立的虚拟环境，以避免依赖冲突。

# 示例：创建并激活虚拟环境
python -m venv a3c_env
source a3c_env/bin/activate  # Windows 用户使用: a3c_env\Scripts\activate

安装步骤

本项目需要编译修改版的 Arcade Learning Environment (ALE) 以支持多线程。请按顺序执行以下步骤：

1. 克隆并编译 ALE

git clone https://github.com/miyosuda/Arcade-Learning-Environment.git
cd Arcade-Learning-Environment
cmake -DUSE_SDL=ON -DUSE_RLGLUE=OFF -DBUILD_EXAMPLES=OFF .
make -j 4
pip install .

提示：如果 git clone 速度较慢，可尝试使用国内镜像源（如 Gitee 镜像，若有）或配置 Git 代理。

2. 安装 Python 依赖

返回项目根目录（假设已克隆 async_deep_reinforce），安装所需的 Python 包。若国内下载缓慢，建议使用清华或阿里镜像源：

# 使用清华镜像源安装依赖
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.0 numpy opencv-python matplotlib

基本使用

1. 开始训练

运行主脚本开始训练 A3C 模型（默认使用 CPU，若需 GPU 请参考下方说明）：

python a3c.py

2. 可视化游戏过程

训练完成后或同时，可以运行显示脚本来观察智能体的游戏表现：

python a3c_disp.py

3. 启用 GPU 加速

默认配置可能未开启 GPU。如需使用 GPU 加速训练：

1. 打开 constants.py 文件。
2. 将 USE_GPU 标志修改为 True。

性能参考： 在 8 个并行游戏环境下（GTX980Ti vs Core i7 6700）：

• A3C-FF: GPU 约 1722 steps/sec，CPU 约 1077 steps/sec。
• A3C-LSTM: GPU 约 864 steps/sec，CPU 约 540 steps/sec。