GA3C：基于 GPU 的异步优势演员-评论家强化学习

异步优势演员-评论家（A3C）算法的 CPU/GPU 混合版本，目前是强化学习领域中用于各类游戏任务的最先进方法。该基于 TensorFlow 的 CPU/GPU 实现相比类似的纯 CPU 实现，显著提升了运行速度。

如何进行设置？

• 安装 Python > 3.0
• 安装 TensorFlow 1.0
• 安装 OpenAI Gym
• 克隆仓库。
• 就这样，大功告成！

如何从头训练一个模型？

首先运行 sh _clean.sh，然后运行 sh _train.sh。 脚本 _clean.sh 会清理保存训练过程中网络模型的 checkpoints 文件夹，并删除记录训练期间得分的日志文件 results.txt。

如果需要，请务必在清理之前将训练好的模型和得分保存到其他文件夹中。

_train.sh 会根据 Config.py 中的参数启动训练过程。 您可以直接在 Config.py 中修改训练参数，也可以通过命令行参数传递给 _train.sh。 例如，执行 sh _train.sh LEARNING_RATE_START=0.001 会用命令行参数指定的学习率值覆盖 Config.py 中的初始学习率（见下文）。 您可能需要根据自身需求对 _train.sh 进行调整。

输出示例如下：

...
[时间： 33] [episode： 26 得分： -19.0000] [RScore： -20.5000 RPPS： 822] [PPS： 823 TPS： 183] [NT： 2 NP： 2 NA： 32]
[时间： 33] [episode： 27 得分： -20.0000] [RScore： -20.4815 RPPS： 855] [PPS： 856 TPS： 183] [NT： 2 NP： 2 NA： 32]
[时间： 35] [episode： 28 得分： -20.0000] [RScore： -20.4643 RPPS： 854] [PPS： 855 TPS： 185] [NT： 2 NP： 2 NA： 32]
[时间： 35] [episode： 29 得分： -19.0000] [RScore： -20.4138 RPPS： 877] [PPS： 878 TPS： 185] [NT： 2 NP： 2 NA： 32]
[时间： 36] [episode： 30 得分： -20.0000] [RScore： -20.4000 RPPS： 899] [PPS： 900 TPS： 186] [NT： 2 NP： 2 NA： 32]
...

PPS（每秒预测次数）表示帧处理速度，而 Score 则显示当前得分。
RPPS 和 RScore 分别是上述指标的滚动平均值。

要停止训练过程，可以适当调整 Config.py 中的 EPISODES 参数，或者直接按下 Ctrl + C。

如何继续训练一个模型？

如果您想继续训练某个模型，请在 Config.py 中将 LOAD_CHECKPOINTS 设置为 True，并将 LOAD_EPISODE 设为您希望加载的 episode 编号。 请确保对应的模型已保存在 checkpoints 文件夹中（模型名称包含 episode 编号）。

如果您打算暂停后再继续训练，请勿使用 _clean.sh！

如何用训练好的智能体玩游戏？

运行 _play.sh 您可能需要根据自身需求对该脚本进行调整。

如何更改游戏、配置等？

所有配置都在 Config.py 中。 如前所述，修改配置的一个有效方式是将其作为参数传递给 _train.sh。例如，若要在训练过程中保存模型，只需运行：train.sh TRAINERS=4。

示例学习曲线

此处展示了 Pong 和 Boxing 的典型学习曲线。这些曲线可轻松从 results.txt 文件中提取。

参考文献

如果您使用此代码，请引用我们的 ICLR 2017 论文：

@conference{babaeizadeh2017ga3c,
  title={Reinforcement Learning thorugh Asynchronous Advantage Actor-Critic on a GPU},
  author={Babaeizadeh, Mohammad and Frosio, Iuri and Tyree, Stephen and Clemons, Jason and Kautz, Jan},
  booktitle={ICLR},
  biurl={https://openreview.net/forum?id=r1VGvBcxl},
  year={2017}
}

这项工作最初于 第一届深度神经网络高效方法国际研讨会，NIPS 研讨会，西班牙巴塞罗那，2016 年 12 月 9 日的口头报告中首次发表：

@article{babaeizadeh2016ga3c,
  title={{GA3C:} {GPU}-based {A3C} for Deep Reinforcement Learning},
  author={Babaeizadeh, Mohammad and Frosio, Iuri and Tyree, Stephen and Clemons, Jason and Kautz, Jan},
  journal={NIPS Workshop},
  biurl={arXiv preprint arXiv:1611.06256},
  year={2016}
}

GA3C 快速上手指南

GA3C 是基于 TensorFlow 实现的异步优势演员 - 评论家（A3C）算法的混合 CPU/GPU 版本，专为强化学习任务设计，相比纯 CPU 实现具有显著的速度提升。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux (推荐)
• Python：版本 > 3.0
• 深度学习框架：TensorFlow 1.0
• 强化学习环境：OpenAI Gym
• 硬件：支持 CUDA 的 NVIDIA GPU（用于加速训练）

提示：国内用户安装依赖时，建议配置 pip 国内镜像源（如清华源、阿里源）以加快下载速度。 例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

1. 克隆仓库

   git clone <repository_url>
   cd <repository_directory>
   

   (请将 <repository_url> 和 <repository_directory> 替换为实际的项目地址和目录名)

2. 安装依赖 请依次安装以下核心依赖：

   # 安装 Python 依赖 (建议使用虚拟环境)
   pip install tensorflow==1.0
   pip install gym
   

   注：若需使用特定的 Atari 游戏环境，可能还需要安装 gym[atari] 及相关系统依赖。

基本使用

1. 从头开始训练模型

在首次训练前，建议先清理旧的检查点和日志文件，然后启动训练脚本。

步骤：

1. 清理旧数据（可选，但推荐）：

   sh _clean.sh
   

   注意：_clean.sh 会删除 checkpoints 文件夹中的模型存档以及 results.txt 日志。如果您需要保留之前的训练成果，请勿执行此步骤或提前备份。

2. 启动训练：

   sh _train.sh
   

自定义参数： 您可以直接修改 Config.py 文件，或在运行脚本时通过命令行参数覆盖配置。例如，修改初始学习率：

sh _train.sh LEARNING_RATE_START=0.001

训练输出说明： 训练过程中终端将输出实时状态，关键字段含义如下：

• Score: 当前回合得分。
• RScore: 滚动平均得分。
• PPS (Predictions Per Second): 每秒处理帧数，反映训练速度。
• RPPS: 滚动平均处理速度。

要停止训练，可按 Ctrl + C，或在 Config.py 中设置 EPISODES 参数。

2. 继续训练已有模型

如果您希望从中断处或特定回合继续训练：

1. 编辑 Config.py，设置：
   • LOAD_CHECKPOINTS = True
   • LOAD_EPISODE = <目标回合数> (确保该回合的模型存在于 checkpoints 文件夹中)
2. 切勿运行 _clean.sh。
3. 运行训练脚本：

   sh _train.sh
   

3. 使用训练好的代理玩游戏

模型训练完成后，运行以下脚本即可观察代理玩游戏的效果：

sh _play.sh

您可以根据需要修改 _play.sh 脚本以适应特定的测试需求。