*更新：对代码进行了小幅更新。新增了分布式步长训练功能。集成了TensorBoard，以便您可以记录和创建训练过程的图表、查看模型结构图，并可视化权重和偏置在训练过程中的分布情况。

A3G 一种用于显著加速训练的A3C GPU/CPU架构

RL A3C Pytorch

A3G

一种利用GPU加速训练的A3C实现，我们称之为A3G。与尝试在A3C算法中使用GPU的其他版本不同，A3G的每个智能体都有自己的网络，这些网络保存在GPU上，而共享模型则位于CPU上。智能体的模型会快速转换到CPU以更新共享模型，从而通过Hogwild Training实现频繁且快速的更新，并以异步方式无锁地完成共享模型的更新。这种新方法极大地提高了训练速度，原本需要数天才能训练完成的模型，在某些Atari游戏中仅需10分钟即可完成训练！例如，Breakout只需10-15分钟就能开始获得400分以上的成绩；而Pong则仅需10分钟就能解决！

该仓库包含了我在PyTorch中使用异步优势演员-评论家（A3C）算法实现的强化学习代码，该算法源自Google DeepMind的论文“深度强化学习的异步方法”。

请参阅 [a3c_continuous][23]，这是我新添加的用于连续动作空间的A3C LSTM实现仓库，该模型已成功解决了BipedWalkerHardcore-v3环境问题（连续100局平均得分超过300分）

A3C LSTM

我实现了一个A3C LSTM模型，并在OpenAI Gym提供的Atari 2600环境中进行了训练。迄今为止，该模型在Atari游戏环境中表现出我所见过的最佳性能。仓库中包含了SpaceInvaders-v0、MsPacman-v0、Breakout-v0、BeamRider-v0、Pong-v0、Seaquest-v0和Asteroids-v0的训练模型，这些模型表现非常出色，目前在OpenAI Gym排行榜上分别保持着各自游戏的最佳分数（目前暂无计划再训练其他Atari游戏的模型……）。已训练好的模型保存在trained_models文件夹中。为减小仓库体积，已移除部分已训练好的模型

此外，还提供了使用共享统计信息的RMSProp和Adam优化器，同时也支持不使用共享优化器的选项。

与传统的ALE Atari设置相比，Gym的Atari设置更难训练，因为Gym采用了随机帧跳过机制，且离散动作的数量更多。例如，Breakout-v0在Gym中有6个离散动作，而在ALE中则只有4个。此外，在Gym的Atari游戏中，有25%的概率会随机重复上一步动作，并且存在时间/步数限制，这都会影响表现。

以下是Gym环境评估的链接：

表格	最佳100局平均分	最佳分数
SpaceInvaders-v0	5808.45 ± 337.28	13380.0
SpaceInvaders-v3	6944.85 ± 409.60	20440.0
SpaceInvadersDeterministic-v3	79060.10 ± 5826.59	167330.0
Breakout-v0	739.30 ± 18.43	864.0
Breakout-v3	859.57 ± 1.97	864.0
Pong-v0	20.96 ± 0.02	21.0
PongDeterministic-v3	21.00 ± 0.00	21.0
BeamRider-v0	8441.22 ± 221.24	13130.0
MsPacman-v0	6323.01 ± 116.91	10181.0
Seaquest-v0	54203.50 ± 1509.85	88840.0

167,330分的Space Invaders成绩是世界纪录，游戏结束仅仅是因为GYM的时间步限制，而非生命耗尽。当我将GYM的时间步限制提高到一百万时，Space Invaders的得分达到了约230万分，但仍然因时间步限制而结束。很可能是因为游戏进行一段时间后变得相当重复。

由于Gym版本的Seaquest-v0存在时间步限制，智能体的得分较低；但在时间步限制更高的Seaquest-v4中，智能体却以最高分999,999击败了游戏！！

需求

• Python 2.7+
• OpenAI Gym 和 Universe
• PyTorch（PyTorch 2.0存在一个bug，即在训练过程中调用backward()时，会错误地占用所有正在使用的GPU显存。这并不会降低训练速度，但会不必要地占用大量显存。如果您遇到此问题并面临显存不足的情况，请降级PyTorch版本）

训练

在训练模型时，务必将工作进程数限制为可用的CPU核心数，因为过多的进程（例如超过每个可用CPU核心一个进程）反而会降低训练速度和效果

要在PongNoFrameskip-v4环境中使用32个不同的工作进程训练智能体：

python main.py --env PongNoFrameskip-v4 --workers 32

#A3G-训练 使用配备4块V100 GPU和20核CPU的机器对PongNoFrameskip-v4进行训练，仅需10分钟即可收敛

要在4块GPU上使用新的A3G训练PongNoFrameskip-v4环境中的智能体，同时指定32个工作进程：

python main.py --env PongNoFrameskip-v4 --workers 32 --gpu-ids 0 1 2 3 --amsgrad

按下Ctrl+C可正常结束训练

评估

要使用训练好的模型运行100集的Gym环境评估：

python gym_eval.py --env PongNoFrameskip-v4 --num-episodes 100 --new-gym-eval

分布式步长训练

以下示例展示了如何在多个训练进程中使用提供的步长列表来训练智能体：

python main.py --env PongNoFrameskip-v4 --workers 18 --gpu-ids 0 1 2 --amsgrad --distributed-step-size 16 32 64 --tau 0.92 --tensorboard-logger

下方是一张图表，展示了上述分布式步长训练命令的运行情况：

请注意，BeamRiderNoFrameskip-v4 在不到2小时的训练时间内就达到了50,000以上的分数，而Gym v0版本则需要更长时间。这不仅体现了这些版本的难度，也说明了时间限制是影响得分水平的一个重要因素。

这些训练图表是在一台配备4块GPU和20核CPU的DGX Station上完成的。我使用了36个工作者代理，并将tau设置为0.92，即广义优势估计公式中的λ值，以引入更多方差。这是因为仅采用4帧跳过且初始状态为0-30次无操作的环境具有较高的确定性。

项目参考

• https://github.com/ikostrikov/pytorch-a3c

rl_a3c_pytorch 快速上手指南

本指南帮助开发者快速部署并使用基于 PyTorch 的 A3C（异步优势演员 - 评论家）强化学习框架。该框架支持 GPU 加速训练（称为 A3G 架构），能显著缩短 Atari 游戏的训练时间。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: Python 2.7+ (建议使用 Python 3.6+ 以获得更好的兼容性)
• 核心依赖:
  • PyTorch: 深度学习框架。
    • 注意: PyTorch 2.0 存在一个已知问题，即在多进程训练调用 backward() 时可能会不必要地占用所有 GPU 的显存。如果遇到显存不足，建议降级 PyTorch 版本。
  • OpenAI Gym: 强化学习环境库。
  • Universe: (可选) OpenAI 的多环境平台。
• 硬件建议:
  • CPU: 多核处理器（工作进程数建议等于 CPU 核心数）。
  • GPU: 支持 CUDA 的 NVIDIA GPU（用于 A3G 加速模式，多卡效果更佳）。

依赖安装命令

建议使用国内镜像源加速安装：

# 安装 PyTorch (根据具体 CUDA 版本选择，此处为通用示例)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装 OpenAI Gym 及相关依赖
pip install gym[atari] gym[accept-rom-license]

# 安装其他必要库 (如 tensorboard, numpy 等)
pip install tensorboard numpy scipy

安装步骤

克隆项目仓库并进入目录：

git clone https://github.com/dgriff777/rl_a3c_pytorch.git
cd rl_a3c_pytorch

注：项目中预训练的模型文件已被移除以减小仓库体积，如需使用需自行训练。

基本使用

1. 基础训练 (CPU/GPU 混合)

启动训练最简单的方式是运行 main.py。以下示例在 PongNoFrameskip-v4 环境中使用 32 个工作进程进行训练。

重要提示：工作进程数量 (--workers) 不应超过可用的 CPU 核心数，否则会降低训练效率。

python main.py --env PongNoFrameskip-v4 --workers 32

按 Ctrl + C 可正常结束训练会话。

2. A3G 加速训练 (多 GPU 模式)

如果您拥有多张 GPU，可以使用 --gpu-ids 参数启用 A3G 架构，利用 Hogwild 训练机制异步更新共享模型，大幅提升速度。

以下示例使用 4 张 GPU (ID 0-3) 和 32 个工作进程训练 Pong：

python main.py --env PongNoFrameskip-v4 --workers 32 --gpu-ids 0 1 2 3 --amsgrad

• --amsgrad: 启用 Adam 优化器的 AMSGrad 变体。
• 在此配置下（4x V100 GPU + 20 核 CPU），Pong 环境通常在约 10 分钟内收敛。

3. 分布式步长训练 (高级功能)

最新版本支持在不同训练进程中使用不同的步长大小，并结合 TensorBoard 进行可视化监控。

python main.py --env PongNoFrameskip-v4 --workers 18 --gpu-ids 0 1 2 --amsgrad --distributed-step-size 16 32 64 --tau 0.92 --tensorboard-logger

• --tensorboard-logger: 启用 TensorBoard 日志记录，可查看训练曲线、模型结构及权重分布。
• 启动后可在终端运行 tensorboard --logdir=runs 查看可视化图表。

4. 模型评估

训练完成后，使用 gym_eval.py 对模型进行评估。以下命令运行 100 个回合的测试：

python gym_eval.py --env PongNoFrameskip-v4 --num-episodes 100 --new-gym-eval