使用 Pytorch 简单实现强化学习（Reinforcement Learning）(A3C)

这是一个使用 Python 多进程（multiprocessing）异步训练神经网络（neural network）来玩离散动作（discrete action）CartPole 和连续动作（continuous action）Pendulum 游戏的简易示例。我使用的异步算法称为 Asynchronous Advantage Actor-Critic（异步优势演员 - 评论家），简称 A3C。

我相信这是目前（2018-01）你能找到的最简单的简易实现。

此实现的主要关注点是什么？

• 使用 Pytorch + 多进程（multiprocessing）（而非多线程 threading）进行并行训练
• 涵盖离散和连续动作环境
• 保持简单易懂，便于深入代码（少于 200 行）

使用 Pytorch 而非 Tensorflow 的原因

两者都非常适合构建自定义神经网络（neural network）。但在多进程（multiprocessing）协作方面，Tensorflow 由于与多进程兼容性较低，表现不佳。 我有一个基于多线程（threading）构建的 Tensorflow A3C 实现。 我甚至尝试实现 分布式 Tensorflow。 然而，分布式版本适用于集群计算，而我并没有这样的环境。当仅使用一台机器时，它比我写的多线程版本还要慢。

幸运的是，Pytorch 具备 多进程兼容性。 我查阅了许多 Pytorch A3C 示例（这里、这里 和 这里）。它们很棒，但代码过于复杂，难以深入理解。 因此，这就是我编写这个简单示例代码的动机。

顺便说一句，如果你有兴趣学习 Pytorch，这里 有我带有许多可视化内容的简单教程代码。我也制作了 Tensorflow 教程（与 Pytorch 内容相同），可在 这里 获取。

代码与结果

• shared_adam.py: 并行共享参数的优化器（optimizer）
• utils.py: 可重复使用的实用函数
• discrete_A3C.py: CartPole，针对离散动作空间的神经网络和训练
• continuous_A3C.py: Pendulum，针对连续动作空间的神经网络和训练

CartPole 结果

Pendulum 结果

依赖项

• pytorch >= 0.4.0
• numpy
• gym
• matplotlib

pytorch-A3C 快速上手指南

本项目是使用 PyTorch 实现的异步优势演员 - 评论家（A3C）强化学习算法示例。支持通过多进程（multiprocessing）并行训练神经网络，适用于离散动作（CartPole）和连续动作（Pendulum）环境。代码简洁（少于 200 行），适合深入学习。

环境准备

请确保您的开发环境满足以下依赖要求：

• PyTorch: 版本 >= 0.4.0
• Python 库:
  • numpy
  • gym
  • matplotlib

安装步骤

1. 获取代码 克隆仓库到本地：

   git clone https://github.com/MorvanZhou/pytorch-A3C.git
   cd pytorch-A3C
   

2. 安装依赖 使用 pip 安装所需库。为提高下载速度，国内用户推荐使用镜像源：

   pip install torch numpy gym matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

根据您需要训练的环境类型，运行对应的脚本：

• 离散动作环境 (CartPole) 运行离散动作空间的训练脚本：

  python discrete_A3C.py
  

• 连续动作环境 (Pendulum) 运行连续动作空间的训练脚本：

  python continuous_A3C.py
  

运行后将看到训练过程的可视化结果。