PPO-PyTorch

更新 [2021年4月]：

• 合并了离散动作和连续动作的算法
• 为连续动作空间的 action_std 添加了线性衰减，以使复杂环境下的训练更加稳定
• 为策略网络和价值网络分别设置了不同的学习率
• 现在将每集、时间步和奖励记录到 .csv 文件中
• 提供了从日志文件中绘制图表的工具
• 提供了测试预训练网络并生成 GIF 动画的工具
• PPO_colab.ipynb 将所有文件整合在一起，在 Google Colab 的便捷 Jupyter Notebook 中完成训练、测试、绘制图表和生成 GIF 动画。

在 Google Colab 中打开 PPO_colab.ipynb

引言

本仓库提供了针对 OpenAI Gym 环境的近端策略优化（PPO）算法的最小化 PyTorch 实现，采用截断目标函数。它主要面向强化学习初学者，帮助理解 PPO 算法。尽管如此，该实现也可用于复杂环境，但可能需要进行超参数调优或代码修改。关于 PPO 算法的简要说明可以参见这里，而关于如何实现最佳性能 PPO 的详细解释则可参考这里（目前本仓库尚未完全实现这些内容）。

为了简化训练过程：

• 对于连续动作环境，输出动作分布具有恒定的标准差（即对角协方差矩阵的多元正态分布），这是一个超参数而非可训练参数。不过，该标准差会线性衰减。（action_std 对性能影响显著）
• 使用简单的蒙特卡洛估计来计算优势，而不是广义优势估计（GAE）。有关 GAE 的实现可以参考 OpenAI Spinning Up 的实现。
• 这是一个单线程实现，即只有一个工作进程收集经验数据。本仓库的一个较早的分支此处已被修改为支持多线程并行工作。

使用方法

• 训练新网络：运行 train.py
• 测试预训练网络：运行 test.py
• 使用日志文件绘制图表：运行 plot_graph.py
• 保存图像以制作 GIF 并使用预训练网络生成 GIF：运行 make_gif.py
• 所有用于控制训练、测试、图表和 GIF 的参数及超参数均位于各自的 .py 文件中。
• PPO_colab.ipynb 将所有文件整合在一个 Jupyter Notebook 中。
• 所有用于训练（预训练）策略的超参数均已列出，详见PPO_preTrained 目录下的 README.md。

注意事项：

• 如果环境运行在 CPU 上，请使用 CPU 作为设备以加快训练速度。Box2D 和 Roboschool 均运行在 CPU 上，若将其放在 GPU 设备上训练，由于数据需要频繁地在 CPU 和 GPU 之间传输，训练速度将会显著变慢。

引用

如果您希望在论文或其他出版物中引用本仓库，请使用以下 BibTeX 格式：

@misc{pytorch_minimal_ppo,
    author = {Barhate, Nikhil},
    title = {Minimal PyTorch Implementation of Proximal Policy Optimization},
    year = {2021},
    publisher = {GitHub},
    journal = {GitHub repository},
    howpublished = {\url{https://github.com/nikhilbarhate99/PPO-PyTorch}},
}

结果

PPO 连续动作 RoboschoolHalfCheetah-v1	PPO 运动学模拟器 RoboschoolHalfCheetah-v1

PPO 连续动作 RoboschoolHopper-v1	PPO 连续动作 RoboschoolHopper-v1

PPO 连续动作 RoboschoolWalker2d-v1	PPO 连续动作 RoboschoolWalker2d-v1

PPO 连续动作 BipedalWalker-v2	PPO 连续动作 BipedalWalker-v2

PPO 离散动作 CartPole-v1	PPO 离散动作 CartPole-v1

PPO 离散动作 LunarLander-v2	PPO 离散动作 LunarLander-v2

依赖项

已在以下环境中训练并测试通过：

Python 3
PyTorch
NumPy
gym

训练环境：

Box2D
Roboschool
PyBullet

绘制图表和生成 GIF 动画所需工具：

pandas
matplotlib
Pillow

参考文献

• PPO 论文
• OpenAI Spinning Up

PPO-PyTorch 快速上手指南

PPO-PyTorch 是一个基于 PyTorch 实现的极简近端策略优化（PPO）算法库，专为强化学习初学者设计，支持 OpenAI Gym 环境下的离散和连续动作空间训练。

环境准备

系统要求

• 操作系统：Linux / macOS / Windows
• Python 版本：Python 3.x
• 硬件建议：
  • 对于 Box-2d 和 Roboschool 环境，建议使用 CPU 进行训练（在 GPU 上运行会因数据频繁传输导致显著变慢）。
  • 其他复杂环境可尝试使用 GPU 加速。

前置依赖

请确保安装以下核心库：

pip install torch numpy gym

若需生成训练图表或 GIF 动图，还需安装：

pip install pandas matplotlib Pillow

国内加速建议：推荐使用清华或阿里镜像源加速安装：

pip install torch numpy gym -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库到本地：

   git clone https://github.com/nikhilbarhate99/PPO-PyTorch.git
   cd PPO-PyTorch
   

2. （可选）直接在 Google Colab 中运行，无需本地配置：

   • 访问 PPO_colab.ipynb

基本使用

1. 训练新模型

运行 train.py 开始训练。所有超参数（如学习率、步数等）均在该文件顶部配置。

python train.py

训练日志（episodes, timesteps, rewards）将自动保存为 .csv 文件。

2. 测试预训练模型

运行 test.py 加载已训练好的策略进行测试。

python test.py

3. 可视化结果

• 绘制训练曲线：利用生成的日志文件绘制奖励变化图。

  python plot_graph.py
  

• 制作演示 GIF：录制智能体运行画面并生成 GIF。

  python make_gif.py
  

4. 一站式体验 (推荐)

使用 PPO_colab.ipynb Jupyter Notebook，它整合了训练、测试、绘图和生成 GIF 的所有功能，适合快速验证和修改代码。