PPO 入门

引言

你好！我叫 Eric Yu，我编写了这个仓库，旨在帮助初学者使用 PyTorch 从零开始实现近端策略优化（PPO）。我的目标是提供一个极简的 PPO 代码实现（几乎没有花哨的技巧），同时保证文档、代码风格和结构都非常清晰。我特别希望为那些厌倦了阅读无数 PPO 实现却完全不明白其中原理的人们提供帮助。

如果你不是通过 Medium 阅读这篇文章，请先阅读我的 系列文章。

我在编写这段代码时假设你已经具备一定的 Python 和强化学习（RL）基础，包括对策略梯度（PG）算法以及 PPO 工作原理的理解（对于 PPO，只需在理论层面有所了解即可。毕竟，这段代码的目的就是帮助你将 PPO 应用于实践）。如果你对 RL、PG 或 PPO 还不熟悉，请按照以下顺序阅读三个链接：

如果对 RL 不熟悉，请阅读 OpenAI 的 RL 入门教程（共三部分）
如果对 PG 不熟悉，请阅读 策略梯度的直观解释
如果对 PPO 理论不熟悉，请阅读 Stack Overflow 上关于 PPO 的帖子
如果你对这三者都不熟悉，请按照上述顺序依次阅读这些链接。

请注意，这个 PPO 实现假设观测空间和动作空间都是连续的，但你可以相对容易地将其更改为离散型。我遵循了 OpenAI 的 Spinning Up 提供的 PPO 伪代码：https://spinningup.openai.com/en/latest/algorithms/ppo.html；伪代码中的行号在 ppo.py 中以“ALG STEP #”的形式标注。

希望这段代码对你有所帮助，因为当我刚开始接触强化学习时，也多么希望能有这样的资源啊！

特别感谢 Zhirui Xia 完成了本教程的第四部分。

使用方法

首先，建议创建一个 Python 虚拟环境：

python -m venv venv
source venv/bin/activate
pip install -r requirements.txt

要从头开始训练：

python main.py

要测试模型：

python main.py --mode test --actor_model ppo_actor.pth

要使用已有的 actor 和 critic 模型进行训练：

python main.py --actor_model ppo_actor.pth --critic_model ppo_critic.pth

注意：若需更改超参数、环境等，请在 main.py 中进行修改。我没有将它们作为命令行参数，是因为我不喜欢这样会让命令变得过长。

工作原理

main.py 是我们的可执行文件。它会使用 arguments.py 解析命令行参数，然后初始化环境和 PPO 模型。根据你指定的模式（默认为训练模式），它将训练或测试我们的模型。要训练模型，我们只需要调用 learn 函数即可！这一设计参考了如何使用 stable_baselines 训练 PPO2 的方式。

arguments.py 是主程序用来解析命令行参数的模块。

ppo.py 包含我们的 PPO 模型。所有的学习逻辑都集中在这个文件中。请阅读我的 Medium 系列文章，以了解其工作原理。另一种推荐的方法是使用名为 pdb 的 Python 调试器，从我们在 main.py 中调用 learn 函数的地方开始逐步调试代码。

network.py 包含一个可用于定义 PPO 中 actor 和 critic 网络的简单前馈神经网络示例。

eval_policy.py 包含评估策略的代码。它与其他代码完全独立。

graph_code 目录包含自动收集数据并生成图表的代码。在一台性能尚可的计算机上，生成我在 Medium 文章 中的所有数据大约需要 10 小时。Medium 文章中的所有数据仍然保存在 graph_code/graph_data 中，供你参考；如果你愿意，也可以使用这些数据重新生成我使用的图表。更多详情请参阅 graph_code 目录下的 README 文件。

这里有一个很棒的 pdb 教程可以帮助你入门：https://www.youtube.com/watch?v=VQjCx3P89yk&ab_channel=TutorialEdge
或者，如果你已经熟悉调试工具，可以参考官方文档：https://docs.python.org/3/library/pdb.html

环境

这里有一份 环境列表，你可以尝试使用。需要注意的是，在这个 PPO 实现中，你只能使用观测空间和动作空间均为 Box 类型的环境。

超参数可以在 这里 找到。

结果

请参考我的 Medium 文章。

联系方式

如果你有任何问题或想与我取得联系，可以通过以下方式找到我：
邮箱：eyyu@mit.edu
LinkedIn：https://www.linkedin.com/in/eric-yu-engineer/

PPO-for-Beginners 快速上手指南

本指南旨在帮助开发者快速使用 PyTorch 从零实现近端策略优化（PPO）算法。该项目代码结构清晰、注释详尽，适合希望深入理解 PPO 内部机制的初学者。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：推荐 Python 3.6+
• 前置知识：具备基础的 Python 编程能力，并了解强化学习（RL）、策略梯度（Policy Gradient）及 PPO 的基本理论。
• 核心依赖：
  • PyTorch
  • OpenAI Gym (注意：本项目默认使用连续观察空间和动作空间 Box 的环境)

提示：如果您不熟悉相关理论，建议先阅读 OpenAI Spinning Up 的 RL 入门教程或作者提供的 Medium 系列文章。

安装步骤

推荐使用虚拟环境来隔离依赖，避免冲突。

1. 创建并激活虚拟环境

   python -m venv venv
   source venv/bin/activate
   # Windows 用户使用: venv\Scripts\activate
   

2. 安装依赖包 国内用户建议使用清华源或阿里源加速安装：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

项目入口文件为 main.py，超参数配置也在该文件中直接修改（未设计为命令行参数以保持命令简洁）。

1. 从头开始训练模型

运行以下命令启动训练过程：

python main.py

2. 测试已训练好的模型

加载现有的 Actor 模型进行评估：

python main.py --mode test --actor_model ppo_actor.pth

3. 基于现有模型继续训练

如果您已有保存的 Actor 和 Critic 模型，可以在此基础上继续训练：

python main.py --actor_model ppo_actor.pth --critic_model ppo_critic.pth

进阶调试建议

若要深入理解代码逻辑，推荐使用 Python 调试器 pdb 从 main.py 调用 learn 函数处开始单步执行：

python -m pdb main.py