pytorch-a2c-ppo-acktr

更新（2021年4月12日）

PPO 非常出色，但对于许多连续控制任务来说，Soft Actor Critic 可能表现得更好。请查看我在 jax 中的新强化学习仓库 jax-rl。

请使用此 README 中的超参数。如果使用其他超参数，可能无法正常工作（毕竟这是强化学习）！

这是一个 PyTorch 实现，包含了：

• 优势演员评论家（A2C），它是 A3C 的同步确定性版本
• 局部策略优化 PPO
• 使用克罗内克分解近似进行深度强化学习的可扩展信任区域方法 ACKTR
• 生成对抗模仿学习 GAIL

更多信息请参阅 OpenAI 的相关文章：A2C/ACKTR 和 PPO。

本实现受到 OpenAI 基准库中 A2C、ACKTR 和 PPO 的启发。它使用了相同的超参数和模型结构，因为这些设置在 Atari 游戏上经过了充分调优。

如果您希望在出版物中引用此仓库，请使用以下 BibTeX 格式：

@misc{pytorchrl,
  author = {Kostrikov, Ilya},
  title = {PyTorch 实现的强化学习算法},
  year = {2018},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished = {\url{https://github.com/ikostrikov/pytorch-a2c-ppo-acktr-gail}},
}

支持（并已测试）的环境（通过 OpenAI Gym）

• Atari 学习环境
• MuJoCo
• PyBullet（包括 Racecar、Minitaur 和 Kuka）
• DeepMind 控制套件（通过 dm_control2gym）

我强烈推荐 PyBullet 作为 MuJoCo 的免费开源替代方案，尤其适用于连续控制任务。

所有环境都使用完全相同的 Gym 接口进行操作。完整的环境列表请参考各自的文档。

要使用 DeepMind 控制套件环境，请设置标志 --env-name dm.<domain_name>.<task_name>，其中 domain_name 和 task_name 分别是 DeepMind 控制套件中的领域名称（例如 hopper）和该领域的具体任务名称（例如 stand）。完整可用的领域和任务列表请参考其代码库及技术报告 arXiv:1801.00690。除了指定任务外，与环境交互的 API 与其他 Gym 环境完全相同，这得益于 dm_control2gym。

要求

• Python 3（虽然也可能支持 Python 2，但我并未测试过）
• PyTorch
• Stable baselines3

安装依赖项的步骤如下：

# PyTorch
conda install pytorch torchvision -c soumith

# 其他依赖
pip install -r requirements.txt

# Gym Atari
conda install -c conda-forge gym-atari

贡献

非常欢迎贡献！如果您知道如何改进这段代码，请提交一个问题。如果您想提交拉取请求，请先创建一个问题。另请参阅下面的待办事项清单。

此外，我正在寻找志愿者来运行 Atari 和 MuJoCo 上的所有实验（使用多个随机种子）。

免责声明

重现强化学习方法的结果极其困难。更多信息请参阅 "Deep Reinforcement Learning that Matters"。我已尽力尽可能接近地复现 OpenAI 的结果。然而，即使是 TensorFlow 和 PyTorch 库之间的细微差异，也可能导致性能上的显著差异。

待办事项

• 改进此 README 文件，重新排版图片。
• 提高性能 KFAC，更多信息请参见 kfac.py。
• 对所有游戏和算法进行评估。

可视化

要可视化结果，请使用 visualize.ipynb。

训练

Atari

A2C

python main.py --env-name "PongNoFrameskip-v4"

PPO

python main.py --env-name "PongNoFrameskip-v4" --algo ppo --use-gae --lr 2.5e-4 --clip-param 0.1 --value-loss-coef 0.5 --num-processes 8 --num-steps 128 --num-mini-batch 4 --log-interval 1 --use-linear-lr-decay --entropy-coef 0.01

ACKTR

python main.py --env-name "PongNoFrameskip-v4" --algo acktr --num-processes 32 --num-steps 20

MuJoCo

请务必始终使用 --use-proper-time-limits 标志。它可以正确处理不完整轨迹（参见 https://github.com/sfujim/TD3/blob/master/main.py#L123）。

A2C

python main.py --env-name "Reacher-v2" --num-env-steps 1000000

PPO

python main.py --env-name "Reacher-v2" --algo ppo --use-gae --log-interval 1 --num-steps 2048 --num-processes 1 --lr 3e-4 --entropy-coef 0 --value-loss-coef 0.5 --ppo-epoch 10 --num-mini-batch 32 --gamma 0.99 --gae-lambda 0.95 --num-env-steps 1000000 --use-linear-lr-decay --use-proper-time-limits

ACKTR

ACKTR 需要针对 MuJoCo 进行一些特定修改。但目前，我希望保持代码尽可能统一，因此我正在寻找更好的方式将其集成到代码库中。

享受

Atari

python enjoy.py --load-dir trained_models/a2c --env-name "PongNoFrameskip-v4"

MuJoCo

python enjoy.py --load-dir trained_models/ppo --env-name "Reacher-v2"

结果

A2C

PPO

ACKTR

pytorch-a2c-ppo-acktr-gail 快速上手指南

本工具是基于 PyTorch 实现的强化学习算法库，包含 A2C、PPO、ACKTR 和 GAIL。它复用了 OpenAI Baselines 中针对 Atari 游戏调优过的超参数和模型结构。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需额外配置 Gym Atari)
• Python: Python 3.x
• 核心依赖:
  • PyTorch
  • Stable Baselines3
  • OpenAI Gym (及对应的环境包，如 gym-atari, mujoco-py 等)

注意：强化学习对超参数非常敏感，请务必使用本文档提供的默认超参数进行训练，否则可能无法收敛。

安装步骤

推荐使用 conda 管理环境。以下是标准安装流程（国内用户可使用清华或阿里镜像加速）：

1. 创建并激活虚拟环境（可选但推荐）：

   conda create -n rl_env python=3.8
   conda activate rl_env
   

2. 安装 PyTorch：

   • 官方源：

     conda install pytorch torchvision -c soumith
     

   • 国内加速（推荐）：使用清华镜像源

     conda install pytorch torchvision -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/soumith/
     

     (注：如果上述命令失效，请访问 PyTorch 官网获取对应 CUDA 版本的国内镜像安装命令)

3. 安装其他依赖：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

4. 安装 Gym Atari 环境：

   conda install -c conda-forge gym-atari
   

   (如需使用 MuJoCo 或 PyBullet，请参照其官方文档单独安装对应引擎)

基本使用

该库通过 main.py 进行训练，通过 enjoy.py 进行模型演示。以下是最简单的运行示例。

1. 训练模型 (Training)

示例 A: 在 Atari 游戏 "Pong" 上训练 A2C 算法

这是最基础的用法，直接使用默认超参数：

python main.py --env-name "PongNoFrameskip-v4"

示例 B: 在 Atari 游戏 "Pong" 上训练 PPO 算法

PPO 需要指定更多超参数以保持性能：

python main.py --env-name "PongNoFrameskip-v4" --algo ppo --use-gae --lr 2.5e-4 --clip-param 0.1 --value-loss-coef 0.5 --num-processes 8 --num-steps 128 --num-mini-batch 4 --log-interval 1 --use-linear-lr-decay --entropy-coef 0.01

示例 C: 在 MuJoCo "Reacher" 任务上训练 PPO

对于连续控制任务，建议添加 --use-proper-time-limits 标志：

python main.py --env-name "Reacher-v2" --algo ppo --use-gae --log-interval 1 --num-steps 2048 --num-processes 1 --lr 3e-4 --entropy-coef 0 --value-loss-coef 0.5 --ppo-epoch 10 --num-mini-batch 32 --gamma 0.99 --gae-lambda 0.95 --num-env-steps 1000000 --use-linear-lr-decay --use-proper-time-limits

2. 演示模型 (Enjoy)

训练完成后，可以使用预训练模型或您自己的模型进行演示。

演示 Atari 模型

python enjoy.py --load-dir trained_models/a2c --env-name "PongNoFrameskip-v4"

演示 MuJoCo 模型

python enjoy.py --load-dir trained_models/ppo --env-name "Reacher-v2"

3. 结果可视化

训练日志生成后，可以使用提供的 Jupyter Notebook 查看学习曲线：

jupyter notebook visualize.ipynb