强化学习算法的 PyTorch 实现

本仓库包含：

1. 策略梯度方法（TRPO、PPO、A2C）
2. 生成对抗模仿学习（GAIL）

重要提示

• 当前代码适用于 PyTorch 0.4。若使用 PyTorch 0.3，请切换到 0.3 分支。
• 要运行 MuJoCo 环境，需先安装 mujoco-py 和 gym。
• 若您拥有 GPU，建议将 OMP_NUM_THREADS 设置为 1（PyTorch 在执行计算时会创建额外线程，这可能影响多进程性能。该问题在 Linux 系统下尤为严重，可能导致多进程效率低于单线程）：

export OMP_NUM_THREADS=1

功能特性

• 支持离散和连续动作空间。
• 支持多进程，使智能体能够同时在多个环境中收集样本。（速度比单线程快 8 倍）
• 快速计算 Fisher 向量乘积。对此部分，Ankur 撰写了一篇博客详细解释了实现细节。

策略梯度方法

• 信任域策略优化（TRPO） -> examples/trpo_gym.py
• 近端策略优化（PPO） -> examples/ppo_gym.py
• 同步 A3C（A2C） -> examples/a2c_gym.py

示例

• python examples/ppo_gym.py --env-name Hopper-v2

参考

• ikostrikov/pytorch-trpo
• openai/baselines

生成对抗模仿学习（GAIL）

保存专家轨迹

• python gail/save_expert_traj.py --model-path assets/learned_models/Hopper-v2_ppo.p

进行模仿学习

• python gail/gail_gym.py --env-name Hopper-v2 --expert-traj-path assets/expert_traj/Hopper-v2_expert_traj.p

PyTorch-RL 快速上手指南

环境准备

在开始之前，请确保您的系统满足以下要求：

• Python 版本：兼容 Python 3.x
• PyTorch 版本：本代码库主要支持 PyTorch 0.4。如果您使用的是 PyTorch 0.3，请切换至项目的 0.3 分支。
• 强化学习环境：若需运行 MuJoCo 环境（如 Hopper, Humanoid 等），必须预先安装以下依赖：
  • mujoco-py
  • gym
• 硬件加速（可选但推荐）：如果您使用 GPU 进行训练，为避免多线程计算冲突导致性能下降（特别是在 Linux 系统下），建议在运行前设置环境变量：

  export OMP_NUM_THREADS=1
  

安装步骤

1. 克隆仓库

   git clone https://github.com/Khrylx/PyTorch-RL.git
   cd PyTorch-RL
   

2. 安装 Python 依赖 建议先配置国内镜像源（如清华源或阿里源）以加速安装：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   (注：若项目中无 requirements.txt 文件，请手动安装 torch, gym, mujoco-py 等核心库)

3. 安装 MuJoCo 相关依赖（如需运行复杂物理环境）

   pip install mujoco-py gym -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   注意：使用 mujoco-py 通常需要有效的 MuJoCo 许可证密钥。

基本使用

本项目支持离散和连续动作空间，并提供了多种策略梯度算法（TRPO, PPO, A2C）及生成对抗模仿学习（GAIL）。

1. 运行策略梯度算法 (PPO 示例)

以下命令使用 PPO 算法在 Hopper-v2 环境中进行训练：

python examples/ppo_gym.py --env-name Hopper-v2

其他可用算法示例：

• TRPO: python examples/trpo_gym.py --env-name Hopper-v2
• A2C: python examples/a2c_gym.py --env-name Hopper-v2

2. 运行生成对抗模仿学习 (GAIL)

GAIL 流程分为两步：首先保存专家轨迹，然后进行模仿学习。

第一步：保存专家轨迹

python gail/save_expert_traj.py --model-path assets/learned_models/Hopper-v2_ppo.p

第二步：执行模仿学习

python gail/gail_gym.py --env-name Hopper-v2 --expert-traj-path assets/expert_traj/Hopper-v2_expert_traj.p

特性提示

• 多进程加速：代码默认支持多进程采样，相比单线程速度提升约 8 倍。
• 高效计算：针对 TRPO 算法优化了 Fisher 向量积的计算效率。