目录

• 欢迎！
• 贡献者
• 算法
• 性能
• 快速入门
• 类图
• 参考文献

欢迎！

本仓库包含强化学习算法，这些算法正被用于Medipixel的研究工作中。源代码会频繁更新。 我们热烈欢迎外部贡献者！ :)

BC智能体在LunarLanderContinuous-v2上	RainbowIQN智能体在PongNoFrameskip-v4上	SAC智能体在Reacher-v2上

贡献者

感谢以下各位优秀的伙伴（表情符号说明）：

朴仁宇（Curt） 💻	金京焕 💻	darthegg 💻	金民哲 💻	金敏燮 💻	李珍 💻	克里斯·尹 💻
韩智成 💻	黄世贤 🚧	恩珍 💻

本项目遵循all-contributors规范。

算法

0. 优势演员-评论家算法 (A2C)
1. 深度确定性策略梯度算法 (DDPG)
2. 近端策略优化算法 (PPO)
3. 双延迟深度确定性策略梯度算法 (TD3)
4. 软演员-评论家算法 (SAC)
5. 行为克隆 (BC，结合 DDPG 和 SAC)
6. 从示范中学习 (DDPGfD、SACfD、DQfD)
7. 彩虹 DQN
8. 彩虹 IQN（不使用 DuelingNet） - DuelingNet 会降低性能
9. 彩虹 IQN（使用 ResNet）
10. 循环重放缓冲 DQN (R2D1)
11. 分布式优先级经验回放 (Ape-X)
12. 策略蒸馏
13. 生成对抗模仿学习 (GAIL)
14. 带经验回放的高效演员-评论家算法 (ACER)

性能

我们在以下部分环境中测试了每种算法：

• PongNoFrameskip-v4
• LunarLanderContinuous-v2
• LunarLander_v2
• Reacher-v2

❗请注意，此内容不会频繁更新。

PongNoFrameskip-v4

RainbowIQN 学习游戏的速度非常快！它在100个episode内就达到了满分（21分）！RainbowIQN 的思路大致受到 W. Dabney 等人 的启发。

更多详情请参阅 W&B 日志。（性能基于 commit 4248057 测量）

带有 ResNet 的 RainbowIQN 的表现和学习速度与 RainbowIQN 基本一致。此外，我们还确认 R2D1（带 Dueling 和 PER） 在 Pong 环境中也能很好地收敛，尽管其收敛速度不如 RainbowIQN 快（以更新步数衡量）。

虽然由于计算资源限制，我们只能用 4 个工作进程测试 Ape-X DQN（带 Dueling），但我们观察到其执行更新步骤的速度显著加快（批次大小为 512）。Ape-X DQN 大约需要 2 小时就能学会 Pong 游戏，而串行的 Dueling DQN 则需要 4 小时。

更多详情请参阅 W&B 日志。（性能基于 commit 9e897ad 测量）

LunarLander-v2 / LunarLanderContinuous-v2

我们使用这些环境只是为了快速验证每种算法，因此部分实验可能并未展现出最佳性能。

👇 点击下方链接查看图表。

LunarLander-v2：RainbowDQN、RainbowDQfD、R2D1

更多详情请参阅 W&B 日志。（性能基于 commit 9e897ad 测量）

LunarLander-v2：ACER、RainbowDQN、R2D1

更多详情请参阅 W&B 日志。（性能基于 commit 82fae77 测量）

LunarLanderContinuous-v2：A2C、PPO、DDPG、TD3、SAC

更多详情请参阅 W&B 日志。（性能基于 commit 9e897ad 测量）

LunarLanderContinuous-v2：DDPG、DDPGfD、BC-DDPG

更多详情请参阅 W&B 日志。（性能基于 commit 9e897ad 测量）

LunarLanderContinuous-v2：SAC、SACfD、BC-SAC

更多详情请参阅 W&B 日志。（性能基于 commit 9e897ad 测量）

LunarLanderContinuous-v2：PPO、SAC、GAIL

更多详情请参阅 W&B 日志。（性能基于 commit 9e897ad 测量）

Reacher-v2

我们在 Reacher-v2（Mujoco）上复现了 DDPG、TD3 和 SAC 的性能，它们的得分大约在 -3.5 到 -4.5 之间。

👇 点击下方链接查看图表。

Reacher-v2：DDPG、TD3、SAC

更多详情请参阅 W&B 日志。

开始使用

前置条件

• 本仓库在 Anaconda 虚拟环境中进行了测试，Python 版本需为 3.6.1 及以上。

  $ conda create -n rl_algorithms python=3.7.9
  $ conda activate rl_algorithms
  

• 为了运行 Mujoco 环境（例如 Reacher-v2），您需要获取 Mujoco 许可证。

安装

首先，克隆仓库。

git clone https://github.com/medipixel/rl_algorithms.git
cd rl_algorithms

对于用户

安装执行代码所需的包。这包括 python setup.py install。只需输入：

make dep

对于开发者

如果您希望修改代码，应配置格式化和 linting 设置。这些设置会在您提交代码时自动运行格式化和 linting。与 make dep 命令不同，它包含 python setup.py develop。只需输入：

make dev

完成 make dev 后，您可以使用以下命令验证代码：

make format  # 用于格式化
make test  # 用于 linting

使用方法

如果存在 configs/env_name/algorithm.yaml 文件，则可以在 env_name 环境上训练或测试 algorithm。（configs/env_name/algorithm.yaml 包含超参数）

python run_env_name.py --cfg-path <config-path>

例如，在 LunarLanderContinuous-v2 上运行软演员-评论家算法：

python run_lunarlander_continuous_v2.py --cfg-path ./configs/lunarlander_continuous_v2/sac.yaml <其他选项>

又如，运行自定义智能体，前提是您已编写了自己的配置文件：configs/env_name/ddpg-custom.yaml。

python run_env_name.py --cfg-path ./configs/lunarlander_continuous_v2/ddpg-custom.yaml

您将看到智能体按照您配置的超参数和模型设置运行。

运行文件的参数

此外，运行算法时还有多种参数设置。要查看运行文件支持的选项，可以使用以下命令：

python <run-file> -h

• --test
  • 启动测试模式（不进行训练）。
• --off-render
  • 关闭渲染。
• --log
  • 启用使用 W&B 的日志记录。
• --seed <int>
  • 设置随机种子。
• --save-period <int>
  • 设置保存模型和优化器参数的周期。
• --max-episode-steps <int>
  • 设置环境的最大步数。若该值小于或等于 0，则使用环境的默认最大步数。
• --episode-num <int>
  • 设置训练的回合数。
• --render-after <int>
  • 在指定回合数后开始渲染。
• --load-from <save-file-path>
  • 在开始时加载已保存的模型和优化器。

使用 Grad-CAM 和 Saliency-map 展示特征图

您可以使用 Grad-CAM（梯度加权类激活映射） 和 Saliency map（显著性图） 展示训练好的智能体提取的特征图。

Grad-CAM 是一种利用梯度信号结合特征图的方法，能够生成图像中重要区域的粗略定位图。您可以通过添加 Grad-CAM 配置并在运行时添加 --grad-cam 标志来使用它。例如：

python run_env_name.py --cfg-path <config-path> --test --grad-cam

结果将如下所示：

您也可以以类似的方式使用 Saliency-map，只需添加 --saliency-map 标志即可。Saliency-map 需要通过 --load-from 标志加载训练好的权重。

python run_env_name.py --cfg-path <config-path> --load-from <save-file-path> --test --saliency-map

显著性图将被存储在 data/saliency_map 目录下。

Grad-CAM 和 Saliency-map 仅适用于使用卷积层的智能体，例如 Pong 环境下的 DQN。您可以查看所有已配置卷积层的特征图。

使用策略蒸馏

关于策略蒸馏的使用说明，请参阅 rl_algorithms/distillation/README.md。

使用 W&B 进行日志记录

我们使用 W&B 来记录网络参数等信息。在满足要求并完成安装后，请按照以下步骤进行日志记录：

0. 创建一个 wandb 账户
1. 在设置中找到您的 API 密钥，并在终端登录 wandb：$ wandb login API_KEY
2. 初始化 wandb：$ wandb init

更多详细信息，请参阅 W&B 教程。

类图

类图见 #135。

❗此内容不会频繁更新。

引用本项目

若要在出版物中引用本仓库，请使用以下格式：

@misc{rl_algorithms,
  author = {Kim, Kyunghwan and Lee, Chaehyuk and Jeong, Euijin and Han, Jiseong and Kim, Minseop and Yoon, Chris and Kim, Mincheol and Park, Jinwoo},
  title = {Medipixel RL algorithms},
  year = {2020},
  publisher = {Github},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/medipixel/rl_algorithms}},
}

参考文献

0. T. P. Lillicrap 等人，“深度强化学习中的连续控制”。arXiv 预印本 arXiv:1509.02971，2015 年。
1. J. Schulman 等人，“近端策略优化算法”。arXiv 预印本 arXiv:1707.06347，2017 年。
2. S. Fujimoto 等人，“解决演员-评论家方法中的函数逼近误差”。arXiv 预印本 arXiv:1802.09477，2018 年。
3. T. Haarnoja 等人，“软演员-评论家：基于随机演员的离策略最大熵深度强化学习”。arXiv 预印本 arXiv:1801.01290，2018 年。
4. T. Haarnoja 等人，“软演员-评论家算法及其应用”。arXiv 预印本 arXiv:1812.05905，2018 年。
5. T. Schaul 等人，“优先经验回放”。arXiv 预印本 arXiv:1511.05952，2015 年。
6. M. Andrychowicz 等人，“事后经验回放”。arXiv 预印本 arXiv:1707.01495，2017 年。
7. A. Nair 等人，“利用示范克服强化学习中的探索问题”。arXiv 预印本 arXiv:1709.10089，2017 年。
8. M. Vecerik 等人，“利用示范在稀疏奖励的机器人任务上进行深度强化学习”。arXiv 预印本 arXiv:1707.08817，2017 年。
9. V. Mnih 等人，“通过深度强化学习实现人类水平控制”。Nature，518(7540):529–533，2015 年。
10. van Hasselt 等人，“采用双 Q 学习的深度强化学习”。arXiv 预印本 arXiv:1509.06461，2015 年。
11. Z. Wang 等人，“用于深度强化学习的决斗网络架构”。arXiv 预印本 arXiv:1511.06581，2015 年。
12. T. Hester 等人，“基于示范的深度 Q 学习”。arXiv 预印本 arXiv:1704.03732，2017 年。
13. M. G. Bellemare 等人，“强化学习的分布视角”。arXiv 预印本 arXiv:1707.06887，2017 年。
14. M. Fortunato 等人，“用于探索的噪声网络”。arXiv 预印本 arXiv:1706.10295，2017 年。
15. M. Hessel 等人，“彩虹：结合深度强化学习的各项改进”。arXiv 预印本 arXiv:1710.02298，2017 年。
16. W. Dabney 等人，“用于分布强化学习的隐式分位数网络”。arXiv 预印本 arXiv:1806.06923，2018 年。
17. Ramprasaath R. Selvaraju 等人，“Grad-CAM：通过基于梯度的定位从深度网络获得可视化解释”。arXiv 预印本 arXiv:1610.02391，2016 年。
18. Kaiming He 等人，“用于图像识别的深度残差学习”。arXiv 预印本 arXiv:1512.03385，2015 年。
19. Steven Kapturowski 等人，“分布式强化学习中的循环经验回放”。国际学习表征会议 https://openreview.net/forum?id=r1lyTjAqYX，2019 年。
20. Horgan 等人，“分布式优先经验回放”。国际学习表征会议，2018 年。
21. Simonyan 等人，“深入卷积网络：可视化图像分类模型和显著性图”，2013 年。
22. Ho 等人，“生成对抗模仿学习”，2016 年。
23. Wang, Ziyu 等人，“具有经验回放的高效演员-评论家”，2016 年。

rl_algorithms 快速上手指南

rl_algorithms 是一个由 Medipixel 维护的强化学习算法库，包含了 A2C、PPO、SAC、Rainbow DQN 等多种主流算法的实现，代码结构清晰，适合研究与实验。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 可能需要额外配置才能运行部分 Gym 环境)
• Python 版本: Python 3.6+
• 核心依赖:
  • PyTorch
  • OpenAI Gym
  • NumPy
  • WandB (用于日志记录，可选但推荐)

建议创建一个独立的虚拟环境以避免依赖冲突：

python -m venv rl_env
source rl_env/bin/activate  # Windows 用户使用: rl_env\Scripts\activate

安装步骤

1. 克隆仓库

首先从 GitHub 克隆项目代码：

git clone https://github.com/medipixel/rl_algorithms.git
cd rl_algorithms

2. 安装依赖

安装项目所需的 Python 包。为了获得更快的下载速度，国内用户推荐使用清华或阿里镜像源：

# 使用默认源
pip install -r requirements.txt

# 【推荐】国内用户使用清华镜像源加速安装
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：部分 Atari 游戏环境（如 PongNoFrameskip-v4）需要额外安装 atari-py 和 ROM 文件。如果只需运行连续控制任务（如 LunarLander），可跳过此步。若需完整支持，请确保系统已安装 swig 和 cmake。

基本使用

该库通过配置文件和命令行脚本来运行算法。以下以在 LunarLanderContinuous-v2 环境中训练 SAC (Soft Actor-Critic) 算法为例。

1. 查看可用配置

算法的具体超参数和环境设置在 configs 目录下。例如，SAC 的配置通常位于 configs/lunarlander_continuous_v2/sac.yaml (具体文件名请以实际目录结构为准)。

2. 运行训练

使用提供的训练脚本启动实验。通常命令格式为 python train.py --algo <算法名> --env <环境名> 或加载特定配置文件。

根据该项目的典型用法，运行 SAC 算法的示例命令如下：

# 进入项目根目录后执行
python run.py --algo sac --env LunarLanderContinuous-v2

或者，如果项目指定了具体的配置文件路径（参考 README 中的 configs 结构）：

# 示例：加载特定配置文件运行 (具体脚本名可能为 train.py 或 run.py，请以根目录文件为准)
python train.py --config configs/lunarlander_continuous_v2/sac.yaml

3. 监控训练过程

该项目集成了 Weights & Biases (WandB) 用于可视化训练曲线。

• 运行前请确保已登录 WandB：wandb login
• 训练开始后，终端会输出一个 URL，点击即可在浏览器中实时查看奖励曲线、损失函数等指标。

4. 支持的其他算法

你可以轻松切换算法名称来尝试其他模型，例如：

# 运行 PPO 算法
python run.py --algo ppo --env LunarLanderContinuous-v2

# 运行 Rainbow DQN (适用于 Atari 环境)
python run.py --algo dqn --env PongNoFrameskip-v4

支持的算法列表包括：A2C, DDPG, PPO, TD3, SAC, BC, Rainbow DQN/IQN, R2D1, Ape-X 等。