DRLib：一个简洁的深度强化学习库，集成了几乎所有基于离策略的强化学习算法，并支持HER和PER。

一个简洁的深度强化学习库，集成了几乎所有基于离策略的强化学习算法，并支持HER和PER。该库基于https://github.com/openai/spinningup中的代码编写，既可以用TensorFlow实现，也可以用PyTorch实现。 与Spinning Up相比，为了便于使用，删除了多进程和实验网格封装部分。此外，我们库中的代码在PyCharm中调试起来非常方便~

欢迎大家关注我的最新工作D2SR，基于切换的密集转稀疏的高效奖励函数设计方法：

核心代码已经开源在本仓库：D2SSR

对应的中文版论文也在这个仓库中：D2SR: Transferring Dense Reward Function to Sparse by Network Resetting

欢迎大家关注我的最新工作RHER，简洁高效的HER变体： https://github.com/kaixindelele/RHER

最新的、全面的实验结果：

4种tf，3种torch的HER算法在三个操作任务的测试结果。

画图脚本示例：

python spinup_utils/plot.py HER_DRLib_mpi1/2 --select Push

#如果是Windows建议用绝对路径，否则找不到文件

保存一个训练好的模型：net/replay_buffer/norm!

python train_torch_mpi_norm_save.py

重载测试一个训练好的模型：net/replay_buffer/norm!

python train_torch_mpi_norm_load.py

项目特点：

1. tf1和pytorch两个版本的算法，前者快，后者新，任君选择；

2. 在spinup的基础上，封装了DDPG, TD3, SAC等主流强化算法，相比原来的函数形式的封装，调用更方便，且加了pytorch的GPU调用；

3. 添加了HER和PER功能，非常适合做机器人相关任务的同学们；

4. 实现了最简单的并行自动调参（ExperimentGrid）和多进程（MPI_fork-实现了，没有完全实现）部分，适合新手在pycharm中debug，原版的直接调试经常会报错~

教程链接：【Spinning Up】四、python同时启动多个不同参数脚本

多进程教程：没写~

我终于把tf版本-基于mpi的多进程调好了~

torch版本的没有测试完毕，有报错！

如果大家的CPU核心足够多的情况下，试试mpi多进程，性能会提升比较大的。

目前测试的结果是，tf-DDPG的性能最佳，TD3的结果竟然会比ddpg的差，简直了~

5. 最后，全网最详细的环境配置教程！亲测两个小时内，从零配置完全套环境！

6. 求三连，不行的话，求个star！

1. Installation

1. 克隆仓库并进入目录：

   git clone https://github.com/kaixindelele/DRLib.git
   cd DRLib
   

2. 创建anaconda DRLib_env环境：

   conda create -n DRLib_env python=3.6.9
   source activate DRLib_env
   

3. 安装pip_requirement.txt中的依赖：

   pip install -r pip_requirement.txt
   

   如果安装mpi4py失败，可以尝试以下命令（只有这一种方式能成功安装）：

   conda install mpi4py
   

   或者直接参考下面的链接： ubuntu-windows-install-mpi4py-亲测好使！

   conda install seaborn==0.8.1 scipy -y
   

4. 安装tensorflow-gpu=1.14.0

   conda install tensorflow-gpu==1.14.0 # 如果你有一块兼容CUDA的显卡和正确的驱动程序
   

5. 安装PyTorch和 torchvision：

   # CUDA 9.2
   conda install pytorch==1.6.0 torchvision==0.7.0 cudatoolkit=9.2 -c pytorch
   
   # CUDA 10.1
   conda install pytorch==1.6.0 torchvision==0.7.0 cudatoolkit=10.1 -c pytorch
   
   # CUDA 10.2
   conda install pytorch==1.6.0 torchvision==0.7.0 cudatoolkit=10.2 -c pytorch
   
   # 仅CPU
   conda install pytorch==1.6.0 torchvision==0.7.0 cpuonly -c pytorch
   
   # 或者使用pip安装
   pip --default-timeout=100 install torch -i  http://pypi.douban.com/simple  --trusted-host pypi.douban.com
   [pip install torch 在线安装!非离线!](https://blog.csdn.net/hehedadaq/article/details/111480313)
   

6. 安装mujoco和 mujoco-py：

   参考：https://blog.csdn.net/hehedadaq/article/details/109012048
   

7. 安装gym[all]：

   参考：https://blog.csdn.net/hehedadaq/article/details/110423154
   

2. Training models

• 示例1. SAC-tf1-HER-PER with FetchPush-v1:

1. 修改arguments.py中的参数，选择环境、强化学习算法，是否使用PER和HER、GPU编号等。

2. 使用train_tf.py或train_torch.py运行：

   python train_tf.py
   

3. 实验结果发布到本地：https://blog.csdn.net/hehedadaq/article/details/114045615

4. 绘制结果图表：https://blog.csdn.net/hehedadaq/article/details/114044217

超强版强化学习画图脚本！

相比于原始的plot.py文件，增加了如下的功能

1.可以直接在pycharm或者vscode执行，也可以用命令行传参；

2.按exp_name排序，而不是按时间排序；

3.固定好每个exp_name的颜色；

4.可以调节曲线的线宽，便于观察；

5.保存图片到本地，便于远程ssh画图~

6.自动显示全屏

7.图片自适应

8.针对颜色不敏感的人群,可以在每条legend上注明性能值,和性能序号

9.对图例legend根据性能从高到低排序，便于分析比较

10.提供clip_xaxis值，对训练程度进行统一截断，图看起来更整洁。 seaborn版本0.8.1

3. 文件树及介绍：

.
├── algos
│   ├── pytorch
│   │   ├── ddpg_sp
│   │   │   ├── core.py-------------直接从spinup复制而来，并对部分细节进行了修改。
│   │   │   ├── ddpg_per_her.py-----继承自offPolicy.baseOffPolicy，用户可选择是否使用HER和PER。
│   │   │   ├── ddpg.py-------------直接从spinup复制而来。
│   │   │   ├── __init__.py
│   │   ├── __init__.py
│   │   ├── offPolicy
│   │   │   ├── baseOffPolicy.py----基类，包含DDPG/TD3/SAC等算法。
│   │   │   ├── norm.py-------------状态归一化器，在训练过程中不断更新均值和标准差。
│   │   ├── sac_auto
│   │   ├── sac_sp
│   │   │   ├── core.py-------------与之前类似。
│   │   │   ├── __init__.py
│   │   │   ├── sac_per_her.py
│   │   │   └── sac.py
│   │   └── td3_sp
│   │       ├── core.py
│   │       ├── __init__.py
│   │       ├── td3_gpu_class.py----基于spinup修改的TD3类。
│   │       └── td3_per_her.py
│   └── tf1
│       ├── ddpg_sp
│       │   ├── core.py
│       │   ├── DDPG_class.py------------直接从spinup复制而来，将算法由函数形式封装为类。
│       │   ├── DDPG_per_class.py--------添加了PER机制。
│       │   ├── DDPG_per_her_class.py----不继承offPolicy基类的DDPG-HER-PER实现。
│       │   ├── DDPG_per_her.py----------同时加入HER和PER。
│       │   ├── DDPG_sp.py---------------直接从spinup复制而来，并对部分细节进行了调整。
│       │   ├── __init__.py
│       ├── __init__.py
│       ├── offPolicy
│       │   ├── baseOffPolicy.py
│       │   ├── core.py
│       │   ├── norm.py
│       ├── sac_auto--------------------自动调节alpha参数的SAC版本。
│       │   ├── core.py
│       │   ├── __init__.py
│       │   ├── sac_auto_class.py
│       │   ├── sac_auto_per_class.py
│       │   └── sac_auto_per_her.py
│       ├── sac_sp--------------------alpha=0.2的SAC版本。
│       │   ├── core.py
│       │   ├── __init__.py
│       │   ├── SAC_class.py
│       │   ├── SAC_per_class.py
│       │   ├── SAC_per_her.py
│       │   ├── SAC_sp.py
│       └── td3_sp
│           ├── core.py
│           ├── __init__.py
│           ├── TD3_class.py
│           ├── TD3_per_class.py
│           ├── TD3_per_her_class.py
│           ├── TD3_per_her.py
│           ├── TD3_sp.py
├── arguments.py-----------------------超参数脚本
├── drlib_tree.txt
├── HER_DRLib_exps---------------------演示实验日志
│   ├── 2021-02-21_HER_TD3_FetchPush-v1
│   │   ├── 2021-02-21_18-26-08-HER_TD3_FetchPush-v1_s123
│   │   │   ├── checkpoint
│   │   │   ├── config.json
│   │   │   ├── params.data-00000-of-00001
│   │   │   ├── params.index
│   │   │   ├── progress.txt
│   │   │   └── Script_backup.py
├── memory
│   ├── __init__.py
│   ├── per_memory.py--------------mofan版本
│   ├── simple_memory.py-----------mofan版本
│   ├── sp_memory.py---------------spinningup tf1版本，简单的均匀缓冲区记忆库类。
│   ├── sp_memory_torch.py---------spinningup torch-gpu版本，简单的均匀缓冲区记忆库类。
│   ├── sp_per_memory.py-----------spinningup tf1版本，PER缓冲区记忆库类。
│   └── sp_per_memory_torch.py
├── pip_requirement.txt------------pip安装依赖，不包括mujoco-py、gym、tf、torch。
├── spinup_utils-------------------来自spinningup的一些工具，用于结果绘图、日志记录等。
│   ├── delete_no_checkpoint.py----删除未完成实验的文件夹。
│   ├── __init__.py
│   ├── logx.py
│   ├── mpi_tf.py
│   ├── mpi_tools.py
│   ├── plot.py
│   ├── print_logger.py------------将终端输出的信息保存到本地日志文件。
│   ├── run_utils.py---------------目前尚未使用，还需学习多进程技术。
│   ├── serialization_utils.py
│   └── user_config.py
├── train_tf1.py--------------tf1版本的主程序
└── train_torch.py------------torch版本的主程序

4. HER介绍：

HER的实现基于以下代码：

1. 可以收敛，但代码难度较高。https://github.com/openai/baselines

2. 也可以收敛，但仅限于DDPG-torch-cpu。https://github.com/sush1996/DDPG_Fetch

3. 无法收敛，但代码较为简单。https://github.com/Stable-Baselines-Team/stable-baselines

• 论文：https://arxiv.org/pdf/1709.10089.pdf

4.1. 我的理解与视频：

用“种瓜得豆”来解释HER： 第一步在春天（state），种瓜（origin-goal）得豆，通过HER，把目标换成种豆，按照之前的操作，可以学会在春天种豆得豆； 第二步种米得瓜，学会种瓜得瓜； 即只要是智能体中间经历过的状态，都可以当做它的目标，进行学会。 即如果智能体能遍历所有的状态空间，那么它就可以学会达到整个状态空间。

论文解析视频：https://www.bilibili.com/video/BV1BA411x7Wm

代码解析文档：https://github.com/kaixindelele/DRLib/blob/main/algos/pytorch/offPolicy/HER_introduction.md

4.2. HER的关键技巧：

1. 状态归一化：使FetchPush-v1任务的成功率从0提升至1。
2. Q值裁剪：使FetchPickAndPlace-v1任务的成功率从0.5提升至0.7。
3. 动作L2正则化：对Push任务效果不明显。

4.3. HER-DDPG在FetchPush-v1上的表现：

5. PER介绍：

参考：off-policy全系列（DDPG-TD3-SAC-SAC-auto）+优先经验回放PER-代码-实验结果分析

6. 总结：

这个库我封装了好久，整个代码库简洁、方便、功能比较齐全，在环境配置这块几乎是手把手教程，希望能给大家节省一些时间~

从零开始配置，不到两小时，从下载代码库，到配置环境，到在自己的环境中跑通，全流程非常流畅。

6.1. 下一步计划添加的功能：

1. PPO的封装；---PPO不封装了！机械臂操作不用PPO~

2. DQN的封装；---这个好像用的人也不多，放弃了~

3. 多进程的封装；

4. ExperimentGrid的封装；

7. 联系方式：

深度强化学习-DRL：799378128

欢迎关注知乎账号：未入门的炼丹学徒

CSDN账号：https://blog.csdn.net/hehedadaq

星标历史

欢迎引用！

@inproceedings{luo2023d2sr, title={D2SR: Transferring dense reward function to sparse by network resetting}, author={Luo, Yongle and Wang, Yuxin and Dong, Kun and Liu, Yu and Sun, Zhiyong and Zhang, Qiang and Song, Bo}, booktitle={2023 IEEE International Conference on Real-time Computing and Robotics (RCAR)}, pages={906--911}, year={2023}, organization={IEEE} }

DRLib 快速上手指南

DRLib 是一个简洁的深度强化学习库，集成了几乎所有主流的 Off-policy RL 算法（DDPG, TD3, SAC），并原生支持 HER (Hindsight Experience Replay) 和 PER (Prioritized Experience Replay)。该库基于 OpenAI Spinning Up 重构，提供 TensorFlow 1.14 和 PyTorch 两个版本，专为机器人控制任务优化，且对 PyCharm 调试友好。

1. 环境准备

• 操作系统: Linux (推荐) 或 Windows
• Python 版本: 3.6.9 (必须)
• 深度学习框架:
  • TensorFlow-gpu == 1.14.0
  • PyTorch == 1.6.0 (支持 CUDA 9.2/10.1/10.2 或 CPU)
• 仿真环境: MuJoCo, Gym
• 并行计算: MPI (用于多进程加速)

2. 安装步骤

请严格按照以下顺序执行，建议总耗时控制在 2 小时内。

2.1 克隆项目

git clone https://github.com/kaixindelele/DRLib.git
cd DRLib

2.2 创建 Conda 环境

conda create -n DRLib_env python=3.6.9
conda activate DRLib_env

2.3 安装基础依赖

首先尝试通过 pip 安装：

pip install -r pip_requirement.txt

注意：如果 mpi4py 安装失败（常见情况），请使用 conda 强制安装（这是最稳妥的方式）：

conda install mpi4py
conda install seaborn==0.8.1 scipy -y

若仍遇到问题，可参考作者提供的详细教程：ubuntu-windows-install-mpi4py

2.4 安装深度学习框架

选项 A: 安装 TensorFlow (GPU 版)

conda install tensorflow-gpu==1.14.0

选项 B: 安装 PyTorch (根据你的 CUDA 版本选择其一)

# CUDA 9.2
conda install pytorch==1.6.0 torchvision==0.7.0 cudatoolkit=9.2 -c pytorch

# CUDA 10.1
conda install pytorch==1.6.0 torchvision==0.7.0 cudatoolkit=10.1 -c pytorch

# CUDA 10.2
conda install pytorch==1.6.0 torchvision==0.7.0 cudatoolkit=10.2 -c pytorch

# 仅 CPU 版本
conda install pytorch==1.6.0 torchvision==0.7.0 cpuonly -c pytorch

国内加速提示：如果上述命令下载缓慢，可使用豆瓣源安装 PyTorch：

pip --default-timeout=100 install torch -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

2.5 安装仿真环境 (MuJoCo & Gym)

由于 MuJoCo 授权和环境配置较为复杂，请直接参考作者提供的图文教程进行安装：

• MuJoCo 安装: 参考链接
• Gym 安装: 参考链接

3. 基本使用

3.1 配置参数

在运行训练前，需修改 arguments.py 文件，设置以下内容：

• 环境名称 (env)
• 强化学习算法 (RL-algorithm, 如 DDPG, TD3, SAC)
• 是否启用 HER 和 PER
• GPU ID 等其他超参数

3.2 开始训练

根据选择的框架运行对应的训练脚本。

TensorFlow 版本示例 (SAC + HER + PER):

python train_tf.py

PyTorch 版本示例:

python train_torch.py

3.3 模型保存与加载

DRLib 支持自动保存网络结构、回放缓冲区及归一化参数。

• 保存模型:

  python train_torch_mpi_norm_save.py
  

• 加载并测试模型:

  python train_torch_mpi_norm_load.py
  

3.4 结果可视化

使用增强的绘图脚本查看实验结果（支持自动排序、固定颜色、保存图片等）：

# 语法：python spinup_utils/plot.py <数据目录> --select <任务名称>
python spinup_utils/plot.py HER_DRLib_mpi1/2 --select Push

Windows 用户提示：建议在路径中使用绝对路径，以免找不到文件。