0.星标历史

1.依赖项

除非另有说明，本仓库使用以下Python依赖项：

gymnasium==0.29.1
numpy==1.26.1
pytorch==2.1.0

python==3.11.5

2.如何使用我的代码

进入您想要使用的算法文件夹，并运行main.py从头开始训练：

python main.py

更多详细信息，请查看相应算法文件夹中的README.md文件。

3.代码独立链接

• 1.Q-learning
• 2.1双duel DQN
• 2.2Atari游戏上的噪声duel DDQN
• 2.3优先级经验回放(PER) DQN/DDQN
• 2.4分类DQN (C51)
• 2.5噪声网络DQN
• 3.1离散动作空间的近端策略优化(PPO)
• 3.2连续动作空间的近端策略优化(PPO)
• 4.1深度确定性策略梯度(DDPG)
• 4.2延迟双深度确定性策略梯度(TD3)
• 5.1离散动作空间的软演员评论家(SAC)
• 5.2连续动作空间的软演员评论家(SAC)
• 6.演员-共享者-学习者(ASL)

4.深度强化学习推荐资源

4.1 模拟环境：

• gym 和 gymnasium（轻量级且标准的DRL环境；易于入门；速度较慢）：

• Isaac Sim（NVIDIA的物理仿真环境；GPU加速；超快速）：

• Sparrow（轻量级移动机器人模拟器；适合DRL）：

• ROS（流行的综合性机器人物理仿真器；体积大且速度慢）：

• Webots（流行的机器人物理仿真器；比ROS快；但真实性稍逊）：

• Envpool（高速向量化环境）
• 其他热门环境

4.2 书籍：

• 《强化学习：导论》--理查德·S·萨顿
• 《深度学习入门：基于Python的理论与实现》--斋藤康毅

4.3 在线课程：

• RL课程(bilibili)--李宏毅
• RL课程(Youtube)--李宏毅
• UCL的RL课程--戴维·西尔弗
• 动手强化学习--上海交通大学
• DRL课程--王树森

4.4 博客：

• OpenAI Spinning Up
• 策略梯度定理 --苍溪
• 策略梯度算法 --莉莲
• PPO定理
• 近端策略优化的37个实现细节
• 优先级经验回放
• 软演员评论家
• 对强化学习的深入观察 --莉莲
• TD3简介

5. 重要论文

DQN：Mnih V, Kavukcuoglu K, Silver D, 等. 通过深度强化学习实现人类水平的控制[J]. 自然, 2015, 518(7540): 529-533.

Double DQN：Van Hasselt H, Guez A, Silver D. 深度强化学习中的双Q学习[C]//美国人工智能协会人工智能会议论文集. 2016, 30(1).

Duel DQN：Wang, Ziyu, 等. “用于深度强化学习的决斗网络架构”. 国际机器学习大会. PMLR, 2016.

PER：Schaul T, Quan J, Antonoglou I, 等. 优先级经验回放[J]. arXiv预印本 arXiv:1511.05952, 2015.

C51：Bellemare M G, Dabney W, Munos R. 强化学习的分布视角[C]//国际机器学习大会. PMLR, 2017: 449-458.

NoisyNet DQN：Fortunato M, Azar M G, Piot B, 等. 用于探索的噪声网络[J]. arXiv预印本 arXiv:1706.10295, 2017.

PPO：Schulman J, Wolski F, Dhariwal P, 等. 近端策略优化算法[J]. arXiv预印本 arXiv:1707.06347, 2017.

DDPG：Lillicrap T P, Hunt J J, Pritzel A, 等. 基于深度强化学习的连续控制[J]. arXiv预印本 arXiv:1509.02971, 2015.

TD3：Fujimoto S, Hoof H, Meger D. 解决演员-评论家方法中的函数逼近误差[C]//国际机器学习大会. PMLR, 2018: 1587-1596.

SAC：Haarnoja T, Zhou A, Abbeel P, 等. 软演员-评论家：具有随机演员的离策略最大熵深度强化学习[C]//国际机器学习大会. PMLR, 2018: 1861-1870.

ASL：通过部分解耦的强化学习和向量化多样性，在一小时内训练一个真实世界的局部路径规划器

ColorDynamic：适用于非结构化和动态环境的可泛化、可扩展、实时、端到端局部规划器

6. 引用

@misc{DRL-Pytorch,
  author = {Jinghao Xin},
  title = {DRL-Pytorch},
  year = {2022},
  publisher = {GitHub},
  journal = {GitHub Repository},
  howpublished = {\url{https://github.com/XinJingHao/DRL-Pytorch}},
}

7. 我的代码训练曲线：

Q-learning：

Duel Double DQN：

CartPole	LunarLander

Atari游戏上的噪声Duel DDQN：

Pong	Enduro

优先级DQN/DDQN：

CartPole	LunarLander

分类DQN：

CartPole	LunarLander

NoisyNet DQN：

CartPole	LunarLander

PPO离散版：

PPO连续版：

DDPG：

Pendulum	LunarLander连续版

TD3：

SAC连续版：

SAC离散版：

演员-分享者-学习者（ASL）：

DRL-Pytorch 快速上手指南

DRL-Pytorch 是一个干净、健壮且统一的流行深度强化学习（DRL）算法 PyTorch 实现库，涵盖了从 Q-learning 到 SAC、PPO 等多种主流算法。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python 版本: 推荐 3.11.5 (兼容 3.8+)
• 核心依赖:
  • pytorch == 2.1.0
  • gymnasium == 0.29.1
  • numpy == 1.26.1

提示：国内用户建议使用清华源或阿里源加速 Python 包的安装。

2. 安装步骤

第一步：克隆项目

首先将代码仓库克隆到本地：

git clone https://github.com/XinJingHao/DRL-Pytorch.git
cd DRL-Pytorch

第二步：安装依赖

您可以直接通过 pip 安装所需依赖。为了获得更快的下载速度，推荐使用国内镜像源：

# 使用清华源安装依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

如果项目中没有 requirements.txt 文件，请手动安装核心库：

pip install gymnasium==0.29.1 numpy==1.26.1 torch==2.1.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

该项目的每个算法都存放在独立的文件夹中。使用流程非常统一：进入目标算法目录，直接运行 main.py 即可从头开始训练。

示例：训练 Duel Double DQN

假设您想训练 Duel Double DQN 算法：

1. 进入算法目录：

   cd Duel-Double-DQN-Pytorch
   

   (注：具体文件夹名称请参考项目根目录下的算法列表，如 Q-learning, PPO-Discrete-Pytorch 等)

2. 启动训练：

   python main.py
   

运行后，程序将自动初始化环境（默认为 Gymnasium 环境），并开始训练模型。训练过程中的日志和模型权重通常会保存在当前目录下的特定文件夹中（如 models 或 results）。

其他算法快速入口

项目支持多种算法，只需切换目录即可使用：

• Q-learning: cd Q-learning -> python main.py
• PPO (离散动作): cd PPO-Discrete-Pytorch -> python main.py
• SAC (连续动作): cd SAC-Continuous-Pytorch -> python main.py
• TD3: cd TD3-Pytorch -> python main.py

注意：每个算法文件夹内通常包含独立的 README.md，如需修改超参数或更换环境，请查阅对应文件夹内的说明文档。