深度强化学习算法

在这里，您可以找到多个专注于深度强化学习方法的项目。
这些项目以矩阵形式呈现：[环境 × 模型]，其中 环境 是需要求解的任务场景，而 模型 则是用于解决该任务的算法或模型。在某些情况下，同一个环境会由多种算法来求解。所有项目均以 Jupyter Notebook 的形式呈现，包含 训练日志。

支持的环境如下：

AntBulletEnv、BipedalWalker、BipedalWalkerHardcore、CarRacing、CartPole、Crawler、HalfCheetahBulletEnv、
HopperBulletEnv、LunarLander、LunarLanderContinuous、Markov决策6×6、Minitaur、Minitaur with Duck、
MountainCar、MountainCarContinuous、Pong、Navigation、Reacher、Snake、Tennis、Waker2DBulletEnv。

其中四个环境（Navigation、Crawler、Reacher、Tennis）是在 Udacity深度强化学习纳米学位课程 的框架下完成的。

• 蒙特卡洛方法
  在蒙特卡洛（MC）方法中，我们通过完整地进行多轮游戏直到结束，记录沿途获得的奖励，然后从终点回溯到起点。重复这一过程足够多次后，我们对每个状态的价值取平均值。

• 时序差分方法与Q-Learning

• 连续空间中的强化学习（深度Q网络）

• 函数逼近与神经网络
  根据通用逼近定理（UAT），只要激活函数的形式满足较为宽松的条件，含有单个隐藏层且节点数有限的前馈式_神经网络_就能够逼近任意连续函数。

• 基于策略的方法、爬山法、模拟退火
  随机重启的_爬山法_在许多情况下表现得非常有效。而_模拟退火_则是一种优秀的概率性优化技术，因为它不会将局部极值误判为全局极值。

• 策略梯度方法、REINFORCE、PPO
  定义一个需要最大化的性能指标 J(θ)，并通过_近似梯度上升_来学习策略参数 θ。
  

• 演员-评论家方法、A3C、A2C、DDPG、TD3、SAC
  与A2C的主要区别在于其异步特性。A3C由多个独立的智能体（网络）组成，各自拥有独立的权重，并并行地与不同副本的环境交互。因此，它们能够在更短的时间内探索更大的状态-动作空间。

• 前瞻型演员或FORK
  基于模型的强化学习会以复杂的方式利用模型，通常依托确定性或随机最优控制理论来优化策略。而FORK仅将_系统网络_作为一个黑箱来预测未来状态，而不将其用作数学模型来进行控制动作的优化。正是由于这一关键区别，任何无模型的演员-评论家算法结合FORK后，仍然保持无模型的特性。

项目、模型和方法

AntBulletEnv，软演员-评论家（SAC）

BipedalWalker，双延迟DDPG（TD3）

BipedalWalker，PPO，向量化环境

BipedalWalker，软演员-评论家（SAC）

BipedalWalker，A2C，向量化环境

CarRacing与PPO，从原始像素学习

CartPole，基于策略的方法，爬山法

CartPole，策略梯度方法，REINFORCE

Cartpole，DQN

Cartpole，双DQN

HalfCheetahBulletEnv，双延迟DDPG（TD3）

HopperBulletEnv，双延迟DDPG（TD3）

HopperBulletEnv，软演员-评论家（SAC）

LunarLander-v2，DQN

LunarLanderContinuous-v2，DDPG

马尔可夫决策过程，蒙特卡洛，6x6网格世界

MinitaurBulletEnv，软演员-评论家（SAC）

MinitaurBulletDuckEnv，软演员-评论家（SAC）

MountainCar，Q-learning

MountainCar，DQN

MountainCarContinuous，双延迟DDPG（TD3）

MountainCarContinuous，PPO，向量化环境

Pong，策略梯度方法，PPO

Pong，策略梯度方法，REINFORCE

Snake，DQN，Pygame

Udacity项目1：导航，DQN，回放缓冲区

Udacity项目2：连续控制-机械臂，DDPG，环境 Reacher（双关节臂）

Udacity项目2：连续控制-爬行者，PPO，environment Crawler（爬行者）

Udacity项目3：协作-竞争-网球，多智能体DDPG，environment Tennis（网球）

Walker2DBulletEnv，双延迟DDPG（TD3）

Walker2DBulletEnv，软演员-评论家（SAC）

使用DQN和双DQN的项目

• Cartpole，DQN
• Cartpole，双DQN
• LunarLander-v2，DQN
• MountainCar，DQN
• 导航，DQN
• Snake，DQN，Pygame

使用PPO的项目

• BipedalWalker，16个环境
• CarRacing，单个环境，从像素学习
• C r a w l e r ，12个环境
• MountainCarContinuous，16个环境
• Pong，8个环境

使用TD3的项目

• BipedalWalker
• HalfCheetahBulletEnv
• HopperBulletEnv
• MountainCarContinuous
• Walker2DBulletEnv

使用软演员-评论家（SAC）的项目

• AntBulletEnv
• BipedalWalker
• HopperBulletEnv
• MinitaurBulletEnv
• MinitaurBulletDuckEnv
• Walker2dBulletEnv

BipedalWalker，不同模型

• BipedalWalker，双延迟DDPG（TD3）
• BipedalWalker，PPO，向量化环境
• BipedalWalker，软演员-评论家（SAC）
• BipedalWalker，A2C，向量化环境

CartPole，不同模型

• CartPole，基于策略的方法，爬山法
• CartPole，策略梯度方法，REINFORCE
• 使用深度Q学习的Cartpole
• 使用双重深度Q学习的Cartpole

更多链接

• 关于_策略梯度方法_，参见1, 2, 3。
• 关于_REINFORCE_，参见1, 2, 3。
• 关于_PPO_，参见1, 2, 3, 4, 5。
• 关于_DDPG_，参见1, 2。
• 关于_演员-评论家方法_和_A3C_，参见1, 2, 3, 4。
• 关于_TD3_，参见1, 2, 3
• 关于_SAC_，参见1, 2, 3, 4, 5
• 关于_A2C_，参见1, 2, 3, 4, 5

我在TowardsDataScience上的文章

• 贝尔曼方程在深度强化学习中是如何工作的？
• 深度Q网络中的两组相互关联的神经网络
• 深度强化学习的三个方面：噪声、过估计和探索
• 软演员-评论家中的熵（第1部分）
• 软演员-评论家中的熵（第2部分）

我在上述项目中开发的视频

• 四种双足行走者步态
• 按训练阶段展示的双足行走者
• 按训练阶段展示的赛车
• 幸运跳跃者
• 火星蚂蚁
• 月球舰队
• 木制蛇
• 穿越国际象棋棋盘
• 正在前进的人工蛇
• 学会行走的长蛇
• 如此迅捷的猎豹
• Minitaur的四个训练阶段
• 四名Pybullet角色在棋盘上的追逐
• 我可以开车，你尽管睡吧——带鸭子的Minitaur

Deep-Reinforcement-Learning-Algorithms 快速上手指南

本仓库汇集了多种深度强化学习（DRL）算法的实现，采用 [环境 x 模型] 的矩阵形式组织项目。每个项目均包含完整的 Jupyter Notebook 代码及训练日志，涵盖从经典的 CartPole 到复杂的 BipedalWalker 等多种环境。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python 版本: 推荐 Python 3.6 - 3.8 (部分旧版 Gym 环境可能对新版 Python 兼容性有限)
• 硬件建议: 虽然部分简单环境可在 CPU 上运行，但推荐使用 NVIDIA GPU 以加速深度学习模型的训练。
• 前置依赖:
  • pip 包管理工具
  • git 版本控制工具
  • Jupyter Notebook (jupyter 或 jupyterlab)

安装步骤

1. 克隆仓库

首先将项目代码克隆到本地：

git clone https://github.com/Rafael1s/Deep-Reinforcement-Learning-Algorithms.git
cd Deep-Reinforcement-Learning-Algorithms

2. 创建虚拟环境 (推荐)

为避免依赖冲突，建议使用 conda 或 venv 创建独立环境：

# 使用 conda
conda create -n drl_env python=3.7
conda activate drl_env

# 或使用 venv
python -m venv drl_env
source drl_env/bin/activate  # Linux/macOS
# drl_env\Scripts\activate   # Windows

3. 安装依赖

进入具体的项目文件夹后，通常会有一个 requirements.txt 文件。由于不同项目（如基于像素的 CarRacing 或基于物理引擎的 BulletEnv）依赖略有不同，建议按需安装。

通用基础依赖安装命令：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install gymnasium pygame matplotlib numpy jupyter

注意：部分特定环境（如 BipedalWalkerHardcore 或 BulletEnv）可能需要额外安装 swig 和 box2d-py。

• Linux: sudo apt-get install swig
• Mac: brew install swig
• Python 包: pip install box2d-py pybullet

如果遇到下载速度慢的问题，可使用国内镜像源：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

本仓库的核心内容是 Jupyter Notebook。每个子文件夹对应一个特定的“环境 + 算法”组合。

1. 选择项目

根据你想尝试的环境和算法，进入对应的目录。例如，想要运行 CartPole 环境的 DQN 算法：

cd Cartpole-Deep-Q-Learning

2. 启动 Jupyter Notebook

在项目目录下启动 Notebook 服务：

jupyter notebook

3. 运行示例

在浏览器打开的界面中，找到对应的 .ipynb 文件（通常命名为 Train_Agent.ipynb 或类似名称）。

• 查看代码: 单元格中包含了环境初始化、模型定义、训练循环等完整逻辑。
• 执行训练: 依次点击单元格运行（Shift+Enter）。
• 观察结果: Notebook 会实时输出训练奖励（Reward）曲线，并在训练结束后展示代理（Agent）在环境中的表现视频或截图。

典型项目结构示例

以 Cartpole-Deep-Q-Learning 为例，其核心逻辑通常如下（伪代码示意，具体请以 Notebook 为准）：

import torch
import gym
from dqn_agent import Agent # 假设的代理类

# 1. 初始化环境
env = gym.make('CartPole-v1')

# 2. 初始化代理
agent = Agent(state_size=4, action_size=2, seed=0)

# 3. 训练循环
scores = []
for episode in range(2000):
    state = env.reset()
    score = 0
    for t in range(1000):
        action = agent.act(state)
        next_state, reward, done, _ = env.step(action)
        agent.step(state, action, reward, next_state, done)
        state = next_state
        score += reward
        if done:
            break
    scores.append(score)
    # 打印平均得分...

常用项目推荐

• 入门首选: Cartpole-Deep-Q-Learning (经典平衡杆问题)
• 连续控制: LunarLanderContinuous-v2-DDPG (登月舱着陆)
• 视觉输入: CarRacing-From-Pixels-PPO (直接从像素学习赛车)
• 多智能体: Project-3_Collaboration_Competition-Tennis-Maddpg (网球双打协作)

运行完 Notebook 后，您可以根据需要修改超参数或网络结构，探索不同算法在相同环境下的表现差异。