DQN冒险：从零到最先进

这是一份易于跟随的分步深度Q学习教程，代码简洁易读。

深度强化学习社区对DQN算法进行了多项独立改进。本教程将按照以下顺序介绍DQN算法的最新扩展：

1. 使用深度强化学习玩Atari游戏 [arxiv] [代码]
2. 带有双重Q学习的深度强化学习 [arxiv] [代码]
3. 用于深度强化学习的对决网络架构 [arxiv] [代码]
4. 带优先级的经验回放 [arxiv] [代码]
5. 用于探索的噪声网络 [arxiv] [代码]
6. 强化学习的分布视角 [arxiv] [代码]
7. 彩虹：结合深度强化学习中的各项改进 [arxiv] [代码]
8. 基于分位数回归的分布强化学习 [arxiv] [代码]
9. 分层深度强化学习：整合时间抽象与内在动机 [arxiv] [代码]
10. 神经情景控制 [arxiv] [代码]

环境

首先，我建议使用小型测试问题来快速运行实验。之后，您可以继续在具有较大观测空间的环境中进行尝试。

• CartPole — 经典的强化学习环境，可以在单个CPU上解决。
• Atari Pong — 最简单的Atari环境，仅需约100万帧即可收敛，而其他Atari游戏则需要超过4000万帧。
• 其他Atari游戏 — 调整超参数，目标网络更新频率设为1万次，经验回放缓冲区大小设为100万。

如果您卡住了…

• 请记住，除非您在一个算法上花费了超过一周的时间，否则不算真正卡住。如果您不具备所有必要的数学和计算机科学知识，这也是完全正常的。例如，您需要掌握测度论和统计学的基础知识，尤其是瓦瑟斯坦距离和分位数回归。统计推断方面：重要性采样。数据结构方面：线段树和K维树。
• 仔细阅读论文，试着理解作者要解决的问题是什么。先把握方法的高层次思路，再阅读代码（跳过证明部分），最后再深入研究数学细节和证明。

最佳强化学习课程

• 戴维·西尔弗的课程 链接
• 伯克利深度强化学习课程 链接
• 实用强化学习课程 链接

RL-Adventure 快速上手指南

RL-Adventure 是一个循序渐进的深度学习强化学习（Deep Q-Learning）教程项目，涵盖了从基础 DQN 到 Rainbow、分层强化学习等前沿算法。本项目以清晰易读的代码和 Jupyter Notebook 形式，引导开发者从零掌握状态-of-the-art (SOTA) 的 DQN 改进方案。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows (推荐 Linux)
• Python 版本: Python 3.6+
• 核心依赖:
  • PyTorch (深度学习框架)
  • Gym (强化学习环境库)
  • Jupyter Notebook (用于运行教程代码)
  • NumPy, Matplotlib 等科学计算库

前置知识建议： 虽然代码易于跟随，但深入理解部分高级算法（如 Categorical DQN, Quantile Regression）可能需要基础的测度论、统计学（如 Wasserstein 距离、分位数回归）以及数据结构（如线段树、K-d 树）知识。

安装步骤

1. 克隆项目

首先，将仓库克隆到本地：

git clone https://github.com/higgsfield/RL-Adventure.git
cd RL-Adventure

2. 创建虚拟环境并安装依赖

推荐使用 conda 或 venv 创建隔离环境。以下是使用 pip 安装必要库的命令。为了加速下载，国内用户可使用清华或阿里镜像源。

# 创建虚拟环境 (可选)
python -m venv rl-env
source rl-env/bin/activate  # Linux/macOS
# rl-env\Scripts\activate   # Windows

# 安装核心依赖 (使用清华镜像加速)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install gymnasium[atari] accept-rom-license jupyter notebook numpy matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple

注意: 原项目基于旧版 gym，但新版 gymnasium 通常兼容且维护更好。如果遇到接口不兼容问题，可尝试安装特定版本的 gym: pip install gym==0.21.0 -i https://pypi.tuna.tsinghua.edu.cn/simple。

3. 验证环境

确保 Atari ROMs 已正确安装（首次运行会自动下载）：

python -c "import gymnasium; env = gymnasium.make('PongNoFrameskip-v4'); print('Environment ready!')"

基本使用

本项目主要通过一系列 Jupyter Notebook 文件进行教学，每个文件对应一种 DQN 的改进算法。

1. 启动 Jupyter Notebook

在项目根目录下运行：

jupyter notebook

浏览器将自动打开，显示项目文件列表。

2. 运行第一个示例：基础 DQN

按照教程顺序，从最基础的算法开始：

1. 点击打开 1.dqn.ipynb。
2. 该 Notebook 包含了完整的代码实现、理论解释和训练循环。
3. 依次执行单元格（Cell），代码将自动在 CartPole 或 Atari Pong 环境中进行训练。

代码片段示例 (来自 1.dqn.ipynb 的核心逻辑):

# 初始化环境
env = gym.make('CartPole-v1')

# 定义简单的 DQN 网络结构
class DQN(nn.Module):
    def __init__(self, state_dim, action_dim):
        super(DQN, self).__init__()
        self.fc1 = nn.Linear(state_dim, 64)
        self.fc2 = nn.Linear(64, action_dim)
        
    def forward(self, x):
        x = F.relu(self.fc1(x))
        return self.fc2(x)

# 实例化模型并开始训练循环
model = DQN(state_dim=4, action_dim=2)
optimizer = optim.Adam(model.parameters(), lr=0.001)
# ... (后续为经验回放与训练步骤)

3. 进阶实验

完成基础篇后，您可以按顺序探索更高级的算法：

• Double DQN: 2.double dqn.ipynb
• Dueling DQN: 3.dueling dqn.ipynb
• Prioritized Experience Replay: 4.prioritized dqn.ipynb
• Rainbow DQN: 7.rainbow dqn.ipynb (集大成者)

提示: 对于 Atari 游戏（如 Pong），收敛可能需要约 100 万帧。建议在拥有 GPU 的环境中运行，或者先使用 CartPole 进行快速测试。