深度强化学习

1. 概述。

   • 强化学习 [课件] [讲义] [视频（中文）]。

   • 基于价值的学习 [课件] [视频（中文）]。

   • 基于策略的学习 [课件] [视频（中文）]。

   • 策略-价值方法 [课件] [视频（中文）]。

   • AlphaGo [课件] [视频（中文）]。

2. TD学习。

   • Sarsa [课件] [视频（中文）]。

   • Q-learning [课件] [视频（中文）]。

   • 多步TD目标 [课件] [视频（中文）]。

3. 基于价值学习的高级主题。

   • 经验回放（ER）与优先经验回放 [课件] [视频（中文）]。

   • 过估计、目标网络与双DQN [课件] [视频（中文）]。

   • 决斗网络 [课件] [视频（中文）]。

4. 带有基线的策略梯度。

   • 带有基线的策略梯度 [课件] [视频（中文）]。

   • 带有基线的REINFORCE [课件] [视频（中文）]。

   • 优势策略-价值方法（A2C） [课件] [视频（中文）]。

   • REINFORCE与A2C对比 [课件] [视频（中文）]。

5. 基于策略学习的高级主题。

   • 信任区域策略优化（TRPO） [课件] [视频（中文）]。

   • 部分可观测环境与RNN。

6. 处理连续动作空间。

   • 离散控制与连续控制 [课件] [视频（中文）]。

   • 连续控制的确定性策略梯度（DPG） [课件] [视频（中文）]。

   • 连续控制的随机策略梯度 [课件] [视频（中文）]。

7. 多智能体强化学习。

   • 基础知识与挑战 [课件] [视频（中文）]。

   • 集中式与分布式 [课件] [视频（中文）]。

8. 模仿学习。

   • 反向强化学习。

   • 生成对抗模仿学习（GAIL）。

DRL (Deep Reinforcement Learning) 快速上手指南

本指南基于王树森教授的开源深度学习强化学习课程资源整理，旨在帮助开发者快速掌握核心算法理论与代码实现。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐 Ubuntu 18.04+), macOS, 或 Windows (需配置 WSL2)。
• Python 版本：Python 3.6 或更高版本（推荐 3.8+）。
• 核心依赖：
  • PyTorch 或 TensorFlow (根据具体代码分支选择，通常以 PyTorch 为主)
  • NumPy
  • Gym / Gymnasium (强化学习环境)
  • Matplotlib (用于绘图展示)

建议创建一个独立的虚拟环境以避免依赖冲突：

python -m venv drl_env
source drl_env/bin/activate  # Windows 用户请使用: drl_env\Scripts\activate

2. 安装步骤

安装基础依赖

使用 pip 安装必要的 Python 库。国内用户推荐使用清华源或阿里源加速下载：

pip install torch numpy matplotlib gymnasium -i https://pypi.tuna.tsinghua.edu.cn/simple

获取项目代码

克隆仓库到本地：

git clone https://github.com/wangshusen/DRL.git
cd DRL

注意：本项目主要包含算法实现的源代码（.py 文件）、幻灯片（Slides）和讲义。部分章节可能需要根据具体的子文件夹结构运行对应的脚本。

3. 基本使用

本项目按算法模块组织，每个模块包含理论幻灯片、中文讲解视频链接及对应的代码实现。以下是运行一个典型价值基学习（Value-Based Learning）示例的流程。

学习路径概览

项目内容分为八大模块，建议按顺序学习：

1. 基础概述：RL 基础、值函数、策略梯度、Actor-Critic、AlphaGo。
2. TD 学习：Sarsa, Q-learning, Multi-Step TD。
3. DQN 进阶：经验回放、Double DQN、Dueling Networks。
4. 策略梯度：REINFORCE, A2C。
5. 策略进阶：TRPO, RNN 处理部分观测。
6. 连续动作空间：DPG, 随机策略梯度。
7. 多智能体强化学习 (MARL)。
8. 模仿学习：逆强化学习，GAIL。

运行示例：Q-Learning

假设您想运行第 2 章中关于 Q-learning 的示例代码（通常位于 Chapter2 或类似命名的目录下，具体文件名请参考仓库内实际结构）：

1. 进入对应章节目录（以实际目录结构为准，此处为示例路径）：

   cd Chapter2_TD_Learning
   

2. 运行 Q-learning 训练脚本：

   python q_learning.py
   

3. 运行后，程序通常会初始化一个 Gym 环境（如 CartPole-v1），进行训练并输出奖励曲线或展示训练后的代理行为。

结合理论学习

在运行代码的同时，强烈建议配合官方提供的中文视频和幻灯片进行深入理解：

• 查看幻灯片：直接打开 Slides/2_TD_2.pdf 阅读 Q-learning 原理。
• 观看视频：访问 Q-learning 中文讲解视频 跟随作者思路。

运行其他算法

对于更复杂的算法（如 DQN, A2C, TRPO），操作逻辑相同：

1. 定位到对应章节文件夹（如 Chapter3_DQN, Chapter4_Policy）。
2. 执行该文件夹下的主训练脚本（通常为 train.py 或以算法命名的 .py 文件）。
3. 观察控制台输出的 Episode Reward 变化，验证模型收敛情况。

---

提示：由于本仓库侧重于教学演示，代码结构清晰但可能未封装为统一的 CLI 工具。请直接阅读各章节下的 .py 源码以了解具体的参数配置和环境设置。