深度强化学习课程

探索神经网络与强化学习的结合。Python & PyTorch 中的算法与示例

你是否听说过 DeepMind 用 AlphaGo Zero 以及 OpenAI 在 Dota 2 中 取得的惊人成果？这一切都离不开深度神经网络和强化学习。你想深入了解它们吗？
这是一个绝佳的机会，让你真正掌握深度强化学习，并将其应用于各种新颖而令人兴奋的项目和应用中。

在这里，你将找到对这些算法的深入介绍。其中包括 Q 学习、深度 Q 学习、PPO、Actor-Critic 等，并使用 Python 和 PyTorch 实现它们。

最终目标是利用这些通用技术，将其应用于各类重要的现实世界问题。 德米斯·哈萨比斯

本仓库包含：

主要来自 DeepMind 和 Berkley YouTube 频道的讲座（及其他内容）。

在 PyTorch 中实现的算法（如 DQN、A2C 和 PPO），并在 OpenAI Gym 的 RoboSchool 和 Atari 游戏上进行测试。

请持续关注并关注我： 和 #60DaysRLChallenge

现在我们还有一个 Slack 频道。如需邀请，请发送邮件至 andrea.lonza@gmail.com。如果你有任何想法、建议或改进意见，也欢迎随时联系我。

若想学习深度学习、计算机视觉或自然语言处理，可以查看我的 1-Year-ML-Journey

开始之前.. 先决条件

• 基础级别的 Python 和 PyTorch
• 机器学习
• 深度学习基础知识（MLP、CNN 和 RNN）

快速提醒：我的新书已出版！

若想更深入地学习强化学习和深度强化学习，不妨看看我的书 Reinforcement Learning Algorithms with Python！！

目录

1. 强化学习概览
2. 实现 RL 循环及 OpenAI Gym
3. 使用动态规划解决问题
4. Q 学习与 SARSA 的应用
5. 深度 Q 网络
6. 学习随机优化与 DDPG
7. TRPO 和 PPO 的实现
8. DDPG 和 TD3 的应用
9. 基于模型的 RL
10. 使用 DAgger 算法进行模仿学习
11. 理解黑盒优化算法
12. 开发 ESBAS 算法
13. 解决 RL 挑战的实际应用

索引 - 强化学习

• 第 1 周 - 简介
• 第 2 周 - RL 基础
• 第 3 周 - 基于价值的算法 - DQN
• 第 4 周 - 策略梯度算法 - REINFORCE & A2C
• 第 5 周 - 高级策略梯度 - PPO
• 第 6 周 - 进化策略与遗传算法 - ES
• 第 7 周 - 基于模型的强化学习 - MB-MF
• 第 8 周 - 进阶概念与自选项目
• 最后 4 天 - 复习 + 分享
• 最佳资源
• 附加资源

第 1 周 - 简介

• 为什么强化学习是一种如此重要的学习方法 - 简单解释
• 简介及课程概述 - CS294 by Levine, Berkley
• 深度强化学习：从像素控制乒乓球 by Karpathy

其他资源

• :books: 强化学习“圣经”：第 1 章 - Sutton & Barto
• 优秀的入门论文：深度强化学习综述
• 开始编码：从零开始：用 50 行 Python 实现 AI 平衡动作

第 2 周 - RL 基础：MDP、动态规划和无模型控制

不记得过去的人注定要重蹈覆辙 - 乔治·桑塔亚纳

本周，我们将学习强化学习的基本组成部分，从问题的定义开始，一直到用于评估策略或状态质量的函数的估计和优化。

讲座 - 理论

• 马尔可夫决策过程 - 大卫·西尔弗（DeepMind）
  • 马尔可夫过程
  • 马尔可夫决策过程

• 基于动态规划的规划 - 大卫·西尔弗（DeepMind）
  • 策略迭代
  • 值迭代

• 无模型预测 - 大卫·西尔弗（DeepMind）
  • 蒙特卡洛学习
  • 时间差分学习
  • TD(λ)

• 无模型控制 - 大卫·西尔弗（DeepMind）
  • ε-贪婪策略迭代
  • GLIE蒙特卡洛搜索
  • SARSA
  • 重要性采样

本周项目 - Q-learning

应用于FrozenLake的Q-learning - 作为练习，你可以使用SARSA来解决这个游戏，或者自己实现Q-learning。在前一种情况下，只需要进行少量修改。

其他资源

• :books: 强化学习“圣经”：第3章和第4章 - 萨顿与巴托
• :tv: 价值函数简介 - 加州大学伯克利分校深度强化学习课程，谢尔盖·列文主讲

第3周 - 基于值的算法 - DQN

本周我们将学习更高级的概念，并将深度神经网络应用于Q-learning算法。

讲座 - 理论

• 价值函数近似 - 大卫·西尔弗（DeepMind）
  • 可微函数近似器
  • 增量式方法
  • 批量式方法（DQN）

• 高级Q-learning算法 - 谢尔盖·列文（加州大学伯克利分校）
  • 经验回放缓冲区
  • 双重Q-learning
  • 连续动作（NAF、DDPG）
  • 实用技巧

本周项目 - DQN及其变体

应用于Pong的DQN及其一些变体 - 本周的目标是开发一个DQN算法来玩Atari游戏。为了让它更有趣，我开发了DQN的三种扩展：双重Q-learning、多步学习、斗士网络和噪声网络。大家可以尝试这些改进，如果你有信心，还可以实现优先级经验回放、斗士网络或分布强化学习。要了解更多关于这些改进的信息，请阅读相关论文！

论文

必读

• 使用深度强化学习玩Atari游戏 - 2013年
• 通过深度强化学习达到人类水平的控制 - 2015年
• 彩虹：结合深度强化学习中的多项改进 - 2017年

DQN的扩展

• 深度强化学习中的双重Q-learning - 2015年
• 优先级经验回放 - 2015年
• 用于深度强化学习的斗士网络架构 - 2016年
• 用于探索的噪声网络 - 2017年
• 基于分位数回归的分布强化学习 - 2017年

其他资源

• :books: 强化学习“圣经”：第5章和第6章 - 萨顿与巴托
• :tv: 企业中的深度强化学习：弥合游戏与工业之间的鸿沟

第4周 - 策略梯度算法 - REINFORCE & A2C

第4周将介绍策略梯度方法，这是一类直接优化策略的算法。此外，你还将学习演员-评论家算法。这些算法结合了策略梯度（演员）和价值函数（评论家）。

讲座 - 理论

• 策略梯度方法 - 大卫·西尔弗（DeepMind）
  • 有限差分策略梯度
  • 蒙特卡洛策略梯度
  • 演员-评论家策略梯度

• 策略梯度简介 - 谢尔盖·列文（RECAP，可选）
  • 策略梯度（REINFORCE和普通策略梯度）
  • 方差减小

• 演员-评论家 - 谢尔盖·列文（更深入）
  • 演员-评论家
  • 折现因子
  • 演员-评论家算法设计（批处理模式或在线模式）
  • 与状态相关的基线

本周项目 - 普通策略梯度和A2C

应用于CartPole的普通策略梯度和A2C - 本周的练习是实现一种策略梯度方法，或者更复杂的演员-评论家算法。在仓库中你可以找到策略梯度和A2C的实现版本。注意！A2C给我返回了一个奇怪的结果。 如果你觉得实现策略梯度和A2C很简单，可以尝试一下[A3C的异步版本](https://arxiv.org/pdf/1602.01783.pdf）。

论文

• 带有函数逼近的强化学习中的策略梯度方法
• 深度强化学习的异步方法

其他资源

• :books: 强化学习“圣经”：第9章和第10章 - 萨顿 & 巴托
• :books: 直观的强化学习：优势-演员-评论家（A2C）简介
• :books: 异步演员-评论家智能体（A3C）

第5周 - 高级策略梯度 - PPO

本周将介绍高级策略梯度方法，这些方法能够提高“普通”策略梯度方法的稳定性和收敛性。你将学习并实现PPO，这是一种由OpenAI开发并在OpenAI Five中采用的强化学习算法。

讲座 - 理论

• 高级策略梯度 - 谢尔盖·列维纳（UC伯克利）
  • “普通”策略梯度方法的问题
  • 策略性能边界
  • 单调改进理论
  • 算法：NPO、TRPO、PPO

• 自然策略梯度、TRPO、PPO - 约翰·舒尔曼（伯克利DRL训练营） - （回顾，可选）
  • “普通”策略梯度方法的局限性
  • 自然策略梯度
  • 信任域策略优化，TRPO
  • 近端策略优化，PPO

本周项目 - PPO

应用于BipedalWalker的PPO - 本周你需要实现PPO或TRPO。鉴于PPO相比TRPO更为简单，我建议选择PPO。在Week5项目文件夹中，你可以找到一个学习玩BipedalWalker的PPO实现。此外，该文件夹中还有其他资源，可以帮助你完成项目。祝你玩得开心！

要深入了解PPO，请阅读论文并观看Arxiv Insights的视频。

论文

• 信任域策略优化 - 2015年
• 近端策略优化算法 - 2017年

其他资源

• :books: 为了更好地理解PPO和TRPO：追求（机器人）幸福
• :tv: 深度强化学习的要点
• :books: PPO最佳实践：使用近端策略优化进行训练
• :tv: Arxiv Insights对PPO算法的解释

第6周 - 进化策略与遗传算法 - ES

在过去一年里，进化策略（ES）和遗传算法（GA）已被证明能够达到与强化学习方法相当的效果。它们是无需导数的黑箱算法，虽然需要比强化学习更多的数据来学习，但能够在数千个CPU上扩展。本周我们将探讨这些黑箱算法。

讲座与文章 - 理论

• 进化策略
  • ES简介：进化策略的可视化指南
  • 用于RL的ES：进化稳定策略
  • 无导数方法 - 讲座
  • 进化策略（论文讨论）
• 遗传算法
  • 遗传算法简介——包括示例代码

本周项目 - ES

应用于LunarLander的进化策略 - 本周的项目是实现一个ES或GA。 在Week6文件夹中，你可以找到一篇论文进化策略作为强化学习的可扩展替代方案的基本实现，用于解决LunarLanderContinuous问题。你可以对其进行修改，以应对更复杂的环境，或者加入自己的想法。

论文

• 深度神经进化：遗传算法是训练用于强化学习的深度神经网络的一种有竞争力的替代方案
• 进化策略作为强化学习的可扩展替代方案

其他资源

• :books: 进化优化算法 - 丹·西蒙

第7周 - 基于模型的强化学习 - MB-MF

到目前为止所研究的算法都是无模型的，也就是说，它们只是根据当前状态选择最优动作。这些算法虽然性能很好，但需要大量的训练数据。而基于模型的算法则会学习环境，并根据所学模型规划下一步行动。这类方法比无模型方法更节省样本，但总体表现通常较差。本周你将学习这些方法背后的理论，并实现其中一种最新的算法。

讲座 - 理论

• 基于模型的强化学习，戴维·西尔弗（DeepMind）（精简版）
  • 整合学习与规划
    • 基于模型的强化学习概述
    • 集成架构
    • 基于模拟的搜索
• 基于模型的强化学习，谢尔盖·列文（UC伯克利）（深入版）
  • 从数据中学习动力学系统
    • 基于模型的强化学习概述
    • 全局模型与局部模型
    • 使用局部模型和信任区域进行学习
  • 通过模仿最优控制器来学习策略
    • 利用已学习的模型对策略进行反向传播
    • 引导式策略搜索算法
    • 使用DAgger模仿最优控制
  • 高级模型学习与图像
    • 隐空间中的模型
    • 直接在图像空间中的模型
    • 逆模型

本周项目 - MB-MF

MB-MF应用于RoboschoolAnt - 本周我选择实现这篇论文中描述的基于模型的算法。 我的实现可以在这里找到这里。 注意：我没有像论文中那样在Mujoco上实现，而是使用了RoboSchool，这是一个与OpenAI Gym集成的开源机器人模拟器。

论文

• 想象增强型智能体用于深度强化学习 - 2017年
• 无监督辅助任务的强化学习 - 2016年
• 基于模型的深度强化学习中带有无模型微调的神经网络动力学 - 2018年

其他资源

• :books: 强化学习“圣经”：第8章 - 萨顿 & 巴托
• :books: 世界模型 - 智能体能否在自己的梦境中学习？

第8周 - 高级概念与自选项目

最后一周将围绕强化学习的高级概念以及你自选的项目展开。

讲座 - 理论

• 谢尔盖·列文（伯克利）
  • 推理与控制之间的联系
  • 逆向强化学习
  • 探索（第1部分）
  • 探索（第2部分）与迁移学习
  • 多任务学习与迁移
  • 元学习与并行化
  • 高级模仿学习与未解决的问题
• 戴维·西尔弗（DeepMind）
  • 经典游戏

最终项目

这里有一些项目想法可供参考。

• Pommerman（多人游戏）
• 假肢人工智能挑战赛（挑战赛）
• Word Models（论文实现）
• OpenAI研究请求（研究）
• 复古竞赛（迁移学习）

其他资源

• AlphaGo Zero
  • 论文
  • DeepMind博客文章：AlphaGo Zero：从零开始学习
  • Arxiv Insights视频：AlphaGo Zero的工作原理 - Google DeepMind
• OpenAI Five
  • OpenAI博客文章：OpenAI Five
  • Arxiv Insights视频：OpenAI Five：迎战Dota II人类职业选手

最后4天 - 复习 + 分享

恭喜你完成了60天强化学习挑战！！请告诉我你是否喜欢这次挑战，并分享给更多人！

再见！

最佳资源

:books: 强化学习：导论 - 萨顿 & 巴托著。强化学习领域的“圣经”。这里可以找到第二版的PDF草稿。

:books: 深度强化学习实战 - 马克西姆·拉潘著

:books: 深度学习 - 伊恩·古德费洛著

:tv: 深度强化学习 - UC伯克利列文教授的课程，详情请见他们的网站这里。

:tv: 强化学习课程 - 戴维·西尔弗，DeepMind。由AlphaGo的主要研究人员西尔弗主讲的优秀入门课程，内容遵循萨顿 & 巴托的《强化学习》一书。

补充资源

:books: 超赞的强化学习。一份专门针对强化学习的精选资源列表

:books: GroundAI上的RL。关于强化学习的论文

一杯咖啡 :coffee:

任何贡献都将不胜感激！干杯！

Reinforcement-Learning 快速上手指南

本指南基于 Reinforcement-Learning 开源项目，旨在帮助开发者快速掌握深度强化学习（Deep RL）的核心算法与实战应用。该项目结合了神经网络与强化学习，使用 Python 和 PyTorch 实现了 DQN、A2C、PPO 等主流算法，并在 OpenAI Gym 环境（如 Atari 游戏、RoboSchool）中进行了测试。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• 编程语言：Python 3.6+
• 前置知识：
  • 具备基础的 Python 编程能力
  • 熟悉 PyTorch 深度学习框架
  • 了解机器学习基础（MLP, CNN, RNN）
• 核心依赖库：
  • torch (PyTorch)
  • gym (OpenAI Gym 仿真环境)
  • numpy, matplotlib 等数据处理库

提示：本项目代码主要依赖 OpenAI Gym。由于网络原因，国内用户在安装 gym 或其特定环境（如 Atari）时可能会遇到连接问题，建议配置好网络环境或使用相关镜像源。

安装步骤

1. 克隆仓库 将项目代码下载到本地：

   git clone https://github.com/andri27-ts/60_Days_RL_Challenge.git
   cd 60_Days_RL_Challenge
   

2. 创建虚拟环境（推荐） 为了避免依赖冲突，建议使用 conda 或 venv 创建独立环境：

   conda create -n rl_env python=3.8
   conda activate rl_env
   

3. 安装依赖 安装 PyTorch 和 Gym 等必要库。

   安装 PyTorch (根据是否使用 CUDA 选择):

   # CPU 版本
   pip install torch torchvision torchaudio
   
   # GPU 版本 (示例为 CUDA 11.8，请根据实际情况调整)
   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
   

   安装 Gym 及扩展:

   pip install gymnasium[all]
   # 注意：原项目可能基于旧版 gym，若遇到兼容性问题，可尝试安装旧版：
   # pip install gym==0.21.0
   

   安装其他通用依赖:

   pip install numpy matplotlib tqdm
   

基本使用

本项目以“周”为单位组织学习内容，每周包含理论视频链接和对应的代码实现。以下以 Week 2 的 Q-learning 实战 和 Week 3 的 DQN 实战 为例展示如何使用。

示例 1：运行 Q-learning 解决 FrozenLake 问题 (Week 2)

进入 Week2 目录并运行 Jupyter Notebook 或对应的 Python 脚本，体验基础的表格型强化学习。

cd Week2
# 如果环境支持 Jupyter
jupyter notebook frozenlake_Qlearning.ipynb

在 Notebook 中，你将看到如何初始化环境、定义 Q-table、执行训练循环以及评估策略。核心逻辑如下（伪代码示意）：

import gym
import numpy as np

# 初始化环境
env = gym.make('FrozenLake-v1')

# 初始化 Q-table
q_table = np.zeros([env.observation_space.n, env.action_space.n])

# 训练循环 (简化版)
for episode in range(total_episodes):
    state = env.reset()
    done = False
    while not done:
        # epsilon-greedy 策略选择动作
        action = choose_action(state, q_table, epsilon) 
        next_state, reward, done, _ = env.step(action)
        
        # Q-learning 更新公式
        old_value = q_table[state, action]
        next_max = np.max(q_table[next_state])
        new_value = (1 - alpha) * old_value + alpha * (reward + gamma * next_max)
        q_table[state, action] = new_value
        
        state = next_state

示例 2：运行 DQN 玩 Pong 游戏 (Week 3)

进入 Week3 目录，这里展示了如何使用深度神经网络近似价值函数。项目提供了多种变体（Double DQN, Dueling Networks 等）。

cd Week3
# 运行主训练脚本 (具体文件名请参考目录内容，通常为 main.py 或 dqn.py)
python main.py --game PongNoFrameskip-v4 --algorithm DQN

若要尝试进阶变体，可修改参数：

# 运行 Double DQN
python main.py --game PongNoFrameskip-v4 --algorithm DoubleDQN

# 运行 Dueling Networks
python main.py --game PongNoFrameskip-v4 --algorithm DuelingDQN

代码结构说明：

• model.py: 定义神经网络架构（如 CNN 用于处理图像输入）。
• replay_buffer.py: 实现经验回放机制（Experience Replay）。
• agent.py: 封装智能体的训练步骤（计算 Loss、反向传播、更新目标网络）。

后续学习路径

完成基础示例后，建议按照项目的 Index 顺序深入：

• Week 4: 学习策略梯度方法 (REINFORCE, A2C)。
• Week 5: 掌握高级策略梯度算法 (PPO, TRPO)。
• Week 6-8: 探索进化策略、基于模型的 RL 以及综合项目实战。

所有算法均基于 PyTorch 实现，您可以直接修改 agent.py 中的网络结构或超参数，观察对训练效果的影响。