概述

本仓库提供了常用强化学习算法的代码、练习题及解答。这些内容旨在作为学习工具，补充以下理论资料：

• 《强化学习导论》（第二版）（http://incompleteideas.net/book/RLbook2018.pdf）
• 戴维·西尔弗的强化学习课程（http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html）

每个文件夹对应上述教材和/或课程中的一章或多章。除了练习题和解答外，每个文件夹还包含学习目标列表、简要的概念总结以及相关阅读材料的链接。

所有代码均使用 Python 3 编写，并利用 OpenAI Gym 提供的强化学习环境。对于高级技术，则使用 TensorFlow 实现神经网络。

目录

• 强化学习问题简介与 OpenAI Gym（Introduction/）
• 马尔可夫决策过程与贝尔曼方程（MDP/）
• 动态规划：基于模型的强化学习、策略迭代与值迭代（DP/）
• 蒙特卡洛方法：无模型预测与控制（MC/）
• 时序差分方法：无模型预测与控制（TD/）
• 函数逼近（FA/）
• 深度 Q 学习（DQN/）（开发中）
• 策略梯度方法（PolicyGradient/）（开发中）
• 学习与规划（开发中）
• 探索与利用（开发中）

已实现算法列表

• 动态规划策略评估（DP/Policy%20Evaluation%20Solution.ipynb）
• 动态规划策略迭代（DP/Policy%20Iteration%20Solution.ipynb）
• 动态规划值迭代（DP/Value%20Iteration%20Solution.ipynb）
• 蒙特卡洛预测（MC/MC%20Prediction%20Solution.ipynb）
• 带 ε-贪婪策略的蒙特卡洛控制（MC/MC%20Control%20with%20Epsilon-Greedy%20Policies%20Solution.ipynb）
• 基于重要性采样的离策略蒙特卡洛控制（MC/Off-Policy%20MC%20Control%20with%20Weighted%20Importance%20Sampling%20Solution.ipynb）
• SARSA（在线策略时序差分学习）（TD/SARSA%20Solution.ipynb）
• Q 学习（离策略时序差分学习）（TD/Q-Learning%20Solution.ipynb）
• 带线性函数逼近的 Q 学习（FA/Q-Learning%20with%20Value%20Function%20Approximation%20Solution.ipynb）
• 用于 Atari 游戏的深度 Q 学习（DQN/Deep%20Q%20Learning%20Solution.ipynb）
• 用于 Atari 游戏的双深度 Q 学习（DQN/Double%20DQN%20Solution.ipynb）
• 带优先经验回放的深度 Q 学习（开发中）
• 策略梯度：带基线的 REINFORCE 算法（PolicyGradient/CliffWalk%20REINFORCE%20with%20Baseline%20Solution.ipynb）
• 策略梯度：带基线的演员-评论家算法（PolicyGradient/CliffWalk%20Actor%20Critic%20Solution.ipynb）
• 策略梯度：适用于连续动作空间的带基线演员-评论家算法（PolicyGradient/Continuous%20MountainCar%20Actor%20Critic%20Solution.ipynb）
• 连续动作空间下的确定性策略梯度（开发中）
• 深度确定性策略梯度（DDPG）（开发中）
• 异步优势演员-评论家算法（A3C）（PolicyGradient/a3c）

资源

教材：

• 《强化学习导论》（第二版）（http://incompleteideas.net/book/RLbook2018.pdf）

课程：

• 戴维·西尔弗的强化学习课程（UCL，2015 年）（http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html）
• CS294 - 深度强化学习（伯克利大学，2015 年秋季）（http://rll.berkeley.edu/deeprlcourse/）
• CS 8803 - 强化学习（佐治亚理工学院）（https://www.udacity.com/course/reinforcement-learning--ud600）
• CS885 - 强化学习（滑铁卢大学），2018 年春季（https://cs.uwaterloo.ca/~ppoupart/teaching/cs885-spring18/）
• CS294-112 - 深度强化学习（加州大学伯克利分校）（http://rail.eecs.berkeley.edu/deeprlcourse/）

讲座/教程：

• 强化学习入门（乔埃尔·派诺 @ 2016 年深度学习暑期学校）（http://videolectures.net/deeplearning2016_pineau_reinforcement_learning/）
• 深度强化学习（皮特·阿贝尔 @ 2016 年深度学习暑期学校）（http://videolectures.net/deeplearning2016_abbeel_deep_reinforcement/）
• ICML 2016 深度强化学习教程（戴维·西尔弗）（http://techtalks.tv/talks/deep-reinforcement-learning/62360/）
• 教程：带函数逼近的强化学习入门（https://www.youtube.com/watch?v=ggqnxyjaKe4）
• 约翰·舒尔曼 - 深度强化学习（4 讲）（https://www.youtube.com/playlist?list=PLjKEIQlKCTZYN3CYBlj8r58SbNorobqcp）
• NIPS 2016 深度强化学习幻灯片（http://people.eecs.berkeley.edu/~pabbeel/nips-tutorial-policy-optimization-Schulman-Abbeel.pdf）
• OpenAI Spinning Up（https://spinningup.openai.com/en/latest/user/introduction.html）
• 高级深度学习与强化学习（UCL 2018，DeepMind）（https://www.youtube.com/playlist?list=PLqYmG7hTraZDNJre23vqCGIVpfZ_K2RZs）
• 深度 RL 训练营（https://sites.google.com/view/deep-rl-bootcamp/lectures）

其他项目：

• carpedm20/deep-rl-tensorflow（https://github.com/carpedm20/deep-rl-tensorflow）
• matthiasplappert/keras-rl（https://github.com/matthiasplappert/keras-rl）

精选论文：

• 通过深度强化学习实现人类水平控制（2015 年 2 月）（http://www.readcube.com/articles/10.1038/nature14236）
• 带双 Q 学习的深度强化学习（2015 年 9 月）（http://arxiv.org/abs/1509.06461）
• 带深度强化学习的连续控制（2015 年 9 月）（https://arxiv.org/abs/1509.02971）
• 带优先经验回放的深度强化学习（2015 年 11 月）（http://arxiv.org/abs/1511.05952）
• 用于深度强化学习的决斗网络架构（2015 年 11 月）（http://arxiv.org/abs/1511.06581）
• 深度强化学习的异步方法（2016 年 2 月）（http://arxiv.org/abs/1602.01783）
• 基于自我对弈的不完美信息博弈中的深度强化学习（2016 年 3 月）（http://arxiv.org/abs/1603.01121）
• 使用深度神经网络和树搜索掌握围棋游戏（https://gogameguru.com/i/2016/03/deepmind-mastering-go.pdf）

Reinforcement Learning 快速上手指南

本仓库提供了流行强化学习（RL）算法的代码、练习和解决方案，旨在配合经典教材《Reinforcement Learning: An Introduction (2nd Edition)》及 David Silver 的课程作为学习工具。所有代码基于 Python 3，使用 OpenAI Gym 环境，高级算法采用 TensorFlow 实现。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux, macOS 或 Windows (推荐 Linux 以获得最佳兼容性)
• Python 版本: Python 3.6+
• 核心依赖:
  • numpy: 数值计算
  • gym: OpenAI 强化学习环境
  • tensorflow: 用于深度强化学习算法 (如 DQN, A3C)
  • jupyter: 用于运行提供的 .ipynb 笔记文件

国内加速建议： 安装依赖时，推荐使用清华或阿里镜像源以提升下载速度。 例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

1. 克隆仓库 将项目代码下载到本地：

   git clone https://github.com/dennybritz/reinforcement-learning.git
   cd reinforcement-learning
   

2. 安装基础依赖 建议使用虚拟环境（如 venv 或 conda）以避免污染全局环境。

   创建并激活虚拟环境（可选但推荐）：

   python3 -m venv venv
   source venv/bin/activate  # Windows 用户请使用: venv\Scripts\activate
   

   安装必要的 Python 包（使用国内镜像加速）：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy gym tensorflow jupyter matplotlib
   

   注：部分复杂环境（如 Atari 游戏）可能需要额外安装 gym[atari]，若遇到相关报错请按需安装。

基本使用

本项目主要通过 Jupyter Notebook 提供算法的实现与演示。每个文件夹对应特定的算法章节（如动态规划、蒙特卡洛、Q-Learning 等）。

1. 启动 Jupyter Notebook

在项目根目录下运行以下命令启动服务：

jupyter notebook

浏览器会自动打开界面，显示项目目录结构。

2. 运行示例：Q-Learning

以最经典的 Q-Learning 算法为例：

1. 在 Jupyter 界面中，进入 TD/ 文件夹。
2. 打开 Q-Learning Solution.ipynb 文件。
3. 该笔记包含了算法的理论简述、代码实现以及在 CliffWalking-v0 环境中的训练过程。
4. 依次点击单元格运行代码（按 Shift + Enter），即可观察智能体（Agent）如何通过试错学习最优路径。

3. 运行示例：Deep Q-Learning (DQN)

对于深度学习相关的算法（如玩 Atari 游戏）：

1. 进入 DQN/ 文件夹。
2. 打开 Deep Q Learning Solution.ipynb。
3. 运行单元格将初始化神经网络，并在 Atari 环境中进行训练。 注意：首次运行可能会自动下载游戏 ROM 文件，请保持网络连接畅通。

4. 探索其他算法

您可以按照 Table of Contents 指引，依次学习以下内容：

• DP/: 动态规划（策略迭代、价值迭代）
• MC/: 蒙特卡洛方法
• FA/: 函数近似
• PolicyGradient/: 策略梯度方法 (REINFORCE, Actor-Critic, A3C)

每个 Notebook 均列出了学习目标、概念总结及相关阅读材料链接，适合边学边练。