实用强化学习

一门关于实战强化学习的开放课程。 该课程在HSE和YSDA校内授课，并特别为线上学生设计，提供英俄双语支持。

理念：

• 以好奇心为导向。 对于所有未详细讲解的内容，我们都提供了更多资料和相关资源的链接（D.Silver/Sutton/博客等）。作业中还设有拓展部分，供有兴趣深入研究的同学选择。
• 实践优先。 凡是解决强化学习问题所必需的知识点都会被提及。我们不会回避技巧和启发式方法的介绍。对于每一个重要概念，都会有一项实验让你通过实际问题去“感受”它。
• Git驱动的课程。 想要改进课程吗？发现公式中的拼写错误？找到有用的链接？让代码更易读？或者为其他框架编写版本？太棒了！请提交拉取请求！

课程信息

• 常见问题： 课程简介、技术问题讨论区、讲义、在线学生生存指南

• 匿名反馈表单。

• 虚拟课程环境：

  • Google Colab - 打开 -> github -> yandexdataschool/pracical_rl -> {分支名称}，然后选择任意笔记本即可。
  • 本地安装依赖（推荐）。
  • 另一种选择：Azure Notebooks。

补充材料

• 强化学习读书会

课程大纲

本大纲仅供参考：讲座顺序可能会略有调整，某些主题可能需要两周时间来完成。

• week01_intro 导论

  • 讲座：身边的强化学习问题。决策过程。随机优化、交叉熵方法。参数空间搜索与动作空间搜索的区别。
  • 研讨课：初识OpenAI Gym。针对Taxi-v0的表格型CEM，以及针对Box2D环境的深度CEM。
  • 作业说明见week1/README.md。

• week02_value_based 基于价值的方法

  • 讲座：折扣奖励马尔可夫决策过程。基于价值的方法。值迭代。策略迭代。折扣奖励的局限性。
  • 研讨课：值迭代。
  • 作业说明见week2/README.md。

• week03_model_free 无模型强化学习

  • 讲座：Q-learning。SARSA。离策略与在线策略算法。N步算法。TD(Lambda)。
  • 研讨课：Qlearning、SARSA与期望值SARSA的对比。
  • 作业说明见week3/README.md。

• recap_deep_learning 深度学习回顾

  • 讲座：深度学习入门。
  • 研讨课：PyTorch/TensorFlow简介，使用卷积网络进行简单的图像分类。

• week04_approx_rl 近似（深度）强化学习

  • 讲座：无限/连续状态空间。价值函数近似。收敛条件。多智能体技巧；经验回放、目标网络、双/决斗/DQN等。
  • 研讨课：带有经验回放的近似Q-learning。（CartPole、Atari）

• week05_explore 探索

  • 讲座：上下文相关的赌博机问题。汤普森采样、UCB、贝叶斯UCB。基于模型的强化学习中的探索，MCTS。“深度”的探索启发式方法。
  • 研讨课：上下文相关赌博机问题的贝叶斯探索。MCTS的UCB。

• week06_policy_based 基于策略的梯度方法

  • 讲座：基于策略的原因、策略梯度、对数导数技巧、REINFORCE/交叉熵方法、方差缩减（基线）、优势演员-评论家（包括GAE）。
  • 研讨课：REINFORCE、优势演员-评论家。

• week07_seq2seq 序列模型的强化学习

  • 讲座：序列数据的问题。循环神经网络。时间反向传播。梯度消失与爆炸。LSTM、GRU。梯度裁剪。
  • 研讨课：字符级RNN语言模型。

• week08_pomdp 部分可观测马尔可夫决策过程

  • 讲座：POMDP简介。带记忆的智能体的POMDP学习。POMDP规划（POMCP等）。
  • 研讨课：使用循环A3C和DRQN进行深度功夫与毁灭任务。

• week09_policy_II 高级基于策略的方法

  • 讲座：信任域策略优化。NPO/PPO。确定性策略梯度。DDPG。
  • 研讨课：简单机器人控制的近似TRPO。

• week10_planning 基于模型的强化学习及其他

  • 讲座：基于模型的强化学习、一般规划、模仿学习与逆强化学习。
  • 研讨课：用于玩具任务的MCTS。

• yet_another_week 逆强化学习与模仿学习

  • 所有那些你在这门课程里学不到的酷炫强化学习内容 :)

课程团队

课程材料及教学由以下人员负责：【非排序】

• Pavel Shvechikov - 讲课、研讨课、作业批改、读书会组织
• Nikita Putintsev - 研讨课、作业批改、整理我们的混乱局面
• Alexander Fritsler - 讲课、研讨课、作业批改
• Oleg Vasilev - 研讨课、作业批改、技术支持
• Dmitry Nikulin - 大量修复工作，遍布各处
• Mikhail Konobeev - 研讨课、作业批改
• Ivan Kharitonov - 研讨课、作业批改
• Ravil Khisamov - 研讨课、作业批改
• Anna Klepova - 作业批改
• Fedor Ratnikov - 行政事务

贡献

• 使用了来自Berkeley AI课程的图片。
• 大量参考了CS294的内容。
• 几个TensorFlow作业由Scitator完成。
• arogozhnikov提供了大量修复。
• 其他优秀贡献者：详见GitHub上的贡献者列表。
• Alexey Umnov在2018年春季为我们提供了大量帮助。

Practical_RL 快速上手指南

Practical_RL 是一门面向实战的强化学习开源课程，涵盖从基础表格方法到深度强化学习（DQN, A3C, PPO 等）的核心内容。本指南将帮助你快速搭建环境并运行第一个实验。

环境准备

本课程主要基于 Python 开发，推荐使用 Python 3.8+。虽然支持多种深度学习框架，但当前示例主要依赖 PyTorch 或 TensorFlow。

前置依赖：

• Git
• Python 3.8 或更高版本
• pip 或 conda 包管理器
• (可选) CUDA 支持的 GPU（用于加速深度强化学习训练）

国内开发者提示：建议在安装 Python 依赖时使用国内镜像源（如清华源或阿里源）以加速下载。

安装步骤

你可以选择直接在本地机器安装，或使用 Google Colab 在线运行。推荐本地安装以获得更完整的控制体验。

方案一：本地安装（推荐）

1. 克隆仓库

   git clone https://github.com/yandexdataschool/Practical_RL.git
   cd Practical_RL
   

2. 创建虚拟环境 建议使用 conda 或 venv 隔离环境。

   # 使用 conda
   conda create -n practical_rl python=3.9
   conda activate practical_rl
   
   # 或者使用 venv
   python -m venv venv
   source venv/bin/activate  # Windows: venv\Scripts\activate
   

3. 安装依赖 课程依赖包含 OpenAI Gym 及相关插件。由于网络原因，建议配置 pip 镜像源安装。

   # 使用清华镜像源安装核心依赖
   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   
   # 如果 requirements.txt 未覆盖所有环境，可能需要手动安装 gym 相关包
   pip install gymnasium[atari,accept-rom-license] box2d-py -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   注：部分旧版作业可能依赖 gym 而非 gymnasium，如遇兼容性问题，请参考具体周次的 README.md 调整版本。

4. 验证安装 进入第一周的练习目录，尝试运行一个简单的脚本：

   cd week01_intro
   python seminar_cem_taxi.py
   

方案二：Google Colab 在线运行（免安装）

如果你不想配置本地环境，可以直接在浏览器中运行：

1. 访问 Google Colab。
2. 点击 "File" -> "Open notebook" -> "GitHub"。
3. 输入仓库名 yandexdataschool/Practical_RL 并选择对应分支（通常为 master）。
4. 选择任意一周的 .ipynb 文件（例如 week01_intro/seminar.ipynb）即可开始运行。

基本使用

课程按周次组织，每周包含讲座笔记（Lecture）、研讨会代码（Seminar）和家庭作业（Homework）。以下以 第一周：交叉熵方法 (CEM) 为例演示基本使用流程。

运行第一个强化学习实验

进入第一周目录并打开对应的 Jupyter Notebook 或 Python 脚本。

cd week01_intro
jupyter notebook seminar.ipynb

核心代码逻辑示例：

在 Notebook 中，你将通过以下步骤训练一个智能体（Agent）解决 Taxi 问题：

1. 初始化环境：

   import gym
   env = gym.make("Taxi-v3") # 注意：新版可能需使用 Taxi-v3 或根据作业要求调整
   

2. 定义策略与采样： 使用交叉熵方法（Cross-Entropy Method），通过采样表现最好的轨迹来更新策略参数。

   # 伪代码示例，具体请参阅 seminar.ipynb
   from rl_utils import generate_session, crossentropy_method
   
   # 生成若干回合的游戏数据
   sessions = [generate_session(env, agent_params) for _ in range(n_samples)]
   
   # 筛选精英样本并更新参数
   elite_sessions = select_elite(sessions, percentile=70)
   agent_params = update_params(elite_sessions)
   

3. 观察结果： 运行单元格后，你将看到平均奖励（Reward）随迭代次数上升的曲线，以及智能体在环境中成功完成任务的可视化效果。

进阶探索

完成基础实验后，你可以：

• 修改 week02_value_based 中的价值迭代算法。
• 在 week04_approx_rl 中尝试使用神经网络构建 DQN 代理玩 Atari 游戏。
• 阅读每个文件夹下的 README.md 获取详细的作业说明和理论背景链接。