蘑菇书EasyRL

李宏毅老师的《深度强化学习》是强化学习领域经典的中文视频之一。李老师幽默风趣的上课风格让晦涩难懂的强化学习理论变得轻松易懂，他会通过很多有趣的例子来讲解强化学习理论。比如老师经常会用玩 Atari 游戏的例子来讲解强化学习算法。此外，为了教程的完整性，我们整理了周博磊老师的《强化学习纲要》、李科浇老师的《世界冠军带你从零实践强化学习》以及多个强化学习的经典资料作为补充。对于想入门强化学习又想看中文讲解的人来说绝对是非常推荐的。

本教程也称为“蘑菇书”，寓意是希望此书能够为读者注入活力，让读者“吃”下这本蘑菇之后，能够饶有兴致地探索强化学习，像马里奥那样愈加强大，继而在人工智能领域觅得意外的收获。

贡献者

Qi Wang 教程设计(第1~12章) 上海交通大学博士生 中国科学院大学硕士

Yiyuan Yang 习题设计&第13章 牛津大学博士生 清华大学硕士

John Jim 算法实战 北京大学硕士

使用说明

• 第 4 章到第 11 章为李宏毅《深度强化学习》的部分；
• 第 1 章和第 2 章根据《强化学习纲要》整理而来；
• 第 3 章和第 12 章根据《世界冠军带你从零实践强化学习》 整理而来。

纸质版

推荐购买链接：京东 | 当当

推荐京东扫码购买

当当扫码购买

豆瓣评分：https://book.douban.com/subject/35781275/

[!IMPORTANT] 勘误修订表：https://datawhalechina.github.io/easy-rl/#/errata

在线阅读(内容实时更新)

地址：https://datawhalechina.github.io/easy-rl/

最新版PDF下载

地址：https://github.com/datawhalechina/easy-rl/releases

国内地址：链接: https://pan.baidu.com/s/1isqQnpVRWbb3yh83Vs0kbw 提取码: us6a

压缩版(推荐网速较差的读者使用，文件小，图片分辨率较低)：链接: https://pan.baidu.com/s/1mUECyMKDZp-z4-CGjFhdAw 提取码: tzds

纸质版和PDF版的区别

PDF版本是全书初稿，人民邮电出版社的编辑老师们对初稿进行了反复修缮，最终诞生了纸质书籍，在此向人民邮电出版社的编辑老师的认真严谨表示衷心的感谢！（附：校对样稿）

内容导航

章节	习题	相关项目	配套代码
第一章 强化学习基础	第一章 习题
第二章 马尔可夫决策过程 (MDP)	第二章 习题		值迭代算法
第三章 表格型方法	第三章 习题	Q-learning算法实战	Q-learning，Sarsa，蒙特卡洛
第四章 策略梯度	第四章 习题		策略梯度
第五章 近端策略优化 (PPO) 算法	第五章 习题		PPO
第六章 DQN (基本概念)	第六章 习题		DQN
第七章 DQN (进阶技巧)	第七章 习题	DQN算法实战	Double DQN，Dueling DQN，PER DQN，Noisy DQN
第八章 DQN (连续动作)	第八章 习题
第九章 演员-评论员算法	第九章 习题		A2C
第十章 稀疏奖励	第十章 习题
第十一章 模仿学习	第十一章 习题
第十二章 深度确定性策略梯度 (DDPG) 算法	第十二章 习题	DDPG算法实战	DDPG
第十三章 AlphaStar 论文解读
ICLR'25 Oral 强化学习玩MineCraft
视觉强化学习论文清单（Awesome Visual RL）
世界模型的本质

算法实战

算法实战部分包括附书代码和JoyRL代码：

• 蘑菇书附书代码
• JoyRL离线版
• JoyRL上线版

经典强化学习论文解读

点击或者网页点击papers文件夹进入经典强化学习论文解读

扩展资源

• 对强化学习玩我的世界（Minecraft）游戏感兴趣的读者，可阅读 LS-Imagine
• 对视觉强化学习感兴趣的读者，可阅读Awesome Visual RL
• 对深度学习感兴趣的读者，可阅读李宏毅深度学习教程LeeDL-Tutorial

相关视频内容

• 《Datawhale强化学习教程》出版
• 蘑菇书起源与RL入门指南
• 蘑菇书开源组队学习活动
• 蘑菇书开源学习与成长

引用信息

王琦，杨毅远，江季，Easy RL：强化学习教程，人民邮电出版社，https://github.com/datawhalechina/easy-rl, 2022.
Qi Wang, Yiyuan Yang, Ji Jiang，Easy RL: Reinforcement Learning Tutorial，Posts & Telecom Press，https://github.com/datawhalechina/easy-rl, 2022。

@book{wang2022easyrl,
title = {Easy RL：强化学习教程},
publisher = {人民邮电出版社},
year = {2022},
author = {王琦，杨毅远，江季},
address = {北京},
isbn = {9787115584700},
url = {https://github.com/datawhalechina/easy-rl}
}

@book{wang2022easyrl,
title = {Easy RL: Reinforcement Learning Tutorial},
publisher = {Posts & Telecom Press},
year = {2022},
author = {Qi Wang, Yiyuan Yang, Ji Jiang},
address = {Beijing},
isbn = {9787115584700},
url = {https://github.com/datawhalechina/easy-rl}
}

如果您需要转载该教程的内容，请注明出处：https://github.com/datawhalechina/easy-rl。

致谢

特别感谢 @Sm1les、@LSGOMYP 对本项目的帮助与支持。

另外，十分感谢大家对于Easy-RL的关注。

关注我们

扫描下方二维码关注公众号：Datawhale，回复关键词“Easy-RL”，即可加入“Easy-RL读者交流群”

LICENSE

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

Star History

Easy-RL (蘑菇书) 快速上手指南

Easy-RL（又称“蘑菇书”）是一本由 Datawhale 团队开源的强化学习中文教程，结合了李宏毅老师的深度强化学习视频、周博磊老师的强化学习纲要等经典资料。本指南将帮助你快速获取教程内容并运行配套代码。

环境准备

本教程主要包含在线阅读文档、PDF 书籍以及配套的 Jupyter Notebook 算法实战代码。运行代码示例需满足以下要求：

• 操作系统：Windows / macOS / Linux
• Python 版本：推荐 Python 3.7 - 3.9
• 核心依赖：
  • jupyter 或 jupyterlab (用于查看和运行笔记)
  • numpy, matplotlib
  • gym 或 gymnasium (强化学习环境)
  • torch (PyTorch，大部分深度学习算法基于此)

安装步骤

1. 获取项目代码

推荐使用 Git 克隆项目仓库，以便获取最新的 Notebook 代码和资源。国内用户可使用 Gitee 镜像（如有）或配置 Git 加速，此处以官方 GitHub 为例：

git clone https://github.com/datawhalechina/easy-rl.git
cd easy-rl

2. 安装依赖环境

建议创建虚拟环境以避免依赖冲突。

# 创建虚拟环境 (可选)
python -m venv rl_env
# Windows 激活
rl_env\Scripts\activate
# macOS/Linux 激活
source rl_env/bin/activate

# 安装基础依赖
pip install jupyter numpy matplotlib gym torch

提示：如果下载 torch 或 gym 速度较慢，推荐使用国内镜像源：

pip install jupyter numpy matplotlib gym torch -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

方式一：在线阅读与 PDF 下载（理论学习）

如果你仅需阅读教程内容，无需运行代码：

• 在线阅读：访问 https://datawhalechina.github.io/easy-rl/ (内容实时更新)
• PDF 下载：前往 GitHub Releases 或百度网盘下载最新版纸质书对应 PDF。

方式二：运行算法实战代码（实践操作）

项目中的 notebooks 文件夹包含了各章节对应的算法实现（如 Q-learning, DQN, PPO 等）。

1. 启动 Jupyter Notebook 在项目根目录下执行：

   jupyter notebook
   

   浏览器将自动打开界面。

2. 选择章节笔记 进入 notebooks 目录，根据学习进度选择对应的 .ipynb 文件。例如，学习第三章表格型方法时，可打开：

   • Q-learning.ipynb
   • Sarsa.ipynb
   • MonteCarlo.ipynb

3. 运行示例 以 notebooks/Q-learning/Q-learning.ipynb 为例：

   • 按顺序点击单元格旁的 "Run" 按钮（或按 Shift + Enter）。
   • 代码会自动初始化 Gym 环境（如 CartPole-v1 或 CliffWalking-v0），训练智能体并绘制奖励曲线。

   简单代码逻辑预览：

   # 伪代码示例，具体请运行 Notebook 内单元格
   import gym
   from q_learning import QLearningAgent # 导入教程实现的算法
   
   env = gym.make('CliffWalking-v0')
   agent = QLearningAgent(...)
   
   # 开始训练
   for episode in range(500):
       state = env.reset()
       while True:
           action = agent.sample_action(state)
           next_state, reward, done, _ = env.step(action)
           agent.learn(state, action, reward, next_state, done)
           state = next_state
           if done:
               break
   

进阶实战：JoyRL

如果需要更完整的工程化项目体验，可参考教程中提到的 JoyRL 框架：

git clone https://github.com/datawhalechina/joyrl.git
cd joyrl
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
python train.py --algorithm DQN --env CartPole-v1