关于我的幻灯片的 LaTeX 源代码

如果您是教授，正在准备课程，并希望使用我幻灯片中的任何内容，请随时通过电子邮件与我联系。我可以将源代码分享给您。这些幻灯片是使用 LaTeX/Beamer 制作的。

关于读者反馈和讨论区的问题，请注意，由于我事务繁忙，回复可能会有较大延迟。感谢您的理解。

---

---

为什么需要一本新的强化学习书籍？

本书旨在为强化学习的基本概念、基础问题和经典算法提供一种既具有数学性又易于理解的介绍。本书的一些重要特点如下：

• 本书从数学的角度介绍强化学习。希望通过阅读本书，读者不仅能了解算法的具体步骤，还能理解其设计初衷以及为何能够有效工作。

• 数学深度被精心控制在适当的水平，并且以经过仔细设计的方式呈现，确保全书易于阅读。读者可以根据自己的兴趣选择性地阅读灰色背景框中的内容。

• 书中提供了大量示例，帮助读者更好地理解相关主题。所有示例均基于网格世界任务，这一任务简单易懂，有助于阐释概念和算法。

• 在介绍算法时，本书力求将核心思想与可能分散注意力的复杂细节区分开来，从而使读者更容易抓住算法的核心要点。

• 全书内容组织连贯，每一章都建立在前一章的基础上，并为后续章节奠定必要的基础。

目录

本书涵盖的主题如图所示。全书共十章，可分为两大部分：第一部分介绍基础工具，第二部分则聚焦于算法。这十章内容紧密相关，通常建议先学习前面的章节，再继续后面的章节。

读者对象

本书适合对强化学习感兴趣的高年级本科生、研究生、研究人员及从业者。本书无需读者具备强化学习的基础知识，因为会从最基础的概念开始讲解。如果读者已经有一定的强化学习背景，相信本书也能帮助他们更深入地理解某些主题，或提供不同的视角。

不过，本书要求读者具备一定的概率论和线性代数知识。书中附录也简要介绍了所需的数学基础知识。

关于作者

您可以在我的个人主页 https://www.shiyuzhao.net（GoogleSite）以及我的研究组网站 https://shiyuzhao.westlake.edu.cn 上找到我的相关信息。

自2019年起，我一直教授一门研究生级别的强化学习课程。在教学的同时，我也一直在编写这本书，作为学生的课堂讲义。

我衷心希望本书能帮助读者顺利进入激动人心的强化学习领域。

引用格式

@book{zhao2025RLBook,
  title={Mathematical Foundations of Reinforcement Learning},
  author={S. Zhao},
  year={2025},
  publisher={Springer Press}
}

讲座视频

这些讲座视频在互联网上已获得210万+次观看，并得到了非常好的反馈！结合本书与我的讲座视频，相信您能更好地学习相关内容。

• 中文讲座视频： 您可以访问 Bilibili 频道 或 YouTube 频道。
• 英文讲座视频： 英文讲座视频已上传至 YouTube：点击此处

• 30分钟掌握强化学习概览
• L1：基本概念（P1—状态、动作、策略等）
• L1：基本概念（P2—奖励、回报、马尔可夫决策过程）
• L2：贝尔曼方程（P1—动机性示例）
• L2：贝尔曼方程（P2—状态价值）
• L2：贝尔曼方程（P3—贝尔曼方程推导）
• L2：贝尔曼方程（P4—矩阵-向量形式及解法）
• L2：贝尔曼方程（P5—动作价值）
• L3：贝尔曼最优性方程（P1—动机性示例）
• L3：贝尔曼最优性方程（P2—最优策略）
• L3：贝尔曼最优性方程（P3—关于BOE的更多内容）
• L3：贝尔曼最优性方程（P4—有趣性质）
• L4：值迭代与策略迭代（P1—值迭代）
• L4：值迭代与策略迭代（P2—策略迭代）
• L4：值迭代与策略迭代（P3—截断策略迭代）
• L5：蒙特卡洛学习（P1—动机性示例）
• L5：蒙特卡洛学习（P2—MC基础介绍）
• L5：蒙特卡洛学习（P3—MC基础示例）
• L5：蒙特卡洛学习（P4—探索式起点）
• L5：蒙特卡洛学习（P5—ε-贪心策略介绍）
• L5：蒙特卡洛学习（P6—ε-贪心策略示例）
• L6：随机逼近与SGD（P1—动机性示例）
• L6：随机逼近与SGD（P2—RM算法介绍）
• L6：随机逼近与SGD（P3—RM算法收敛性）
• L6：随机逼近与SGD（P4—SGD算法介绍）
• L6：随机逼近与SGD（P5—SGD算法示例）
• L6：随机逼近与SGD（P6—SGD算法性质）
• L6：随机逼近与SGD（P7—SGD算法比较）
• L7：时序差分学习（P1—动机性示例）
• L7：时序差分学习（P2—TD算法介绍）
• L7：时序差分学习（P3—TD算法收敛性）
• L7：时序差分学习（P4—Sarsa）
• L7：时序差分学习（P5—期望Sarsa与n步Sarsa）
• L7：时序差分学习（P6—Q-learning介绍）
• L7：时序差分学习（P7—Q-learning伪代码）
• L7：时序差分学习（P8—统一视角与总结）
• L8：值函数近似（P1—动机性示例—曲线拟合）
• L8：值函数近似（P2—目标函数）
• L8：值函数近似（P3—优化算法）
• L8：值函数近似（P4—示例分析）
• L8：值函数近似（P5—Sarsa和Q-learning）
• L8：值函数近似（P6—DQN的基本思想）
• L8：值函数近似（P7—DQN的经验回放）
• L8：值函数近似（P8—DQN的实现与示例）
• L9：策略梯度方法（P1—基本思想）
• L9：策略梯度方法（P2—指标1—平均值）
• L9：策略梯度方法（P3—指标2—平均奖励）
• L9：策略梯度方法（P4—指标的梯度）
• L9：策略梯度方法（P5—基于梯度的算法及REINFORCE）
• L10：演员-评论家方法（P1—最简单的演员-评论家）
• L10：演员-评论家方法（P2—优势演员-评论家）
• L10：演员-评论家方法（P3—重要性采样及离策略演员-评论家）
• L10：演员-评论家方法（P4—确定性演员-评论家）
• L10：演员-评论家方法（P5—总结与告别！）

来自YouTube和亚马逊的一些评论：

第三方代码和资料

许多热心的读者向我寄来了他们在学习本书时编写的源代码或笔记。如果你基于本课程创建了任何相关资料，欢迎发邮件给我。我很乐意在此分享这些链接，希望能对其他读者有所帮助。需要强调的是，我对这些代码并未进行验证。如有任何疑问，可以直接联系开发者。

代码

Python:

• https://github.com/Ronchy2000/Multi-agent-RL/tree/master/RL_Learning-main（2025年10月，由Lu Rongqi提供）

• https://github.com/zhoubay/Code-for-Mathematical-Foundations-of-Reinforcement-Learning（2025年3月，由ZHOU Xibin提供）

• https://github.com/10-OASIS-01/minrl（2025年2月）

• https://github.com/SupermanCaozh/The_Coding_Foundation_in_Reinforcement_Learning（由CAO Zehong提供，2024年8月）

• https://github.com/ziwenhahaha/Code-of-RL-Beginning，作者RLGamer（2024年3月）

  • 代码讲解视频：https://www.bilibili.com/video/BV1fW421w7NH

• https://github.com/jwk1rose/RL_Learning，作者JI Wenkang（2024年2月）

Matlab:

• https://github.com/EveryDayIsaSong/MATLAB-Code-for-Mathematical-Foundation-of-Reinforcement-Learning（由MAO Yucheng提供，2026年1月）

R:

• https://github.com/NewbieToEverything/Code-Mathmatical-Foundation-of-Reinforcement-Learning

C++:

• https://github.com/purundong/test_rl

学习笔记

英文:

• https://lyk-love.cn/tags/reinforcement-learning/ 由加州大学戴维斯分校的一位研究生整理

中文:

• https://github.com/Peanut-Study/Reinforcement-Learning-Study-Note/tree/main（2026年1月）

• https://zhuanlan.zhihu.com/p/692207843

• https://blog.csdn.net/qq_64671439/category_12540921.html

• http://t.csdnimg.cn/EH4rj

• https://blog.csdn.net/LvGreat/article/details/135454738

• https://xinzhe.blog.csdn.net/article/details/129452000

• https://blog.csdn.net/v20000727/article/details/136870879?spm=1001.2014.3001.5502

• https://blog.csdn.net/m0_64952374/category_12883361.html

此外，互联网上还有许多其他读者整理的学习笔记，我无法一一列出。如果你发现好的资料，欢迎推荐给我。

基于我课程制作的哔哩哔哩视频

• https://www.bilibili.com/video/BV1DMBYB6Edo（2026年1月）

• https://www.bilibili.com/video/BV1fW421w7NH

• https://www.bilibili.com/video/BV1Ne411m7GX

• https://www.bilibili.com/video/BV1HX4y1H7uR

• https://www.bilibili.com/video/BV1TgzsYDEnP

• https://www.bilibili.com/video/BV1CQ4y1J7zu

更新历史

(2025年7月) 小幅更新：修正错别字

距离本书上次更新已近一年。在此期间，细心的读者又发现了约10处错别字，并及时告知了我。对此我深表感谢。为避免后续读者产生困惑，我已经将这些错别字逐一修正，并更新了GitHub上的PDF文件。对于印刷版的Springer出版社版本，我也准备了一份勘误表，如果您阅读的是纸质书，可根据需要查阅该表。

最后，我要衷心感谢各位读者的宝贵贡献。自本书发布以来，我们收到了大量关注与反馈，这使得书中的内容得以迅速完善。虽然我认为大部分错别字现已得到修正，但若您仍发现任何需要更正之处，请随时与我联系。

(2025年6月) 1万+ 颗星！

(2024年12月) 4000+ 颗星 -> (2025年2月) 5000+ 颗星 -> (2025年3月) 7000+ 颗星! -> (2025年4月) 8000+ 颗星! -> (2025年5月) 9000+ 颗星!

(2024年10月) 书籍封面

书籍封面设计已完成。本书将于明年年初由Springer正式出版，此前已由清华大学出版社出版过。

(2024年9月) Springer印刷前的小幅更新

我对一些读者几乎难以察觉的细微之处进行了修订。这应是Springer印刷前的最终版本。

(2024年8月) 3000颗星及更多代码

本书目前已获得3000多颗星，这对我来说是一项巨大的成就。感谢所有人的支持，希望本书确实对大家有所帮助。

此外，我还收到了热心读者提供的更多代码实现。例如，这个GitHub页面提供了书中几乎所有示例的Python实现。一方面，看到这种情况让我非常高兴；另一方面，我也有些担心我的线下课程学生可能会直接使用这些代码完成作业:-)。总的来说，我很欣慰，因为这表明本书和公开课程确实对读者有帮助；否则，他们不会费心自己编写代码:-)

(2024年6月) 印刷前的小幅更新

这是本书的第四稿，预计将是正式出版前的最后一版。具体来说，在校对书稿时，我发现了一些非常细微的问题，加上热心读者反馈的一些问题，都在这一版中得到了修正。

(2024年4月) 格网世界环境的代码

我们在书中添加了格网世界环境的代码。感兴趣的读者可以在这个环境中开发并测试自己的算法。同时提供了Python和MATLAB两种版本。

需要注意的是，我们并未提供书中涉及的所有算法代码。这是因为这些算法本身就是线下教学中的作业，学生们需要利用提供的环境自行开发算法。不过，目前已有第三方实现了部分算法，感兴趣的同学可以查看本书主页上的相关链接。

在此特别感谢我的博士生米一泽和李佳楠，他们同时也是我线下课程的助教，为代码的编写做出了重要贡献。

如果您在使用代码时发现任何问题或错误，欢迎随时向我们反馈。

(2024年3月) 2000颗星

本书目前已获得2000颗星。我也收到了许多读者对本书的积极评价。很高兴这本书能够对大家有所帮助。

(2024年3月) 小幅更新

本书第三稿现已上线。

与第二稿相比，第三稿主要改进了部分错别字。在此，我要感谢那些向我反馈意见的读者们。

(2023年9月) 1000+ 颗星

本书获得了1000多颗星！感谢大家！

(2023年8月) 大幅更新——第二版

本书第二稿现已上线！！

与一年前发布的第一稿相比，第二稿在多个方面都有所改进。例如，我们重新绘制了大部分图表，对部分内容进行了重新组织以使其更加清晰，修正了一些错别字，并新增了第一版中未包含的第10章。

我在2022年8月首次将本书初稿发布在网上。至今，我已收到来自全球各地读者的宝贵反馈。对此，我深表感激。

(2022年11月) 将联合出版

本书将由Springer Nature和清华大学出版社联合出版。预计将于2023年下半年印刷发行。

我曾收到一些读者对本书的意见和建议。非常感谢大家的支持与厚爱。目前我仍在收集反馈，计划在未来几个月内进一步修改书稿。您的反馈将使本书更好地服务于更多读者！

(2022年10月) 讲义与视频

讲义幻灯片已上传至“讲义幻灯片”文件夹。

中文版讲座视频已上线。请访问我们的Bilibili频道 https://space.bilibili.com/2044042934 或YouTube频道 https://www.youtube.com/channel/UCztGtS5YYiNv8x3pj9hLVgg/playlists。

(2022年8月) 初稿

本书初稿现已上线。

Book-Mathematical-Foundation-of-Reinforcement-Learning 快速上手指南

本指南旨在帮助读者快速开始学习《强化学习的数学基础》（Mathematical Foundations of Reinforcement Learning）。该项目主要包含书籍内容、LaTeX 源码（针对教授开放）以及配套的讲座视频资源，而非传统的可安装软件库。

环境准备

由于本项目核心为学术书籍与视频教程，无需复杂的系统环境或编程依赖即可开始阅读和观看。

• 系统要求：任意操作系统（Windows, macOS, Linux）。
• 前置依赖：
  • 阅读书籍：无需安装特定软件，推荐使用支持 PDF 阅读的浏览器或阅读器。若需编译 LaTeX 源码（仅限获授权的教授），需安装 TeX Live 或 MacTeX 及 beamer 宏包。
  • 观看视频：需要网络连接。国内用户推荐访问 Bilibili 以获得更流畅的观看体验；国际用户可访问 YouTube。
• 知识储备：建议具备概率论和线性代数基础知识（书中附录包含部分数学基础回顾）。

获取与学习步骤

本项目不涉及传统的 pip 或 apt 安装过程，请通过以下方式获取学习资源：

1. 获取书籍

访问 Springer 官方页面查看或购买书籍：

• 书籍链接: Mathematical Foundations of Reinforcement Learning

2. 获取讲座视频（推荐国内用户）

作者提供了完整的中英文讲座视频，与国内开发者最相关的为 Bilibili 频道：

• 中文讲座视频 (Bilibili): 访问作者 Bilibili 空间获取全套课程：

  https://space.bilibili.com/2044042934
  

• 英文讲座视频 (YouTube): 如需英文版本，可访问以下播放列表：

  https://youtube.com/playlist?list=PLEhdbSEZZbDaFWPX4gehhwB9vJZJ1DNm8
  

3. 获取源码（仅限授权教师）

如果您是高校教授并希望在课程中使用幻灯片内容，需直接联系作者获取 LaTeX 源码：

• 联系方式: 通过作者主页邮箱联系 (https://www.shiyuzhao.net)
• 说明: 源码使用 LaTeX/Beamer 编写，未公开在仓库中供直接下载。

基本使用（学习路径建议）

本书共十章，分为“基础工具”和“算法”两部分，章节间逻辑紧密，建议按顺序学习。结合视频与书籍是最佳学习方式。

推荐学习流程

1. 入门概览： 先观看 30 分钟概览视频，建立整体概念。

   • Overview of Reinforcement Learning in 30 Minutes (Bilibili 搜同名标题)

2. 基础概念 (对应第 1-2 章)： 阅读书籍前几章，同时配合视频理解状态、动作、策略及贝尔曼方程。

   • 视频示例：L1: Basic Concepts
   • 视频示例：L2: Bellman Equation

3. 核心算法 (对应第 3-7 章)： 深入学习动态规划、蒙特卡洛方法、时序差分学习 (TD Learning) 等经典算法。

   • 重点视频：L7: Temporal-Difference Learning

4. 进阶应用 (对应第 8-10 章)： 学习价值函数近似 (DQN) 和策略梯度方法。

   • 重点视频：L8: Value Function Approximation (DQN)

引用本书

如果在研究或工作中使用了本书内容，请使用以下 BibTeX 进行引用：

@book{zhao2025RLBook,
  title={Mathematical Foundations of Reinforcement Learning},
  author={S. Zhao},
  year={2025},
  publisher={Springer Press}
}