令人惊叹的强化学习

本页面已不再维护。

这是一份精心整理的、专注于强化学习的资源列表。

我们还维护着其他主题的页面：awesome-rnn、awesome-deep-vision、awesome-random-forest

维护者：Hyunsoo Kim、Jiwon Kim

贡献

欢迎随时提交拉取请求

目录

• 理论
  • 讲座
  • 书籍
  • 综述
  • 论文/学位论文
• 应用
  • 游戏博弈
  • 机器人学
  • 控制
  • 运筹学
  • 人机交互
• 代码
• 教程/网站
• 在线演示
• 开源强化学习平台

代码

• 理查德·萨顿和安德鲁·巴托的《强化学习：导论》中的示例和习题代码
  • Python代码
  • MATLAB代码（链接已失效）
  • C/Lisp代码
  • Julia代码
  • 书籍
  • 习题解答
• 强化学习控制问题的仿真代码
  • 倒立摆问题
  • Q-learning控制器
• 用于强化学习的MATLAB环境及GUI
• 马萨诸塞大学阿默斯特分校强化学习库
• 布朗-UMBC强化学习与规划库（Java）
• R语言中的强化学习（MDP，值迭代）
• Python和MATLAB中的强化学习环境
• RL-Glue（强化学习的标准接口）及RL-Glue库
• PyBrain库——基于Python的强化学习、人工智能和神经网络
• RLPy框架——面向教育和研究的价值函数型强化学习框架
• Maja——用于强化学习问题的Python机器学习框架
• TeachingBox——基于Java的强化学习框架
• MATLAB政策梯度强化学习工具箱
• PIQLE——实现Q-learning及其他强化学习算法的平台
• BeliefBox——贝叶斯强化学习库和工具包
• 使用TensorFlow的深度Q学习——利用Google TensorFlow进行深度Q学习的演示
• Atari——在Torch中实现的深度Q网络和异步智能体
• AgentNet——一个使用Theano+Lasagne的Python库，用于深度强化学习和自定义循环网络。
• RLCode提供的强化学习示例——一系列简洁、精炼的强化学习示例
• OpenAI Baselines——来自OpenAI的经过充分测试的强化学习算法实现（以及相关结果）
• PyTorch深度强化学习——使用PyTorch实现的流行深度强化学习算法
• ChainerRL——使用Chainer实现的流行深度强化学习算法
• Black-DROPS——基于模型策略搜索的Black-DROPS算法的模块化通用代码（IROS 2017论文），并可轻松集成到DART模拟器中
• Gold——用于Golang的强化学习库。
• Jumanji——一套由工业界驱动、硬件加速的强化学习环境，使用JAX编写。

理论

讲座

• [DeepMind x UCL] 强化学习系列讲座 2021
• [UCL] COMPM050/COMPGI13 强化学习 由 David Silver 主讲
• [UCL] COMPMI22/COMPGI22 - 高级深度学习与强化学习
• [UC Berkeley] CS188 人工智能，由 Pieter Abbeel 主讲
  • 第8讲：马尔可夫决策过程 1
  • 第9讲：马尔可夫决策过程 2
  • 第10讲：强化学习 1
  • 第11讲：强化学习 2
• [Udacity (Georgia Tech.)] CS7642 强化学习
• [Stanford] CS229 机器学习 - 第16讲：强化学习，由 Andrew Ng 主讲
• [UC Berkeley] 深度强化学习训练营
• [UC Berkeley] CS294 深度强化学习，由 John Schulman 和 Pieter Abbeel 主讲
• [CMU] 10703：深度强化学习与控制，2017年春季
• [MIT] 6.S094：自动驾驶汽车的深度学习
  • 第2讲：用于运动规划的深度强化学习
• [Siraj Raval]：视频游戏中的人工智能入门（强化学习视频系列）
  • 视频游戏人工智能入门
  • 蒙特卡洛预测
  • Q学习详解
  • 解决基础乒乓球游戏
  • 演员-评论家算法
  • 战争机器人
• [Mutual Information] 强化学习基础
  • 强化学习：六集系列
  • 贝尔曼方程、动态规划和广义策略迭代
  • 蒙特卡洛方法与离策略方法
  • TD学习、Sarsa 和 Q-Learning

书籍

• Richard Sutton 和 Andrew Barto，《强化学习：导论》（第一版，1998年）[图书] [代码]
• Richard Sutton 和 Andrew Barto，《强化学习：导论》（第二版，正在进行中，2018年）[图书] [代码]
• Csaba Szepesvari，《强化学习算法》[图书]
• David Poole 和 Alan Mackworth，《人工智能：计算智能体的基础》[图书章节]
• Dimitri P. Bertsekas 和 John N. Tsitsiklis，《神经动力学规划》[图书（亚马逊）] [摘要]
• Mykel J. Kochenderfer，《不确定性下的决策制定：理论与应用》[图书（亚马逊）]
• 《行动中的深度强化学习》[图书（Manning）]
• REINFORCEMENT LEARNING AND OPTIMAL CONTROL Dimitri P. Bertsekas 图书、视频讲座及课程资料，2019年

综述文章

• Leslie Pack Kaelbling、Michael L. Littman、Andrew W. Moore，《强化学习综述》（JAIR 1996年）[论文]
• S. S. Keerthi 和 B. Ravindran，《强化学习教程式综述》（Sadhana 1994年）[论文]
• Matthew E. Taylor、Peter Stone，《强化学习领域的迁移学习综述》（JMLR 2009年）[论文]
• Jens Kober、J. Andrew Bagnell、Jan Peters，《机器人领域强化学习综述》（IJRR 2013年）[论文]
• Michael L. Littman，《强化学习通过评估性反馈改善行为》（Nature 2015年）[论文]
• Marc P. Deisenroth、Gerhard Neumann、Jan Peter，《机器人领域策略搜索综述》，发表于《机器人技术基础与趋势》（2014年）[图书]
• Kai Arulkumaran、Marc Peter Deisenroth、Miles Brundage、Anil Anthony Bharath，《深度强化学习简要综述》（IEEE信号处理杂志 2017年）[DOI] [论文]
• Benjamin Recht，《强化学习巡礼：从连续控制视角看》（年度控制、机器人与自动化系统评论 2019年）[DOI]

论文 / 学位论文

基础性论文

• 马文·明斯基，《迈向人工智能的步骤》，IRE会刊，1961年。[DOI] [论文]（讨论了强化学习中的“信用分配问题”等）
• 伊恩·H·维滕，《离散时间马尔可夫环境下的自适应最优控制器》，信息与控制，1977年。[DOI] [论文]（最早关于时序差分（TD）学习规则的发表文献）

方法类

• 动态规划（DP）：
  • 克里斯托弗·J·C·C·沃特金斯，《从延迟奖励中学习》，剑桥大学博士论文，1989年。[论文]
• 蒙特卡洛法：
  • 安德鲁·巴托、迈克尔·达夫，《蒙特卡洛逆矩阵与强化学习》，NIPS，1994年。[论文]
  • 萨廷德·P·辛格、理查德·S·萨顿，《使用替换型资格迹的强化学习》，机器学习，1996年。[论文]
• 时序差分法：
  • 理查德·S·萨顿，《通过时序差分方法进行预测的学习》。机器学习第3卷：9–44页，1988年。[论文]
• Q学习（离策略TD算法）：
  • 克里斯·沃特金斯，《从延迟奖励中学习》，剑桥，1989年。[论文]
• Sarsa（在策略TD算法）：
  • G.A. 拉默里、M. 尼兰詹，《基于连接主义系统的在线Q学习》，剑桥大学技术报告，1994年。[报告]
  • 理查德·S·萨顿，《强化学习中的泛化：利用稀疏编码的成功案例》，NIPS，1996年。[论文]
• R学习（相对价值的学习）：
  • 安德鲁·施瓦茨，《一种用于最大化未折现奖励的强化学习方法》，ICML，1993年。[Google Scholar论文]
• 函数逼近方法（最小二乘时序差分、最小二乘策略迭代）：
  • 史蒂文·J·布拉特克、安德鲁·G·巴托，《用于时序差分学习的线性最小二乘算法》，机器学习，1996年。[论文]
  • 米哈伊尔·G·拉古达基斯、罗纳德·帕尔，《无模型最小二乘策略迭代》，NIPS，2001年。[论文] [代码]
• 策略搜索 / 策略梯度法：
  • 理查德·萨顿、大卫·麦卡莱斯特、萨廷德·辛格、伊沙伊·曼苏尔，《带有函数逼近的强化学习中的策略梯度方法》，NIPS，1999年。[论文]
  • 扬·彼得斯、塞图·维贾亚库马尔、斯特凡·沙尔，《自然演员—评论家算法》，ECML，2005年。[论文]
  • 延斯·科伯、扬·彼得斯，《机器人学中运动基元的策略搜索》，NIPS，2009年。[论文]
  • 扬·彼得斯、卡塔琳娜·穆林、雅赛敏·阿尔通，《基于相对熵的策略搜索》，AAAI，2010年。[论文]
  • 弗里克·斯图普、奥利维尔·西戈，《协方差矩阵自适应的路径积分策略改进》，ICML，2012年。[论文]
  • 内特·科尔、彼得·斯通，《用于快速四足行走的策略梯度强化学习》，ICRA，2004年。[论文]
  • 马克·戴森罗斯、卡尔·拉斯穆森，《PILCO：一种基于模型且数据高效的策略搜索方法》，ICML，2011年。[论文]
  • 斯科特·昆德尔斯马、罗德里克·格鲁彭、安德鲁·巴托，《用于姿势恢复的动态手臂动作学习》，Humanoids，2011年。[论文]
  • 康斯坦丁诺斯·哈齐利耶鲁迪斯、罗伯托·拉马、里图拉杰·考希克、多里安·戈普、瓦西里斯·瓦西利亚德斯、让-巴蒂斯特·穆雷，《面向机器人领域的黑箱高效策略搜索》，IROS，2017年。[论文]
• 层次化强化学习：
  • 理查德·萨顿、多伊娜·普雷库普、萨廷德·辛格，《介于MDP与半MDP之间：强化学习中时间抽象的框架》，人工智能杂志，1999年。[论文]
  • 乔治·科尼达里斯、安德鲁·巴托，《构建可移植选项：强化学习中的技能迁移》，IJCAI，2007年。[论文]
• 深度学习 + 强化学习（深度学习与强化学习结合的近期工作示例）：
  • V. 米赫等人，《通过深度强化学习实现人类水平控制》，自然杂志，2015年。[论文]
  • 夏晓晓·郭、萨廷德·辛格、洪拉克·李、理查德·刘易斯、夏石·王，《利用离线蒙特卡洛树搜索规划进行实时雅达利游戏玩的深度学习》，NIPS，2014年。[论文]
  • 谢尔盖·列文、切尔西·芬恩、特雷弗·达雷尔、皮特·阿贝尔，《端到端训练深度视觉运动策略》。ArXiv，2015年10月16日。[ArXiv]
  • 汤姆·绍尔、约翰·匡恩、伊万尼斯·安东格卢、大卫·西尔弗，《优先级经验回放》，ArXiv，2015年11月18日。[ArXiv]
  • 哈多·范·哈塞尔特、阿瑟·古兹、大卫·西尔弗，《采用双Q学习的深度强化学习》，ArXiv，2015年9月22日。[ArXiv]
  • 沃洛季米尔·米赫、阿德里亚·普伊格多梅内奇·巴迪亚、梅赫迪·米尔扎、亚历克斯·格雷夫斯、蒂莫西·P·利利克拉普、蒂姆·哈利、大卫·西尔弗、科雷·卡武克丘奥卢，《深度强化学习的异步方法》，ArXiv，2016年2月4日。[ArXiv]

应用

游戏博弈

传统游戏

• 跳棋 - 杰拉尔德·特萨罗，使用TD(λ)的“TD-Gammon”程序（ACM 1995）[论文]
• 国际象棋 - 乔纳森·巴克斯特、安德鲁·特里吉尔和莱克斯·韦弗，使用TD(λ)的“KnightCap”程序（1999）[arXiv]
• 国际象棋 - 马修·莱，Giraffe：利用深度强化学习下国际象棋（2015）[arXiv]

电脑游戏

• Atari 2600游戏 - 沃洛迪米尔·姆尼赫、科雷·卡武克乔卢、大卫·西尔弗等，通过深度强化学习实现人类水平控制（Nature 2015）[DOI] [论文] [代码] [视频]
• Flappy Bird - Sarvagya Vaish，Flappy Bird强化学习 [视频]
• 马里奥 - 肯尼思·O·斯坦利和里斯托·米库莱宁，MarI/O：利用进化强化学习和人工神经网络学习玩马里奥（Evolutionary Computation 2002）[论文] [视频]
• 星际争霸II - 奥里奥尔·维尼亚尔斯、伊戈尔·巴布什金、沃伊切赫·M·查尔涅茨基等，使用多智能体强化学习在星际争霸II中达到大师级水平（Nature 2019）[DOI] [论文] [视频]

机器人学

• 内特·科尔和彼得·斯通，用于快速四足行走的策略梯度强化学习（ICRA 2004）[论文]
• 彼塔尔·科尔穆舍夫、西尔万·卡利农和达尔文·G·卡尔德威尔，基于EM的强化学习实现机器人运动技能协调（IROS 2010）[论文] [视频]
• 托德·赫斯特、迈克尔·奎兰和彼得·斯通，人形机器人上的强化学习通用模型学习（ICRA 2010）[论文] [视频]
• 乔治·科尼达里斯、斯科特·昆德斯玛、罗德里克·格鲁彭和安德鲁·巴托，移动机械臂上的自主技能获取（AAAI 2011）[论文] [视频]
• 马克·彼得·戴森罗斯和卡尔·爱德华·拉斯穆森，PILCO：一种基于模型且数据高效的策略搜索方法（ICML 2011）[论文]
• 斯科特·尼库姆、萨钦·奇塔、巴斯卡拉·马尔蒂等，从示范中进行增量式语义化学习（RSS 2013）[论文]
• 马克·卡特勒和乔纳森·P·豪，利用信息丰富的模拟先验对机器人进行高效强化学习（ICRA 2015）[论文] [视频]
• 安托万·库利、杰夫·克伦、达内什·塔拉波尔和让-巴普蒂斯特·穆雷，能够像动物一样适应的机器人（Nature 2015）[ArXiv] [视频] [代码]
• 康斯坦丁诺斯·哈齐利格鲁迪斯、罗伯托·拉马、里图拉杰·考希克等，机器人领域的黑箱数据高效策略搜索（IROS 2017）[ArXiv] [视频] [代码]
• P·特拉维斯·贾尔丁、迈克尔·科根、西德尼·N·吉维吉和沙赫拉姆·优素福，采用强化学习调优的差速驱动机器人自适应预测控制（Int J Adapt Control Signal Process 2019）[DOI]

控制

• 彼得·阿贝尔、亚当·科茨等，强化学习在特技直升机飞行中的应用（NIPS 2006）[论文] [视频]
• J·安德鲁·巴格内尔和杰夫·G·施奈德，利用强化学习策略搜索方法实现直升机自动驾驶（ICRA 2001）[论文]

运筹学

• 斯科特·普罗珀和普拉萨德·塔德帕利，产品配送中的平均奖励强化学习扩展（AAAI 2004）[论文]
• 直树安倍、纳瓦尔·维尔马等，利用强化学习实现跨渠道优化营销（KDD 2004）[论文]
• 伯恩德·瓦施内克、安德烈·赖希施塔勒、伦茨·贝尔茨纳等，半导体生产调度中的深度强化学习（ASMC 2018）[DOI] [论文]

人机交互

• 萨廷德·辛格、黛安·利特曼等，利用强化学习优化对话管理：NJFun系统的实验（JAIR 2002）[论文]

代码

• 理查德·萨顿和安德鲁·巴托的书籍《强化学习：导论》中的示例和习题代码
  • Python代码（第2版）
  • MATLAB代码（第1版）
• 强化学习控制问题的仿真代码
  • 倒立摆问题
  • Q学习控制器
• 用于强化学习的MATLAB环境与GUI
• 马萨诸塞大学阿默斯特分校强化学习资源库
• 布朗-UMBC强化学习与规划库（Java）
• R语言中的强化学习（MDP，值迭代）
• Python和MATLAB中的强化学习环境
• RL-Glue（强化学习的标准接口）和RL-Glue库
• PyBrain库——基于Python的强化学习、人工智能和神经网络
• RLPy框架——面向教育和研究的基于值函数的强化学习框架
• Maja——用于强化学习问题的Python机器学习框架
• TeachingBox——基于Java的强化学习框架
• MATLAB策略梯度强化学习工具箱
• PIQLE——实现Q学习及其他强化学习算法的平台
• BeliefBox——贝叶斯强化学习库和工具包
• 使用TensorFlow的深度Q学习——利用Google TensorFlow进行深度Q学习的演示
• Atari——在Torch中实现的深度Q网络和异步智能体
• AgentNet——一个使用Theano+Lasagne的Python库，用于深度强化学习和自定义循环网络。
• RLCode提供的强化学习示例——一系列简洁、精炼的强化学习示例
• OpenAI Baselines——来自OpenAI的经过充分测试的强化学习算法实现（以及相关结果）链接
• PyTorch深度强化学习——使用PyTorch实现的流行深度强化学习算法
• ChainerRL——使用Chainer实现的流行深度强化学习算法
• Black-DROPS——基于模型的策略搜索算法Black-DROPS的模块化通用代码（IROS 2017论文），并可轻松集成到DART模拟器中
• Jumanji——一套由行业驱动、硬件加速的强化学习环境，使用JAX编写。

教程 / 网站

• 曼斯·哈蒙和斯蒂芬妮·哈蒙，《强化学习：教程》（http://old.nbu.bg/cogs/events/2000/Readings/Petrov/rltutorial.pdf）
• C. Igel、M.A. Riedmiller等，《强化学习简述》，ESANN，2007年。[论文]
• UNSW——强化学习
  • 简介
  • TD学习
  • Q学习与SARSA
  • “猫鼠游戏”小程序
• ROS强化学习教程
• 面向初学者的POMDP教程
• Scholarpedia关于以下主题的文章：
  • 强化学习
  • 时序差分学习
• 包含实用[MATLAB软件、演示文稿和演示视频]的资源库（http://busoniu.net/repository.php）
• 强化学习文献综述
• 加州大学伯克利分校——CS 294：深度强化学习，2015年秋季（约翰·舒尔曼、皮特·阿贝尔）[课程网站]
• 特拉维斯·德沃尔夫的强化学习博客文章，第1至4部分
• 街机学习环境——用于开发AI智能体的Atari 2600游戏环境
• 安德烈·卡帕西的深度强化学习：从像素玩Pong
• 揭秘深度强化学习
• 让我们来做一个DQN
• 阿瑟·朱利亚尼的使用TensorFlow的简单强化学习，第0至8部分
• Practical_RL——基于GitHub的野外强化学习课程（讲座、编程实验室、项目）
• RLenv.directory：探索并发现新的强化学习环境
• 卡佳·霍夫曼在NeurIPS '19上的演讲——强化学习：过去、现在与未来展望
• 如何构建、组织、跟踪和管理强化学习（RL）项目
• 强化学习速查表——一份关于强化学习中一些重要概念和算法的总结

在线演示

• 强化学习的实际应用演示
• 深度Q学习演示 - 使用ConvNetJS的深度Q学习演示
• TensorFlow深度Q学习 - 使用Google TensorFlow的深度Q学习演示
• 强化学习演示 - Andrej Karpathy开发的reinforcejs强化学习演示

开源强化学习平台

• OpenAI gym - 用于开发和比较强化学习算法的工具包
• OpenAI universe - 一个软件平台，用于衡量和训练人工智能在全球范围内的游戏、网站和其他应用中的通用智能
• DeepMind Lab - 一个可定制的3D平台，用于基于智能体的人工智能研究
• Project Malmo - 微软基于Minecraft构建的人工智能实验与研究平台
• ViZDoom - 基于Doom的游戏环境，用于从原始视觉信息中进行强化学习的研究平台
• Retro Learning Environment - 基于视频游戏模拟器的强化学习人工智能平台。目前支持SNES和Sega Genesis。与OpenAI gym兼容。
• torch-twrl - Twitter开发的在Torch中实现强化学习的包
• UETorch - Facebook为Unreal Engine 4开发的Torch插件
• TorchCraft - 将Torch与StarCraft连接起来
• garage - 一个用于可重复强化学习研究的框架，完全兼容OpenAI Gym和DeepMind Control Suite（rllab的继任者）
• TensorForce - 基于TensorFlow的实用深度强化学习，提供Gitter支持，并集成OpenAI Gym/Universe/DeepMind Lab。
• tf-TRFL - 一个基于TensorFlow的库，提供了多个用于实现强化学习智能体的有用组件。
• OpenAI lab - 使用OpenAI Gym、TensorFlow和Keras的强化学习实验系统。
• keras-rl - Keras中先进的深度强化学习算法，专为与OpenAI兼容而设计。
• BURLAP - 布朗大学和UMBC联合开发的强化学习与规划库，使用Java编写。
• MAgent - 多智能体强化学习平台。
• Ray RLlib - Ray RLlib是一个旨在同时提供高性能和组合性的强化学习库。
• SLM Lab - 使用Unity、OpenAI Gym、PyTorch和TensorFlow进行深度强化学习的研究框架。
• Unity ML Agents - 使用Unity编辑器创建强化学习环境
• Intel Coach - Coach是一个Python强化学习研究框架，包含许多最先进的算法实现。
• Microsoft AirSim - 微软AI与研究部门基于Unreal Engine开发的开源自动驾驶车辆模拟器。
• DI-engine - DI-engine是一个通用的决策智能引擎。它支持大多数基础的深度强化学习（DRL）算法，如DQN、PPO、SAC，以及多智能体强化学习中的QMIX、逆向强化学习中的GAIL和探索问题中的RND等特定领域的算法。
• Jumanji - 一套由行业驱动、硬件加速的强化学习环境，使用JAX编写。

重要贡献者👩‍💻👨‍💻：

Awesome Reinforcement Learning 快速上手指南

注意：awesome-rl 本身不是一个单一的代码库或软件工具，而是一个强化学习（Reinforcement Learning, RL）资源的精选列表。它汇集了理论课程、书籍、论文、开源代码库、教程和演示平台。

本指南将指导你如何利用该列表中的核心资源（以经典的 Sutton & Barto 教材代码和主流深度学习框架为例）快速搭建强化学习环境并开始实践。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Linux (推荐 Ubuntu 20.04+), macOS, 或 Windows (建议使用 WSL2)。
• Python 版本：推荐 Python 3.8 - 3.10（部分旧版 RL 库对最新 Python 版本支持尚不完善）。
• 前置依赖：
  • git：用于克隆代码库。
  • pip 或 conda：包管理工具。
  • 深度学习框架（任选其一，推荐 PyTorch）：
    • PyTorch
    • TensorFlow
    • JAX (用于 Jumanji 等新型环境)

国内加速建议： 推荐使用清华源或阿里源加速 Python 包安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

由于 awesome-rl 包含多个独立项目，以下提供两种最通用的入门安装方案。

方案 A：经典入门（Sutton & Barto 教材代码）

适合初学者理解 RL 基础算法（如动态规划、蒙特卡洛、Q-Learning）。

1. 克隆仓库：

   git clone https://github.com/ShangtongZhang/reinforcement-learning-an-introduction.git
   cd reinforcement-learning-an-introduction
   

2. 安装依赖：

   pip install -r requirements.txt
   # 若需加速：
   # pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
   

方案 B：深度强化学习实战（基于 PyTorch）

适合希望直接上手 DQN, PPO, A3C 等深度强化学习算法的开发者。

1. 克隆仓库：

   git clone https://github.com/ShangtongZhang/DeepRL.git
   cd DeepRL
   

2. 安装依赖： 该项目通常需要 gym (或 gymnasium) 和 pytorch。

   pip install torch gymnasium matplotlib tqdm
   # 若需加速：
   # pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch gymnasium matplotlib tqdm
   

   (注：如果运行报错提示 gym 版本问题，建议安装 gymnasium 并在代码中做相应导入调整，或使用项目中指定的特定版本)

方案 C：工业级基准（OpenAI Baselines / Stable Baselines3）

如果你需要经过严格测试的算法实现：

pip install stable-baselines3[extra]
# 国内加速
# pip install -i https://pypi.tuna.tsinghua.edu.cn/simple stable-baselines3[extra]

基本使用

以下示例展示如何运行一个最简单的强化学习实验。

示例 1：运行经典 Q-Learning (基于方案 A)

进入目录后，运行书中的经典例子，例如“网格世界”或“悬崖行走”：

# 运行第 6 章中的 Q-Learning 示例 (Cliff Walking)
python chapter06/cliff_walking.py

执行后将弹出窗口显示训练过程中的策略变化或累积奖励曲线。

示例 2：运行深度 Q 网络 (DQN) 玩 Atari 游戏 (基于方案 B)

在 DeepRL 目录下，使用一行命令启动 DQN 训练，让 AI 学习玩 "Pong" 游戏：

# 用法：python main.py --alg DQN --game Pong
python main.py --alg DQN --game Pong

• 参数说明：
  • --alg: 选择算法 (如 DQN, A2C, PPO, DDPG)。
  • --game: 选择环境 (需已安装 atari-py 或 gymnasium[atari])。

示例 3：使用 Stable Baselines3 快速训练 (基于方案 C)

这是目前最简洁的代码方式，无需克隆特定仓库，直接编写脚本：

import gymnasium as gym
from stable_baselines3 import PPO

# 1. 创建环境
env = gym.make("CartPole-v1")

# 2. 初始化算法 (PPO)
model = PPO("MlpPolicy", env, verbose=1)

# 3. 训练模型 (10000 步)
model.learn(total_timesteps=10000)

# 4. 观察训练后的表现
obs, info = env.reset()
for i in range(1000):
    action, _states = model.predict(obs, deterministic=True)
    obs, reward, terminated, truncated, info = env.step(action)
    env.render()
    if terminated or truncated:
        obs, info = env.reset()

env.close()

下一步探索

完成上述基础实验后，你可以回到 awesome-rl 列表中寻找更专业的资源：

• 理论研究：参考 David Silver 的 UCL 课程视频或 Sutton 的电子书。
• 特定领域：查看 Robotics (机器人控制) 或 Game Playing (博弈) 分类下的专用库（如 Jumanji, Black-DROPS）。
• 复现论文：在 Papers / Thesis 部分查找经典论文对应的代码实现链接。