令人惊叹的深度强化学习

2024年3月1日更新：新增HILP

2022年7月更新：新增EDDICT

2022年3月更新：2022年初发布了几篇论文

2021年12月更新：无监督强化学习

关于awesome drl的介绍

强化学习是构建通用人工智能（AGI）的基础框架。因此，我们在这个awesome drl项目中分享了该领域的重要贡献。

深度强化学习全景图

目录

• 令人惊叹的深度强化学习
  • 关于awesome drl的介绍
  • 深度强化学习全景图
  • 目录
  • 通用指南
  • 2022年
  • 基础与理论
  • 通用基准框架
  • 无监督
  • 离线
  • 基于价值的方法
  • 策略梯度
  • 探索
  • Actor-Critic
  • 基于模型的方法
  • 无模型+基于模型
  • 层次化
  • 选项
  • 与其他方法的联系
  • 连接价值与策略方法
  • 奖励设计
  • 统一
  • 更快的深度强化学习
  • 多智能体
  • 新设计
  • 多任务
  • 观察学习
  • 元学习
  • 分布式
  • 规划
  • 安全性
  • 逆向强化学习
  • 无奖励强化学习
  • 时间
  • 对抗性学习
  • 使用自然语言
  • 生成式与对比表征学习
  • 信念
  • PAC
  • 应用

插图：

欢迎提出建议和意见。

通用指南

• Awesome Offline RL
• Reinforcement Learning Today
• Marc Lanctot的多智能体强化学习RLSS @ Lille 2019年7月11日
• David Abel的RLDM 2019笔记 2019年7月11日
• 受自然语言启发的强化学习综述 2019年6月10日 arxiv
• 现实世界强化学习的挑战 2019年4月29日 arxiv
• 光线干扰：深度强化学习中的 plateau 问题来源 2019年4月25日 arxiv
• David Silver的深度强化学习原则
• University AI的深度强化学习中文简介
• OpenAI的spinningup
• 层次化强化学习的前景 2019年3月9日
• 有意义的深度强化学习 2019年1月30日 arxiv

2024年

• 基于希尔伯特表示的基础策略 arxiv repo 2024年2月23日

2022年

• 基于视频进行无动作预训练的强化学习 arxiv repo

通用策略

• 基于希尔伯特表示的基础策略 arxiv repo 2024年2月23日

基础与理论

• 一般非线性贝尔曼方程 2019年7月9日 arxiv
• 机器学习中的蒙特卡洛梯度估计 2019年6月25日 arxiv

通用基准框架

• Brax

• Android-Env
  • 
• MuJoCo | MuJoCo中文版
• 无监督强化学习基准
• 用于离线强化学习的数据集
• Spriteworld：一个灵活、可配置的基于Python的强化学习环境
• Chainerrl可视化工具
• 强化学习行为套件 2019年8月13日 arxiv | 代码
• 量化强化学习中的泛化能力 2018年12月20日 arxiv
• S-RL工具箱：用于状态表征学习的环境、数据集和评估指标 2018年9月25日
• dopamine
• 星际争霸II
• tfrl
• chainerrl
• PARL
• DI-engine：一个通用的决策智能引擎，支持多种深度强化学习算法
• PPO x Family：深度强化学习中文课程

无监督

• URLB：无监督强化学习基准 2021年10月28日
• APS：基于后继特征的主动预训练 2021年8月31日
• 来自虚无的行为：无监督主动预训练 2021年3月8日
• 基于原型表征的强化学习 2021年2月22日
• 通过状态边际匹配实现高效探索 2019年6月12日
• 通过分歧进行自监督探索 2019年6月10日
• 通过随机网络蒸馏进行探索 2018年10月30日
• 多样性就是一切：无需奖励函数即可学习技能 2018年2月16日
• 基于自监督预测的好奇心驱动探索 2017年5月15日

离线

• PerSim：通过个性化模拟器实现异构智能体的数据高效离线强化学习 2021年11月10日
• 交互式推荐的通用离线强化学习框架 AAAI 2021

基于价值的方法

• 利用结构进行基于价值的规划与强化学习 2020年2月5日 arxiv | 代码
• 循环价值函数 2019年5月23日 arxiv
• 随机Lipschitz Q学习 2019年4月24日 arxiv
• TreeQN和ATreeC：用于深度强化学习的可微分树状模型 2018年3月8日
• 分布式优先经验回放 2018年3月2日
• Rainbow：结合深度强化学习中的多项改进 2017年10月6日
• 从示范中学习以应用于现实世界的强化学习 2017年4月12日
• 双网络架构
• 双DQN
• 优先经验回放
• 深度Q网络

策略梯度方法

• 阶段性策略梯度 2020年9月9日 arxiv 代码
• 策略梯度方法的算子视角 2020年6月22日 arxiv
• 直接策略梯度：在离散动作空间中直接优化策略 2019年6月14日 arxiv
• 策略梯度搜索：无需搜索树的在线规划与专家迭代 2019年4月7日 arxiv
• 深度强化学习的监督策略更新 2018年12月24日 arxiv
• PPO-CMA：协方差矩阵自适应的近端策略优化 2018年10月5日 arxiv
• 截断动作策略梯度 2018年6月22日
• 强化学习中的期望策略梯度 2018年1月10日
• 近端策略优化算法 2017年7月20日
• 丰富环境中运动行为的涌现 2017年7月7日
• 插值策略梯度：融合在线与离线策略梯度估计以用于深度强化学习 2017年6月1日
• 策略梯度与软Q学习之间的等价性
• 信任区域策略优化
• 基于深度能量函数的策略强化学习
• Q-PROP：带有离线评论家的样本高效策略梯度

探索方法

• 内在控制中的熵驱动期望动力学 2021年 openreview
• 通过分歧进行自监督探索 2019年6月10日 arxiv
• 通过状态抽象进行近似探索 2019年1月24日
• 不确定性贝尔曼方程与探索 2017年9月15日
• 用于探索的噪声网络 2017年6月30日 实现
• 强化学习中基于特征空间计数的探索 2017年6月25日
• 基于神经密度模型的计数探索 2017年6月14日
• 基于Q集合的UCB和InfoGain探索 2017年6月11日
• 强化学习的极小化极大后悔界 2017年3月16日
• 利用深度预测模型激励强化学习中的探索
• EX2：用于深度强化学习的示例模型探索

演员-评论家方法

• 广义的离线演员-评论家 2019年3月27日
• 软演员-评论家算法及其应用 2019年1月29日
• 反应堆：一种样本高效的演员-评论家架构 2017年4月15日
• 具有经验回放的样本高效演员-评论家
• 无监督辅助任务下的强化学习
• 深度强化学习中的连续控制

基于模型的方法

• 自洽模型与价值 2021年10月25日 arxiv
• 何时在强化学习中使用参数化模型？ 2019年6月12日 arxiv
• Atari游戏中的基于模型的强化学习 2019年3月5日
• 基于模型的深度强化学习稳定化 2018年9月6日
• 从零开始学习基于模型的规划 2017年7月19日

无模型+基于模型的方法

• 想象增强型智能体用于深度强化学习 2017年7月19日

分层方法

• 为什么分层方法有时在强化学习中如此有效？ 2019年9月23日 arxiv
• 语言作为分层深度强化学习的抽象 2019年6月18日 arxiv

选项方法

• 变分选项发现算法 2018年7月26日
• 强化学习中选项发现的拉普拉斯框架 2017年6月16日

与其他方法的联系

• 多样化行为的鲁棒模仿
• 通过对抗性模仿从动作捕捉中学习人类行为
• 生成对抗网络与演员-评论家方法的连接

连接价值与策略方法

• 弥合基于价值与基于策略的强化学习之间的差距
• 策略梯度与Q学习

奖励设计

• 无需奖励工程的端到端机器人强化学习 2019年4月16日 arxiv
• 具有损坏奖励通道的强化学习 2017年5月23日

统一方法

• 多步强化学习：一种统一算法

加速DRL

• 神经情景控制

多智能体

• 无压外交：多智能体游戏建模 2019年9月4日 arxiv
• 选项作为回应：在多智能体强化学习中将行为层次结构具体化 2019年6月6日 arxiv
• 用于样本高效多智能体协作的进化强化学习 2019年6月18日 arxiv
• 具有最大熵目标的正则化对手模型 2019年5月17日 arxiv
• 用于纳什均衡的深度Q学习：Nash-DQN 2019年4月23日 arxiv
• 马尔萨斯强化学习 2019年3月3日 arxiv
• 深度多智能体强化学习中的贝叶斯动作解码器 2018年11月4日
• 通过因果影响实现多智能体强化学习中的内在社会动机 2018年10月19日
• QMIX：用于深度多智能体强化学习的单调值函数分解 2018年3月30日
• 在多智能体强化学习中使用自身来建模他人 2018年2月26日
• n人可微分博弈的机制 2018年2月15日
• 在非平稳和竞争性环境中通过元学习进行连续适应 2017年10月10日
• 带有对手学习意识的学习 2017年9月13日
• 反事实多智能体策略梯度
• 用于混合合作-竞争环境的多智能体演员-评论家 2017年6月7日
• 用于学习玩《星际争霸》战斗游戏的多智能体双向协调网络 2017年3月29日

新设计

• IMPALA：基于重要性加权演员-学习者架构的可扩展分布式深度强化学习 2018年2月9日
• 强化学习中的逆向课程生成
• 无需试错：通过人类干预迈向安全强化学习
• 学习设计游戏：深度强化学习中的战略环境 2017年7月5日

多任务

• 启动深度强化学习 2018年3月10日
• 通过多任务深度强化学习实现零样本任务泛化 2017年11月7日
• Distral：鲁棒的多任务强化学习 2017年7月13日

观察学习

• 通过强化学习进行观察学习 2017年6月20日

元学习

• 发现有用的辅助任务问题 2019年9月10日 arxiv
• 序列策略的元学习 2019年5月8日 arxiv
• 通过概率上下文变量实现高效的离策略元强化学习 2019年3月19日 arxiv
• 关于通过元强化学习学习探索的一些思考 2019年1月11日 arxiv
• 元梯度强化学习 2018年5月24日 arxiv
• ProMP：近端元策略搜索 2018年10月16日 arxiv
• 强化学习的无监督元学习 2018年6月12日

分布式

• GAN Q学习 2018年7月20日
• 用于分布强化学习的隐式分位数网络 2018年6月14日
• 非线性分布梯度时序差分学习 2018年5月20日
• 分布式分布确定性策略梯度 2018年4月23日
• 对分类分布强化学习的分析 2018年2月22日
• 基于分位数回归的分布强化学习 2017年10月27日
• 强化学习的分布视角 2017年7月21日

计划

• 在重放缓冲区上搜索：连接计划与强化学习 2019年6月12日 arxiv

安全

• 针对模型误设的连续控制鲁棒强化学习 2019年6月18日 arxiv
• 通过策略提取实现可验证的强化学习 2018年5月22日 arxiv

逆向RL

• 解决逆向强化学习中的样本低效和奖励偏差问题 2018年9月9日

无奖励RL

• 利用变分内在成功特征快速推断任务 2019年6月2日 arxiv
• 由自监督预测驱动的好奇心探索 2017年5月15日

时间

• 深度强化学习智能体中的间隔计时 2019年5月31日 arxiv
• 强化学习中的时间限制

对抗学习

• 从观察中进行的样本高效对抗模仿学习 2019年6月18日 arxiv

使用自然语言

• 在强化学习中使用自然语言进行奖励塑造 2019年5月31日 arxiv

生成式和对比表征学习

• Atari中的无监督状态表征学习 2019年6月19日 arxiv

信念

• 利用生成式环境模型为RL塑造信念状态 2019年6月24日 arxiv

PAC

• 具有函数逼近的可证明收敛的离策略演员-评论家 2019年11月11日 arxiv

应用

• 深度离策略评估的基准 2021年3月30日 arxiv
• 在复杂顺序社会困境中学习互惠 2019年3月19日 arxiv
• DeepMimic：基于示例引导的物理角色技能深度强化学习 2018年4月9日
• 用强化学习调优循环神经网络

awesome-deep-rl 快速上手指南

awesome-deep-rl 并非一个可直接安装的单一软件库，而是一个深度强化学习（Deep RL）领域的精选资源列表。它汇集了该领域重要的论文、开源代码库、基准测试框架和学习指南。

本指南将帮助中国开发者如何利用该列表快速搭建开发环境、获取核心算法代码并开始实验。

环境准备

由于列表中包含了大量基于 Python 的深度学习框架（如 PyTorch, TensorFlow, JAX）和强化学习环境，建议按以下标准准备开发环境：

• 操作系统: Linux (Ubuntu 20.04/22.04 推荐) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本: 3.8 - 3.10 (兼容性最佳)。
• 硬件要求:
  • 强烈建议配备 NVIDIA GPU (显存 8GB 以上为佳) 以加速训练。
  • 若仅阅读论文或运行小型 Demo，CPU 亦可。
• 前置依赖:
  • Git
  • CUDA Toolkit (根据显卡驱动版本安装)
  • cuDNN

安装步骤

由于这是一个资源索引项目，"安装"实际上是指克隆仓库并配置通用的强化学习开发环境。

1. 克隆项目仓库

使用 Git 获取最新资源列表（推荐使用国内镜像加速）：

# 使用 Gitee 镜像（如果可用）或 GitHub 官方源
git clone https://github.com/hanjuku-kaso/awesome-deep-rl.git
# 或者
git clone https://gitee.com/mirrors/awesome-deep-rl.git
cd awesome-deep-rl

2. 创建虚拟环境

建议使用 conda 或 venv 隔离环境，避免依赖冲突。

# 使用 conda 创建环境
conda create -n drl_env python=3.9
conda activate drl_env

3. 安装通用深度学习依赖

列表中的项目大多依赖主流框架。你可以根据想复现的具体算法选择安装 PyTorch 或 TensorFlow。以下是基于 PyTorch 的通用安装方案（使用清华源加速）：

# 安装 PyTorch (CUDA 11.8 版本示例)
pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装强化学习常用基础库
pip install gymnasium mujoco pygame matplotlib tqdm --index-url https://pypi.tuna.tsinghua.edu.cn/simple

注意: 列表中提到的具体算法（如 HILP, Brax, DI-engine 等）需要进入其对应的子链接仓库单独安装。例如，若想使用百度开源的 DI-engine，需执行：

pip install ding --index-url https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

awesome-deep-rl 的核心用法是查阅目录找到你需要的算法或工具，然后跳转到对应仓库进行实践。

场景一：查找特定算法的代码实现

假设你想学习最新的 HILP (Foundation Policies with Hilbert Representations) 算法：

1. 在本地打开 awesome-deep-rl 目录下的 README.md 或在 GitHub 页面浏览。
2. 定位到 2024 或 Generalist policies 章节。
3. 找到条目：[Foundation Policies with Hilbert Representations](HILP.md) [repo](https://github.com/seohongpark/HILP)。
4. 点击 repo 链接或直接克隆该算法仓库：

git clone https://github.com/seohongpark/HILP.git
cd HILP
pip install -r requirements.txt

5. 运行该仓库提供的示例脚本（具体命令参考该子项目的 README）：

python train.py --config configs/hilp_default.yaml

场景二：使用统一的基准测试框架

如果你想在一个统一的环境中对比多种算法，可以使用列表中推荐的 DI-engine 或 Stable Baselines3 (虽未直接列出但兼容) 等框架。以列表中提到的 DI-engine 为例：

1. 安装:

   pip install ding
   

2. 运行一个简单的 DQN 示例 (在 CartPole 环境中):

   from ding.policy import DQNPolicy
   from ding.envs import DingEnvWrapper
   import gymnasium as gym
   
   # 创建环境
   env = gym.make("CartPole-v1")
   env = DingEnvWrapper(env)
   
   # 初始化策略 (伪代码示例，具体请参考 DI-engine 文档)
   policy = DQNPolicy()
   
   # 开始训练循环
   # policy.learn(...) 
   

场景三：查阅中文学习资料

对于初学者，列表中特别收录了中文入门资源：

• 在 General guidances 章节找到：University AI's General introduction to deep rl (in Chinese)。
• 访问链接阅读系统性的中文教程，建立理论基础后再动手复现代码。

---

提示: 该列表更新频繁（最近更新于 2024 年 3 月），请定期 git pull 获取最新的论文和开源项目信息。