Awesome Deep RL

一份精选的深度强化学习（Deep Reinforcement Learning）资源列表。

目录

• 库
• 基准测试结果
• 环境
• 竞赛
• 时间线
• 书籍
• 教程
• 博客

库

• AgileRL - 一个深度强化学习库，专注于通过引入 RLOps（强化学习运维）- MLOps（机器学习运维）来改进开发流程。
• Berkeley Ray RLLib - 一个开源的强化学习库，提供高可扩展性以及用于各种应用的统一 API（应用程序接口）。
• Berkeley Softlearning - 一个用于在连续域中训练最大熵策略的强化学习框架。
• Catalyst - 加速的深度学习（DL）与强化学习（RL）。
• ChainerRL - 一个基于 Chainer 构建的深度强化学习库。
• DeepMind Acme - 一个强化学习研究框架。
• DeepMind OpenSpiel - 一个用于通用强化学习研究以及游戏中搜索/规划的环境和算法集合。
• DeepMind TRFL - TensorFlow 强化学习。
• DeepRL - PyTorch 中深度强化学习算法的模块化实现。
• DeepX machina - 一个用于现实世界深度强化学习的库，基于 PyTorch 构建。
• d3rlpy - 一个离线深度强化学习库。
• Facebook ELF - 一个包含 AlphaGoZero/AlphaZero 重实现的游戏研究平台。
• Facebook ReAgent - 一个用于推理系统（强化学习、上下文赌博机等）的平台。
• garage - 一个用于可复现强化学习研究的工具包。
• Google Dopamine - 一个用于强化学习算法快速原型设计的研究框架。
• Google TF-Agents - TF-Agents 是一个 TensorFlow 中的强化学习库。
• K-Scale Labs - ksim - 一个模块化且易于使用的框架，用于在仿真中训练策略。
• K-Scale Labs - ksim-gym - K-Sim Gym：利用 RL 让机器人更有用。基于 K-Sim 构建。
• MAgent - 一个多智能体强化学习平台。
• Maze - 面向应用的深度强化学习框架，解决现实世界决策问题。
• MushroomRL - 用于强化学习实验的 Python 库。
• NervanaSystems coach - Intel AI 实验室出品的强化学习 Coach。
• OpenAI Baselines - 强化学习算法的高质量实现。
• OpenRL - 一个开源的通用强化学习研究框架。
• pytorch-a2c-ppo-acktr-gail - 优势演员 - 评论家 (A2C)、近端策略优化 (PPO)、使用 Kronecker 因子近似的大规模深度强化学习信任域方法 (ACKTR) 以及生成对抗模仿学习 (GAIL) 的 PyTorch 实现。
• pytorch-rl - 用 PyTorch 实现的无模型深度强化学习算法。
• reaver - 一个模块化深度强化学习框架，专注于各种基于 StarCraft II 的任务。
• RLgraph - 用于深度强化学习的模块化计算图。
• RLkit - 用 PyTorch 实现的强化学习框架和算法。
• rlpyt - PyTorch 中的强化学习。
• RLtools - 最快的用于连续控制的深度强化学习库，用纯的、无依赖的 C++ 实现（也提供 Python 绑定）。
• skrl - 模块化强化学习库（基于 PyTorch 和 JAX），支持 NVIDIA Isaac Gym、Omniverse Isaac Gym 和 Isaac Lab。
• SLM Lab - PyTorch 中的模块化深度强化学习框架。
• Stable Baselines - OpenAI Baselines 的一个分支，包含强化学习算法的实现。
• TensorForce - 一个用于应用强化学习的 TensorFlow 库。
• Tianshou - Tianshou (天授) 是一个基于纯 PyTorch 的强化学习平台。
• TorchRL - 一个用于 PyTorch 的开源强化学习 (RL) 库。
• UMass Amherst Autonomous Learning Library - 一个用于构建深度强化学习智能体的 PyTorch 库。
• Unity ML-Agents Toolkit - Unity 机器学习智能体工具包。
• vel - 为深度学习研究带来速度。
• DI-engine - 一个通用决策智能引擎。支持各种深度强化学习算法。

基准测试结果

• DeepMind bsuite
• OpenAI baselines-results
• OpenAI Baselines
• OpenAI Spinning Up
• ray rl-experiments
• rl-baselines-zoo
• SLM Lab
• vel
• 同策略强化学习中什么最重要？一项大规模实证研究
• yarlp

环境

• AI2-THOR - 一个近乎照片级真实感的可交互框架，用于 AI (人工智能) agents (智能体)。
• Animal-AI Olympics - 一项 AI 竞赛，测试灵感来源于动物认知。
• Berkeley rl-generalization - 可修改的 OpenAI Gym 环境，用于研究 RL (强化学习) 中的泛化能力。
• BTGym - 可扩展的事件驱动型、对 RL 友好的回测库。基于 Backtrader 构建，带有 OpenAI Gym 环境 API (应用程序接口)。
• Carla - 用于自动驾驶研究的开源模拟器。
• CuLE - Atari 学习环境（ALE）的 CUDA 移植版本。
• Deepdrive - 用于自动驾驶汽车的端到端模拟。
• DeepMind AndroidEnv - 一个在 Android 设备上进行 RL 研究的库。
• DeepMind DM Control - DeepMind 控制套件和包。
• DeepMind Lab - 一个可定制的 3D 平台，用于基于智能体的 AI 研究。
• DeepMind pycolab - 一个高度可定制的 gridworld (网格世界) 游戏引擎，包含一些内置功能。
• DeepMind PySC2 - 星际争霸 II 学习环境。
• DeepMind RL Unplugged - Offline (离线) 强化学习的基准测试。
• Facebook EmbodiedQA - 训练 embodied (具身) 智能体，使其能够在环境中回答问题。
• Facebook Habitat - 一个模块化的高级库，用于在各种任务、环境和模拟器中训练具身 AI 智能体。
• Facebook House3D - 一个丰富且逼真的 3D 环境。
• Facebook natural_rl_environment - 自然信号 Atari 环境，在论文《自然环境强化学习基准》中引入。
• Google Research Football - 一个基于开源游戏 Gameplay Football 的 RL 环境。
• GVGAI Gym - 一个 OpenAI Gym 环境，适用于用视频游戏描述语言编写的游戏，包括通用视频游戏竞赛框架。
• gym-doom - 基于 VizDoom 的 Doom 环境。
• gym-duckietown - 用于 Duckietown 宇宙的自动驾驶汽车模拟器。
• gym-gazebo2 - 一个使用 ROS 2 和 Gazebo 开发和比较强化学习算法的工具包。
• gym-ignition - 使用 Ignition Robotics 实现的实验性 OpenAI Gym 环境。
• gym-idsgame - 一个用于 OpenAI Gym 的抽象网络安全模拟和 Markov Game (马尔科夫博弈)。
• gym-super-mario - 32 关原版超级马里奥兄弟。
• Gym4ReaL - 一个基于 Gymnasium 的基准测试套件，用于在现实世界场景中测试强化学习算法，包括水资源管理、微电网能源管理、金融交易等。
• Holodeck - 用于强化学习和机器人学研究的高保真模拟器。
• home-platform - 一个人工智能体平台，用于在现实情境中从视觉、音频、语义、物理以及与物体和其他智能体的交互中学习。
• ma-gym - 基于 OpenAI gym 的 multi agent (多智能体) 环境集合。
• mazelab - 一个可定制的框架，用于创建迷宫和网格世界环境。
• Meta-World - 一个用于 Meta- (元) 和多任务强化学习的开源机器人基准测试。
• Microsoft AirSim - 由微软 AI & 研究部门开发的基于 Unreal Engine / Unity 构建的用于自动驾驶车辆的开源模拟器。
• Microsoft Jericho - 一个人造交互式小说（Interactive Fiction）游戏的学习环境。
• Microsoft Malmö - 一个建立在 Minecraft 之上的人工智能实验和研究平台。
• Microsoft MazeExplorer - 可定制的 3D 环境，用于评估强化学习中的泛化能力。
• Microsoft TextWorld - 一个基于文本的游戏生成器和可扩展的沙盒学习环境，用于训练和测试强化学习智能体。
• MineRL - 样本高效强化学习竞赛。
• MuJoCo - 高级物理模拟。
• OpenAI Coinrun - 论文《量化强化学习中的泛化》中使用的环境代码。
• OpenAI Gym Retro - Gym 中的复古游戏。
• OpenAI Gym Soccer - 一个具有连续状态和动作空间的多智能体领域。
• OpenAI Gym - 一个用于开发和比较强化学习算法的工具包。
• OpenAI Multi-Agent Particle Environment - 一个简单的多智能体粒子世界，具有连续观察和离散动作空间，以及一些基本的模拟物理。
• OpenAI Neural MMO - 一个大规模多智能体游戏环境。
• OpenAI Procgen Benchmark - 程序生成的类游戏 Gym 环境。
• OpenAI Roboschool - 用于机器人模拟的开源软件，与 OpenAI Gym 集成。
• OpenAI RoboSumo - 一组竞争性多智能体环境，用于论文《通过非平稳和竞争环境中的元学习进行持续适应》。
• OpenAI Safety Gym - 用于加速安全探索研究的工具。
• Personae - 用于量化交易的 RL & SL (监督学习) 方法及环境。
• Pommerman - 为 AI 研究构建的炸弹人克隆版。
• pybullet-gym - OpenAI Gym MuJoCo 环境的开源实现，用于 OpenAI Gym 强化学习研究平台。
• PyGame Learning Environment - Python 中的强化学习环境。
• RLBench - 一个大规模基准测试和学习环境。
• RLGym - 一个 Python API，将火箭联盟游戏视为 OpenAI Gym 环境。
• RLTrader - 一个使用深度强化学习和 OpenAI gym 的加密货币交易环境。
• RoboNet - 一个用于大规模多机器人学习的数据集。
• rocket-lander - SpaceX Falcon 9 Box2D 连续动作模拟，带有传统和 AI 控制器。
• Stanford Gibson Environments - 具身智能体的现实世界感知。
• Stanford osim-rl - 带有肌肉骨骼模型的强化学习环境。
• Unity ML-Agents Toolkit - Unity 机器学习智能体工具包。
• UnityObstableTower - 一个程序生成的环境，由多个楼层组成，供学习智能体解决。
• VizDoom - 基于 Doom 的 AI 研究平台，用于从原始视觉信息进行强化学习。
• RLCard - 一个用于纸牌游戏强化学习的研究平台。
• DouZero - 一个用于斗地主（中国扑克）强化学习的研究平台。

竞赛

• AWS DeepRacer (深度赛车) 联赛 2019
• Flatland 挑战赛 2019
• Kaggle Connect X 竞赛 2020
• NeurIPS 2019: Animal-AI (动物智能) 奥运会
• NeurIPS 2019: 无人机博弈
• NeurIPS 2019: 学习移动 - 行走
• NeurIPS 2019: MineRL 竞赛
• NeurIPS 2019: 侦察盲棋
• NeurIPS 2019: 机器人开放式自主学习
• Unity 障碍塔挑战赛 2019

查看 AICrowd 获取主要强化学习竞赛的最新列表

时间线

• 1947: Monte Carlo Sampling (蒙特卡洛采样)
• 1958: Perceptron (感知机)
• 1959: Temporal Difference Learning (时序差分学习)
• 1983: ASE-ALE — 第一个 Actor-Critic (演员 - 评论家) 算法
• 1986: Backpropagation (反向传播) 算法
• 1989: CNNs (卷积神经网络)
• 1989: Q-Learning (Q 学习)
• 1991: TD-Gammon
• 1992: REINFORCE
• 1992: Experience Replay (经验回放)
• 1994: SARSA
• 1999: Nvidia 发明了 GPU (图形处理器)
• 2007: CUDA (统一计算设备架构) 发布
• 2012: Arcade Learning Environment (ALE) (街机学习环境)
• 2013: DQN (深度 Q 网络)
• 2015 年 2 月：DQN 在 Atari 上达到人类水平控制
• 2015 年 2 月：TRPO (信任区域策略优化)
• 2015 年 6 月：Generalized Advantage Estimation (广义优势估计)
• 2015 年 9 月：Deep Deterministic Policy Gradient (DDPG) (深度确定性策略梯度)
• 2015 年 9 月：DoubleDQN (双重深度 Q 网络)
• 2015 年 11 月：DuelingDQN
• 2015 年 11 月：Prioritized Experience Replay (优先经验回放)
• 2015 年 11 月：TensorFlow
• 2016 年 2 月：A3C (异步优势演员 - 评论家)
• 2016 年 3 月：AlphaGo 以 4-1 击败李世石
• 2016 年 6 月：OpenAI Gym
• 2016 年 6 月：Generative Adversarial Imitation Learning (GAIL) (生成对抗模仿学习)
• 2016 年 10 月：PyTorch
• 2017 年 3 月：Model-Agnostic Meta-Learning (MAML) (模型无关元学习)
• 2017 年 7 月：Distributional RL (分布式强化学习)
• 2017 年 7 月：PPO (近端策略优化)
• 2017 年 8 月：OpenAI DotA 2 1:1
• 2017 年 8 月：Intrinsic Curiosity Module (ICM) (内在好奇心模块)
• 2017 年 10 月：Rainbow
• 2017 年 10 月：AlphaGo Zero 在无人类知识情况下精通围棋
• 2017 年 12 月：AlphaZero 精通围棋、国际象棋和将棋
• 2018 年 1 月：Soft Actor-Critic (软演员 - 评论家)
• 2018 年 2 月：IMPALA
• 2018 年 6 月：Qt-Opt
• 2018 年 11 月：Go-Explore 解决了 Montezuma's Revenge (蒙特祖玛的复仇)
• 2018 年 12 月：AlphaZero 成为国际象棋、围棋和将棋历史上最强的选手
• 2019 年 4 月：OpenAI Five 在 DotA 2 中击败世界冠军
• 2019 年 5 月：FTW Quake III Arena 夺旗模式
• 2019 年 8 月：AlphaStar: 星际争霸 II 大师级别
• 2019 年 9 月：多智能体交互中涌现的工具使用
• 2019 年 10 月：用机械手解决魔方
• 2020 年 3 月：Agent57 在所有 57 款 Atari 游戏中超越标准人类基准
• 2020 年 11 月：AlphaFold 用于蛋白质折叠
• 2020 年 12 月：MuZero 在无规则情况下精通围棋、国际象棋、将棋和 Atari
• 2021 年 8 月：通用能力智能体从开放式游戏中涌现

书籍

• 强化学习算法 (Algorithms for Reinforcement Learning). Szepesvari 等.
• 深度强化学习简介 (An Introduction to Deep Reinforcement Learning). Francois-Lavet 等.
• 深度强化学习实战 (Deep Reinforcement Learning Hands-On). Lapan
• 深度强化学习行动 (Deep Reinforcement Learning in Action). Zai & Brown
• 深度强化学习基础 (Foundations of Deep Reinforcement Learning). Graesser & Keng
• 深入理解深度强化学习 (Grokking Deep Reinforcement Learning). Morales
• 强化学习：简介 (Reinforcement Learning: An Introduction). Sutton & Barto.

教程

• Andrew Karpathy 深度强化学习 (Deep Reinforcement Learning)：从像素玩乒乓球游戏 (Pong)
• Arthur Juliani TensorFlow 中的简单强化学习 (Reinforcement Learning) 系列
• 伯克利深度强化学习课程
• David Silver UCL 2015 强化学习 (RL) 课程
• 2017 深度强化学习 (Deep RL) 训练营
• DeepMind UCL 2018 深度强化学习 (Deep RL) 课程
• DeepMind 学习资源
• dennybritz/reinforcement-learning
• higgsfield/RL-Adventure-2
• higgsfield/RL-Adventure
• Hugging Face 深度强化学习课程 🤗
• MorvanZhou/强化学习方法与教程
• OpenAI Spinning Up
• Sergey Levine CS294 2017 秋季深度强化学习课程
• Udacity 深度强化学习纳米学位 (Nanodegree)
• 强化学习基础
• PPOxFamily：深度强化学习 (DRL) 教程课程

博客

• Alex Irpan
• Andrew Karpathy
• Berkeley 人工智能 (AI) 研究
• Chris Olah
• David Ha
• DeepMind
• Distill
• Eric Jang
• Facebook AI
• Google AI
• Lilian Weng
• Matthew Rahtz
• OpenAI
• The Gradient
• Uber AI

awesome-deep-rl 快速上手指南

简介

awesome-deep-rl 不是一个直接可调用的代码库，而是一个深度强化学习（Deep RL）资源 curated 清单。它汇集了主流的算法库、环境、基准测试及教程。本指南将帮助你获取该清单，并基于清单中推荐的库快速开始一个深度强化学习项目。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python: 3.7 或更高版本
• 版本控制: Git
• 深度学习框架: PyTorch 或 TensorFlow (根据所选库决定)
• 硬件: 可选 NVIDIA GPU (用于加速训练)

安装步骤

1. 克隆资源清单仓库 通过 Git 获取该资源列表到本地：

   git clone https://github.com/pranz24/awesome-deep-rl.git
   

2. 安装依赖库 该清单本身无依赖，但使用清单中推荐的库（如 Stable Baselines3）需要安装相应环境。建议使用国内镜像源加速安装：

   pip install stable-baselines3[extra] -i https://pypi.tuna.tsinghua.edu.cn/simple
   pip install gymnasium -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

1. 浏览资源

克隆完成后，直接在本地查看 README.md 文件，或在 GitHub 页面浏览。清单按以下分类整理，可根据需求查找：

• Libraries: 算法库（如 Ray RLLib, Stable Baselines, Tianshou）
• Environments: 训练环境（如 Gym, MuJoCo, Atari）
• Tutorials: 教程与书籍
• Benchmark Results: 算法性能基准

2. 实战示例

基于清单中推荐的 Stable Baselines 生态，以下是一个使用 PPO 算法训练智能体的最小化示例：

import gymnasium as gym
from stable_baselines3 import PPO

# 创建环境
env = gym.make("CartPole-v1")

# 初始化 PPO 算法
model = PPO("MlpPolicy", env, verbose=1)

# 训练模型
model.learn(total_timesteps=10000)

# 测试模型
obs, _ = env.reset()
for i in range(1000):
    action, _states = model.predict(obs, deterministic=True)
    obs, reward, terminated, truncated, info = env.step(action)
    
    if terminated or truncated:
        obs, _ = env.reset()

env.close()

3. 进阶探索

• 如需多智能体强化学习，参考清单中的 MAgent 或 PettingZoo。
• 如需离线强化学习，参考清单中的 d3rlpy。
• 如需大规模分布式训练，参考清单中的 Berkeley Ray RLLib。