AI-Optimizer

AI-Optimizer 是一款新一代深度强化学习套件，提供了从无模型到基于模型的强化学习算法，以及从单智能体到多智能体算法的丰富算法库。此外，AI-Optimizer 还包含一个灵活且易于使用的分布式训练框架，用于高效地训练策略。

AI-Optimizer 目前提供了以下内置库，更多库和实现即将推出。

• 多智能体强化学习
• 自监督表征强化学习
• 离线强化学习
• 迁移与多任务强化学习
• 基于模型的强化学习

多智能体强化学习 (MARL)

多智能体 RL 仓库包含了 TJU-RL 实验室在多智能体强化学习 (MARL) 方面具有代表性的研究成果代码。

❓ 待解决的问题

多智能体强化学习 (MARL) 已成功解决了许多复杂的现实世界问题，例如下围棋（AlphaGo，AlphaGo Zero)、玩即时战略多人游戏（星际争霸 II，Dota 2，王者荣耀)、玩纸牌游戏（扑克，无限注扑克)、机器人控制（[arXiv.org/abs/1709.06011]）以及自动驾驶（Smarts）。然而，除了单智能体 RL 中存在的挑战之外，MARL 在理论分析方面还面临诸多难题。我们总结了在发展 MARL 理论时认为至关重要的几个挑战：

• 维度灾难（可扩展性）问题
• 非平稳性
• 学习目标不唯一
• 探索与利用之间的权衡
• 多智能体信用分配问题
• 部分可观测性
• 混合动作

我们的目标是设计 MARL 算法，以解决或缓解上述问题，并推动 MARL 在更多实际应用中的部署和落地。

⭐️ 核心方向

我们根据上述挑战开展研究。为了解决维度灾难问题，我们设计了一系列可扩展的多智能体神经网络，这些网络能够通过利用 排列不变性和排列等变性特性，明确考虑 动作语义，从而有效地缩小搜索空间。为了更好地平衡探索与利用之间的权衡，我们提出了渐进式互信息协作，以实现更高效的协作式探索……以下是所提出方法的整体概览。

💦 贡献

本仓库的主要贡献在于：

• 对于对 MARL 感兴趣的 初学者，我们的 easy-marl 代码库以及知乎专栏：MARL 和 基于通信的 MARL 可以作为初步教程。

• 对于 研究人员，我们从不同角度系统地概述了 MARL 中典型的挑战，每一个挑战都是极具价值的研究方向，并且都包含一系列近期的研究成果。我们希望通过我们的研究工作及相应的开源代码，能够帮助研究人员更轻松地设计新算法。

  • 例如，鉴于近年来设计新型 MARL 架构的兴趣日益浓厚，可扩展的多智能体网络 这一研究方向无疑引起了 MARL 社区的广泛关注。最近，在 MARL 智能体设计中，“排列不变性”和“排列等变性”的概念受到的关注相对较少，因此我们在 API 论文 中提出的观点非常有趣，也与 MARL 研究人员密切相关。

• 对于 从业者，我们发布了一系列 高效、可扩展、性能优异且 易于使用的 MARL 算法，这些算法在 MARL 研究社区的典型基准测试中表现出色。

  • 例如，我们在论文《API：通过智能体排列不变网络提升多智能体强化学习》中提出的 API-QMIX、API-VDN、API-MAPPO 和 API-MADDPG 算法，在 星际争霸多智能体挑战 (SMAC) 和 多智能体粒子环境 的基准测试中均取得了最先进的性能，其中在几乎所有的 SMAC 困难和超困难场景中实现了 100% 的胜率（这是前所未有的成绩）。
  • 我们 强烈建议从业者在解决实际的 MARL 问题时，首先尝试并使用我们的 API 网络解决方案（因为它非常容易使用且效果非常好）。我们希望我们的工作能够促进 MARL 在更多现实世界应用中的部署和落地。

  更多信息请参见 此处。

离线强化学习算法 (Offrl)

❓ 待解决的问题

当前的深度强化学习方法通常仍依赖于主动的数据收集才能取得成功，这在数据收集危险或昂贵的情况下，极大地限制了其在现实世界中的应用。离线强化学习（也称为批处理强化学习）是一种数据驱动的强化学习范式，专注于仅从先前收集的静态数据集中进行学习。在这种设置中，行为策略与环境交互以收集一组经验，这些经验随后可用于在无需进一步交互的情况下学习策略。这一范式在在线交互不切实际的场景中具有极高的价值。然而，现有的离线强化学习方法主要受限于以下三个挑战：

• 算法上限较低：离线数据的质量决定了离线强化学习算法的性能。如何在不进行额外交互的情况下扩展低质量的离线数据，从而提高离线强化学习算法的学习上限？
• 算法效果不佳：现有的离线/非策略算法是在离线数据分布上进行训练的。当与环境交互时，访问的状态-动作分布可能会相对于离线数据发生改变（分布偏移）。在这种情况下，<状态, 动作>对的Q值容易被高估，从而影响整体性能。如何表征离线数据分布之外的数据（Out Of Distribution, OOD），以避免过估计问题？
• 算法应用困难：由于数据集质量有限，所学策略无法直接部署到生产环境中，还需要进一步的在线学习。如何设计在线训练阶段的数据采样策略，以避免因分布变化产生的冗余数据导致策略初始性能骤降，并在有限的交互次数内快速收敛到最优解？

💦 贡献

本仓库包含了离线强化学习领域中具有代表性的基准和算法代码。该仓库基于d3rlpy（https://github.com/takuseno/d3rlpy）开发，遵循MIT许可证，旨在为上述三个挑战的研究提供参考。在继承其优势的基础上，新增功能包括（或即将加入）：

• 统一的算法框架，支持不同算法之间丰富且公平的对比：
  • REDQ
  • UWAC
  • BRED
  • …
• 丰富且贴近真实世界的数据集：
  • 工业级真实世界数据集
  • 多模态数据集
  • 增强型数据集（及相应方法）
  • 通过表示学习获得的数据集（及相应方法）
• 更易用的日志系统支持：
  • Wandb

自监督强化学习（SSRL）

SSRL仓库包含了天津大学强化学习实验室在自监督表示学习用于强化学习领域的代表性研究成果代码。

据我们所知，这是首个按照系统的研究分类体系和统一的算法框架建立的SSRL代码仓库。

❓ 待解决的问题

由于强化学习智能体在学习过程中始终负责接收、处理和传递各类数据（即典型的智能体-环境接口），因此如何**恰当地表示这些“数据”**自然成为决定强化学习有效性和效率的关键所在。

在本分支中，我们重点关注以下三个关键问题：

• 什么样的表示才适合强化学习？（理论）
• 如何获取或实现这样的良好表示？（方法论）
• 如何利用良好的表示来提升强化学习的效果？（下游学习任务与应用）

⭐️ 核心思想

我们以自监督学习（SSL）作为表示学习的主要范式，从四个角度展开研究：

• 状态表示
• 动作表示
• 策略表示
• 环境（及任务）表示

这四个视角是强化学习中通用的“智能体-环境接口”所涉及的主要要素。它们在强化学习过程中分别扮演着输入、优化目标等角色。这些要素的表示方式对强化学习的样本效率、收敛最优性以及跨环境泛化能力有着重要影响。

本仓库的核心贡献在于SSRL算法的统一算法框架（实现设计）。该框架能够统一解释目前几乎所有现有的SSRL算法，同时也可以作为我们设计新方法时的范式参考。

我们的最终目标是推动SSRL生态系统的建立，具体如下所示。

为了解决强化学习中的关键问题，我们从四种表示入手研究SSRL。针对这四个视角的研究，都以统一的算法与实现框架作为基础支撑。不同视角下研究得到的表示进一步促进了各种下游强化学习任务的开展，最终推动强化学习在实际应用中的部署与落地。

更多信息请参见此处。

💦 贡献

借助本仓库及我们的研究成果，我们希望引起强化学习社区对自监督表示学习的关注。

• 对于对强化学习感兴趣的人士，本仓库的介绍以及我们的博客文章可以作为初步的入门教程。
• 对于前沿的强化学习研究人员，我们认为我们的研究思路和提出的SSRL框架具有启发性和洞察力，能够为未来更高级的强化学习研究开辟新的方向。
• 对于强化学习的实践者（尤其是相关领域的从业者），我们提供了在在线强化学习中表现优异的先进算法（例如：PPO-PeVFA）、混合动作决策算法（例如：HyAR）以及基于离线经验的策略适应算法（例如：PAnDR）等，这些算法可以直接应用于或进一步开发于相关的学术和工业问题中。

我们也期待收到任何形式的反馈，以促进更深入的研究。

迁移与多任务强化学习

近年来，深度强化学习（DRL）在诸多人类水平的控制问题上取得了显著成果，例如视频游戏、机器人控制、自动驾驶汽车、智能电网等。然而，DRL仍然面临样本效率低下问题，尤其是在状态-动作空间变得庞大时，这使得从零开始学习变得十分困难。这意味着智能体需要使用大量的样本才能学习到一个良好的策略。此外，在多智能体强化学习（MARL）中，由于状态-动作空间呈指数级增长，样本效率低下的问题更加严重。

❓ 待解决的问题

样本效率低下问题：迁移与多任务强化学习旨在解决的主要挑战就是样本效率低下问题。这一问题迫使智能体收集海量的训练数据才能学习到最优策略。例如，Rainbow DQN大约需要1800万帧的训练数据才能超越人类玩家的平均水平，这相当于人类玩家连续游玩60小时的游戏内容。然而，人类玩家通常只需几分钟就能学会一款Atari游戏，并在经过一小时的训练后达到该游戏玩家的平均水平。

⭐️ 核心思想

• 迁移强化学习通过利用先前相关任务中的先验知识来加速强化学习过程，已成为显著提升DRL样本效率的热门研究方向之一。

• 多任务强化学习则采用单个网络同时学习多个任务的策略，凭借其推理速度快、性能优异的特点，也逐渐成为另一条极具前景的研究路径。

💦 贡献

本仓库包含了TJU-RL-Lab在迁移与多任务强化学习领域发布的代表性基准和算法代码，涵盖单智能体和多智能体场景，以不同方式应对样本效率低下的问题。

在本仓库中，我们提供了实验室的具体解决方案，包括：

• PTF通过提出一种新颖的策略迁移框架（PTF），有效解决了DRL中的样本效率低下问题。

• MAPTF则针对深度多智能体强化学习中的样本效率低下问题，提出了多智能体策略迁移框架（MAPTF）。

• KTM-DRL（复现版）：基于知识迁移的连续控制多任务深度强化学习框架（KTM-DRL）。我们在MuJoCo连续控制任务集中复现了相关结果，更多详情请参见此处。

更多内容请访问此处。

基于模型的强化学习（MBRL）

基于模型的强化学习（MBRL）被广泛认为具有比无模型强化学习更高的样本效率潜力。通过学习环境模型，基于模型的方法能够以更低的样本复杂度进行学习。环境模型是一种包含关于环境或任务明确知识的表示模型，通常包括两类：转移模型（动力学模型）和奖励模型。一旦构建出这样的模型，便可以将其有效地融入与环境的交互以及策略的学习过程中。

❓待解决的问题

当前主流的基于模型强化学习算法分类方式较为多样化，这意味着某些算法可以根据不同的视角被归入不同的类别。在本分支中，我们重点关注两个核心问题：如何学习模型和如何利用模型。

• 如何学习模型主要关注如何构建环境模型。
• 如何利用模型则关注如何有效利用已学习到的模型。

⭐️ 核心方向

尽管具体方法存在差异，但MBRL算法的目的可以更细致地划分为以下四个方向：降低模型误差、加快规划速度、提高对模型误差的容忍度、扩展至更复杂问题的能力。对于如何学习模型这一问题，我们可以研究如何减少模型误差以学习更精确的世界模型，或者如何构建对模型误差具有更高容忍度的世界模型。而对于如何利用模型这一问题，我们可以探索如何利用已学习的模型实现更快的规划，或者如何将已学习的模型扩展应用于更复杂的任务。

💦 贡献

为什么选择 MBRL？

基于模型的强化学习（MBRL）通过学习环境动态的模型，具备数据高效性和规划能力等优势。环境模型是一种表征模型，显式地包含关于环境或任务的知识，通常包括两类：转移模型（或称动力学模型）和奖励模型。一旦构建了这样的模型，就可以将其有效地融入与环境的交互以及策略的学习过程中。

为什么需要我们的库？

通过这个仓库及我们的研究工作，我们希望引起强化学习社区对基于模型的强化学习领域的关注。

• 对于对基于模型的强化学习感兴趣的研究者，本仓库中的介绍以及我们的知乎专栏系列可以作为入门教程。

• 对于从事基于模型的强化学习的研究人员，我们整理了多个独立的研究方向，其中一些可能是闭源的或难以复现的，并在代码层面进行了优化，以便更便捷地找到可比较的基准方法，而无需四处寻找实现细节。

我们期望，我们的研究思路和针对 MBRL 领域提出的研究方向能够为未来更高级的强化学习研究开辟新的视角。此外，我们希望尽可能覆盖更多有趣的新方向，并将其归类到上述主题中，以激发您的研究灵感和创意。 目前，基于模型的强化学习研究尚未形成非常标准化的体系。研究者常常会使用自行设计的环境进行实验，且存在多条独立的研究路线，其中部分工作可能是闭源的或难以复现。为此，我们收集了一些主流的 MBRL 算法，并在代码层面进行了优化。将这些算法整合到统一的框架中，可以帮助研究人员节省寻找对比基准的时间，而无需再费力搜索不同的实现。目前，我们已实现了 Dreamer、MBPO、BMPO、MuZero、PlaNet、SampledMuZero 和 CaDM 等算法，并计划在未来继续扩充这一列表。我们将持续更新本仓库，纳入 TJU-DRL-Lab 的最新研究成果，以确保内容的全面性和可靠性。我们也欢迎任何形式的反馈，以推动更深入的研究。更多信息请参见 这里。

贡献

AI-Optimizer 仍处于开发阶段。未来还将添加更多算法和功能，我们始终欢迎各方贡献，共同使 AI-Optimizer 更加完善。欢迎您随时参与贡献。

AI-Optimizer 快速上手指南

AI-Optimizer 是天津大学深度强化学习实验室（TJU-DRL-LAB）推出的下一代深度强化学习套件。它提供了从无模型到基于模型、从单智能体到多智能体的丰富算法库，并包含灵活高效的分布式训练框架。本指南将帮助您快速开始使用其核心模块。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本: Python 3.7 - 3.9
• 深度学习框架: PyTorch 1.8+
• 硬件要求: 推荐使用 NVIDIA GPU 以加速训练（需安装对应的 CUDA 驱动和 Toolkit）。

前置依赖安装：

建议先更新 pip 并安装基础科学计算库。国内用户可使用清华源加速下载。

python -m pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install numpy gym matplotlib tqdm -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

克隆仓库并安装项目依赖。

# 克隆仓库
git clone https://github.com/TJU-DRL-LAB/AI-Optimizer.git
cd AI-Optimizer

# 安装核心依赖
# 注意：不同子模块可能有特定依赖，建议进入对应子目录安装
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

针对特定算法库的安装（以多智能体强化学习 MARL 为例）：

cd multiagent-rl
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

提示：若需使用 Offline RL 模块，该库基于 d3rlpy 构建，请确保额外安装： pip install d3rlpy -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

AI-Optimizer 的不同子库针对不同的应用场景。以下是两个最常用模块的快速启动示例。

1. 多智能体强化学习 (MARL)

本模块包含了高性能的 API 系列算法（如 API-QMIX, API-MAPPO），在 SMAC 等基准测试中表现优异。

运行示例（使用 API-QMIX 在 SMAC 环境中训练）：

cd multiagent-rl

# 运行训练脚本
# 参数说明：--algo 指定算法，--env 指定环境，--name 指定实验名称
python train.py --algo api_qmix --env sc2_3s5z --name my_first_marl_run

# 查看结果
# 训练日志和模型权重通常保存在 ./results 目录下

对于初学者，推荐使用 easy-marl 子目录中的简化代码进行教程学习：

cd easy-marl
python quick_start.py

2. 离线强化学习 (Offline RL)

本模块用于仅利用静态数据集进行策略学习，无需与环境实时交互。

运行示例（加载数据集并训练 REDQ 算法）：

cd offline-rl-algorithms

# 运行离线训练
# d3rlpy 风格接口，指定算法、数据集路径和迭代次数
python train_offline.py --algo redq --dataset hopper-medium-v0 --iterations 100000

# 评估策略
python evaluate.py --model_path ./saved_models/redq_hopper.pt --dataset hopper-medium-v0

3. 自监督表示强化学习 (SSRL)

该模块提供统一的算法框架，用于状态、动作或策略的表示学习。

基本调用逻辑：

cd self-supervised-rl

# 运行自监督预训练 + 下游任务微调
python run_ssrl.py --rep_type state --downstream_task control --env halfcheetah

---

下一步建议：

• 访问各子目录下的 README.md 获取详细的参数配置说明。
• 参考项目中提供的 ZhiHu 专栏文章深入理解算法原理。
• 利用内置的 Wandb 支持监控训练过程（需在代码中配置 wandb login）。