MORL-Baselines

MORL-Baselines 是一个用于多目标强化学习（MORL）的算法库。本仓库旨在提供可靠的 PyTorch 实现的 MORL 算法。

它严格遵循 MO-Gymnasium 的 API，该 API 与标准的 Gymnasium API 的唯一区别在于，环境会返回一个 NumPy 数组作为奖励。

有关多目标马尔可夫决策过程（MOMDP）及其他 MORL 定义的详细信息，建议阅读 多目标强化学习与规划实用指南。此外，关于各种 MORL 算法中使用的一些技术的概述也可在 基于分解的多目标强化学习：分类与框架 中找到。

同时，还提供了一个关于 MO-Gymnasium 和 MORL-Baselines 的教程：

特性

• 实现了单策略和多策略算法，分别适用于 SER 和 ESR 准则。
• 所有算法均遵循 MO-Gymnasium 的 API。
• 性能数据会自动记录到 Weights and Biases 的仪表板中。
• 通过 pre-commit 钩子强制执行代码检查和格式化。
• 代码文档齐全。
• 所有算法都经过自动化测试。
• 提供了一些实用工具函数，例如帕累托剪枝、经验回放缓冲区等。
• 性能测试以可复现的方式进行并记录。
• 支持超参数优化。

已实现的算法

名称	单策略/多策略	ESR/SER	观测空间	动作空间	论文
GPI-LS + GPI-PD	多策略	SER	连续	离散 / 连续	论文及补充材料
GPI-LS (Jax)	多策略	SER	连续	离散 / 连续	论文及补充材料
MORL/D	多策略	SER / ESR	离散 / 连续	离散 / 连续	论文
Envelope Q-Learning	多策略	SER	连续	离散	论文
CAPQL	多策略	SER	连续	连续	论文
PGMORL	多策略	SER	连续	连续	论文 / 补充材料
Pareto 条件网络 (PCN)	多策略	SER/ESR 1	连续	离散 / 连续	论文
Pareto Q-Learning	多策略	SER	离散	离散	论文
MO Q 学习	单策略	SER	离散	离散	论文
MPMOQLearning (外层 MOQL)	多策略	SER	离散	离散	论文
乐观线性支持 (OLS)	多策略	SER	/	/	论文 中的第 3.3 节
期望效用策略梯度 (EUPG)	单策略	ESR	离散	离散	论文
迭代 Pareto 参照优化 (IPRO)	多策略	SER	连续	离散	论文
迭代 Pareto 参照优化-2D (IPRO-2D) 2	多策略	SER	连续	离散	论文
非线性多目标 PPO (NLMOPPO)	单策略	SER	连续	离散	该策略梯度更新的推导见此 论文
:warning: 部分算法功能有限。

1：PCN 假设环境具有确定性转移。
2：IPRO-2D 是为提高效率而设计的 IPRO 的双目标特化版本，但它不能应用于超过两个目标的情形。

基准测试

MORL-Baselines 参与了 Open RL Benchmark，该基准包含来自流行强化学习库（如 cleanRL 和 Stable Baselines 3）的跟踪实验。

我们已在 MO-Gymnasium 提供的多种环境中运行了我们的算法实验。结果可在此处查看：https://wandb.ai/openrlbenchmark/MORL-Baselines。一个用于跟踪所有实验设置的问题位于 #43。有关实验协议的一些设计文档也发布在我们的 文档网站 上。

以下展示了我们带有帕累托前沿支持的仪表板示例可视化：

结构

在尽可能的情况下，此仓库尝试遵循所有算法的单文件实现规则。仓库的结构如下：

• examples/ 包含一组使用 MORL Baselines 与 MO-Gymnasium 环境的示例。
• common/ 包含重复出现的实现概念：回放缓冲区、神经网络等。更多详情请参阅 文档。
• multi_policy/ 包含多策略算法的实现。
• single_policy/ 包含单策略算法的实现（ESR 和 SER）。

引用本项目

如果您在研究中使用 MORL-Baselines，请引用我们在 NeurIPS 2023 上发表的论文：

@inproceedings{felten_toolkit_2023,
	author = {Felten, Florian and Alegre, Lucas N. and Now{\'e}, Ann and Bazzan, Ana L. C. and Talbi, El Ghazali and Danoy, Gr{\'e}goire and Silva, Bruno Castro da},
	title = {A Toolkit for Reliable Benchmarking and Research in Multi-Objective Reinforcement Learning},
	booktitle = {Proceedings of the 37th Conference on Neural Information Processing Systems ({NeurIPS} 2023)},
	year = {2023}
}

维护者

MORL-Baselines 目前由 Florian Felten (@ffelten) 和 Lucas N. Alegre (@LucasAlegre) 维护。

贡献

本仓库欢迎贡献，我们始终乐于接受新的算法、错误修复或功能改进。如果您希望贡献，可以加入我们的 Discord 服务器，与我们讨论您的想法。您也可以直接提交问题或拉取请求。

致谢

• Willem Röpke (@wilrop)，感谢他最初实现了 IPRO(-2D)，并重新实现了非线性 MO-PPO 和帕累托 Q-Learning。
• Mathieu Reymond，感谢他提供了 PCN 的原始实现。
• Denis Steckelmacher 和 Conor F. Hayes，感谢他们提供了 EUPG 的原始实现。
• Jayden Teoh，感谢他在不同算法中做出多项改进，并实现了 MOSAC 离散版。

MORL-Baselines 快速上手指南

MORL-Baselines 是一个基于 PyTorch 的多目标强化学习（MORL）算法库。它严格遵循 MO-Gymnasium API，提供了多种单策略和多策略算法的实现，并支持自动记录实验结果到 Weights & Biases。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python 版本: 3.8 或更高版本
• 依赖项:
  • PyTorch
  • MO-Gymnasium (多目标强化学习环境)
  • Gymnasium
  • NumPy
  • Weights & Biases (可选，用于实验追踪)

建议创建一个独立的虚拟环境以避免依赖冲突：

python -m venv morl-env
source morl-env/bin/activate  # Windows 用户使用: morl-env\Scripts\activate

安装步骤

您可以通过 pip 直接从 GitHub 安装最新版本的 morl-baselines 及其依赖项。

标准安装：

pip install git+https://github.com/LucasAlegre/morl-baselines.git

国内加速安装（推荐中国开发者使用）：

如果直接连接 GitHub 速度较慢，可以使用国内镜像源加速安装依赖，但源码仍需从 GitHub 拉取：

pip install git+https://github.com/LucasAlegre/morl-baselines.git -i https://pypi.tuna.tsinghua.edu.cn/simple

安装完成后，您可以验证安装是否成功：

python -c "import morl_baselines; print(morl_baselines.__version__)"

基本使用

MORL-Baselines 的设计初衷是易于使用和复现。以下是一个最简单的示例，展示如何加载一个多目标环境并运行一个基础的算法（以单策略标量化 Q-Learning 为例）。

1. 导入必要的库

import gymnasium as gym
import mo_gymnasium as mo_gym
from morl_baselines.single_policy.ser.mo_q_learning import MOQLearning

2. 初始化多目标环境

注意：mo_gymnasium 环境与标准 gymnasium 的主要区别在于 step() 函数返回的奖励是一个 numpy 数组（向量），而不是标量。

# 创建一个多目标环境，例如 Deep Sea Treasure
env = mo_gym.make("deep-sea-treasure-v0")

# 重置环境
obs, info = env.reset()
print(f"观察空间: {env.observation_space}")
print(f"动作空间: {env.action_space}")
print(f"奖励维度: {env.reward_space.shape[0]}")

3. 初始化并训练算法

这里演示使用标量化多目标 Q-Learning (MOQLearning)。您需要定义权重向量来将多目标奖励标量化。

# 定义权重向量 (例如：更看重时间，其次看重宝藏价值)
weights = [0.5, 0.5] 

# 初始化算法
agent = MOQLearning(
    env=env,
    weights=weights,
    learning_rate=0.1,
    gamma=0.99,
    initial_epsilon=1.0,
    final_epsilon=0.1,
    epsilon_decay_steps=10000,
)

# 训练循环
num_episodes = 100
for episode in range(num_episodes):
    obs, _ = env.reset()
    done = False
    
    while not done:
        # 选择动作
        action = agent.eval(obs, weights) # 或者使用 agent.select_action 进行探索
        
        # 执行动作
        next_obs, reward, terminated, truncated, info = env.step(action)
        done = terminated or truncated
        
        # 更新代理
        agent.update(obs, action, reward, next_obs, done, weights)
        
        obs = next_obs

    print(f"Episode {episode + 1} finished.")

4. 进阶使用与实验追踪

该库原生支持 Weights & Biases (WandB) 来可视化训练过程和帕累托前沿。只需在运行脚本时设置相关环境变量或在代码中初始化 wandb，算法会自动上报指标。

更多复杂的算法（如 GPI-PD, CAPQL, PGMORL 等）的使用示例，请参考仓库中的 examples/ 目录或官方 Colab 教程：