MARL-code-pytorch

MARL算法的简洁PyTorch实现，包括MAPPO、MADDPG、MATD3、QMIX和VDN。

需求

python==3.7.9
numpy==1.19.4
pytorch==1.5.0
tensorboard==0.6.0
gym==0.10.5
多智能体粒子世界环境(MPE)
SMAC-StarCraft多智能体挑战

训练结果

1. MPE中的MAPPO（离散动作空间）

2. StarCraft II(SMAC)中的MAPPO

3. StarCraft II(SMAC)中的QMIX和VDN

4. MPE中的MADDPG和MATD3（连续动作空间）

一些细节

为了便于在MPE环境中切换离散动作空间和连续动作空间，我们在MPE源代码中做了一些小修改。

1. make_env.py

我们在‘make_env.py’中添加了一个名为‘discrete’的参数，它是一个布尔变量。

2. environment.py

我们也在‘environment.py’中添加了‘discrete’参数。

3. 如何创建MPE环境？

如果您想使用离散动作空间模式，可以使用‘env=make_env(scenario_name, discrete=True)’
如果您想使用连续动作空间模式，可以使用‘env=make_env(scenario_name, discrete=False)’

MARL-code-pytorch 快速上手指南

本指南旨在帮助开发者快速部署并使用 MARL-code-pytorch，这是一个基于 PyTorch 实现的简洁多智能体强化学习（MARL）算法库，支持 MAPPO、MADDPG、MATD3、QMIX 和 VDN 等主流算法。

环境准备

在开始之前，请确保您的系统满足以下基础要求：

• 操作系统: Linux / macOS / Windows
• Python 版本: 3.7.9 (严格推荐，版本不匹配可能导致兼容性问题)
• 核心依赖:
  • numpy==1.19.4
  • pytorch==1.5.0
  • tensorboard==0.6.0
  • gym==0.10.5
• 仿真环境:
  • Multi-Agent Particle-World Environment (MPE)
  • SMAC - StarCraft Multi-Agent Challenge (如需运行星际争霸示例)

提示: 国内用户建议使用清华源或阿里源加速 Python 包下载。

安装步骤

1. 创建虚拟环境并安装基础依赖

建议使用 conda 或 venv 隔离环境。以下以 pip 配合国内镜像源为例：

# 创建并激活虚拟环境 (假设使用 conda)
conda create -n marl_pytorch python=3.7.9
conda activate marl_pytorch

# 安装 PyTorch 1.5.0 (根据是否使用 GPU 选择对应命令，此处为 CPU 版本示例)
pip install torch==1.5.0 torchvision==0.6.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装其他核心依赖
pip install numpy==1.19.4 tensorboard==0.6.0 gym==0.10.5 -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装仿真环境 (MPE)

由于本项目对 MPE 源码进行了修改以支持离散/连续动作空间切换，建议直接克隆本项目或其引用的修改版 MPE，而非直接安装原版。

# 克隆 MPE 仓库 (如果项目未自带，需手动克隆修改版)
git clone https://github.com/openai/multiagent-particle-envs.git
cd multiagent-particle-envs

# 按照项目说明修改源码 (见下文“关键配置”部分)，或直接使用本项目提供的修改后文件覆盖
# 安装 MPE
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

(注：若需运行 SMAC 环境，请参考 SMAC 官方仓库进行额外安装，涉及 StarCraft II 游戏本体及地图文件)

3. 获取本项目代码

git clone https://github.com/Lizhi-sjtu/MARL-code-pytorch.git
cd MARL-code-pytorch

基本使用

关键配置：MPE 环境动作空间设置

本项目修改了 MPE 的 make_env.py 和 environment.py 文件，增加了 discrete 参数以方便切换动作空间类型。在编写训练脚本或调用环境时，请按以下方式初始化：

• 离散动作空间 (Discrete Action Space):

  env = make_env(scenario_name, discrete=True)
  

  (适用于 MAPPO 等算法)

• 连续动作空间 (Continuous Action Space):

  env = make_env(scenario_name, discrete=False)
  

  (适用于 MADDPG, MATD3 等算法)

运行训练示例

虽然 README 未提供具体的单行启动命令，但通常此类项目的入口脚本位于根目录或对应的算法文件夹下。假设你要运行 MAPPO 在 MPE 离散环境 下的训练，典型的执行逻辑如下（具体脚本名请查看项目目录结构，通常为 main.py 或 train.py）：

# 示例：运行 MAPPO 算法 (请根据实际文件名调整)
python main.py --algorithm MAPPO --env_name simple_spread --discrete True

对于 StarCraft II (SMAC) 环境，确保已正确安装 SMAC 并配置好 SC2PATH 环境变量后，运行类似命令：

# 示例：运行 QMIX 算法
python main.py --algorithm QMIX --env_name 3m

训练过程中产生的日志可通过 TensorBoard 查看：

tensorboard --logdir=./logs

随后在浏览器访问 http://localhost:6006 即可观察训练曲线（如奖励变化、胜率等）。