- 请注意您在实验中使用的SC2（星际争霸2）版本。 
- 不同版本之间的性能*不*总是可比。 
- SMAC（https://arxiv.org/abs/1902.04043）中的结果使用SC2.4.6.2.69232而非SC2.4.10。

Python多智能体强化学习框架

PyMARL是WhiRL的深度多智能体强化学习框架，包含以下算法的实现：

• QMIX: QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning
• COMA: Counterfactual Multi-Agent Policy Gradients
• VDN: Value-Decomposition Networks For Cooperative Multi-Agent Learning
• IQL: Independent Q-Learning
• QTRAN: QTRAN: Learning to Factorize with Transformation for Cooperative Multi-Agent Reinforcement Learning

PyMARL基于PyTorch编写，使用SMAC作为环境。

安装说明

使用以下命令构建Dockerfile：

cd docker
bash build.sh

设置StarCraft II和SMAC：

bash install_sc2.sh

这将下载SC2到3rdparty文件夹，并复制运行所需的地图。

requirements.txt文件可用于在虚拟环境中安装必要包（不推荐）。

运行实验

python3 src/main.py --config=qmix --env-config=sc2 with env_args.map_name=2s3z

配置文件为算法或环境的默认设置。

它们全部位于src/config。 --config指代src/config/algs中的配置文件 --env-config指代src/config/envs中的配置文件

要使用Docker容器运行实验：

bash run.sh $GPU python3 src/main.py --config=qmix --env-config=sc2 with env_args.map_name=2s3z

所有结果将存储在Results文件夹中。

SMAC Beta之前的配置文件带有后缀 _beta。

保存和加载学习模型

保存模型

通过设置save_model = True可以将学习模型保存到磁盘（默认为False）。可通过save_model_interval配置调整保存频率。模型将保存在结果目录下的models文件夹中。每个运行对应的目录将包含实验过程中保存的模型，每个模型存储在以学习过程开始后经过的步数命名的子文件夹中。

加载模型

通过checkpoint_path参数加载学习模型后，学习将从对应的时间步继续进行。

观看StarCraft II回放

save_replay选项允许保存通过checkpoint_path加载的模型的回放。一旦模型成功加载，test_nepisode数量的回合将在测试模式下运行，并在StarCraft II的Replay目录中保存一个.SC2Replay文件。请确保使用episode运行器（即runner=episode）如果希望保存回放，回放文件名以给定的env_args.save_replay_prefix（若为空则为map_name）开头，后接当前时间戳。

保存的回放可通过双击文件或使用以下命令观看：

python -m pysc2.bin.play --norender --rgb_minimap_size 0 --replay NAME.SC2Replay

注意： 无法使用Linux版StarCraft II观看回放。请使用Mac或Windows版StarCraft II客户端。

文档/支持

目前文档内容较少（但会逐步完善！）。请在此仓库中提交问题，或发送邮件至Tabish

引用PyMARL

如果在研究中使用PyMARL，请引用SMAC论文。

M. Samvelyan, T. Rashid, C. Schroeder de Witt, G. Farquhar, N. Nardelli, T.G.J. Rudner, C.-M. Hung, P.H.S. Torr, J. Foerster, S. Whiteson. The StarCraft Multi-Agent Challenge, CoRR abs/1902.04043, 2019.

BibTeX格式：

@article{samvelyan19smac,
  title = {{The} {StarCraft} {Multi}-{Agent} {Challenge}},
  author = {Mikayel Samvelyan and Tabish Rashid and Christian Schroeder de Witt and Gregory Farquhar and Nantas Nardelli and Tim G. J. Rudner and Chia-Man Hung and Philiph H. S. Torr and Jakob Foerster and Shimon Whiteson},
  journal = {CoRR},
  volume = {abs/1902.04043},
  year = {2019},
}

许可证

代码遵循Apache License v2.0许可

PyMARL 快速上手指南

环境准备

• 系统要求：Python 3.6+，PyTorch 1.8+
• 前置依赖：
  • StarCraft II 游戏环境（需安装SC2.4.6.2.69232版本）
  • SMAC 环境（需通过install_sc2.sh脚本安装）
  • Docker（用于容器化部署）

安装步骤

1. 构建Docker镜像

cd docker
bash build.sh

2. 安装StarCraft II和SMAC

bash install_sc2.sh

3. 安装依赖（建议使用国内镜像源）

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

运行QMIX算法在SC2环境中的示例：

python3 src/main.py --config=qmix --env-config=sc2 with env_args.map_name=2s3z

使用Docker容器运行：

bash run.sh $GPU python3 src/main.py --config=qmix --env-config=sc2 with env_args.map_name=2s3z

所有实验结果会保存在Results目录下。