MADDPG

这是在 多智能体粒子环境(MPE) 上实现的 MADDPG 的 PyTorch 版本。MADDPG 的相关论文是 混合合作-竞争环境下的多智能体演员-评论家算法。

需求

• python=3.6.5
• 多智能体粒子环境(MPE)
• torch=1.1.0

快速开始

$ python main.py --scenario-name=simple_tag --evaluate-episodes=10

直接运行 main.py，算法将在 'simple_tag' 场景下使用预训练模型进行 10 轮评估。

注意事项

• 我们已经在 'simple_tag' 场景上训练了智能体，但我们提供的模型并非最佳，因为我们没有花太多时间去进一步训练。你可以继续训练以获得更好的性能。

• 'simple_tag' 场景中有 4 个智能体，包括 3 个捕食者和 1 个猎物。我们使用 MADDPG 来训练捕食者捕捉猎物。猎物的行为可以由你控制，在我们的实验中，我们将其设置为随机行为。

• 多智能体粒子环境(MPE)的默认奖励机制是稀疏奖励。你可以通过将文件 multiagent-particle-envs/multiagent/scenarios/simple_tag.py 中的 'shape=False' 改为 'shape=True' 来切换到密集奖励模式。

MADDPG 快速上手指南

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• Python: 3.6.5
• PyTorch: 1.1.0
• 依赖库: Multi-Agent Particle Environment (MPE)

提示：国内开发者在安装 Python 依赖时，推荐使用清华或阿里镜像源以加速下载。例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

1. 克隆并安装 MPE 环境 首先获取官方多智能体粒子环境代码并进行安装：

   git clone https://github.com/openai/multiagent-particle-envs.git
   cd multiagent-particle-envs
   pip install -e .
   

   (如需加速，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple)

2. 安装 PyTorch 根据项目要求安装指定版本的 PyTorch（1.1.0）：

   pip install torch==1.1.0
   

3. 获取 MADDPG 代码 确保当前目录下包含 main.py 及相关模型文件。

基本使用

完成环境配置后，您可以直接运行测试脚本。以下命令将加载预训练模型，在 simple_tag 场景下进行 10 个回合的评估测试：

python main.py --scenario-name=simple_tag --evaluate-episodes=10

场景说明：

• 该场景包含 4 个智能体：3 个捕食者（Predators）和 1 个猎物（Prey）。
• 本实现使用 MADDPG 算法训练捕食者捕捉猎物。
• 猎物的动作默认设置为随机策略，您也可以自行控制。

注意：提供的预训练模型并非最优性能（为节省时间未进行充分训练）。如需获得更好效果，建议移除评估参数继续训练。此外，默认环境使用稀疏奖励（Sparse Reward），若需改为稠密奖励（Dense Reward），请修改 multiagent-particle-envs/multiagent/scenarios/simple_tag.py 文件，将 shape=False 改为 shape=True。