MADDPG-PyTorch

基于 多智能体演员-评论家算法用于混合协作-竞争环境（Lowe 等，2017）的 MADDPG PyTorch 实现

需求

• OpenAI baselines，commit hash: 98257ef8c9bd23a24a330731ae54ed086d9ce4a7
• 我对多智能体粒子环境的分支
• PyTorch，版本：0.3.0.post4
• OpenAI Gym，版本：0.9.4
• TensorBoard，版本：0.4.0rc3 以及 TensorBoard-PyTorch，版本：1.0（用于日志记录）

这些版本只是我所使用的，并非严格的必要要求。

如何运行

所有训练代码都包含在 main.py 中。要查看可用选项，只需运行：

python main.py --help

结果

物理欺骗

在这个任务中，两个蓝色智能体的目标是通过最小化它们与绿色地标之间的最近距离来获得奖励（只要其中一个靠近即可获得最优奖励），同时最大化红色敌对智能体与绿色地标的距离。红色敌对智能体则希望通过缩短它与绿色地标的距离来获得奖励；然而，在每次试验中，它并不知道哪个地标是绿色的，因此必须跟随蓝色智能体。因此，蓝色智能体需要学会通过遮挡两个地标来欺骗红色智能体。

协作通信

该任务涉及两个智能体：一个静止不动，另一个可以移动。静止智能体将其观察到的另一智能体的颜色作为输入，并输出一个独热编码的通信向量作为动作。移动智能体接收到通信向量以及它与屏幕上所有地标之间的相对距离；但它并不知道自己是什么颜色。双方的目标是让移动智能体到达与其自身颜色匹配的地标。因此，这两个智能体必须学会通过通信使移动智能体在每次随机试验中都能准确找到目标地标。

捕食者-猎物

该任务涉及一个绿色的猎物智能体和一支由三个红色智能体组成的捕食者团队。猎物智能体的速度比捕食者快30%，因此捕食者必须学会协同合作才能抓住猎物。

在下面的试验中，猎物智能体使用 DDPG 作为其学习算法。

尚未实现的功能

论文中提到的一些内容尚未在此仓库中实现：

• 集成训练
• 推断其他智能体的策略
• 混合连续/离散动作空间

致谢

本项目参考了 OpenAI baselines 的TensorFlow 实现以及 Ilya Kostrikov 的PyTorch 实现。在本代码库的大部分工作完成后，OpenAI 发布了他们的 MADDPG 代码，我随后对本仓库进行了一些调整，以反映他们实现中的部分细节（例如梯度范数裁剪和策略正则化）。

MADDPG-PyTorch 快速上手指南

本指南基于 maddpg-pytorch 项目，帮助开发者快速在 PyTorch 环境中复现多智能体演员 - 评论家（MADDPG）算法。

环境准备

在开始之前，请确保您的系统满足以下依赖要求。注意：原文列出的版本为作者测试时的版本，实际使用中建议使用兼容的较新版本，但若遇到复现问题可尝试指定版本。

• Python 环境: 推荐 Python 3.6+
• 核心框架:
  • PyTorch (原文测试版本：0.3.0.post4)
  • OpenAI Gym (原文测试版本：0.9.4)
• 关键依赖:
  • OpenAI Baselines (需检出特定 commit: 98257ef8c9bd23a24a330731ae54ed086d9ce4a7)
  • Multi-agent Particle Environments (作者fork 版本)
• 可视化工具 (可选，用于日志记录):
  • Tensorboard (原文测试版本：0.4.0rc3)
  • Tensorboard-Pytorch (原文测试版本：1.0)

国内加速建议：安装 Python 包时，推荐使用清华或阿里镜像源以加快下载速度。 例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

请按顺序执行以下命令来配置运行环境。

1. 克隆必要的代码库

首先克隆多智能体粒子环境（使用作者的 fork 版本）和 OpenAI Baselines（切换到指定 commit）。

# 克隆多智能体环境
git clone https://github.com/shariqiqbal2810/multiagent-particle-envs.git
cd multiagent-particle-envs
pip install -e .
cd ..

# 克隆 OpenAI Baselines 并切换到指定版本
git clone https://github.com/openai/baselines.git
cd baselines
git checkout 98257ef8c9bd23a24a330731ae54ed086d9ce4a7
pip install -e .
cd ..

2. 安装其他依赖

安装 PyTorch、Gym 以及可视化工具。以下命令以 CPU 版本为例，如需 GPU 支持请访问 PyTorch 官网获取对应安装命令。

# 使用国内镜像源安装依赖
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch==0.3.0.post4 gym==0.9.4 tensorboard==0.4.0rc3 tensorboard-pytorch==1.0

(注：若您的环境无法安装如此古老的 PyTorch 版本，建议尝试较新版本并自行调整代码兼容性，或仅在 Docker 容器中运行原版本)

3. 获取 MADDPG 代码

如果您尚未下载本项目代码，请克隆仓库：

git clone https://github.com/shariqiqbal2810/maddpg-pytorch.git
cd maddpg-pytorch

基本使用

所有训练逻辑均包含在 main.py 文件中。

查看可用选项

运行以下命令查看支持的参数（如场景选择、超参数设置等）：

python main.py --help

开始训练

虽然 README 未提供具体的默认运行命令，但通常此类项目的运行方式如下（以“物理欺骗”场景为例，具体场景名称请通过 --help 确认）：

python main.py --scenario physical_deception

实验场景说明

该项目主要包含以下三个经典多智能体协作/竞争场景：

1. Physical Deception (物理欺骗): 蓝色智能体需掩护绿色地标，误导红色对手；红色对手需追踪蓝色智能体以找到地标。
2. Cooperative Communication (协作通信): 一个静止智能体通过通信向量告知移动智能体目标地标的颜色，两者协作完成任务。
3. Predator-Prey (捕食者 - 猎物): 三只红色捕食者需团队协作捕捉一只速度更快的绿色猎物。

训练完成后，日志数据可通过 Tensorboard 进行可视化查看。