熔炉

用于多智能体强化学习的一系列测试场景。

熔炉2.0技术报告 NeurIPS 2023熔炉竞赛

关于

熔炉评估智能体在包含熟悉与不熟悉个体的新型社交情境中的泛化能力，旨在测试广泛的社会交互行为，如合作、竞争、欺骗、互惠、信任、固执等。熔炉为研究人员提供超过50种多智能体强化学习“基底”（即多智能体游戏）用于训练智能体，并提供超过256个独特的测试场景来评估这些已训练的智能体。智能体在这些未见测试场景上的表现，可以量化其是否：

• 在个体相互依赖的各种社交情境中表现出色，
• 与训练过程中未见过的陌生个体有效互动。

最终得分可用于对不同多智能体强化学习算法在新型社交情境中的泛化能力进行排名。

我们希望熔炉能成为多智能体强化学习的标准基准。我们将持续维护并扩展它，以涵盖更多社会交互和泛化场景。

如果您有兴趣扩展熔炉，请参阅扩展熔炉文档。

安装

熔炉已在PyPI上发布（https://pypi.python.org/pypi/dm-meltingpot），可通过以下命令安装：

pip install dm-meltingpot

安装完成后，您可以在自己的代码中使用import meltingpot。

注意：熔炉基于DeepMind Lab2D构建，后者以预编译的wheel包形式分发。如果不存在适用于dmlab2d的wheel包，您需要从源码编译（详情请参阅dmlab2d的README.md）。

开发

Codespace

最便捷的熔炉源码开发方式是通过Github Codespace使用我们预配置的开发环境。

这提供了一个经过验证的开发流程，支持可复现的构建，并最大限度地简化依赖管理。我们强烈建议所有针对熔炉的Pull Request都通过此流程准备。

手动设置

如果您希望在自己的开发环境中工作，则需自行处理安装和依赖管理。

例如，您可以按如下步骤进行可编辑安装：

1. 克隆熔炉：

   git clone -b main https://github.com/google-deepmind/meltingpot
   cd meltingpot
   

2. 创建并激活虚拟环境：

   python -m venv venv
   source venv/bin/activate
   

3. 安装熔炉：

   pip install --editable .[dev]
   

4. 测试安装：

   pytest --pyargs meltingpot
   

示例用法

评估

evaluation库可用于评估在熔炉基底上训练的SavedModel。

来自熔炉2.0技术报告的评估结果可在评估笔记本中查看。

与基底互动

您可以通过human_players脚本交互式地体验各个基底。例如，要玩clean_up基底，可以运行：

python meltingpot/human_players/play_clean_up.py

您可以使用W、A、S、D键移动，Q和E键转向，1键发射电击枪，2键发射清洁光束。使用TAB键可在不同玩家之间切换。human_players目录下还有其他基底可供选择，部分基底有多个变体，可通过--level_name参数选择。

训练智能体

我们提供了一个使用RLlib的示例脚本。但请注意，熔炉对您的训练方法并不设限，该示例脚本并非旨在指导您如何在任务集中取得好成绩。该套件的作者们在其自身研究中并未使用此示例训练脚本。

RLlib

此示例使用RLlib在熔炉基底上进行自我对弈训练。

首先，您需要安装示例所需的依赖：

cd <meltingpot_root>
pip install -r examples/requirements.txt

然后，您可以运行训练实验：

cd examples/rllib
python self_play_train.py

文档

完整文档请参见此处。

引用 Melting Pot

如果您在工作中使用了 Melting Pot，请引用随附的文章：

@inproceedings{leibo2021meltingpot,
    title={Scalable Evaluation of Multi-Agent Reinforcement Learning with
           Melting Pot},
    author={Joel Z. Leibo AND Edgar Du\'e\~nez-Guzm\'an AND Alexander Sasha
            Vezhnevets AND John P. Agapiou AND Peter Sunehag AND Raphael Koster
            AND Jayd Matyas AND Charles Beattie AND Igor Mordatch AND Thore
            Graepel},
    year={2021},
    journal={International conference on machine learning},
    organization={PMLR},
    url={https://doi.org/10.48550/arXiv.2107.06857},
    doi={10.48550/arXiv.2107.06857}
}

@article{agapiou2022melting,
  title={Melting Pot 2.0},
  author={Agapiou, John P and Vezhnevets, Alexander Sasha and Du{\'e}{\~n}ez-Guzm{\'a}n, Edgar A and Matyas, Jayd and Mao, Yiran and Sunehag, Peter and K{\"o}ster, Raphael and Madhushani, Udari and Kopparapu, Kavya and Comanescu, Ramona and Strouse, {DJ} and Johanson, Michael B and Singh, Sukhdeep and Haas, Julia and Mordatch, Igor and Mobbs, Dean and Leibo, Joel Z},
  journal={arXiv preprint arXiv:2211.13746},
  year={2022}
}

免责声明

本项目并非 Google 官方支持的产品。

Melting Pot 快速上手指南

Melting Pot 是由 Google DeepMind 开源的多智能体强化学习（MARL）测试套件。它提供了超过 50 种多智能体游戏环境（substrates）和 256 个独特的测试场景，旨在评估智能体在合作、竞争、欺骗、信任等复杂社交情境中的泛化能力。

环境准备

• 操作系统：推荐 Linux (Ubuntu) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本：Python 3.8 或更高版本。
• 前置依赖：
  • pip 包管理工具。
  • 该工具基于 DeepMind Lab2D 构建。通常安装时会自动下载预编译的 wheel 包。若自动安装失败（无对应平台的 wheel），需参考 Lab2D 文档从源码编译。

安装步骤

方式一：通过 PyPI 安装（推荐）

这是最简单的安装方式，适用于直接使用库进行开发或评估。

pip install dm-meltingpot

国内加速建议：如果下载速度较慢，可使用清华或阿里镜像源：

pip install dm-meltingpot -i https://pypi.tuna.tsinghua.edu.cn/simple

安装完成后，即可在 Python 代码中通过 import meltingpot 使用。

方式二：源码安装（用于开发或贡献）

如果你需要修改源码或运行示例脚本，请按以下步骤操作：

1. 克隆仓库

   git clone -b main https://github.com/google-deepmind/meltingpot
   cd meltingpot
   

2. 创建并激活虚拟环境

   python -m venv venv
   source venv/bin/activate  # Windows 用户使用: venv\Scripts\activate
   

3. 以可编辑模式安装

   pip install --editable .[dev]
   

   国内加速建议：

   pip install --editable .[dev] -i https://pypi.tuna.tsinghua.edu.cn/simple
   

4. 验证安装

   pytest --pyargs meltingpot
   

基本使用

1. 交互式体验（人工试玩）

你可以直接运行脚本，通过键盘控制智能体体验内置的游戏环境。以下以 clean_up（清理协作）场景为例：

python meltingpot/human_players/play_clean_up.py

操作说明：

• 移动：W, A, S, D
• 转向：Q, E
• 发射干扰器：1
• 发射清洁光束：2
• 切换玩家视角：TAB

注：更多可玩场景位于 meltingpot/human_players 目录下，部分场景可通过 --level_name 参数选择变体。

2. 训练智能体示例

Melting Pot 不绑定特定的训练框架，但官方提供了一个基于 RLlib 的自博弈（self-play）训练示例。

第一步：安装示例依赖

cd <meltingpot_root>
pip install -r examples/requirements.txt

第二步：运行训练脚本

cd examples/rllib
python self_play_train.py

注意：此脚本仅作为用法演示，并非为了在该测试套件中获得高分而优化的最佳实践。

3. 评估智能体

如果你已经训练好了模型（SavedModel 格式），可以使用官方提供的评估库进行测试。详细的评估结果和分析可参考官方的 Evaluation Notebook。