Overcooked-AI 🧑‍🍳🤖

5 种可用布局。新的布局可以轻松硬编码或通过程序生成。

简介 🥘

Overcooked-AI 是一个用于完全协作式人机任务表现的基准环境，基于广受欢迎的电子游戏 Overcooked。

游戏的目标是尽快送出汤品。每份汤需要将最多 3 种食材放入锅中，等待汤煮熟后，由智能体拿起汤并送达。智能体应实时分配任务并有效协作，以获得高奖励。

您可以在 这里尝试游戏（使用一些先前训练好的 DRL 智能体）。要使用此界面与您自己训练的智能体进行交互，或收集更多人机或人人数据，您可以使用 此处 的代码。我们已经收集了一些人人和人机对战数据，可在此处找到：https://github.com/HumanCompatibleAI/overcooked_ai/tree/master/src/human_aware_rl/static/human_data。

注意 + 寻求贡献者： DRL 和 BC 实现现已弃用。我们过去曾在 human_aware_rl 目录中包含训练 BC 和 PPO 智能体的代码。有关详细信息，请参阅 此问题。

该基准是在 2019 年的一篇论文背景下构建的：关于学习人类知识对人机协作的效用。另请参阅我们的 博客文章。

使用 Overcooked-AI 的研究论文 📑

• Carroll, Micah, Rohin Shah, Mark K. Ho, Thomas L. Griffiths, Sanjit A. Seshia, Pieter Abbeel, and Anca Dragan. "关于学习人类知识对人机协作的效用。" NeurIPS 2019。
• Charakorn, Rujikorn, Poramate Manoonpong, and Nat Dilokthanakul. “合作式多智能体深度强化学习中伙伴多样化方法的研究。” 神经信息处理。ICONIP 2020。
• Knott, Paul, Micah Carroll, Sam Devlin, Kamil Ciosek, Katja Hofmann, Anca D. Dragan, and Rohin Shah. "评估协作智能体的鲁棒性。" AAMAS 2021。
• Nalepka, Patrick, Jordan P. Gregory-Dunsmore, James Simpson, Gaurav Patil, and Michael J. Richardson. "人工智能体与人类团队合作中的交互灵活性。" Cogsci 2021。
• Fontaine, Matthew C., Ya-Chuan Hsu, Yulun Zhang, Bryon Tjanaka, and Stefanos Nikolaidis. “环境在人机协作中的重要性” RSS 2021。
• Zhao, Rui, Jinming Song, Hu Haifeng, Yang Gao, Yi Wu, Zhongqian Sun, Yang Wei. "最大熵群体基础训练用于零样本人机协作"。NeurIPS 合作人工智能研讨会，2021 年。
• Sarkar, Bidipta, Aditi Talati, Andy Shih, and Dorsa Sadigh. “PantheonRL：用于动态训练交互的 MARL 库”。AAAI 2022。
• Ribeiro, João G., Cassandro Martinho, Alberto Sardinha, Francisco S. Melo. "在部分可观测环境下协助未知队友完成未知任务：临时团队合作"。
• Xihuai Wang, Shao Zhang, Wenhao Zhang, Wentao Dong, Jingxiao Chen, Ying Wen and Weinan Zhang. NeurIPS 2024。“ZSC-Eval：用于多智能体零样本协作的评估工具包和基准测试”。

安装 ☑️

从 PyPI 安装 🗜

您可以使用 pip 安装预编译的 wheel 文件。

pip install overcooked-ai

请注意，PyPI 发布版本稳定但频率较低。如需最新的开发功能，请从源代码构建。我们建议使用 uv 来安装软件包，以便您可以使用提供的锁定文件来确保不会出现最低软件包版本问题。

从源代码构建 🔧

克隆仓库

git clone https://github.com/HumanCompatibleAI/overcooked_ai.git

使用 uv（推荐）：

uv venv
uv sync

验证安装 📈

从源代码构建时，可以通过运行 Overcooked 单元测试套件来验证安装。以下命令都应在 overcooked_ai 项目根目录下执行：

python testing/overcooked_test.py

如果您打算大量使用规划代码，应运行完整的测试套件，以验证所有 Overcooked 附加工具（这可能需要 5–10 分钟）：

python -m unittest discover -s testing/ -p "*_test.py"

有关快速入门环境使用的指南，请参阅此 笔记本。

代码结构概览 🗺

overcooked_ai_py 包含以下内容：

mdp/：

• overcooked_mdp.py：Overcooked 游戏的主要逻辑
• overcooked_env.py：基于 Overcooked MDP 构建的环境类
• layout_generator.py：用于以编程方式生成随机布局的函数

agents/：

• agent.py：智能体类的存放位置
• benchmarking.py：智能体（包括训练好的模型和规划器）的示例轨迹，并可加载各种模型

planning/：

• planners.py：近似最优的智能体规划逻辑
• search.py：A* 搜索及最短路径逻辑

overcooked_demo 包含以下内容：

server/：

• app.py：Flask 应用程序
• game.py：游戏的主要逻辑。状态转移由嵌入在游戏环境中的 overcooked.Gridworld 对象处理
• move_agents.py：一个脚本，用于简化将检查点文件复制到 agents 目录的操作。使用说明可在文件内找到，或通过运行 python move_agents.py -h 获取

up.sh：用于启动托管游戏的 Docker 服务器的 Shell 脚本

human_aware_rl 包含以下内容（注意：此部分已不再维护，更多信息请参阅 README 的底部）：

ppo/：

• ppo_rllib.py：PPO 智能体训练代码的主要模块。其中包括对 OvercookedEnv 的 rllib 兼容封装、将 rllib 的 Policy 类转换为 Overcooked Agent 的工具函数，以及一些实用函数和回调
• ppo_rllib_client.py：用于配置和启动智能体训练的驱动代码。使用详情见下文
• ppo_rllib_from_params_client.py：在具有可变 MDP 的 Overcooked 环境中使用 PPO 训练单个智能体
• ppo_rllib_test.py：用于本地验证的可重复性测试
• run_experiments.sh：用于在 5 种经典布局上训练智能体的脚本
• trained_example/：用于测试的预训练模型

rllib/：

• rllib.py：利用 Overcooked API 的 rllib 智能体及训练工具
• utils.py：上述模块的工具函数
• tests.py：上述模块的初步测试

imitation/：

• behavior_cloning_tf2.py：用于训练、保存和加载行为克隆模型的模块
• behavior_cloning_tf2_test.py：包含基本的可重复性测试以及行为克隆模块各组件的单元测试

human/：

• process_data.py：用于将人类数据处理成特定格式以便 DRL 算法使用的脚本
• data_processing_utils.py：上述脚本的工具函数

utils.py：整个仓库的工具函数

原始数据 :ledger:

行为克隆训练过程中使用的原始数据超过 100 MB，因此不便通过 Git 分发。代码使用了序列化后的 DataFrame 进行训练和测试，但如果需要原始数据，可以在此处获取：链接

已弃用：行为克隆与强化学习

更多问题与疑问 ❓

如有任何问题或疑问，请联系 Micah Carroll，邮箱地址为 mdc@berkeley.edu。

Overcooked-AI 快速上手指南

Overcooked-AI 是一个基于热门游戏《胡闹厨房》（Overcooked）构建的基准环境，旨在研究完全协作模式下的人机交互与多智能体强化学习。本指南将帮助开发者快速搭建环境并运行基础测试。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows (推荐 Linux/macOS 以获得最佳兼容性)
• Python 版本: Python 3.8 或更高版本
• 包管理工具:
  • 推荐安装 uv (用于快速、可靠地管理依赖和虚拟环境)
  • 或者使用标准的 pip 和 venv
• Git: 用于克隆源代码仓库

国内开发者提示：如果使用 pip 安装，建议配置国内镜像源（如清华源、阿里源）以加速下载：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

您可以选择通过 PyPI 安装稳定版，或从源码构建以获取最新功能。

方案一：通过 PyPI 安装（推荐新手）

适用于只需要使用稳定版本环境的用户。

pip install overcooked-ai

方案二：从源码构建（推荐开发者）

适用于需要最新功能、修改底层逻辑或参与贡献的开发者。推荐使用 uv 进行环境管理。

1. 克隆仓库

   git clone https://github.com/HumanCompatibleAI/overcooked_ai.git
   cd overcooked_ai
   

2. 创建并同步虚拟环境 (使用 uv)

   uv venv
   uv sync
   

   (如果不使用 uv，可手动创建 venv 并使用 pip install -e . 进行安装)

验证安装

安装完成后，建议运行单元测试以确保环境配置正确。

基础验证（快速检查）： 在项目根目录下运行：

python testing/overcooked_test.py

完整验证（包含规划工具等所有组件，耗时约 5-10 分钟）：

python -m unittest discover -s testing/ -p "*_test.py"

基本使用

安装成功后，您可以通过 Python 代码初始化环境并观察布局。以下是最简单的使用示例，展示如何加载一个预设布局并打印状态信息。

from overcooked_ai_py.mdp.overcooked_mdp import OvercookedGridworld
from overcooked_ai_py.mdp.overcooked_env import OvercookedEnv

# 1. 定义一个布局名称 (例如: "cramped_room")
# 可用布局包括: cramped_room, asymmetric_advantages, coordination_ring, forced_coordination, counter_circuit 等
layout_name = "cramped_room"

# 2. 初始化 MDP (马尔可夫决策过程) 对象
mdp = OvercookedGridworld.from_layout_name(layout_name)

# 3. 创建环境实例
env = OvercookedEnv.from_mdp(mdp, horizon=400)

# 4. 重置环境并获取初始状态
state, info = env.reset()

# 5. 打印当前布局信息和初始状态概览
print(f"当前布局：{layout_name}")
print(f"网格尺寸：{mdp.width} x {mdp.height}")
print(f"初始状态对象位置：{state.objects}")
print(f"初始状态厨师位置：{state.players}")

# 6. (可选) 渲染当前状态为文本形式查看
print(env.mdp.to_text(state))

进阶提示：

• 若要查看可视化的游戏界面或测试训练好的代理，请参考项目中的 overcooked_demo 目录，其中包含了基于 Flask 的前端演示服务。
• 详细的 API 文档和更多用例请参考项目根目录下的 Overcooked Tutorial.ipynb Notebook 文件。