[PYTORCH] 基于近端策略优化（PPO）的超级马里奥兄弟游戏智能体

引言

以下是用于训练智能体玩超级马里奥兄弟游戏的 Python 源代码。该代码使用了论文 Proximal Policy Optimization Algorithms 中提出的近端策略优化（PPO）算法，论文链接。

在性能方面，我用 PPO 训练的智能体能够通关 31 个关卡中的 32 个，这远远超出了我最初的预期。

值得一提的是，PPO 是由 OpenAI 提出的算法，并被用于训练 OpenAI Five，这是首个在电子竞技游戏中击败世界冠军的人工智能团队。具体来说，OpenAI Five 在 2018 年 8 月击败了一支由解说员和前职业选手组成的队伍，这些选手的 Dota 2 MMR 排名位于玩家群体的 99.95 百分位。

示例结果

动机

自从我发布了 A3C 实现代码（A3C 代码）来训练智能体玩超级马里奥兄弟以来，已经有一段时间了。尽管训练好的智能体能够相当快速且出色地通关各个关卡（至少比我玩得快、玩得好 :sweat_smile:），但它仍然未能完全让我满意。主要原因在于，无论我如何调整参数和测试，用 A3C 训练的智能体最多只能通关 19 个关卡中的 32 个。这促使我寻找新的方法。

在我决定选择 PPO 作为下一个完整实现之前，我还部分实现了其他几种算法，包括 A2C 和 Rainbow。然而，前者在性能上并没有显著提升，而后者更适合那些具有较高随机性的环境或游戏，比如乒乓球或太空侵略者。

如何使用我的代码

通过我的代码，你可以：

• 训练你的模型：运行 python train.py。例如：python train.py --world 5 --stage 2 --lr 1e-4
• 测试你训练好的模型：运行 python test.py。例如：python test.py --world 5 --stage 2

注意：如果你在某个关卡上卡住了，可以尝试使用不同的学习率重新训练。就像我一样，只需调整学习率，就能成功通关 31 个关卡中的 32 个。通常我会将学习率设置为 1e-3、1e-4 或 1e-5。不过，有些关卡确实非常困难，比如 1-3 关卡，我在失败了 70 次之后，最终才以 7e-5 的学习率成功通关。

Docker 使用说明

为了方便起见，我提供了一个 Dockerfile，可用于运行训练和测试阶段。

假设 Docker 镜像名为 ppo，你只想使用第一块 GPU，并且已经克隆了这个仓库并进入其中。

构建镜像：

sudo docker build --network=host -t ppo .

运行容器：

docker run --runtime=nvidia -it --rm --volume="$PWD"/../Super-mario-bros-PPO-pytorch:/Super-mario-bros-PPO-pytorch --gpus device=0 ppo

然后在容器内，你可以按照上述方式运行 train.py 或 test.py 脚本。

注意：使用 Docker 时存在渲染方面的 bug。因此，在使用 Docker 进行训练或测试时，请注释掉训练脚本 src/process.py 或测试脚本 test.py 中的 env.render() 行。这样虽然无法再看到可视化窗口弹出，但这并不影响训练过程的进行，测试结束后也会生成一个用于可视化的 MP4 文件。

为什么 8-4 关卡仍未通关？

在世界 4-4、7-4 和 8-4 关卡中，地图设计了许多谜题，玩家必须选择正确的路径才能继续前进。如果选错了路径，就必须重新走一遍已经经过的路线。由于环境设置较为严苛，前两个关卡已经被成功解决，但最后一个关卡目前仍未通关。

Super-mario-bros-PPO-pytorch 快速上手指南

本项目基于 PyTorch 实现了近端策略优化（PPO）算法，用于训练智能体游玩《超级马里奥兄弟》。该模型表现优异，可通关 32 个关卡中的 31 个。

环境准备

• 操作系统: Linux (推荐) 或 macOS。Windows 用户建议使用 WSL2 或 Docker。
• 硬件要求: 推荐使用 NVIDIA GPU 以加速训练（支持 CUDA）。
• 前置依赖:
  • Python 3.6+
  • PyTorch
  • Gym (含 gym-super-mario-bros 插件)
  • Docker (可选，用于容器化运行)

国内加速建议：安装 Python 依赖时，建议使用清华或阿里镜像源以提升下载速度。 例如：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

方式一：本地直接安装

1. 克隆项目代码

   git clone https://github.com/uvipen/Super-mario-bros-PPO-pytorch.git
   cd Super-mario-bros-PPO-pytorch
   

2. 安装依赖 确保已安装 PyTorch（请参考 PyTorch 官网 获取适合你环境的安装命令），然后安装其他依赖：

   pip install -r requirements.txt
   

   注：若 requirements.txt 未包含 gym-super-mario-bros，请手动安装：

   pip install gym-super-mario-bros
   

方式二：使用 Docker（推荐）

如果你希望避免环境配置冲突，可以使用提供的 Dockerfile。

1. 构建镜像

   sudo docker build --network=host -t ppo .
   

2. 运行容器 以下命令挂载当前目录并启用第一个 GPU：

   docker run --runtime=nvidia -it --rm --volume="$PWD"/../Super-mario-bros-PPO-pytorch:/Super-mario-bros-PPO-pytorch --gpus device=0 ppo
   

   注意：在 Docker 中运行时，由于渲染 bug，需在脚本中注释掉 env.render() 行（训练时在 src/process.py，测试时在 test.py）。此时无法弹出可视化窗口，但训练正常进行，测试会生成 MP4 视频文件。

基本使用

1. 训练模型

运行 train.py 开始训练。你需要指定世界（world）、关卡（stage）和学习率（lr）。

示例命令：训练第 5 世界第 2 关，学习率设为 1e-4

python train.py --world 5 --stage 2 --lr 1e-4

调优提示：如果智能体卡在某一关无法通过，尝试调整 学习率 (learning rate)。作者常用的学习率为 1e-3, 1e-4, 或 1e-5。对于高难度关卡（如 1-3），可能需要更精细的值（如 7e-5）。

2. 测试模型

训练完成后，运行 test.py 验证模型效果。

示例命令：测试第 5 世界第 2 关的模型

python test.py --world 5 --stage 2

测试结束后，若未开启实时渲染（如在 Docker 中），将在输出目录生成可视化的 MP4 文件。