[PYTORCH] 用于玩超级马里奥兄弟的异步优势演员-评论家（A3C）

引言

以下是用于训练智能体玩超级马里奥兄弟游戏的 Python 源代码。该代码采用了论文《深度强化学习中的异步方法》论文 中提出的异步优势演员-评论家（A3C）算法。

示例结果

动机

在我实现这个项目之前，已经有一些仓库在不同的主流深度学习框架（如 TensorFlow、Keras 和 PyTorch）中很好地复现了该论文的结果。在我看来，这些实现大多非常出色。然而，它们在许多方面显得过于复杂，包括图像预处理、环境搭建和权重初始化等，这会分散用户对更重要问题的关注。因此，我决定编写一段更简洁的代码，在严格遵循原论文的同时，简化那些不重要的部分。正如你所看到的，只需最少的设置和简单的网络初始化，只要正确实现了算法，智能体就能自行学习如何与环境交互，并逐步找到达成最终目标的方法。

通俗解释

如果你已经熟悉强化学习以及 A3C 算法，可以跳过这一部分。我写这部分是为了向那些对 A3C 或我的实现感兴趣或好奇，但不了解其背后机制的人解释什么是 A3C 算法、它如何工作以及为什么有效。因此，阅读这部分内容不需要任何先验知识 :relaxed:

在网上搜索，你会发现大量介绍或解释 A3C 的文章，有些甚至提供了示例代码。然而，我想采用另一种方式：将“异步演员-评论家”这个名字拆解成更小的部分，然后以一种整合的方式进行说明。

演员-评论家

你的智能体包含两个部分，分别称为“演员”和“评论家”，其目标是通过探索和利用环境，使这两部分随着时间的推移表现得越来越好。想象一下，一个调皮的小孩（演员）正在探索周围奇妙的世界，而他的爸爸（评论家）则在一旁监督他，确保他不会做出危险的事情。每当孩子做了好事时，爸爸就会表扬并鼓励他以后继续这样做。当然，如果孩子做了坏事，爸爸就会警告他。随着孩子与世界互动得越多，尝试的动作越多，他从爸爸那里得到的反馈也就越多，既有积极的，也有消极的。孩子的目标是尽可能多地从爸爸那里获得正面反馈，而爸爸的目标则是更好地评估儿子的行为。换句话说，孩子和爸爸之间是一种双赢的关系，这也相当于“演员”和“评论家”之间的关系。

利益演员-评论家

为了让小孩学得更快、更稳定，爸爸不再直接告诉儿子他的行为有多好，而是会告诉他，与其他行为相比，他的行为是更好还是更差（或者说与“虚拟平均行为”相比）。举个例子胜过千言万语。我们来比较两对父子。第一对父亲给孩子在学校得了 10 分就奖励 10 颗糖果，而得了 1 分则只给 1 颗糖果。第二对父亲则相反，孩子得了 10 分才给 5 颗糖果，但如果得了 1 分，就会惩罚他一天不能看最喜欢的电视节目。你觉得哪一对父亲的做法更明智呢？显然，第二对父亲似乎更聪明一些，不是吗？的确，如果你仍然用少量奖励来“鼓励”不良行为，就很难真正阻止它们。

异步利益演员-评论家

如果智能体独自探索环境，学习过程将会很慢。更严重的是，智能体可能会陷入某种次优解，这是不可取的。那么，如果有多个智能体同时探索环境的不同部分，并定期将自己的新知识分享给彼此，会发生什么呢？这正是“异步利益演员-评论家”的核心思想。现在，幼儿园的小朋友们和老师一起去美丽的海滩游玩。他们的任务是建造一座漂亮的沙堡。每个小朋友负责建造沙堡的不同部分，由老师监督。每个人都有不同的任务，但最终目标都是建造一座坚固又引人注目的沙堡。当然，老师在这里的角色与前面例子中的爸爸是一样的。唯一的区别是，现在的老师要忙得多 :sweat_smile:

如何使用我的代码

使用我的代码，你可以：

• 训练模型：运行 python train.py
• 测试训练好的模型：运行 python test.py

训练好的模型

你可以在 Super Mario Bros A3C 训练模型 中找到我训练的一些模型。

要求

• Python 3.6
• gym
• cv2
• PyTorch
• NumPy

致谢

最初，我只能训练智能体完成 9 个关卡。后来 @davincibj 指出可以完成 19 个关卡，并将训练好的权重发给了我。非常感谢他的发现！

Super-mario-bros-A3C-pytorch 快速上手指南

环境准备

系统要求

• Python 3.6 或更高版本
• 支持 GPU 的环境（可选，但推荐以加快训练速度）

前置依赖

• gym
• opencv-python (cv2)
• pytorch
• numpy

推荐使用国内镜像源安装以提高速度：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple gym opencv-python pytorch numpy

安装步骤

克隆项目到本地：

git clone https://github.com/your-repo/Super-mario-bros-A3C-pytorch.git
cd Super-mario-bros-A3C-pytorch

基本使用

训练模型

运行以下命令开始训练：

python train.py

测试模型

在训练完成后，使用以下命令测试已训练的模型：

python test.py

注意：训练和测试需要确保环境配置正确，并且依赖库已成功安装。