深度强化学习

项目：训练AI玩贪食蛇

更新：

该项目近期已更新并优化：

• 现在可以使用贝叶斯优化来调优深度强化学习方法。
• 深度强化学习的代码已从 Keras/TF 迁移到 PyTorch。如需查看 Keras/TF 版本的旧代码，请参阅此仓库：snake-ga-tf。

简介

本项目的目的是开发一个能够从零开始学习如何玩经典游戏“贪食蛇”的 AI 机器人。为此，我实现了一种深度强化学习算法。该方法的核心是向系统提供与其当前状态相关的参数，并根据其动作给予正向或负向奖励。系统不会被预先告知任何游戏规则，初始状态下它对该如何操作一无所知。系统的目标是自行探索并制定策略，以最大化得分（即奖励）。

我们将看到一个深度 Q 学习算法如何仅经过 5 分钟的训练，便能学会玩贪食蛇，最高可获得 50 分，并展现出稳健的策略。

此外，还可以运行贝叶斯优化方法，以找到深度神经网络以及深度强化学习方法中部分超参数的最佳取值。

安装

本项目需要 Python 3.6，并安装 pygame 库和 PyTorch。如果在使用 torch=1.7.1 时遇到问题，可能需要安装 Visual C++ 2015-2019 运行时库，或者直接降级 PyTorch 版本即可。

完整的依赖列表请参见 requirements.txt 文件。

git clone git@github.com:maurock/snake-ga.git

运行

要运行并展示游戏，请在 snake-ga 目录下执行以下命令：

python snakeClass.py

参数说明：

• --display：布尔类型，默认为 True，用于控制是否显示游戏界面。
• --speed：整数类型，默认为 50，用于设置游戏速度。

默认配置会加载 weights/weights.h5 文件并进行一次测试。

若要训练智能体，请在 snakeClass.py 中将 params['train'] = True 设置为真。深度神经网络的参数可以在 snakeClass.py 中通过修改 define_parameters() 函数内的 params 字典进行调整。

如果通过命令行运行 snakeClass.py，可以将 --display=False 和 --speed=0 参数传入，这样将不显示游戏界面，从而加快训练速度。

使用贝叶斯优化调优深度强化学习

要优化深度神经网络及其他相关超参数，请运行以下命令：

python snakeClass.py --bayesianopt=True

该方法利用贝叶斯优化技术来调优深度强化学习的部分参数。具体的参数及搜索空间可在 bayesOpt.py 中通过编辑 optimize_RL 函数中的 optim_params 字典进行修改。

针对 Mac 用户

似乎存在与 macOS 系统相关的问题，许多用户无法正常显示游戏界面。为解决此问题，请在 update_screen() 函数中添加如下一行代码：

def update_screen():
    pygame.display.update() <br>
    pygame.event.get() # <--- 添加这一行 ###

snake-ga 快速上手指南

本项目旨在利用深度强化学习（Deep Reinforcement Learning）训练 AI 从零开始学会玩“贪吃蛇”游戏。代码已迁移至 PyTorch，并支持贝叶斯优化以自动调整超参数。

环境准备

• 操作系统：Windows / Linux / macOS
• Python 版本：推荐 Python 3.6+
• 核心依赖：
  • pygame：用于游戏渲染
  • torch (PyTorch)：深度学习框架（若安装 torch=1.7.1 报错，请安装 Visual C++ 2015-2019 或降低 PyTorch 版本）
• 其他依赖：详见项目根目录下的 requirements.txt

提示：国内用户建议使用清华或阿里镜像源加速安装依赖。

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目仓库到本地：

   git clone git@github.com:maurock/snake-ga.git
   

2. 进入项目目录并安装依赖：

   cd snake-ga
   pip install -r requirements.txt
   

基本使用

1. 运行预训练模型（测试演示）

默认配置会加载 weights/weights.h5 权重文件并运行测试，展示 AI 玩游戏的过程：

python snakeClass.py

常用参数说明：

• --display：布尔值，默认为 True。设为 False 可隐藏游戏画面。
• --speed：整数，默认为 50。控制游戏速度，数值越大越快。

加速训练/测试示例（不显示画面）：

python snakeClass.py --display=False --speed=0

2. 训练 AI 代理

若要重新训练 AI，需修改代码配置：

1. 打开 snakeClass.py 文件。
2. 找到 define_parameters() 函数中的 params 字典。
3. 将 params['train'] 设置为 True。
4. 可在此处调整深度神经网络的超参数。

随后运行以下命令开始训练：

python snakeClass.py

建议训练时添加 --display=False --speed=0 以提升训练速度。

3. 使用贝叶斯优化（可选）

自动搜索最优的神经网络及强化学习参数：

python snakeClass.py --bayesianopt=True

注：搜索空间可在 bayesOpt.py 文件的 optimize_RL 函数中通过 optim_params 字典进行修改。

---

🍎 macOS 用户特别注意事项

如果在 macOS 上运行时无法看到游戏画面，请在 snakeClass.py 的 update_screen() 函数中补充一行代码以修复显示问题：

def update_screen():
    pygame.display.update()
    pygame.event.get() # <--- 添加此行