使用深度Q网络学习如何玩Flappy Bird

7分钟版本：DQN for flappy bird

概述

本项目遵循《使用深度强化学习玩Atari游戏》[2]中描述的深度Q学习算法，并展示了该学习算法可以进一步推广到臭名昭著的Flappy Bird游戏中。

安装依赖：

• Python 2.7 或 3
• TensorFlow 0.7
• pygame
• OpenCV-Python

如何运行？

git clone https://github.com/yenchenlin1994/DeepLearningFlappyBird.git
cd DeepLearningFlappyBird
python deep_q_network.py

什么是深度Q网络？

它是一种卷积神经网络，通过Q学习的一种变体进行训练，其输入是原始像素，输出是一个估计未来奖励的价值函数。

对于那些对深度强化学习感兴趣的人，我强烈推荐阅读以下文章：

揭秘深度强化学习

髙Q网络算法

根据[1]给出的深度Q学习算法伪代码如下：

初始化回放缓冲区D为大小N
用随机权重初始化动作-价值函数Q
for episode = 1, M do
    初始化状态s_1
    for t = 1, T do
        以概率ϵ选择随机动作a_t
        否则选择a_t=max_a  Q(s_t,a; θ_i)
        在模拟器中执行动作a_t并观察r_t和s_(t+1)
        将转移(s_t,a_t,r_t,s_(t+1))存储在D中
        从D中采样一个小批量的转移(s_j,a_j,r_j,s_(j+1))
        设置y_j:=
            r_j 对于终止状态s_(j+1)
            r_j+γ*max_(a^' )  Q(s_(j+1),a'; θ_i) 对于非终止状态s_(j+1)
        对(y_j-Q(s_j,a_j; θ_i))^2关于θ执行梯度步
    end for
end for

实验

环境

由于深度Q网络是基于每一步从游戏屏幕上观察到的原始像素值进行训练的，[3]发现移除原版游戏中出现的背景可以使网络更快地收敛。这一过程可以用下图表示：

网络架构

根据[1]，我首先对游戏画面进行了以下预处理步骤：

1. 将图像转换为灰度图
2. 将图像调整为80x80大小
3. 将最近4帧堆叠起来，形成一个80x80x4的输入数组供网络使用

网络的架构如图所示。第一层使用一个8x8x4x32的卷积核，步长为4，对输入图像进行卷积。然后将输出送入一个2x2的最大池化层。第二层使用一个4x4x32x64的卷积核，步长为2。随后再次进行最大池化。第三层使用一个3x3x64x64的卷积核，步长为1。最后再进行一次最大池化。最后一层隐藏层包含256个全连接的ReLU节点。

最终的输出层与游戏中可执行的有效动作数量相同，其中第0个索引始终对应于不执行任何操作。该输出层的值代表了在给定输入状态下每个有效动作的Q值。在每一步中，网络会根据ϵ-greedy策略选择具有最高Q值的动作来执行。

训练

起初，我使用标准差为0.01的正态分布随机初始化所有权重矩阵，然后将回放缓冲区的最大容量设置为50万条经验。

我开始训练时，在前1万步中均匀随机地选择动作，而不更新网络权重。这样可以让系统在训练开始之前先填充回放缓冲区。

需要注意的是，与[1]中将ϵ初始化为1不同，我在接下来的300万帧中将ϵ从0.1线性退火到0.0001。之所以这样设置，是因为在我们的游戏中，智能体每0.03秒（FPS=30）就可以选择一次动作，如果ϵ过高，它就会过于频繁地“拍打”翅膀，从而一直停留在游戏屏幕的顶部，最终笨拙地撞到管道上。这种情况下，Q函数的收敛速度会相对较慢，因为只有当ϵ较低时，它才会开始考虑其他情况。然而，在其他游戏中，将ϵ初始化为1更为合理。

在训练过程中，每一步网络都会从回放缓冲区中采样32个样本的小批次进行训练，并使用Adam优化算法以0.000001的学习率对上述损失函数执行梯度步。退火结束后，网络将继续无限期地训练下去，此时ϵ固定为0.001。

常见问题解答

找不到检查点

将saved_networks/checkpoint的第一行改为

model_checkpoint_path: "saved_networks/bird-dqn-2920000"

如何复现？

1. 注释掉这些行

2. 修改deep_q_network.py中的参数如下：

OBSERVE = 10000
EXPLORE = 3000000
FINAL_EPSILON = 0.0001
INITIAL_EPSILON = 0.1

参考文献

[1] Mnih Volodymyr, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, Martin Riedmiller, Andreas K. Fidjeland, Georg Ostrovski, Stig Petersen, Charles Beattie, Amir Sadik, Ioannis Antonoglou, Helen King, Dharshan Kumaran, Daan Wierstra, Shane Legg, and Demis Hassabis. 通过深度强化学习实现人类水平控制。Nature, 529-33, 2015.

[2] Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, and Martin Riedmiller. 使用深度强化学习玩Atari游戏。NIPS，深度学习研讨会

[3] Kevin Chen. 针对Flappy Bird的深度强化学习 报告 | YouTube结果

免责声明

本工作高度参考了以下仓库：

1. [sourabhv/FlapPyBird] (https://github.com/sourabhv/FlapPyBird)
2. asrivat1/DeepLearningVideoGames

DeepLearningFlappyBird 快速上手指南

本项目基于深度 Q 网络（DQN）算法，让 AI 通过原始像素输入学习如何玩“飞扬的小鸟”（Flappy Bird）。以下是针对中国开发者的快速启动指南。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：Python 2.7 或 Python 3.x
• 核心依赖库：
  • TensorFlow 0.7 (注意：此项目基于较旧版本，若使用新版 TensorFlow 可能需要修改代码)
  • pygame
  • OpenCV-Python (opencv-python)

国内加速建议： 安装 Python 依赖时，推荐使用清华或阿里镜像源以提升下载速度：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==0.7.0 pygame opencv-python

(注：由于 TensorFlow 0.7 版本过老，可能无法通过现代 pip 源直接安装。如遇兼容性问题，建议在 Docker 容器或虚拟环境中运行，或尝试升级代码以适配新版 TensorFlow)

安装步骤

1. 克隆项目代码 从 GitHub 获取源代码：

   git clone https://github.com/yenchenlin1994/DeepLearningFlappyBird.git
   

2. 进入项目目录

   cd DeepLearningFlappyBird
   

3. 安装依赖 确保已安装上述提到的 pygame 和 opencv-python。如果尚未安装，执行：

   pip install pygame opencv-python
   

   (TensorFlow 请根据实际环境情况单独处理)

基本使用

完成环境配置后，即可启动训练程序。AI 将自动开始玩游戏并学习策略。

启动命令：

python deep_q_network.py

运行说明：

• 程序启动后，会先进行随机探索（前 10,000 步），此时小鸟的动作是随机的，用于填充经验回放池。
• 随后网络开始训练，您将看到游戏窗口中 AI 控制的鸟类尝试穿越管道。
• 训练过程中，模型权重会自动保存在 saved_networks 目录下。