使用神经网络和遗传算法实现 Flappy Bird 的机器学习

这是一个 HTML5 项目的源代码，通过神经网络和遗传算法在 Flappy Bird 游戏中实现机器学习算法。该程序教会小鸟如何最优地扇动翅膀，尽可能长时间地安全穿过障碍物。

完整教程和演示地址：
http://www.askforgametask.com/tutorial/machine-learning-algorithm-flappy-bird

您还可以观看算法演示视频：
https://www.youtube.com/watch?v=aeWmdojEJf0

所有代码使用 HTML5 编写，基于 Phaser 框架 和 Synaptic 神经网络库 实现神经网络。

神经网络架构

每个单位（小鸟）都有自己的神经网络，包含以下 3 层：

1. 输入层（Input Layer）：2 个神经元表示小鸟的视觉信息：

   1) 小鸟与最近缺口之间的水平距离
   2) 小鸟与最近缺口之间的高度差
   

2. 隐藏层（Hidden Layer）：6 个神经元

3. 输出层（Output Layer）：1 个神经元用于输出动作：

    if output > 0.5 then flap else do nothing
   

使用 Synaptic 神经网络库 实现人工神经网络，无需从头开始开发。

机器学习的核心概念

本程序实现的机器学习核心概念基于神经进化（Neuro-Evolution）形式，使用遗传算法（Genetic Algorithm）训练人工神经网络。主要步骤如下：

1. 创建包含 10 个单位（小鸟）的新种群，每个单位具有随机神经网络

2. 让所有单位同时通过各自的神经网络进行游戏

3. 计算每个单位的适应度函数（Fitness Function）来衡量其表现质量：

   fitness = 总飞行距离 - 与最近缺口的距离
   

   

4. 当所有单位死亡后，使用遗传算法操作符（选择、交叉和变异）评估下一代种群：

   1. 按适应度排名降序排列当前种群单位
   2. 选择前 4 名单位作为当前种群优胜者
   3. 将 4 个优胜者直接传给下一代
   4. 创建 6 个后代填充剩余位置：
       - 1 个后代由两个最优优胜者交叉生成
       - 3 个后代由随机两个优胜者交叉生成
       - 2 个后代直接复制随机两个优胜者
   5. 通过随机变异增加种群多样性
   

5. 返回步骤 2 继续进化

实现细节

环境要求

由于程序使用 Phaser 框架 和 Synaptic 神经网络库 编写，需要以下文件：

• phaser.min.js
• synaptic.min.js

gameplay.js

完整游戏逻辑实现在 gameplay.js 文件中，包含以下类：

• App.Main 主程序类，包含以下核心函数：

  • preload() 预加载所有资源
  • create() 创建所有对象并初始化遗传算法对象
  • update() 运行主循环，通过 AI 神经网络进行游戏并通过遗传算法进化种群
  • drawStatus() 显示所有单位的信息

• TreeGroup 类 扩展 Phaser Group 类表示移动障碍物，包含上下两个 Tree 精灵

• Tree 类 扩展 Phaser Sprite 类表示树形障碍物精灵

• Bird 类 扩展 Phaser Sprite 类表示小鸟精灵

• Text 类 扩展 Phaser BitmapText 类用于文本绘制

genetic.js

遗传算法实现在 genetic.js 文件中，包含以下类：

• GeneticAlgorithm 类 处理所有遗传算法操作的核心类，需要两个参数：max_units 设置种群最大数量，top_units 设置用于进化的优胜者数量。核心函数包括：

  • reset() 重置遗传算法参数
  • createPopulation() 创建新种群
  • activateBrain() 激活单位的 AI 神经网络，根据输入获取输出动作
  • evolvePopulation() 使用遗传操作符（选择、交叉和变异）进化种群
  • selection() 从当前种群选择最优单位
  • crossOver() 执行两个父代的单点交叉
  • mutation() 对后代执行随机变异

Machine-Learning-Flappy-Bird 快速上手指南

环境准备

• 系统要求：Windows/macOS/Linux 任意系统
• 前置依赖：
  • 浏览器（推荐 Chrome/Firefox 最新版）
  • 文本编辑器（VSCode/Sublime Text）
  • 可选：本地服务器（如 Live Server 插件/Python HTTP 服务）

安装步骤

# 克隆项目仓库
git clone https://github.com/ssusnic/Machine-Learning-Flappy-Bird.git

# 进入项目目录
cd Machine-Learning-Flappy-Bird

# 推荐使用国内CDN加速（修改index.html）：
# 将以下脚本地址替换为BootCDN源：
# <script src="https://cdn.bootcdn.net/ajax/libs/phaser/2.6.2/phaser.min.js"></script>
# <script src="https://cdn.bootcdn.net/ajax/libs/synaptic/1.0.10/synaptic.min.js"></script>

基本使用

1. 启动游戏：

   • 双击 index.html 或使用本地服务器打开
   • 页面加载后自动开始训练

2. 训练过程：

   • 每代训练包含10只小鸟
   • 按照神经网络输出决策：output > 0.5 时跳跃
   • 每代结束后自动进化（保留4个最优个体）

3. 修改配置（可选）：

   // 修改 genetic.js 中的种群参数
   this.max_units = 10;   // 种群数量
   this.top_units = 4;    // 保留的最优个体数
   

4. 查看训练效果：

   • 页面实时显示：
     • 当前代数
     • 最佳适应度
     • 当前种群存活数量
   • 训练过程无需人工干预，自动迭代进化

提示：训练约10-20代后，小鸟将学会稳定穿越障碍。可通过浏览器开发者工具查看神经网络结构和进化日志。