TensorKart

基于 TensorFlow 的自动驾驶马里奥卡丁车

在皇家赛道的新（未训练）路段行驶：

在路易吉赛道上行驶：

该模型的训练数据包括：

• 路易吉赛道 4 场比赛
• 卡利马里沙漠 2 场比赛
• 马里奥赛道 2 场比赛

即使使用少量的训练数据，模型有时也能泛化到新的赛道（如上文所示的皇家赛道）。

依赖项

• 需要安装 python 和 pip，然后运行 pip install -r requirements.txt
• 安装 mupen64plus（可通过 apt-get 安装）

录制样本

1. 启动模拟器程序 (mupen64plus) 并运行《马里奥卡丁车 64》
2. 确保已连接操纵杆，并且 mupen64plus 使用的是 sdl 输入插件
3. 运行 record.py
4. 确保图表能够响应操纵杆输入。
5. 将模拟器窗口调整到合适位置，使程序可以捕捉到画面（左上角）
6. 按下录制按钮并完成一关游戏。之后可以对收集到的数据进行修剪，删除开头和结尾的部分图像（通过移除 data.csv 文件中的相应行）。

注意事项

• 录制过程中 GUI 将停止更新，以避免性能下降。
• 请仔细检查样本，有时截取的可能是桌面而非游戏画面。此时需要从 data.csv 文件中删除相应的行。

查看样本

运行 python utils.py viewer samples/luigi_raceway 可以查看样本。

准备训练数据

运行 python utils.py prepare samples/*，传入多个样本目录数组，即可构建用于训练的 X 和 y 矩阵。（zsh 会自动展开 samples/* 到所有目录，直接传递 glob 也可以）

X 是一个三维图像数组，

y 是预期的操纵杆输出数组：

  [0] 操纵杆 X 轴
  [1] 操纵杆 Y 轴
  [2] A 按钮
  [3] B 按钮
  [4] RB 按钮

训练

train.py 程序将使用 Google 的 TensorFlow 框架和 cuDNN 进行 GPU 加速来训练模型。训练时间可能较长（约 1 小时），具体取决于训练数据量和您的硬件配置。训练完成后，程序会将所有轮次中表现最好的模型保存到磁盘上。

游玩

play.py 程序将利用 gym-mupen64plus 环境，让训练好的智能体与马里奥卡丁车环境交互。环境会提供模拟器的屏幕截图，这些图像会被送入模型以获取操纵杆指令。玩家可以通过按住控制器上的 'LB' 按钮来覆盖 AI 发出的操纵杆指令。

未来工作 / 想法：

• 增加基于圈速或其他指标的强化学习层，以便 AI 在已有基础的情况下开始自我学习。目前环境中每一步都会给予 -1 的奖励信号，这为 AI 提供了衡量每次比赛（episode）表现的依据，目标是最大化奖励，从而最小化总用时。
• 还可以实现“影子模式”，即 AI 只是模拟其操作而不会真正执行动作。真正的自动驾驶汽车在正式接管方向盘之前，通常会大量使用这种模式。
• 深度学习的核心在于数据；或许可以组建一个社区，共同收集大量数据，进一步提升该 AI 的性能。

相关项目：

Xbox Game AI - 使用 PYXInput 直接控制任何 Xbox/PC 游戏。

SerpentAI - 游戏智能体框架，可用于创建任何游戏的 AI。

Donkey Gym - OpenAI Gym 环境，适用于自动驾驶 “Donkey Car”。

AirSim - 基于虚幻引擎的自动驾驶车辆仿真平台。

特别感谢

• https://github.com/SullyChen/Autopilot-TensorFlow

贡献

欢迎提交 PR！我保证很友好 :)

TensorKart 快速上手指南

TensorKart 是一个基于 TensorFlow 的开源项目，旨在通过模仿学习让 AI 自动驾驶《马里奥赛车 64》。本指南将帮助你快速搭建环境并训练自己的自动驾驶模型。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu/Debian)，Windows 可能需要额外的配置来运行模拟器。
• Python: 已安装 Python 及 pip。
• GPU (可选但推荐): 若需加速训练，请确保已安装 NVIDIA 驱动、CUDA 及 cuDNN。
• 模拟器: mupen64plus (N64 模拟器)。
• 游戏 ROM: 《马里奥赛车 64》(Mario Kart 64) 的 ROM 文件。
• 硬件: 需要连接一个游戏手柄（Joystick）用于录制数据。

安装步骤

1. 安装系统依赖 在 Debian/Ubuntu 系统上，使用 apt 安装模拟器：

   sudo apt-get install mupen64plus
   

2. 克隆项目并安装 Python 依赖

   git clone https://github.com/kevinhughes27/TensorKart.git
   cd TensorKart
   pip install -r requirements.txt
   

   提示: 国内用户若下载依赖较慢，可指定清华源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 配置模拟器输入 启动 mupen64plus，确保在输入插件设置中选择了 sdl 插件，并正确映射了你的手柄按键。

基本使用流程

1. 录制训练数据 (Recording Samples)

AI 需要通过观察人类玩家的操作用来学习。

1. 启动模拟器并加载《马里奥赛车 64》。
2. 运行录制脚本：

   python record.py
   

3. 调整窗口: 确保模拟器窗口位于屏幕左上角，以便脚本能正确截取画面（参考项目截图）。
4. 验证输入: 确认界面上的图表能随手柄操作实时响应。
5. 开始录制: 按下录制键，手动完成几圈比赛。
   • 注意: 录制时 GUI 会停止更新以保证性能。
   • 清理数据: 录制结束后，检查生成的 data.csv，删除开头和结尾非游戏画面的行（如桌面截图）。

2. 查看样本 (可选)

你可以预览录制到的数据样本：

python utils.py viewer samples/luigi_raceway

(将 samples/luigi_raceway 替换为你实际录制的样本目录名)

3. 准备训练数据

将录制的原始样本转换为模型可训练的矩阵格式（X 为图像数组，y 为手柄操作数组）：

python utils.py prepare samples/*

注：如果你有多个赛道样本目录，samples/* 会自动包含所有子目录。

4. 训练模型

开始训练神经网络。根据数据量和硬件配置，过程可能持续约 1 小时或更久。程序会自动保存表现最佳的模型。

python train.py

5. 让 AI 试驾 (Play)

使用训练好的模型进行自动驾驶：

python play.py

• 工作原理: 脚本会启动模拟器环境，截取屏幕画面输入模型，模型输出手柄指令控制赛车。
• 人工接管: 在自动驾驶过程中，按住手柄的 LB 键即可暂时覆盖 AI 指令，由你手动控制。

---

小贴士: 即使只用少量赛道数据（如 Luigi Raceway, Kalimari Desert）训练，模型有时也能泛化到未见过的赛道（如 Royal Raceway）。想要提升效果，关键在于收集更多样化的驾驶数据。