这是一座通过监督学习训练的深度神经网络，旨在学会在视频游戏中驾驶。该项目的主要目标是开发出一款能够在《侠盗猎车手V》中自主驾驶的模型。给定一个航点，该模型应尽可能快速地到达目的地，同时避开其他车辆、行人及障碍物。

该模型使用人工标注的数据进行训练。我们在玩家游玩游戏时记录下游戏画面和按键输入，并利用这些数据来训练模型。

尽管我们的重点是自动驾驶汽车以及《侠盗猎车手V》这款游戏，但该模型同样可以被调整以适用于任何现有的视频游戏。

预训练的T.E.D.D. 1104模型

我们提供了可用于实时推理的预训练T.E.D.D. 1104模型 :)
这些模型基于130 GB的人工标注数据进行训练。
模型以第一人称视角进行训练，并配备了小地图上的行驶路线。
它已经学会了在各种天气条件下（晴天、夜晚、多云、雨天等）驾驶多种类型的车辆。
对于每个模型，我们都提供了最佳和最后的训练轮次。
有关如何运行这些模型的说明，请参阅软件与操作指南部分。

T.E.D.D. 1104 XXL：1.38亿参数。

下载链接：请查看发布页面
测试数据集中的准确率：

	时间	天气	微观准确率K@1	微观准确率k@3	宏观准确率K@1
城市	:sun_with_face:	:sunny:	53.2	84.4	46.2
城市	:sun_with_face:	:umbrella:	51.4	83.4	46.3
城市	:first_quarter_moon_with_face:	:sunny:	54.3	85.6	46.3
城市	:first_quarter_moon_with_face:	:umbrella:	47.3	82.3	49.9
高速公路	:sun_with_face:	:sunny:	72.7	97.7	40.6
高速公路	:sun_with_face:	:umbrella:	70.6	99.3	39.6
高速公路	:first_quarter_moon_with_face:	:sunny:	77.9	99.3	45.7
高速公路	:first_quarter_moon_with_face:	:umbrella:	70.9	97.6	30.8

T.E.D.D. 1104 M：6800万参数。

下载链接：请查看发布页面
测试数据集中的准确率：

	时间	天气	微观准确率K@1	微观准确率k@3	宏观准确率K@1
城市	:sun_with_face:	:sunny:	52.9	84.1	43.1
城市	:sun_with_face:	:umbrella:	49.9	81.3	42.2
城市	:first_quarter_moon_with_face:	:sunny:	54.7	85.1	48.4
城市	:first_quarter_moon_with_face:	:umbrella:	49.5	81.1	41.1
高速公路	:sun_with_face:	:sunny:	62.5	99.2	43.1
高速公路	:sun_with_face:	:umbrella:	71.9	99.3	39.2
高速公路	:first_quarter_moon_with_face:	:sunny:	79.4	99.3	45.3
高速公路	:first_quarter_moon_with_face:	:umbrella:	63.0	97.2	47.2

T.E.D.D. 1104 S：2600万参数。

下载链接：请查看发布页面
测试数据集中的准确率：

	时间	天气	微观准确率K@1	微观准确率k@3	宏观准确率K@1
城市	:sun_with_face:	:sunny:	51.0	83.0	46.3
城市	:sun_with_face:	:umbrella:	49.0	82.5	45.2
城市	:first_quarter_moon_with_face:	:sunny:	56.3	86.6	49.0
城市	:first_quarter_moon_with_face:	:umbrella:	49.4	81.4	42.5
高速公路	:sun_with_face:	:sunny:	70.3	100	68.5
高速公路	:sun_with_face:	:umbrella:	71.2	100	37.6
高速公路	:first_quarter_moon_with_face:	:sunny:	80.9	100	49.1
高速公路	:first_quarter_moon_with_face:	:umbrella:	69.3	100	61.1

数据集

我们提供了用于训练和评估 T.E.D.D 1107 模型的训练/验证/测试数据集：

• 训练数据集（约 130GB）：即将发布...
• 验证数据集（约 495MB）：下载验证+测试数据集。
• 测试数据集（约 539MB）：下载验证+测试数据集。

架构

T.E.D.D. 1104 是一个端到端模型。我们将任务视为分类问题。
模型的输入是一序列 5 张图像，每张图像以 0.1 秒的间隔拍摄。
输出是需要在键盘上按下的正确按键。此外，T.E.D.D. 1104 也可以使用 Xbox 手柄输入作为回归目标进行训练。

该模型由三个模块组成： 首先，一个卷积神经网络将每张输入图像编码为特征向量。我们使用 EfficientNetV2 arXiv:2104.00298。 然后，我们使用 Transformer 编码器（https://arxiv.org/abs/1706.03762）生成特征向量序列上的双向联合分布。最后，我们利用 [CLS] 标记来预测按键组合。

该模型使用 PyTorch：https://pytorch.org/ 和 PyTorch Lightning：https://www.pytorchlightning.ai/ 实现。

软件与操作指南

本仓库包含生成训练数据、训练模型以及使用模型在视频游戏中驾驶（实时推理）所需的所有文件。软件采用 Python 3 编写。您可以在任何操作系统上训练模型。然而，数据生成和推理仅支持 Windows 10/11，因为大多数视频游戏仅支持这些操作系统。

环境要求

您可以在任何操作系统上训练和评估模型（我们使用 Linux 进行训练）。
但要运行实时推理（让 TEDD1104 在 GTAV 中驾驶），则必须使用 Windows 10/11。

Python 3.7 或更高版本（已测试 3.9.7）
PyTorch（1.12.0 或更高版本）
Torchvision（>=0.13.0 且 < 0.15.0。未来版本将支持 torchvision >=0.15.0）
PyTorch Lightning（1.6.0 或更高版本）
torchmetrics
scikit-image
numpy
PIL/Pillow
cv2（opencv-python）
tkinter
tabulate
fairseq（若使用 AdaFactor 训练模型）
wandb 或 tensorboard 用于训练（请相应设置 "--report_to" 参数）
win32api（PythonWin）——仅在运行实时推理时需要（让 TEDD 玩游戏）。
                       最新版本的 Windows Python 安装包中通常已包含此库。


pygame ——仅在使用 Xbox 手柄生成数据时需要
PYXInput ——仅在使用虚拟 Xbox 手柄代替键盘作为游戏控制器时需要。
           请参阅 controller\README.md 获取安装说明。

运行推理

如何使用预训练的 T.E.E.D. 1104 模型在 GTAV 中驾驶

游戏配置

您可以选择“窗口模式”或“全屏模式”运行游戏。
如果想使用“窗口模式”：

• 启动 GTAV 并将其设置为窗口模式。
• 设置所需的游戏分辨率（如 1600x900）。
• 将游戏窗口移动到屏幕左上角。
• 使用 --width 1600 和 --height 900 参数运行脚本。

如果想使用“全屏模式”：

• 在您的主显示器（标记为屏幕 nº1 的显示器）上启动 GTAV，并将其设置为全屏模式。
• 将游戏分辨率调整为与您的屏幕分辨率一致（如 2560x1440）。
• 使用 --width 2560、--height 1440 和 --full_screen 参数运行脚本。

此外，如果您想运行我们提供的预训练模型，还需：

• 将设置 > 摄像头 > 第一人称车辆引擎盖设置为“开启”。
• 切换到第一人称视角（按下 “V” 键）。
• 在小地图上设置一个航点。

运行模型

使用 run_TEDD1104.py 脚本运行模型进行实时推理。可执行 run_TEDD1104.py -h 查看所有可用参数的说明。

python run_TEDD1104.py \
--checkpoint_path "models\TEDD1107_model.ckpt" \
--width 1920 \
--height 1080 \
--num_parallel_sequences 5 \
--control_mode keyboard

num_parallel_sequences：记录的并行序列数量。数值越高，模型每秒执行的迭代次数越多（按键频率更高），前提是您的 GPU 性能足够。这会提升模型表现，但也会增加 CPU 和内存的占用。

control_mode：选择键盘或手柄（Xbox 手柄）控制方式。无论模型是如何训练的，其输出都会转换为所选的控制模式。

如果模型表现异常（似乎没有反应或总是选择同一动作），您可以在脚本运行时按下 “L” 键来检查输入图像。

训练您自己的模型

自动驾驶模型

使用 train.py 脚本可以从头开始训练新模型，或继续训练现有模型。运行 train.py -h 可查看所有可用参数的说明。请参阅 training_scripts 文件夹，了解我们用于训练已发布模型的训练命令。

示例命令：

python3 train.py --train_new \
  --train_dir dataset/train \
  --val_dir  dataset/dev \
  --output_dir runs/TEDD1104-base \
  --encoder_type transformer \
  --batch_size 16 \
  --accumulation_steps 4 \
  --max_epochs 12 \
  --cnn_model_name efficientnet_b4 \
  --num_layers_encoder 4 \
  --mask_prob 0.2 \
  --dropout_cnn_out 0.3 \
  --dropout_encoder 0.1 \
  --dropout_encoder_features 0.3 \
  --control_mode keyboard \
  --dataloader_num_workers 32 \
  --val_check_interval 0.5 

您可以通过 --continue_training 标志继续训练模型：

python3 train.py --continue_training \
  --checkpoint_path runs/TEDD1104-base/model.ckpt \
  --train_dir dataset/train \
  --val_dir  dataset/dev \
  --output_dir runs/TEDD1104-base \
  --batch_size 16 \
  --accumulation_steps 4 \
  --max_epochs 24 \
  --cnn_model_name efficientnet_b4 \
  --dataloader_num_workers 32 \
  --val_check_interval 0.5 

模型评估：

使用 eval.py 脚本可以在测试数据集上评估模型。

python3 eval.py \
  --checkpoint_path models/tedd_1104_S/epoch=4-step=198544.ckpt \
  --batch_size 32 \
  --test_dirs \
   /data/gtaai_datasets/dev \
   /data/gtaai_datasets/test/car_city_day_clear \
   /data/gtaai_datasets/test/car_city_day_rain \
   /data/gtaai_datasets/test/car_city_night_clear \
   /data/gtaai_datasets/test/car_city_night_rain \
   /data/gtaai_datasets/test/car_highway_day_clear \
   /data/gtaai_datasets/test/car_highway_day_rain \
   /data/gtaai_datasets/test/car_highway_night_clear \
   /data/gtaai_datasets/test/car_highway_night_rain \
  --output_path results/tedd_1104_S.tsv

图像重排模型

这是一种实验性的无监督预训练目标。我们会打乱输入序列的顺序，模型需要预测出正确的图像顺序。运行 train_reorder.py -h 可查看所有可用参数的说明。该脚本与自动驾驶脚本几乎相同，只是它仅支持 Transformer 编码器模型，并且没有 control_mode 参数。有关训练和评估的详细信息，请参阅前一节。在使用图像重排目标进行训练后，您可以将模型微调到自动驾驶任务中。

python3 train.py \
--new_model \
--checkpoint_path models/image_reordering.ckpt \
...

使用 eval_reorder.py 脚本可以在测试数据集上评估图像重排模型。

数据生成

使用 generate_data.py 脚本可以生成用于训练或评估的新数据。运行 run_TEDD1104.py -h 可查看所有可用参数的说明。请按照配置游戏部分中的说明配置游戏。

python generate_data.py \
--save_dir "dataset/train" \
--width 1920 \
--height 1080 \
--control_mode keyboard

如果 control_mode 设置为 “keyboard”，我们将记录 WASD 键的状态。如果设置为 “controller”，则会记录 Pygame 首先检测到的第一台 Xbox 控制器的状态。为了避免生成一个巨大的不平衡数据集，脚本会在录制过程中尝试对数据进行平衡。对于某一类别的样本，已经录制的数量越多，再次录制该类别样本的概率就越低。如果您希望禁用此行为，可以使用 --save_everything 标志。

引用：

@misc{TEDD1104,
  author = {García-Ferrero, Iker},
  title = {TEDD1104: 视频游戏中自动驾驶汽车},
  year = {2022},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished = {\url{https://github.com/ikergarcia1996/Self-Driving-Car-in-Video-Games}},
}

作者：Iker García-Ferrero：

• 个人主页
• Twitter

Self-Driving-Car-in-Video-Games 快速上手指南

本项目是一个监督学习的深度神经网络，旨在让 AI 学会在电子游戏（主要是《侠盗猎车手 V》，即 GTA V）中自动驾驶。模型基于人类操作数据训练，能够根据小地图航点规划路线，避开障碍物并快速到达目的地。

1. 环境准备

系统要求

• 训练与评估：支持任意操作系统（推荐 Linux）。
• 实时推理（让 AI 玩游戏）：仅限 Windows 10/11。这是运行大多数游戏及模拟键盘/手柄输入的硬性要求。
• 游戏版本：Grand Theft Auto V (GTA V)。

前置依赖

确保已安装 Python 3.7 或更高版本（推荐 3.9.7）。

主要 Python 依赖库：

• Pytorch (>= 1.12.0)
• Torchvision (>= 0.13.0, < 0.15.0)
• PyTorch Lightning (>= 1.6.0)
• opencv-python, numpy, Pillow, scikit-image
• Windows 特有依赖：win32api (通常新版 Python 自带), pygame (若使用手柄), PYXInput (若使用虚拟手柄)。

国内加速建议：建议使用清华或阿里镜像源安装 PyTorch 及相关依赖，以提升下载速度。 例如：pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

1. 克隆项目代码

   git clone https://github.com/ikergarcia1996/Self-Driving-Car-in-Video-Games.git
   cd Self-Driving-Car-in-Video-Games
   

2. 安装依赖包 创建虚拟环境（推荐）并安装所需库：

   pip install -r requirements.txt
   

   注：若 requirements.txt 未包含所有特定版本约束，可手动执行以下核心安装命令（使用国内镜像）：

   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
   pip install pytorch-lightning==1.6.0 torchmetrics scikit-image opencv-python pillow tabulate
   # Windows 用户额外需要
   pip install pywin32
   

3. 下载预训练模型 前往项目的 Releases 页面 下载预训练的 .ckpt 模型文件（推荐下载 TEDD1104_XXL 以获得最佳效果），并将其放置在项目目录下的 models 文件夹中（或记住其路径）。

3. 基本使用

第一步：配置 GTA V 游戏

在运行脚本前，必须按以下方式设置游戏，否则模型无法识别画面或控制车辆：

1. 显示模式：
   • 窗口模式：将游戏设为窗口化，分辨率设为目标值（如 1600x900），并将游戏窗口拖动到屏幕左上角。
   • 全屏模式：在主显示器（屏幕编号 1）上运行全屏，分辨率需与显示器一致。
2. 视角设置（关键）：
   • 进入 设置 > 相机，将 第一人称车辆引擎盖 (First person Vehicle Hood) 设为 开启 (On)。
   • 游戏中按 V 键切换至 第一人称视角。
3. 导航：
   • 在小地图上设置一个 航点 (Waypoint)，模型将跟随该路线行驶。

第二步：运行推理

使用提供的脚本启动自动驾驶。以下是最基础的运行示例（假设使用窗口模式，分辨率 1920x1080）：

python run_TEDD1104.py \
--checkpoint_path "models\TEDD1104_XXL_model.ckpt" \
--width 1920 \
--height 1080 \
--num_parallel_sequences 5 \
--control_mode keyboard

参数说明：

• --checkpoint_path: 预训练模型文件的路径。
• --width / --height: 必须与游戏当前的分辨率完全一致。
• --num_parallel_sequences: 并行序列数。数值越大，模型每秒决策次数越多（反应更快），但会增加 CPU 和内存占用。请根据显卡性能调整。
• --control_mode: 控制模式，可选 keyboard (键盘) 或 controller (Xbox 手柄)。

全屏模式运行示例： 若游戏设置为全屏，需添加 --full_screen 参数：

python run_TEDD1104.py \
--checkpoint_path "models\TEDD1104_XXL_model.ckpt" \
--width 2560 \
--height 1440 \
--full_screen \
--num_parallel_sequences 5 \
--control_mode keyboard

启动后，AI 将接管车辆，尝试沿着小地图航点驾驶。如果车辆无反应或行为异常，请检查游戏分辨率设置是否与脚本参数匹配，以及视角是否为第一人称。