DeepGTAV v2

一款用于《GTA V》的插件，可将其转变为基于视觉的自动驾驶汽车研究环境。

安装说明

1. 确保《GTA V》版本为1.0.1180.2或更低。
2. 将bin/Release目录下的内容复制到你的《GTA V》安装目录中。
3. 将Documents/Rockstar Games/GTA V/Profiles/中的存档数据替换为bin/SaveGame中的内容。
4. 下载*paths.xml*并将其存储在《GTA V》安装目录中。

使用建议

1. 在游戏设置中，将屏幕模式设为窗口模式。
2. 通过配置《GTA V》直接进入故事模式，跳过菜单界面。
3. 为避免Rockstar更新，使用GTA5.exe启动游戏；否则请使用GTAVLauncher.exe或PlayGTAV.exe。

工作原理

如果安装成功，《GTA V》将自动加载DeepGTAV插件。游戏启动后，DeepGTAV会等待TCP客户端在端口8000上建立连接。

连接到DeepGTAV的客户端可以向《GTA V》发送消息，以启动和配置研究环境（Start和Config消息）、发送驾驶指令控制车辆（Commands消息），以及停止环境并恢复正常游戏模式（Stop消息）。

当环境通过Start消息启动后，DeepGTAV会开始以JSON格式将游戏采集的数据发回给客户端，以便客户端存储数据集、将其输入自动驾驶智能体进行训练……

发回给客户端的数据及初始条件取决于客户端通过Start或Config消息发送的参数。例如，可控制的内容包括：传输速率、帧宽高、天气、时间、车辆类型、驾驶风格、是否获取周围车辆或行人、奖励函数类型等等。

VPilot 提供了一个友好的界面和用Python编写的示例，方便你利用DeepGTAV进行自动驾驶研究。

以下章节将详细介绍每条消息的用途和内容。

客户端向DeepGTAV发送的消息

消息必须分两步发送：首先发送JSON消息的字节长度，然后发送消息本身，这样DeepGTAV才能知道何时停止读取消息。

Start

这是启动DeepGTAV所必需的消息，任何在此消息之前发送的消息都不会生效。同时，该消息还可设置多个字段，以按需启动DeepGTAV并指定所需的数据传输。

当此消息发送时，环境启动，游戏摄像机被置于车辆正前方中央位置，并开始向客户端发送Data，直到客户端断开连接或收到Stop消息为止。

以下是Start消息的示例：

{"start": {
  "scenario": {
    "location": [1015.6, 736.8],
    "time": [22, null],
    "weather": "RAIN",
    "vehicle": null,
    "drivingMode": [1074528293, 15.0]
  },
  "dataset": {
    "rate": 20,
    "frame": [227, 227],
    "vehicles": true,
    "peds": false,
    "trafficSigns": null,
    "direction": [1234.8, 354.3, 0],
    "reward": [15.0, 0.5],
    "throttle": true,
    "brake": true,
    "steering": true,
    "speed": null,
    "yawRate": false,
    "drivingMode": null,
    "location": null,
    "time": false    
  }
}}

场景字段指定了环境所需的初始条件。如果其中任一字段或整个场景为空或无效，则相关配置将随机设定。

数据集字段指定了我们希望从游戏中获取的数据。如果其中任一字段或整个数据集为空或无效，则相关Data字段将被禁用，但帧率和尺寸默认为10 Hz和320x160。

Config

此消息允许在DeepGTAV运行过程中随时更改由Start消息设定的初始配置。

以下是Config消息的示例（与Start消息完全相同）：

{"start": {
  "scenario": {
    "location": [1015.6, 736.8],
    "time": null,
    "weather": "SUNNY",
    "vehicle": "voltic",
    "drivingMode": -1
  },
  "dataset": {
    "rate": null,
    "frame": null,
    "vehicles": false,
    "peds": true,
    "trafficSigns": null,
    "direction": null,
    "reward": null,
    "throttle": null,
    "brake": false,
    "steering": false,
    "speed": true,
    "yawRate": null,
    "drivingMode": null,
    "location": null,
    "time": true   
  }
}}

在这种情况下，如果任一字段为空或无效，则保留之前的配置；否则，新配置将覆盖旧配置。

Commands

顾名思义，此消息可在DeepGTAV运行过程中随时发送，以控制车辆。请注意，只有当drivingMode设置为手动时，你才能控制车辆。

以下是Commands消息的示例：

{"commands": {
  "throttle": 1.0,
  "brake": 0.0,
  "steering": -0.5
}}

Stop

停止环境并允许用户返回正常游戏模式。简单地断开客户端连接也会产生同样的效果。

以下是Stop消息的示例：

{"stop": {}}

DeepGTAV向客户端发送的消息

DeepGTAV总是分两步发送消息：首先发送消息的字节长度，然后发送消息本身，以便客户端知道何时停止读取。

消息的频率和内容取决于Start或Config消息设定的配置，且始终连续发送（帧、数据）。

Frame

这是一个字节数组，包含当前《GTA V》屏幕的RGB值（已调整至指定宽度和长度）。请确保窗口未最小化，否则所有值都将为零（黑色）。

Data

报告问题与待办事项

DeepGTAV会在《GTA V》安装目录下生成一个名为deepgtav.log的日志文件。报告任何错误时，请将其附在你的问题中。

待办事项：

• 提高代码质量（很多！）
• 添加对交通标志检测的支持
• 添加对驾驶模式覆盖的支持
• 通用错误修复

DeepGTAV 快速上手指南

环境准备

• 系统要求：Windows 7/8/10（64位）
• 前置依赖：
  • GTA V 游戏版本需为 1.0.1180.2 或更低（高于此版本将不兼容）
  • Python 3.6+（推荐用于客户端开发）
  • 确保游戏未启用 Rockstar 社区更新（建议使用 GTA5.exe 启动）

⚠️ 注意：请勿使用 Steam 或 Rockstar Launcher 自动更新游戏，避免版本升级导致插件失效。

安装步骤

1. 将 bin/Release 文件夹中的所有文件，复制到你的 GTA V 安装目录下（如 C:\Program Files (x86)\Steam\steamapps\common\Grand Theft Auto V）。
2. 将 bin/SaveGame 文件夹中的内容，覆盖到：

   Documents/Rockstar Games/GTA V/Profiles/
   

3. 下载 paths.xml 并保存至 GTA V 安装目录。
4. 在游戏设置中：
   • 将显示模式设为 窗口化（Windowed）
   • 配置游戏直接启动至 故事模式（Story Mode），跳过菜单

基本使用

使用 VPilot（Python 客户端）作为示例：

1. 安装依赖：

   pip install git+https://github.com/ai-tor/VPilot.git
   

2. 启动 GTA V，等待游戏加载完成（界面静止即表示 DeepGTAV 已就绪）。

3. 运行以下 Python 脚本连接并启动环境：

   from vpilot import DeepGTAV
   
   # 创建连接
   dg = DeepGTAV()
   
   # 发送 Start 消息启动环境
   dg.start({
       "scenario": {
           "location": [1015.6, 736.8],
           "time": [22, None],
           "weather": "RAIN",
           "vehicle": None,
           "drivingMode": [1074528293, 15.0]
       },
       "dataset": {
           "rate": 20,
           "frame": [227, 227],
           "vehicles": True,
           "peds": False,
           "throttle": True,
           "brake": True,
           "steering": True,
           "speed": True
       }
   })
   
   # 接收数据（帧 + 数据）
   while True:
       data = dg.recv()
       if data:
           frame = data['frame']      # RGB 图像字节流
           sensor_data = data['data'] # 速度、转向等传感器数据
           print("收到帧数据，大小:", len(frame))
   

4. 发送控制指令（需 drivingMode 为手动）：

   dg.send_command({
       "throttle": 0.8,
       "brake": 0.0,
       "steering": -0.3
   })
   

5. 停止环境并返回正常游戏：

   dg.stop()
   

✅ 建议在运行前关闭游戏内所有 HUD 和镜头特效，以获得更干净的视觉输入。