Deepdrive

体验自动驾驶 AI 的最简单方式

模拟器要求

• Linux
• Python 3.6+
• 10GB 磁盘空间
• 8GB 内存

可选 - 基线智能体要求

• 支持 CUDA 的 GPU（已在 970、1070 和 1060 上测试和开发）
• 1.7 <= Tensorflow < 2.0 参阅 Tensorflow 安装提示

安装

1. 创建 Miniconda 环境

2. 克隆

git clone https://github.com/deepdrive/deepdrive
cd deepdrive

可选 - 激活已安装 Tensorflow 的 Python conda 环境或 virtualenv，然后

注意：如果您使用 Anaconda（我们推荐 Miniconda），请仅在您的 deepdrive conda 环境中使用 pip install，切勿使用 conda install

3. 安装

python install.py  # 请勿以 sudo 运行！请使用 Miniconda 或 virtualenv 在无 sudo 权限的情况下进行安装。

云端

云端设置说明

示例

前向智能体

python example.py

同步前向智能体

python example_sync.py

• 远程智能体示例 - 使用 deepdrive 远程 API 通过网络运行

Mnet2 基线智能体

python main.py --mnet2-baseline --experiment my-baseline-test

内置 C++ FSM / PID 智能体，可在峡谷地图中超车

python main.py --path-follower --experiment my-path-follower-test

录制训练数据用于模仿学习 / 行为克隆

python main.py --record --jitter-actions --sync

请注意，我们以同步模式录制了基线数据集，这比异步模式慢得多。异步模式 可能 也适合录制，只是我们尚未在 v3 中尝试过。

可选：转换为 HDF5 文件再转为 tfrecords（用于训练 MNET2）

python main.py --hdf5-2-tfrecord

使用录制的数据进行训练

python main.py --train [--agent dagger|dagger_mobilenet_v2|bootstrapped_ppo2] --recording-dir <your-hdf5-or-tfrecord-dir>

使用我们的数据集进行训练

获取 数据集

python main.py --train --recording-dir <包含数据集的目录> [--agent dagger|dagger_mobilenet_v2|bootstrapped_ppo2]

TensorBoard

tensorboard --logdir="<your-deepdrive-home>/tensorflow"

其中 <your-deepdrive-home> 默认位于 $HOME/Deepdrive，也可在 $HOME/.deepdrive/deepdrive_dir 中配置。

运行单元测试

pytest tests/unit_tests/test_sanity.py

快捷键

• Esc - 暂停（在 Unreal 编辑器中退出）
• Enter - 无菜单暂停
• P - 在 Unreal 编辑器中暂停
• 1 - 追踪摄像机
• 2 - 轨道式（侧方）摄像机
• 3 - 引擎盖上方摄像机
• 4 - 自由摄像机（使用 WASD 键飞行）
• 空格 - 手刹
• Alt+Tab - 控制其他窗口 / 显示鼠标
• </kbd> - Unreal 控制台 - 可执行如 stat FPS` 等命令
• M - 使用键盘 WASD 驾驶车辆 - 请确保同步功能已关闭 - 已知问题：目前仅在路径跟随模式下有效
• Ctrl+数字 - 更改太阳位置 - 适用于 1 到 7
• B - 显示车辆边界框
• N - 显示车辆碰撞盒
• Page Up - 下一辆车
• Page Down - 上一辆车

观测数据

观测中返回的所有值均遵循 Unreal 引擎的约定，具体如下：

• 所有距离单位均为厘米，基于 Unreal 的默认数据类型。
• 所有旋转/角度值以滚转、俯仰、偏航的顺序表示，单位为度。
• x, y, z 分别对应前、右、上方向。

{ 
  
  'acceleration': array([-264.26913452, -227.578125  ,  105.16122437]),
  'angular_acceleration': array([210980.234375, 105423.765625,  38187.28125 ]),
  'angular_velocity': array([2.59908962, 3.8214705 , 1.87282801]),
  'brake': 0.0,
  'camera_count': 1,
  'cameras': [{  'aspect_ratio': 1.0,
                 'capture_height': 227,
                 'capture_width': 227,
                 'depth_data': array([0.9995  , 0.9995  , 0.9995  , ..., 
                     0.005146, 0.005146, 0.005146], dtype=float16),
                 'horizontal_field_of_view': 1.7654,
                 'id': 1,
                 'image': array([[[ 40.,  78., 110.] ..., dtype=float32),
                 'image_data': array([0.283  , 0.557  , 0.82, 
                     ..., 0.02321, 0.02574, 0.02599], dtype=float16),
                 'image_raw': array([[[144, 195, 233]..., dtype=uint8),
                 'type': 0
              }],
  'capture_timestamp': 4132.511303506,
  'dimension': array([514.99609375, 514.99609375,  91.1796875 ]),  # 车辆尺寸
  'distance_along_route': 70658.828125,  # 沿路线行进的距离（厘米）
  'distance_to_center_of_lane': 1038.8463134765625,  # 到车道中心线的距离（厘米）
  'world': { 'vehicle_positions': [ [ -15800.8193359375,
                                      38030.23828125,
                                      19894.62890625],
                                    [ -13854.9384765625,
                                      39296.91015625,
                                      20041.6484375],
                                    [ -10323.2744140625,
                                      39767.69921875,
                                      20409.265625],
                                    [ -6528.05810546875,
                                      38875.75390625,
                                      21034.83984375],
                                    [ 4577.29150390625,
                                      36155.37890625,
                                      22704.166015625]]},
  'distance_to_next_agent': 326125.625, # 同车道下一辆车
  'distance_to_next_opposing_agent': -1.0,  # 对向车道下一辆车
  'distance_to_prev_agent': 30758.2734375,   # 同车道上一辆车
  'forward_vector': array([-0.8840133 , -0.4375411 , -0.16455328]),
  'gym_action': [0, 1, 0, 0, True],
  'gym_done': False,
  'gym_reward': -2.4653405387152016,
  'handbrake': 0,
  'is_game_driving': 0,
  'is_passing': 0,
  'is_resetting': 205,
  'lap_number': 0,
  'last_collision': { 'collidee_velocity': array([0., 0., 0.]),
                      'collision_location': 'rear_right_fender',
                      'collision_normal': array([0., 0., 0.]),
                      'time_since_last_collision': 0.0,
                      'time_stamp': 4105.741911045,
                      'time_utc': 1562958070},
  'position': array([-10163.55371094,  17115.17382812,  22500.29492188]),
  'right_vector': array([-0.8840133 , -0.4375411 , -0.16455328]),
  'rotation': array([ 0.10010731, -0.16530512, -2.68199444]),
  'route_length': 273551.21875,
  'episode_return': { 'avg_kph': 0,
             'closest_vehicle_cm': 15812.662932649602,
             'closest_vehicle_cm_while_at_least_4kph': 15812.662932649602,
             'cm_along_route': 18730.72265625,
             'collided_with_vehicle': False,
             'collided_with_non_actor': True,
             'end_time': '1969-12-31T16:00:00-08:00',
             'episode_time': 11.5,
             'gforce_penalty': 90.68476390028613,
             'got_stuck': False,
             'lane_deviation_penalty': 255.7695629358121,
             'max_gforce': 0.8785649610557551,
             'max_kph': 138.7572978515625,
             'max_lane_deviation_cm': 1038.8463134765625,
             'num_steps': 0,
             'prev_progress_pct': 6.70844576752594,
             'progress_pct': 6.8472451856879175,
             'progress_reward': 0.0,
             'route_length_cm': 273551.21875,
             'speed_reward': 371.6081579415893,
             'start_time': '2019-07-12T12:00:59.003417-07:00',
             'time_penalty': 0.0,
             'total': 25.15383110549117,
             'wrong_way': False},
  'speed': 3854.369384765625,
  'steering': 0.0,
  'throttle': 1.0,
  'up_vector': array([-0.8840133 , -0.4375411 , -0.16455328]),
  'velocity': array([-3404.32958984, -1700.12841797,  -613.90289307]),
  'view_mode': 'normal',
}

无需编译 C++ 或蓝图，即可通过 UnrealEnginePython 访问 Unreal API 来获取更多观测数据。

基准测试

智能体将通过 Botleague 自动评分。

数据集

包含 100GB（8.2 小时驾驶）的摄像头图像、深度信息、转向角、油门和刹车数据，这些数据来自一个“最优”路径跟踪智能体。我们在三种不同视角之间切换：正常视角、广角视角和半挂车视角，并在每个回合开始时对相机的内参和外参进行随机扰动，这使得基准测试中的性能提升了三倍。此外，我们还使用 DAgger 方法收集了与先前版本 DeepDrive 相同的路径修正数据。

1. 获取 AWS CLI
2. 确保您有 104GB 的可用空间
3. 下载我们的混合 Windows（Unreal PIE + Unreal 打包版）和 Linux 版本的数据集，其中包含不同相机视角及修正动作记录（通过 --record 生成）：

cd <您希望存放的目录>
aws s3 sync s3://deepdrive/data/baseline_tfrecords .

或者下载用于训练 AlexNet 的旧版 HDF5 文件：

aws s3 sync s3://deepdrive/data/baseline .

如果您想查看我们的 TensorBoard 训练过程，可以下载 1GB 的 tfevents 文件，解压后运行：

tensorboard --logdir <您解压后的目录>

并访问这个视图，它会绘制随时间变化的曲线。

架构

Linux 上的帧率问题

如果您在 Linux 系统上遇到帧率过低的问题，可能需要安装 NVIDIA 显卡驱动程序，包括 OpenGL 驱动。我们建议通过 CUDA 安装这些驱动，因为 CUDA 会自动为您选择适合运行基准智能体的版本。此外，请确保已启用电源管理功能，例如调整笔记本电脑的电源设置。如果已经安装了 CUDA，请直接跳至 OpenGL 测试部分。

TensorFlow 安装提示

• 请确保安装 TensorFlow 官方文档中指定的 CUDA 和 cuDNN 的主版本和次版本。例如，TensorFlow 1.12.0 需要 CUDA 9.0 和 cuDNN 7.3。这些版本通常会比 NVIDIA 最新发布的版本旧。你可以在 这里查看所有 CUDA 版本。
• 建议使用打包好的安装方式，比如在 Ubuntu 上使用 .deb 包（deb[local]），具体可参考 这篇指南。
• 如果你选择使用运行文件（runfile）方式进行安装，请务必按照 NVIDIA 的官方说明，在 Ubuntu 系统上禁用 Nouveau 驱动程序。
• 在 Windows 系统上，请使用符合最低要求的标准显卡驱动程序（非 CUDA 打包版）。安装 CUDA 时，选择自定义安装，并取消勾选安装显卡驱动的选项。

OpenGL

运行 glxinfo | grep OpenGL 应该会返回类似以下内容：

OpenGL vendor string: NVIDIA Corporation
OpenGL renderer string: GeForce GTX 980/PCIe/SSE2
OpenGL core profile version string: 4.5.0 NVIDIA 384.90
OpenGL core profile shading language version string: 4.50 NVIDIA
OpenGL core profile context flags: (none)
OpenGL core profile profile mask: core profile
OpenGL core profile extensions:
OpenGL version string: 4.5.0 NVIDIA 384.90
OpenGL shading language version string: 4.50 NVIDIA
OpenGL context flags: (none)
OpenGL profile mask: (none)
OpenGL extensions:
OpenGL ES profile version string: OpenGL ES 3.2 NVIDIA 384.90
OpenGL ES profile shading language version string: OpenGL ES GLSL ES 3.20
OpenGL ES profile extensions:

为了使 NVIDIA 的 OpenGL 以及 nvidia-smi 等工具正常工作，你可能需要在 BIOS 中禁用安全启动功能。这并不是 Deepdrive 特有的要求，而是 Ubuntu 系统下 NVIDIA 驱动的一般性需求。

开发

要在 PyCharm 中运行测试，请依次进入 File | Settings | Tools | Python Integrated Tools，将默认的测试运行器改为 pytest。

此外，还需按照 这个回答 的建议，禁用 SciView 插件。

Deepdrive 快速上手指南

Deepdrive 是一个用于实验自动驾驶 AI 的开源模拟器平台，支持在逼真的 Unreal Engine 环境中训练和测试智能驾驶代理。

环境准备

系统要求

• 操作系统：Linux（推荐 Ubuntu）
• Python 版本：3.6 或更高
• 磁盘空间：至少 10GB（若下载数据集需额外 100GB+）
• 内存：8GB RAM 或更高

可选依赖（用于运行基线模型）

• GPU：支持 CUDA 的显卡（如 GTX 970/1060/1070 等）
• TensorFlow：版本需满足 1.7 <= TensorFlow < 2.0
• CUDA/cuDNN：需与 TensorFlow 版本严格匹配（例如 TF 1.12.0 对应 CUDA 9.0 + cuDNN 7.3）

💡 提示：建议使用 Miniconda 管理 Python 环境，避免系统级冲突。

安装步骤

1. 创建 Conda 环境

   # 参考官方文档创建环境：/docs/miniconda.md
   conda create -n deepdrive python=3.6
   conda activate deepdrive
   

2. 克隆项目代码

   git clone https://github.com/deepdrive/deepdrive
   cd deepdrive
   

3. 安装依赖

   ⚠️ 注意：请勿使用 sudo，务必在 Conda 或 virtualenv 环境中执行。 ⚠️ 在 Conda 环境中仅使用 pip install，不要使用 conda install 安装本项目依赖。

   python install.py
   

4. （可选）配置云环境 如需在云端运行，请参考 Cloud setup instructions。

基本使用

运行前向代理示例（Forward Agent）

最简单的启动方式，运行内置的前向行驶代理：

python example.py

运行同步模式示例

python example_sync.py

运行基线模型（Mnet2）

启动基于 Mnet2 的基线智能体并进行实验：

python main.py --mnet2-baseline --experiment my-baseline-test

查看训练日志（TensorBoard）

启动 TensorBoard 可视化训练过程（默认日志路径为 $HOME/Deepdrive/tensorflow）：

tensorboard --logdir="$HOME/Deepdrive/tensorflow"

然后在浏览器访问 http://localhost:6006 查看图表。

键盘控制说明

• Esc：暂停（在 Unreal 编辑器中为退出）
• 1 ~ 4：切换摄像头视角（追踪、环绕、引擎盖、自由飞行）
• WASD：手动驾驶车辆（需关闭同步模式，目前仅在 path-follower 模式下有效）
• Space：手刹
• </kbd>：打开 Unreal 控制台（可输入 stat FPS` 查看帧率）

---

现在你已成功部署 Deepdrive 并运行了第一个示例。接下来可尝试录制数据、训练自定义模型或探索更多高级功能。