TransFuser：基于 Transformer(变换器) 的传感器融合模仿学习用于自动驾驶

论文 | 补充材料 | 演讲 | 海报 | 幻灯片

本仓库包含 PAMI 2023 论文 TransFuser: Imitation with Transformer-Based Sensor Fusion for Autonomous Driving 的代码。这项工作是对 CVPR 2021 论文 Multi-Modal Fusion Transformer for End-to-End Autonomous Driving 的期刊扩展版本。CVPR 2021 论文的代码可在 cvpr2021 分支中找到。

如果您发现我们的代码或论文有用，请引用：

@article{Chitta2023PAMI,
  author = {Chitta, Kashyap and
            Prakash, Aditya and
            Jaeger, Bernhard and
            Yu, Zehao and
            Renz, Katrin and
            Geiger, Andreas},
  title = {TransFuser: Imitation with Transformer-Based Sensor Fusion for Autonomous Driving},
  journal = {Pattern Analysis and Machine Intelligence (PAMI)},
  year = {2023},
}

@inproceedings{Prakash2021CVPR,
  author = {Prakash, Aditya and
            Chitta, Kashyap and
            Geiger, Andreas},
  title = {Multi-Modal Fusion Transformer for End-to-End Autonomous Driving},
  booktitle = {Conference on Computer Vision and Pattern Recognition (CVPR)},
  year = {2021}
}

此外，请查看我们团队关于 CARLA 的其他近期工作的代码：

• Jaeger et al., Hidden Biases of End-to-End Driving Models (ICCV 2023)
• Renz et al., PlanT: Explainable Planning Transformers via Object-Level Representations (CoRL 2022)
• Hanselmann et al., KING: Generating Safety-Critical Driving Scenarios for Robust Imitation via Kinematics Gradients (ECCV 2022)
• Chitta et al., NEAT: Neural Attention Fields for End-to-End Autonomous Driving (ICCV 2021)

目录

1. 环境搭建
2. 数据集与训练
3. 评估

环境搭建

克隆仓库，设置 CARLA 0.9.10.1，并构建 conda 环境：

git clone https://github.com/autonomousvision/transfuser.git
cd transfuser
git checkout 2022
chmod +x setup_carla.sh
./setup_carla.sh
conda env create -f environment.yml
conda activate tfuse
pip install --only-binary=torch-scatter torch-scatter -f https://data.pyg.org/whl/torch-1.12.0+cu113.html
pip install --only-binary=mmcv-full mmcv-full==1.6.0 -f https://download.openmmlab.com/mmcv/dist/cu113/torch1.12.0/index.html
pip install mmsegmentation==0.25.0
pip install mmdet==2.25.0

数据集与训练

我们的数据集是通过一个特权代理生成的，我们称之为自动驾驶仪（/team_code_autopilot/autopilot.py），在 8 个 CARLA 城镇中使用 此文件夹 中提供的路线和场景文件生成。有关训练路线和场景的详细文档，请参阅 tools/dataset 文件夹。您可以运行以下命令下载数据集（210GB）：

chmod +x download_data.sh
./download_data.sh

数据集结构如下：

- Scenario
    - Town
        - Route
            - rgb: camera images
            - depth: corresponding depth images
            - semantics: corresponding segmentation images
            - lidar: 3d point cloud in .npy format
            - topdown: topdown segmentation maps
            - label_raw: 3d bounding boxes for vehicles
            - measurements: contains ego-agent's position, velocity and other metadata

数据生成

除了数据集本身外，我们还提供了使用自动驾驶代理进行数据生成的脚本。要生成数据，第一步是启动 CARLA 服务器：

./CarlaUE4.sh --world-port=2000 -opengl

有关运行 CARLA 服务器的更多信息（例如在无显示器的机器上），请参阅 官方文档。一旦服务器运行，使用以下脚本生成训练数据：

./leaderboard/scripts/datagen.sh <carla root> <working directory of this repo (*/transfuser/)>

该脚本需要设置的主要变量是 SCENARIOS 和 ROUTES。

训练脚本

通过模仿学习进行训练的代码提供在 train.py 中。
在单台机器上运行训练脚本的最小示例：

cd team_code_transfuser
python train.py --batch_size 10 --logdir /path/to/logdir --root_dir /path/to/dataset_root/ --parallel_training 0

训练脚本在主函数开头记录了许多其他有用的功能。 其中之一是并行训练。 当在多 GPU(图形处理器) 节点上进行训练时，启动脚本的方式有所不同：

cd team_code_transfuser
CUDA_VISIBLE_DEVICES=0,1 OMP_NUM_THREADS=16 OPENBLAS_NUM_THREADS=1 torchrun --nnodes=1 --nproc_per_node=2 --max_restarts=0 --rdzv_id=1234576890 --rdzv_backend=c10d train.py --logdir /path/to/logdir --root_dir /path/to/dataset_root/ --parallel_training 1

使用 CUDA_VISIBLE_DEVICES 列出您想要在其上训练的 GPU。 将变量 OMP_NUM_THREADS 设置为系统上可用的 CPU(中央处理器) 数量。 如果您希望避免线程派生其他线程，请将 OPENBLAS_NUM_THREADS 设置为 1。 将 --nproc_per_node 设置为节点上可用的 GPU 数量。

评估代理文件旨在评估使用多个 GPU 训练的模型。 如果您想评估使用单个 GPU 训练的模型，您需要删除 这一行。

评估

Longest6 基准测试

我们对 CARLA leaderboard 代码进行了一些微小修改以用于 Longest6 基准测试，这些修改记录在 此处。有关 Longest6 的描述以及如何对其进行评估，请参阅 leaderboard/data/longest6 文件夹。

预训练智能体 (Agents)

所有 4 种方法的预训练智能体 (Agent) 文件均可从 AWS 下载：

mkdir model_ckpt
wget https://s3.eu-central-1.amazonaws.com/avg-projects/transfuser/models_2022.zip -P model_ckpt
unzip model_ckpt/models_2022.zip -d model_ckpt/
rm model_ckpt/models_2022.zip

运行智能体 (Agent)

要评估模型，我们首先启动一个 CARLA 服务器：

./CarlaUE4.sh --world-port=2000 -opengl

一旦 CARLA 服务器运行起来，使用脚本评估智能体 (Agent)：

./leaderboard/scripts/local_evaluation.sh <carla root> <working directory of this repo (*/transfuser/)>

通过编辑 local_evaluation.sh 中的参数，我们可以对 Longest6 路线的性能进行基准测试。您可以评估特权智能体 (Privileged Agents，例如 autopilot.py) 和基于传感器的模型。要评估基于传感器的模型，请将 submission_agent.py 用作 TEAM_AGENT，并将 TEAM_CONFIG 指向您下载模型权重的文件夹。代码会根据模型文件夹中的 args.txt 文件自动配置以使用正确的方法。

您可以在 此处 查看 TransFuser 在 Longest6 路线上预期驾驶行为的定性示例。

解析 longest6 结果

为了从评估运行的结果中计算额外的统计信息，我们提供了一个解析器脚本 tools/result_parser.py。

${WORK_DIR}/tools/result_parser.py --xml ${WORK_DIR}/leaderboard/data/longest6/longest6.xml --results /path/to/folder/with/json_results/ --save_dir /path/to/output --town_maps ${WORK_DIR}/leaderboard/data/town_maps_xodr

它将生成一个 results.csv 文件，其中包含运行的平均结果以及额外的统计信息。它还会生成城镇地图并标记违规行为发生的位置。

提交到 CARLA 排行榜

要向 CARLA 排行榜提交，您的系统需要安装 Docker。 编辑 make_docker.sh 开头的路径。 创建文件夹 team_code_transfuser/model_ckpt/transfuser。 将您想要评估的 model.pth 文件和 args.txt 复制到 team_code_transfuser/model_ckpt/transfuser。 如果您想评估集成 (Ensemble) 模型，只需将多个 .pth 文件复制到该文件夹中，代码将加载所有文件并对预测进行集成。

cd leaderboard
cd scripts
./make_docker.sh

该脚本将创建一个名为 transfuser-agent 的 Docker 镜像。 请按照 排行榜 上的说明创建账户并安装 Alpha。

alpha login
alpha benchmark:submit  --split 3 transfuser-agent:latest

该命令将上传 Docker 镜像到云端并进行评估。

TransFuser 快速上手指南

TransFuser 是一种基于 Transformer 的传感器融合模仿学习自动驾驶工具，支持端到端自动驾驶任务。本指南帮助您快速搭建开发环境并运行训练与评估流程。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐使用 Ubuntu)
• CUDA: 需安装兼容的 NVIDIA CUDA Toolkit (根据 PyTorch 版本选择)
• 依赖管理: 已安装 Anaconda 或 Miniconda
• CARLA: 需要安装 CARLA 0.9.10.1 版本
• 存储空间: 数据集约 210GB，请预留足够磁盘空间

注意: 由于涉及大量数据下载（AWS S3）及模型权重获取，建议网络环境稳定。

2. 安装步骤

克隆仓库并配置基础环境

git clone https://github.com/autonomousvision/transfuser.git
cd transfuser
git checkout 2022
chmod +x setup_carla.sh
./setup_carla.sh

创建 Conda 环境并安装依赖

conda env create -f environment.yml
conda activate tfuse
pip install --only-binary=torch-scatter torch-scatter -f https://data.pyg.org/whl/torch-1.12.0+cu113.html
pip install --only-binary=mmcv-full mmcv-full==1.6.0 -f https://download.openmmlab.com/mmcv/dist/cu113/torch1.12.0/index.html
pip install mmsegmentation==0.25.0
pip install mmdet==2.25.0

3. 基本使用

下载数据集

运行脚本下载训练所需的数据集（约 210GB）：

chmod +x download_data.sh
./download_data.sh

数据集结构如下：

- Scenario
    - Town
        - Route
            - rgb: 相机图像
            - depth: 深度图像
            - semantics: 分割图像
            - lidar: .npy 格式的 3D 点云
            - topdown: 俯视分割图
            - label_raw: 车辆 3D 边界框
            - measurements: 自车位置、速度等元数据

模型训练

进入训练目录，运行单卡训练示例（可根据实际情况调整参数）：

cd team_code_transfuser
python train.py --batch_size 10 --logdir /path/to/logdir --root_dir /path/to/dataset_root/ --parallel_training 0

如需多卡并行训练，请使用 torchrun 启动：

cd team_code_transfuser
CUDA_VISIBLE_DEVICES=0,1 OMP_NUM_THREADS=16 OPENBLAS_NUM_THREADS=1 torchrun --nnodes=1 --nproc_per_node=2 --max_restarts=0 --rdzv_id=1234576890 --rdzv_backend=c10d train.py --logdir /path/to/logdir --root_dir /path/to/dataset_root/ --parallel_training 1

模型评估

1. 下载预训练模型

从 AWS 下载预训练权重：

mkdir model_ckpt
wget https://s3.eu-central-1.amazonaws.com/avg-projects/transfuser/models_2022.zip -P model_ckpt
unzip model_ckpt/models_2022.zip -d model_ckpt/
rm model_ckpt/models_2022.zip

2. 启动 CARLA 服务器

在另一个终端启动 CARLA 服务：

./CarlaUE4.sh --world-port=2000 -opengl

3. 运行评估脚本

返回主目录，运行本地评估脚本：

./leaderboard/scripts/local_evaluation.sh <carla root> <working directory of this repo (*/transfuser/)>

提示: 可通过编辑 local_evaluation.sh 中的参数来指定不同的评测路线（如 Longest6）。对于传感器模型，请设置 TEAM_AGENT 为 submission_agent.py 并指向模型权重文件夹。