InterFuser: 基于可解释传感器融合Transformer的安全增强自动驾驶

Hao Shao、Letian Wang、RuoBing Chen、Hongsheng Li、Yu Liu

CoRL 2022

本仓库包含论文《基于可解释传感器融合Transformer的安全增强自动驾驶》的代码实现。该工作对多模态、多视角传感器信息进行充分处理与融合，以实现全面的场景理解。此外，我们的框架还能生成中间可解释特征，这些特征具有更丰富的语义信息，并被用于更好地将行为约束在安全集合内。

截至2022年6月11日，我们的方法在CARLA AD Leaderboard上取得了新的最先进水平。

最新消息

[12/21] 现在，类似的数据集可以在Hugging Face或OpenXLab上找到。唯一的区别在于，该数据集的采样率为10Hz，而InterFuser的数据集为2Hz。

演示视频

目录

1. 设置
2. 数据集
3. 数据生成
4. 训练
5. 评估
6. 致谢

设置

安装Anaconda

wget https://repo.anaconda.com/archive/Anaconda3-2020.11-Linux-x86_64.sh
bash Anaconda3-2020.11-Linux-x86_64.sh
source ~/.profile

克隆仓库并构建环境

git clone https://github.com/opendilab/InterFuser.git
cd InterFuser
conda create -n interfuser python=3.7
conda activate interfuser
pip3 install -r requirements.txt
cd interfuser
python setup.py develop

下载并设置CARLA 0.9.10.1

chmod +x setup_carla.sh
./setup_carla.sh
easy_install carla/PythonAPI/carla/dist/carla-0.9.10-py3.7-linux-x86_64.egg

注意： 我们选择使用setuptools==41版本进行安装，因为该版本支持easy_install功能。安装完carla.egg后，可以再安装最新版的setuptools，以避免出现No module named distutils_hack的错误。

注意： 常见问题解答：https://github.com/opendilab/InterFuser/issues/107

数据集

数据是通过CARLA 0.9.10.1中的leaderboard/team_code/auto_pilot.py脚本，在8个CARLA城镇中，利用leaderboard/data目录下提供的路线和场景文件生成的。

收集到的数据集结构如下：

- TownX_{tiny,short,long}：对应不同的城镇和路线文件
    - routes_X：包含单条路线的数据
        - rgb_{front, left, right, rear}：分辨率为400x300的多视角相机图像
        - seg_{front, left, right}：对应的分割图像
        - depth_{front, left, right}：对应的深度图像
        - lidar：.npy格式的三维点云
        - birdview：用于训练LBC所需的俯视分割图像
        - 2d_bbs_{front, left, right, rear}：对应相机视角下的不同目标的二维边界框
        - 3d_bbs：不同目标的三维边界框
        - affordances：不同类型的操作可能性
        - measurements：包含自车的位置、速度等元数据
        - other_actors：包含周围车辆及交通信号灯的位置、速度等元数据

数据生成

使用多个CARLA服务器生成数据

除了数据集之外，我们还提供了所有用于生成数据的脚本，并且可以根据不同CARLA版本的需求进行修改。数据集是由一个基于规则的专家智能体在不同天气和城镇条件下收集的。

启动CARLA服务器

# 启动14个CARLA服务器：IP [localhost], 端口 [20000 - 20026]
cd carla
CUDA_VISIBLE_DEVICES=0 ./CarlaUE4.sh --world-port=20000 -opengl &
CUDA_VISIBLE_DEVICES=1 ./CarlaUE4.sh --world-port=20002 -opengl &
...
CUDA_VISIBLE_DEVICES=7 ./CarlaUE4.sh --world-port=20026 -opengl &

关于Docker的设置说明请参见这里。拉取CARLA 0.9.10.1的Docker镜像docker pull carlasim/carla:0.9.10.1

Docker 18：

docker run -it --rm -p 2000-2002:2000-2002 --runtime=nvidia -e NVIDIA_VISIBLE_DEVICES=0 carlasim/carla:0.9.10.1 ./CarlaUE4.sh --world-port=2000 -opengl

Docker 19：

docker run -it --rm --net=host --gpus '"device=0"' carlasim/carla:0.9.10.1 ./CarlaUE4.sh --world-port=2000 -opengl

如果Docker容器无法正常启动，请添加环境变量-e SDL_AUDIODRIVER=dsp

运行自动驾驶程序

生成批量采集数据的脚本。

cd dataset
python init_dir.py
cd ..
cd data_collection
python generate_yamls.py # 可以调整帧率、路点分布强度等...

# 如果不需要所有天气条件，可以修改以下脚本
python generate_bashs.py
python generate_batch_collect.py 
cd ..

运行所需城镇和路线类型的批量执行脚本。

bash data_collection/batch_run/run_route_routes_town01_long.sh
bash data_collection/batch_run/run_route_routes_town01_short.sh
...
bash data_collection/batch_run/run_route_routes_town07_tiny.sh

注1： 如果您的数据集不需要全部14种天气条件，可以修改上述代码和脚本。

注2： 我们还在leaderboard/team_code/auto_pilot.py中提供了7种夜间天气条件，您可以修改上述代码和脚本以收集夜间数据集。

使用单个CARLA服务器生成数据

使用单个CARLA服务器，运行自动驾驶程序开始数据生成。

carla/CarlaUE4.sh --world-port=2000 -opengl
./leaderboard/scripts/run_evaluation.sh

用于数据生成的专家智能体定义在leaderboard/team_code/auto_pilot.py中。需要设置的不同参数则在leaderboard/scripts/run_evaluation.sh中指定。

一些实用工具

我们在 tools/data 中提供了一些有用的 Python 脚本，例如：

• batch_merge_data.py：将多个碎片化的数据合并为一个文件，随后可以修改 interfuser/timm/data/carla_dataset.py 以减少 IO 时间。
• batch_stat_data.py：获取已收集数据的统计结果。
• batch_preload.py：计算一条路线中所有帧的航点，并保存到一个文件中。
• batch_stat_blocked_data.py 和 batch_recollect_blocked_data.py：查找并删除自动驾驶车辆长时间被堵住的帧。

训练

cd interfuser
bash scripts/train.sh

GPU_NUM=8
DATASET_ROOT='dataset/'

./distributed_train.sh $GPU_NUM $DATASET_ROOT  --dataset carla --train-towns 1 2 3 4 6 7 10  --val-towns 5 \
    --train-weathers 0 1 2 3 4 5 6 7 8 9  --val-weathers 10 11 12 13 \
    --model interfuser_baseline --sched cosine --epochs 25 --warmup-epochs 5 --lr 0.0005 --batch-size 16  -j 16 --no-prefetcher --eval-metric l1_error \
    --opt adamw --opt-eps 1e-8 --weight-decay 0.05  \
    --scale 0.9 1.1 --saver-decreasing --clip-grad 10 --freeze-num -1 \
    --with-backbone-lr --backbone-lr 0.0002 \
    --multi-view --with-lidar --multi-view-input-size 3 128 128 \
    --experiment interfuser_baseline \
    --pretrained
    

DATASET_ROOT 需要一个名为 dataset_index.txt 的文件来列出训练和评估数据。格式应如下所示：

route_path_dir data_frames_in_this_dir

route_path_dir 应该是相对于 DATASET_ROOT 的相对路径，训练代码会将 DATASET_ROOT 和 route_path_dir 拼接成完整的路径来加载数据。

例如：

weather-7/data/routes_town06_long_w7_11_28_18_28_35/ 1062

weather-2/data/routes_town01_short_w2_11_16_08_27_10/ 1785

weather-2/data/routes_town01_short_w2_11_16_09_55_05/ 918

weather-2/data/routes_town02_short_w2_11_16_22_55_25/ 134

weather-2/data/routes_town01_short_w2_11_16_11_44_08/ 569 ...

其中，1062 表示 weather-7/data/routes_town06_long_w7_11_28_18_28_35/rgb 或 weather-7/data/routes_town06_long_w7_11_28_18_28_35/rgb_front 等目录下的帧数。

评估

启动一个 CARLA 服务器（如上所述），并运行所需的智能体。充分的路线和场景文件已在 leaderboard/data 中提供，所需变量需要在 leaderboard/scripts/run_evaluation.sh 中设置。

更新 leaderboard/scripts/run_evaluation.sh，加入以下代码以在 Town05 Long Benchmark 上评估模型：

export CARLA_ROOT=/path/to/carla/root
export ROUTES=leaderboard/data/evaluation_routes/routes_town05_long.xml
export TEAM_AGENT=leaderboard/team_code/interfuser_agent.py
export TEAM_CONFIG=leaderboard/team_code/interfuser_config.py
export CHECKPOINT_ENDPOINT=results/interfuser_result.json
export SCENARIOS=leaderboard/data/scenarios/town05_all_scenarios.json

CUDA_VISIBLE_DEVICES=0 ./leaderboard/scripts/run_evaluation.sh

使用 ROUTES=leaderboard/data/42routes/42routes.xml 和 SCENARIOS=leaderboard/data/42routes/42scenarios.json 来运行 CARLA 42 路线基准测试。

预训练权重

我们还提供了可供直接评估的示例模型权重，可从 这里 下载。该模型需要移动到 leaderboard/team_code/ 目录下。

注意： 该模型是在包含若干城镇和天气条件的部分完整数据集上训练的。

致谢

本实现基于多个仓库中的代码。

• Transfuser
• 2020_CARLA_challenge
• CARLA Leaderboard
• Scenario Runner

引用

如果您认为我们的仓库、数据集或论文有用，请按以下方式引用我们：

@article{shao2022interfuser,
 title={Safety-Enhanced Autonomous Driving Using Interpretable Sensor Fusion Transformer},
 author={Hao Shao and Letian Wang and RuoBing Chen and Hongsheng Li and Yu Liu},
 journal={arXiv preprint arXiv:2207.14024},
 year={2022},
}

许可证

本仓库中的所有代码均采用 Apache License 2.0 许可证。

InterFuser 快速上手指南

InterFuser 是一个基于可解释传感器融合 Transformer 的自动驾驶框架，旨在通过多模态多视角传感器信息融合提升驾驶安全性。该项目在 CARLA AD Leaderboard 上取得了 SOTA 成绩。

环境准备

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04)
• Python 版本: 3.7
• 深度学习框架: PyTorch (通过 requirements.txt 安装)
• 仿真器: CARLA 0.9.10.1
• 硬件要求: 支持 CUDA 的 NVIDIA GPU (训练建议多卡，推理需至少单卡)
• 前置依赖: Anaconda, Git, Docker (可选，用于运行 CARLA)

安装步骤

1. 安装 Anaconda 并创建环境

wget https://repo.anaconda.com/archive/Anaconda3-2020.11-Linux-x86_64.sh
bash Anaconda3-2020.11-Linux-x86_64.sh
source ~/.profile

git clone https://github.com/opendilab/InterFuser.git
cd InterFuser
conda create -n interfuser python=3.7
conda activate interfuser
pip3 install -r requirements.txt
cd interfuser
python setup.py develop

2. 下载并配置 CARLA 0.9.10.1

项目依赖特定版本的 CARLA。你可以选择直接下载或使用 Docker。

方式 A：直接下载脚本安装

chmod +x setup_carla.sh
./setup_carla.sh
# 注意：需要先安装 setuptools==41 以支持 easy_install
pip install setuptools==41
easy_install carla/PythonAPI/carla/dist/carla-0.9.10-py3.7-linux-x86_64.egg
# 安装完 egg 后，建议升级 setuptools 以避免 distutils_hack 错误
pip install --upgrade setuptools

方式 B：使用 Docker (推荐) 确保已安装 NVIDIA Container Toolkit。

docker pull carlasim/carla:0.9.10.1

# Docker 18+ 运行示例 (映射端口 2000)
docker run -it --rm -p 2000:2000 --runtime=nvidia -e NVIDIA_VISIBLE_DEVICES=0 carlasim/carla:0.9.10.1 ./CarlaUE4.sh --world-port=2000 -opengl

基本使用

1. 数据准备

你可以使用官方提供的数据集，或自行生成。

• 数据结构: 包含多视角 RGB、分割图、深度图、LiDAR 点云及标注信息。
• 索引文件: 训练前需在 DATASET_ROOT 目录下创建 dataset_index.txt，格式如下：

  route_path_dir data_frames_in_this_dir
  weather-7/data/routes_town06_long_w7_11_28_18_28_35/ 1062
  weather-2/data/routes_town01_short_w2_11_16_08_27_10/ 1785
  

  (注：route_path_dir 为相对于 DATASET_ROOT 的路径)

2. 模型训练

修改 scripts/train.sh 中的 DATASET_ROOT 路径后运行：

cd interfuser
bash scripts/train.sh

或者使用分布式训练命令示例（8 卡）：

GPU_NUM=8
DATASET_ROOT='dataset/'

./distributed_train.sh $GPU_NUM $DATASET_ROOT  --dataset carla --train-towns 1 2 3 4 6 7 10  --val-towns 5 \
    --train-weathers 0 1 2 3 4 5 6 7 8 9  --val-weathers 10 11 12 13 \
    --model interfuser_baseline --sched cosine --epochs 25 --warmup-epochs 5 --lr 0.0005 --batch-size 16  -j 16 --no-prefetcher --eval-metric l1_error \
    --opt adamw --opt-eps 1e-8 --weight-decay 0.05  \
    --scale 0.9 1.1 --saver-decreasing --clip-grad 10 --freeze-num -1 \
    --with-backbone-lr --backbone-lr 0.0002 \
    --multi-view --with-lidar --multi-view-input-size 3 128 128 \
    --experiment interfuser_baseline \
    --pretrained

3. 模型评估

首先启动 CARLA 服务器，然后配置评估脚本 leaderboard/scripts/run_evaluation.sh。

配置环境变量：

export CARLA_ROOT=/path/to/carla/root
export ROUTES=leaderboard/data/evaluation_routes/routes_town05_long.xml
export TEAM_AGENT=leaderboard/team_code/interfuser_agent.py
export TEAM_CONFIG=leaderboard/team_code/interfuser_config.py
export CHECKPOINT_ENDPOINT=results/interfuser_result.json
export SCENARIOS=leaderboard/data/scenarios/town05_all_scenarios.json

运行评估：

CUDA_VISIBLE_DEVICES=0 ./leaderboard/scripts/run_evaluation.sh

提示：如需运行 42 条路线基准测试，请将 ROUTES 和 SCENARIOS 分别替换为 leaderboard/data/42routes/42routes.xml 和 leaderboard/data/42routes/42scenarios.json。

预训练权重: 可从 此处 下载示例权重，并将其放入 leaderboard/team_code/ 目录即可直接进行评估。