FIERY

这是未来预测鸟瞰图网络的推理和训练的 PyTorch 实现，如以下论文中所述：

FIERY：基于环视单目相机的鸟瞰图未来实例分割

Anthony Hu、Zak Murez、 Nikhil Mohan、 Sofía Dudas、 Jeffrey Hawke、 ‪Vijay Badrinarayanan、 Roberto Cipolla 和 Alex Kendall

ICCV 2021（口头报告）
博客文章

_{我们鸟瞰图网络的多模态未来预测。
前两行：RGB 摄像头输入。预测的未来轨迹和分割结果被投影到图像中的地平面上。
最后一行：以自车为中心、尺寸为 100m×100m 的区域内的鸟瞰图未来实例预测，其中心用黑色矩形表示。}

如果您觉得我们的工作有用，请考虑引用：

@inproceedings{fiery2021,
  title     = {{FIERY}: 基于环视单目相机的鸟瞰图未来实例分割},
  author    = {Anthony Hu、Zak Murez、Nikhil Mohan、Sofía Dudas、
               Jeffrey Hawke、Vijay Badrinarayanan、Roberto Cipolla 和 Alex Kendall},
  booktitle = {国际计算机视觉会议（ICCV）论文集},
  year      = {2021}
}

⚙ 设置

• 使用 conda env create 命令创建 conda 环境。

🏄 预测

可视化

在 Colab 笔记本中：

或者在本地：

• 下载 预训练权重。
• 运行 python visualise.py --checkpoint ${CHECKPOINT_PATH}。这将渲染网络的预测结果，并将其保存到 output_vis 文件夹中。

评估

• 下载 NuScenes 数据集。详细说明请参阅 DATASET.md。
• 下载 预训练权重。
• 运行 python evaluate.py --checkpoint ${CHECKPOINT_PATH} --dataroot ${NUSCENES_DATAROOT}。

🔥 预训练模型

所有配置文件位于 fiery/configs 文件夹中。

配置与权重	数据集	过去上下文	未来时长	BEV 尺寸	IoU	VPQ
baseline.yml	NuScenes	1.0秒	2.0秒	100m×100m（50cm 分辨率）	36.7	29.9
lyft/baseline.yml	Lyft	0.8秒	2.0秒	100m×100m（50cm 分辨率）	36.3	29.2
literature/static_pon_setting.yml	NuScenes	0.0秒	0.0秒	100m×50m（25cm 分辨率）	37.7	-
literature/pon_setting.yml	NuScenes	1.0秒	0.0秒	100m×50m（25cm 分辨率）	39.9	-
literature/static_lss_setting.yml	NuScenes	0.0秒	0.0秒	100m×100m（50cm 分辨率）	35.8	-
literature/lift_splat_setting.yml	NuScenes	1.0秒	0.0秒	100m×100m（50cm 分辨率）	38.2	-
literature/fishing_setting.yml	NuScenes	1.0秒	2.0秒	32.0m×19.2m（10cm 分辨率）	57.6	-

🏊 训练

要在 NuScenes 数据集上从头开始训练模型：

• 下载 NuScenes 数据集。详细说明请参阅 DATASET.md。
• 运行 python train.py --config fiery/configs/baseline.yml DATASET.DATAROOT ${NUSCENES_DATAROOT}。

这将在 4 张 GPU 上进行训练，每张 GPU 的批次大小为 3。如果要在单张 GPU 上训练，可添加 GPUS 1 标志；若需更改批次大小，则使用 BATCHSIZE ${DESIRED_BATCHSIZE} 标志。

🙌 致谢

特别感谢 Giulio D'Ippolito (@gdippolito) 在 GPU 服务器方面的技术支持，Piotr Sokólski (@pyetras) 实现了全景指标，以及 Hannes Liik (@hannesliik) 对地面平面未来轨迹的精彩可视化。

FIERY 快速上手指南

FIERY 是一个基于 PyTorch 的开源项目，用于从环绕单目摄像头输入中预测鸟瞰图（BEV）下的未来实例分割和轨迹。本项目复现了 ICCV 2021 Oral 论文《FIERY: Future Instance Segmentation in Bird's-Eye view from Surround Monocular Cameras》。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• Python: 3.7 或更高版本
• 深度学习框架: PyTorch (具体版本由 environment.yml 自动管理)
• 硬件: 支持 CUDA 的 NVIDIA GPU (训练建议多卡，推理可单卡)
• 依赖管理工具: Conda (强烈推荐使用 Miniconda)

提示：国内用户建议在配置 Conda 时使用清华或中科大镜像源以加速依赖下载。

安装步骤

1. 克隆仓库

   git clone https://github.com/wayveai/fiery.git
   cd fiery
   

2. 创建 Conda 环境 项目根目录包含环境配置文件，运行以下命令自动安装所有前置依赖：

   conda env create
   

3. 激活环境

   conda activate fiery
   

基本使用

1. 快速体验（可视化预测）

无需下载大型数据集，即可通过预训练权重查看模型的预测效果。

• 下载预训练权重

  wget https://github.com/wayveai/fiery/releases/download/v1.0/fiery.ckpt
  

  (注：如果下载速度慢，可手动在浏览器打开链接下载后放入当前目录)

• 运行可视化脚本 将 ${CHECKPOINT_PATH} 替换为实际文件路径（例如 fiery.ckpt）：

  python visualise.py --checkpoint fiery.ckpt
  

  运行完成后，预测结果视频和图像将保存在 output_vis 文件夹中。

• 在线体验 (Colab) 如果您没有本地 GPU 环境，可以直接在 Google Colab 中运行： 点击此处打开 Colab Notebook

2. 模型评估 (需 NuScenes 数据集)

若需在标准数据集上进行定量评估：

1. 下载 NuScenes 数据集 并解压。
2. 运行评估命令（替换 ${NUSCENES_DATAROOT} 为数据集根目录路径）：

   python evaluate.py --checkpoint fiery.ckpt --dataroot ${NUSCENES_DATAROOT}
   

3. 模型训练 (从头训练)

若需在 NuScenes 数据集上重新训练模型：

python train.py --config fiery/configs/baseline.yml DATASET.DATAROOT ${NUSCENES_DATAROOT}

• 默认配置: 4 张 GPU，每张卡 Batch Size 为 3。
• 单卡训练: 添加 GPUS 1 参数。
• 修改 Batch Size: 添加 BATCHSIZE ${DESIRED_BATCHSIZE} 参数。

示例（单卡，Batch Size 为 2）：

python train.py --config fiery/configs/baseline.yml DATASET.DATAROOT ${NUSCENES_DATAROOT} GPUS 1 BATCHSIZE 2